15. 테스트 모니터링/제어 및 테스트 종료

테스트 프로세스를 수행하는 전 과정에서 테스트 활동이 계획에 일치하여 수행하는지 모니터링할 필요가 있음

테스트 모니터링/제어와 테스트 종료

• 테스트 모니터링 및 제어 : 각 동적 테스트 프로세스의 수행 상황을 테스트 메트릭을 이용하여 파악
• 테스트 종료 : 테스트가 종료되면 테스트 수행 중 생성된 산출물을 관리

활동	산출물	설명
테스트 모니터링 및 제어	테스트 현황 보고서	계획 대비 진척도, 테스트 메트릭, 신규 및 변경 위험, 이후 테스트 계획 기술
테스트 종료	테스트 종료 보고서	수행한 테스트 활동에 대한 요약, 계획 대비 차이점, 테스트 방해 요인, 테스트 메트릭, 결함 목록, 잔존 위험, 테스트 완료 평가, 테스트 산출물, 재사용 가능한 테스트 자산, 교훈 기술

---

테스트 모니터링 및 제어

---

테스트 계획서에 준하여 동적 테스트 프로세스가 수행되도록 각 테스트 활동을 모니터링하고 테스트 활동 수행을 제어

테스트 현황 보고서 : 보고 대상 기간, 계획 대비 진척도, 테스트 메트릭, 신규 및 변경 위험, 이후 테스트 계획

 

---

테스트 모니터링

• 모니터링을 통해 테스트 활동의 실제 진척도가 수립된 테스트 계획과 차이가 있는지 파악
• 테스트 활동 모니터링을 수행하면서 위험 관리 작업 수행
• 테스트 계획에서 결정된 메트릭을 이용하여 테스트 상황에 대한 정량적인 모니터링을 할 수 있음
• 테스트 산출물 중 결함 보고서와 결함 추적 보고서가 테스트 모니터링 측면에서 중요한 역할을 함

---

테스트 활동 제어

메트릭 등을 이용한 모니터링을 바탕으로 동적 테스트 프로세스의 활동을 적절히 제어

 

테스트 활동 제어 유형

• 동적 테스트 활동의 시작 : 테스트 계획서에는 동적 테스트 프로세스 또는 동적 테스트 활동에 대한 시작 조건 정의
• 동적 테스트 활동의 종료 : 동적 테스트 프로세스 또는 활동의 종료 조건이 만족되면 해당 테스트 활동 종료
• 테스트 계획과의 차이 : 실제 테스트 진행 상황이 테스트 계획서의 일정과 상이하면 해결하기 위한 작업 수행
• 위험 관리 : 새로운 위험이 식별되거나 기존 위험에 변동이 발생하면 테스트 활동을 적절히 제어

+) 테스트 완료 기준 평가는 테스트 종료 활동에서 수행

 

테스트 활동 제어 방법

테스트 컨텍스트 관점의 테스트 활동 제어

• 테스트 대상, 테스트 범위, 가정 및 제약사항 등에 대한 변경이 필요할 수 있음

테스트 전략 관점의 테스트 활동 제어

• 새로운 개별 테스트 추가, 테스트 설계 기법 조정, 테스트 환경 조정, 재테스팅 및 회귀 테스팅 기준 조정 등

테스트 수행 계획 관점의 테스트 활동 제어

• 일정 조정, 인력 조정, 의사소통 등이 필요할 수 있음

---

테스트 현황 보고

• 보고 대상 기간 : 보고의 대상이 되는 테스트 활동의 기간 기술
• 계획 대비 진척도 : 테스트 계획서에 정의된 계획을 기준으로 한 진척도 기술
  계획 대비 지체되는 작업이 있으면 그 원인을 분석하고 테스트 프로젝트에 미칠 수 있는 영향 기술
• 테스트 메트릭 : 보고 대상 기간 동안의 테스트 활동에 대한 메트릭 측정값 기술
• 신규 및 변경 위험 : 금번 보고 대상 기간 동안에 새롭게 식별된 위험에 대한 분석 결과 기술
  기존 위험 변경(위험의 해소, 발생 가능성 변경) 등을 기술
• 이후 테스트 계획 : 다음 보고 시점까지 수행할 테스트 활동에 대한 계획 기술
  수행을 지체시킨 요인에 대한 조치, 새롭게 발견된 위험에 대한 회피, 완화, 전가, 수용 등의 조치 계획 포함

---

테스트 종료

---

종료 시 테스트 프로젝트에서 생성된 결과물을 이후 테스트 프로젝트에서도 재사용될 수 있도록 테스트 자산으로 관리

 

테스트 종료 보고서 

테스팅 요약, 계획 대비 차이점, 테스트 방해 요인, 테스트 메트릭, 결함 목록, 잔존 위험, 테스트 완료 평가, 테스트 산출물, 재사용 가능한 테스트 자산, 교훈

 

---

테스트 자산 관리

• 테스트 계획서, 테스트 설계 명세서, 테스트 케이스 명세서, 테스트 절차 명세서 등은 비슷한 프로젝트에서 재사용될 가능성이 큼
• 재사용 가능성이 있는 것으로 식별된 테스트 자산은 추후 재사용을 위해 형상 관리 시스템 같은 공유 시스템에 저장

---

테스트 환경 정리

• 테스트 환경 요소는 테스트 계획 수립 시 식별하고 테스트 설계 및 구현 활동에서 구체화
• 각 테스트 환경 요소는 테스트 환경 구축 및 관리 활동에서 준비
• 테스트 종료되면 테스트 실행 시 사용되었던 테스트 환경을 원래의 상태로 복구

---

테스트 종료 보고

테스트 요약

• 테스트 보고서 전체 내용의 간략한 요약
• 테스트 대상, 테스트 환경, 관련된 테스트 문서, 테스트의 전반적인 결과를 기술
• 종료 보고서 작성 대상이 되는 테스트 대상 나열
• 각 테스트 대상별로 관련된 테스트 계획서, 테스트 설계 명세서, 테스트 케이스 명세서, 테스트 절차 명세서, 테스트 실행 로그와 결함 보고서 명시
• 테스트를 실행한 테스트 환경을 간략히 기술
• 수행된 테스트의 전반적인 결과를 간략히 기술

 

계획 대비 차이점

• 초기에 수립된 테스트 계획과 실제 수행된 테스트 활동은 기존 정의된 계획과 차이가 생길 수 밖에 없음
• 차이가 있다면 변동 사항과 변동이 필요했던 이유 기술
• 테스트 보고서 변동의 원인과 이로 인해 발생한 변동사항을 요약하여 기술
• 테스트 관리자는 이 변동 사항 부분을 통해 초기의 테스트 계획과 실제로 수행된 테스트 활동 사이에 어떤 차이가 있었고 그 이유가 무엇인지를 쉽게 파악할 수 있음

 

테스트 방해 요인

• 테스트 활동 수행을 방해했던 요인과 그러한 상황을 어떻게 해결했는지 기술

활동	작업	방해 요인	해결책
테스트 계획	테스트 컨텍스트 명세	테스트 대상에 대한 정보 부족	개발팀 참여
테스트 설계 및 구현	테스트 케이스 개발	테스트 대상의 동작에 대한 명세 부재	테스트 모델 구축
테스트 실행	테스트 결과 비교	음성 등에 대한 정확한 비교가 어려움	결과 비교 도구 도입
결함 보고	결함 기록	모든 결함이 긴급한 것으로 보고됨	우선순위 부여 기준 구체화

 

테스트 메트릭

• 수행한 테스트 활동을 요약하고 테스트 활동에 대한 메트릭을 정리
• 테스트 현황 보고서처럼 테스트 계획에서 명시된 테스트 메트릭에 대한 측정치 기술

활동	작업	값
테스트 설계 및 구현	테스트 케이스 수
	테스트 절차 수
테스트 실행	실행된 테스트 케이스(테스트 절차) 수
	통과된 테스트 케이스(테스트 절차) 수
	실패 테스트 케이스(테스트 절차) 수
	요구사항 커버리지
	설계 커버리지
	코드 커버리지
결함 보고	검출 결함 수
	검출 결함 밀도
	상태별 결함 수

 

• 테스트 활동을 수행하는 데 얼마나 많은 노력을 투입했는지 기술

테스트 활동	투입 노력
테스트 계획
테스트 설계 및 구현
테스트 환경 구축 및 관리
테스트 실행
결함 보고
테스트 모니터링 및 제어
테스트 종료

 

 

결함 목록

• 테스트 활동으로 검출한 각 결함에 대한 최종 상태 요약
• 종료된 결함은 Closed로 표기하고, 이 외의 결함은 review, assigned, resolved, deferred로 기술

 

잔존 위험

• 테스팅이 종료될 때까지 적절하게 조치되지 않은 위험 나열
• 테스트 활동을 통해 완전하게 해소되지 않았거나, 새롭게 식별된 위험 나열

 

테스트 완료 평가

• 테스트 종료 보고서는 테스트 완료 여부에 대한 평가 결과 기록
• 테스트 완료 기준은 테스트 계획서에 명시된 각 기준 사용
• 테스트가 종료된 시점의 위험 상태도 테스트 완료 평가를 수행할 때 고려

 

테스트 산출물

• 테스트 활동을 수행하여 작성된 테스트 산출물 나열
• 각 테스트 산출물별로 명확한 이름과 최종 버전, 그리고 저장 위치 등을 명시

 

재사용 가능한 테스트 자산

• 테스트 산출물을 포함하여 추후 재사용 가능한 테스트 자산 나열
• 추후 공유되고 사용하도록 구체적으로 기술

 

교훈

• 테스트를 통해 얻은 교훈 나열
• 추후에 조직의 테스트 프로세스를 개선하는데 활용

---

개별 테스트 종료 보고서와 프로젝트 테스트 종료 보고서

• 수행된 개별 테스트마다 테스트 종료 보고서 작성
• 개별 테스트에 대한 테스트 종료 보고서를 바탕으로 프로젝트 수준의 테스트 종료 보고서 작성

• 테스트 종료 보고서는 테스트 결과에 대한 종합적인 평가를 담음
• 각 레벨 테스트 종료 보고서는 다음 레벨 테스트 실행을 시작할 준비가 되었는지 판단하는 데 이용

 

• 컴포넌트 테스트 계획서의 기준에 따라 충분히 테스트 되었는지 충분히 테스트 되지 않은 모듈 기록
• 통합 테스트를 실행할 준비가 되었는지 판단할 때 이용될 수 있음

 

• 통합 테스트 보고서는 시스템 테스트를 실행할 준비가 되었는지 판단할 때 이용
• 인수 테스트 보고서는 시스템이 출시될 준비가 되었는지 판단할 때 이용
• 인수 테스트 보고서에 기재된 테스트 완료 평가, 잔존 위험 등이 시스템 출시 여부에 영향을 미침

---

산출물 요약

---

• 테스트 현황 보고서
  보고 기간, 계획 대비 진척도. 테스트 방해 요인, 테스트 메트릭, 신규 및 변경 위험, 이후 테스트 계획
• 테스트 종료 보고서
  테스팅 요약, 계획 대비 차이점, 테스트 방해 요인, 테스트 메트릭, 결함 목록, 잔존 위험, 테스트 완료 평가. 테스트 산출물, 재사용 가능한 테스트 자산, 교훈