[TMMi] 레벨.2 기준 테스트 설계 및 실행 절차서에 대해서 알아보자

테스트 프로세스(400) - 테스트 설계 및 실행 절차서 #4

표준 테스트 설계 및 실행 절차서에 대해서 알아보도록 하겠습니다.

테스트 프로세스의 문서 번호는 400번이며, 이 전 글을 참고하시기 바랍니다.

[TMMi : Level 2] 프레임워크 및 문서 양식 #1

🤔 테스트 설계란? "무엇을 어떻게 확인해야 하는가?", "기대 결과는 어떡해야 하는가?"를 확인해서 확정하는 과정을 테스트를 설계하는 것이라고 할 수 있습니다.

 

테스트 설계를 하는 이유는 아래와 같습니다.

📌 누가 하더라도 동일하게 테스트가 실행될 수 있도록 하기 위함.

📌누가 하더라도 동일한 결과를 얻을 수 있도록 하기 위함.

📌누가 하더라도 결과가 동일한 기준으로 판단할 수 있도록 하기 위함.

 

결과적으로 누가 어떤 대상에 대해 테스트를 하더라도 객관적으로 판단할 수 있도록 하기 위함입니다.

 

소프트웨어 테스트에 대한 목표와 임무에 대해서는 아래 링크에서 확인 바랍니다.

소프트웨어 테스팅이란 무엇이며, 테스팅의 목표와 임무는 무엇인가요?

🤔 테스트 설계 순서

1) 테스트 조건 식별

✔ 식별해야 하는 모든 기능과 동작을 설계서(요구사항, 시나리오, 기능 명세서 등)에서 추출하고, 그 기능과 동작 확인해 필요한 관점을 설정해야 합니다.

 

2) 조건 분기와 패턴 추출

✔ 조건을 좌우하는 요인 즉, "인자"와 인자 별 설정 단계(취할 값) = "레벨"로 식별하고 인자와 레벨을 조합하여 패턴을 만드는 것입니다. 산출물로는 "결정 테이블"을 작성합니다.

✔ 실제 현업에서는 이러한 조건뿐만 아니라 테스트 데이터나 베이시스를 도출하기 위한 테스트 환경 검토나 여러 가지 산출물들에 대한 검토도 이루어집니다.

 

👌 여기서는 소프트웨어 테스팅에 대한 전문 지식이 좀 필요합니다. 조건 분기와 결정 테이블, 테스트 데이터, 베이시스 대해서 간단하게 용어 설명으로 이해해 두시길 바랍니다.

[v.2018-KOR(ㄱ ~ ㅅ)] Standard Glossary of Terms used in Software Testing Version 3.2

[v.2018-KOR(ㅇ ~ ㅎ)] Standard Glossary of Terms used in Software Testing Version 3.2

자세한 테스팅 이론과 실무에 대한 얘기들은 팀블로그를 통해 공유하려고 계획 중에 있습니다.

[팀블로그] 소프트웨어 테스팅 참고서

 

개정 이력

{고객사명}	SW 테스트 프로세스		작성자
	전사 표준 테스트 설계 및 실행 절차서		검토자
			승인자

 

<관련 부서 합의>

부서	이름	Comment	일자

<문서 제/개정 이력>

번호	제/개정 일자	제/개정 내용	문서 버전	개정자	승인자

 

1. 개요

1) 목적 

📌본 절차서의 목적은 ABC사의 테스트 설계와 수행 활동 기준을 마련하고, 이를 기반으로 동적 테스트 활동을 체계적으로 수행하기 위함이다.

2) 적용범위

📌본 절차서는 ABC(이하 ‘당사’라 함)에서 수행하는 모든 SW 제품의 테스트 설계 및 실행 절차를 정의한 것으로 SW 테스트 설계, 테스트 환경 구성, 테스트 수행, SW 결함 보고 활동 시 적용한다.

3) 참고 문서

📌 ISO/IEC 29119-2 Software testing Standard Part2

ISO/IEC 29119

📌 TMMi Framework Release 1.0

TMMi(Test Maturity Model integration)

4) 문서 관리 담당자

📌 본 문서의 관리 담당자는 아래와 같음

역할	담당부서	담당자	내용
문서 책임자	OOO	OOO	본 문서 생성 및 수정 권한 부여
문서 검토자	OOO	OOO, OOO	작성 완료된 본 문서에 대하여 검토하고 의견 개진
문서 승인자	OOO	OOO	본 문서의 베이스라인을 승인하고 배포 허가

 

2. 상세 내용

1) 프로세스 흐름도

프로젝트 레벨 테스트 프로세스

테스트 설계 및 실행

2) 세부 수행 절차

👀 절차 목록

ID	절차 명	정의
2.2.1.1	테스트 컨디션 도출	✔ 테스트 베이시스를 분석한다. 테스트 할 기능들을 기능 셋으로 결합한다. ✔ 하나의 기능 셋은 다른 기능 셋과는 독립적으로 테스트한다. ✔ 기능 셋의 테스팅은 "리스크 식별 및 분석"에서 정의된 리스크 레벨에 따라 우선순위를 결정한다. 각 기능에 대한 테스트 컨디션을 결정한다. ✔ 테스트 컨디션을 테스트 설계 명세서에 문서화한다. ✔ 테스트 베이시스, 기능 셋 그리고 테스트 컨디션 사이의 추적성을 명시적으로 기술한다.
2.2.1.2	테스트 케이스 및 프로세저 도출	✔ 하나 또는 하나 이상의 테스트 케이스를 사전 조건, 입력 값 선택, 그리고 필요한 경우, 선택된 테스트 커버리지 항목, 그리고 상응하는 기대 결과값을 결정함으로써 도출한다. ✔  테스트 케이스를 테스트 케이스 명세서에 문서화한다. ✔ 테스트 프로시저는 사전 조건과 사후 조건 그리고 대응해야 할 리스크 같은 다른 테스팅 요구사항에서 기술된 종속성에 따라 테스트 셋 내의 테스트 케이스의 순서에 따라 도출되어야 된다. ✔ 테스트 프로시저가 도구를 이용하여 수행되는 경우라면, 자동화된 테스트 스크립트 작성을 위한 상세 설명을 추가한다. ✔ 테스트 프로시저(테스트 순서)를 테스트 설계 명세서에 문서화한다.
2.2.1.3	사전 테스트	✔ 테스트 대상에 대한 테스트 실행 준비가 완료 되었는지 검증 하기 위한 최소한의 체크리스트를 개발한다. ✔ 테스트 대상에 대한 테스트 실행 준비 완료 체크리스트를 검증한다.
2.2.1.4	테스트 프로시저 실행 및 로그 기록	✔ 준비된 테스트 환경에서 하나 또는 하나 이상의 테스트 프로시저가 수행된다. 테스트 프로시저는 스크립트로 작성되거나 테스트 명세서에 기록되거나, 또는 탐색적 테스팅의 경우처럼 설계 되는 즉시로 수행될 수 있다. ✔ 테스트 프로시저의 각 테스트 케이스에 대한 테스트 성과 (실제 결과와 테스트 환경에 대한 영향을 포함하는)는 테스트 도구에 기록되거나 또는 테스트 케이스 명세서에 수동으로 기록되어야 한다. ✔ 탐색적 테스팅의 경우 성과는 공식적으로 기록되지 않을 수 있다. 테스트 프로시저의 각 테스트 케이스의 실제 결과와 기대 결과는 비교되어야 한다.  기대 결과는 테스트 명세서에 기술되어 있거나, 또는 탐색적 테스팅의 경우처럼 문서화되어 있지 않을 수 있다. ✔ 테스트 프로시저의 테스트 케이스 수행 결과는 판단되어야 하며, 실패 또는 의도하지 않은 변경으로 야기된 이슈(잠재적 인시던트)는 "테스트 인시던트 리포팅 프로세스"로 넘겨진다. 만약 재테스트가 통과되면, "테스트 인시던트 리포팅 프로세스"에 의해 인시던트 리포트의 업데이트가 필요하다. ✔ 만약 테스트 계획대로 수행한 내역에 대해서는 테스트 수행 로그를 작성되어야 한다.

 

3) 산출물 목록

ID	절차 명	Input 산출물	Output 산출물	수행자
2.2.1.1	테스트 컨디션 도출	✔ 테스트 베이시스 ✔ 테스트 계획서 ✔ 테스트 설계 및 실행 절차서 ✔ 테스트 설계 가이드	테스트 설계 명세서	테스트 설계 담당자
2.2.1.2	테스트 케이스 및 프로세저 도출
2.2.1.3	사전 테스트		사전 테스트 체크리스트 사전 테스트 로그	테스트 실행 담당자
2.2.1.4	테스트 프로시저 실행 및 로그 기록		테스트 수행 로그 (수행로그는 설계 명세서의 테스트 기록을 통해 대신할 수 있다.)	테스트 실행 담당자

 

4) 책임과 권한

책임자	책임과 권한
상위 관리자	✔ 주요 이슈사항 발생 시 의사 결정 ✔ 주요 절차 변경 시 승인
테스트 매니저	✔ 테스트 설계 절차서의 유지 관리, 수정 및 배포에 대한 책임 ✔ 테스트 설계 절차서의 적용 결과로 나오는 산출물에 대한 검토 및 승인의 권한
테스트 리더	✔ 테스트 리더는 테스트 실행 시 본 절차서를 참조하여 테스트 관리활동을 수행한다. ✔ 테스트 리더는 테스트 실행활동에 대해 테스트 매니저에게 보고할 책임이 있다.
테스트 엔지니어	✔ 테스트 엔지니어는 테스트 활동에 대해 테스트 리더에게 보고할 책임이 있다.

 

3. 품질관리

1) 관련 교육

• 프로세스 재/개정 시 관련자에게 배포와 동시 교육 실시
• 신규 입사자 OJT 교육
• 테스트 설계 기법
• TMMi

2) 형상 관리

• 문서 명
  • 테스트 설계 및 실행 절차서
  • 테스트 설계 가이드
  • 테스트 설계 명세서 템플릿
  • 테스트 실행 사전 테스트 체크리스트 템플릿
• 리파지토리
  • 관련 파일 서버 디렉터리 및 형상관리 방안 참고

3) 모니터링 및 제어

📌 모니터링 항목 : 테스트 현황/종료 보고 절차 준수 여부 체크 리스트

📌 모니터링 주기 : 분기 별 1회(조직의 정책을 따름)

📌 모니터링 담당자 : 품질보증 담당자

 

 

Related References

3 Test Design Techniques and When to Use Them | TestRail Quality Hub

What is Test Design? When to create Test Design?

 

TMMi

요약 : iso 표준, 국제 표준 iso, 국내 표준, 표준, istqb, kstqb, 웹 qa, 모바일 qa, 앱 qa, test web, tmmi, cmmi