[TMMi] 레벨.2 기준 페어와이즈 테스팅 기법에 대해서 알아보자

테스트 설계 명세 가이드 : 페어와이즈 테스팅 기법(2)#5

표준 테스트 설계 명세 가이드에 대해서 알아보도록 하겠습니다.

많은 설계 기법을 다루어야 하기 때문에 8 파트로 나누어서 작성을 하도록 하겠습니다.

 

정책/전략/가이드의 문서 번호는 410번이며, 이 전 글을 참고하시기 바랍니다.

[TMMi : Level 2] 프레임워크 및 문서 양식 #1

 

개정 이력

{고객사명}	SW 정책/전략/가이드		작성자
	테스트 설계 명세 가이드		검토자
			승인자

 

<관련 부서 합의>

부서	이름	Comment	일자

<문서 제/개정 이력>

번호	제/개정 일자	제/개정 내용	문서 버전	개정자	승인자

 

1. 개요

1) 목적 

📌 본 문서는 테스트 설계 기법 적용방법의 가이드를 목적으로 한다.
📌 실제 프로젝트 산출물을 테스트 베이시스로 하여 테스트 케이스 설계 기법 적용 과정을 예시로 들어 설명한다.
📌 각 기법에 대한 기본적인 내용은 SW테스팅 관련 서적 또는 교육교재 등을 참조하기 바란다.

2) 적용범위

📌 본 가이드는 ABC사(이하 ‘당사’ 라 함)의 SW 테스팅을 수행하기 위한 모든 설계시 적용한다.

3) 참고 문서

📌 개발자도 알아야 할 소프트웨어 테스팅 3판

📌 ISTQB Syllabus Test Analysit

[v.2011-KOR] ISTQB CTFL 실라버스 요약 : 테스트 설계 기법 - Chapter 4

4) 문서 관리 담당자

📌 본 문서의 관리 담당자는 아래와 같음

역할	담당부서	담당자	내용
문서 책임자	OOO	OOO	본 문서 생성 및 수정 권한 부여
문서 검토자	OOO	OOO, OOO	작성 완료된 본 문서에 대하여 검토하고 의견 개진
문서 승인자	OOO	OOO	본 문서의 베이스라인을 승인하고 배포 허가

 

2. 테스트케이스 설계 기법 예시

👀 각 기법 별로 본 문서를 참고한다.

• 동등 분할 및 경계값 분석 기법
• 페어와이즈 테스팅 > 이번에 다룰 내용
• 결정 테이블 테스팅
• 상태 전이 테스팅
• 기본경로 테스팅
• 제어 흐름 테스팅
• 최소 비교 테스팅
• 유스케이스 테스팅

3. 테스트케이스 설계 명세서 작성 가이드(기존 동일)

1) 절차

선행 작업	리스크 분석 및 레벨별 테스트 설계 전략 수립
명세 절차	리스크 아이템 분석서 참조 리스크 아이템 별 테스트 컨디션 도출(기법을 적용, 테스트케이스 설계 기법 예시 참조) 각 테스트 레벨의 설계 전략에 맞는 템플릿 선정(기능 베이스, 시나리오 베이스) 테스트 스위트 작성(케이스 및 프로시저)
후행 작업	테스트 실행 및 로그 생성 테스트 결과 분석

2) 역할과 책임

테스트 매니저(또는 리더)	"테스트 설계 가이드"의 유지 관리, 수정 및 배포에 대한 책임이 있다.
테스트 엔지니어	"테스트 설계 가이드"를 기반으로 테스트 케이스 도출 시 참조하여 개발한다.

3) 표준 템플릿

👀 ABC사 테스트 설계 명세서 템플릿. xlsx

 

4. 페어와이즈 테스팅

1) 기법 적용 절차

① 테스트 베이시스를 분석하여 입력 파라미터를 식별한다.
② 각 입력 파라미터의 값을 식별한다.
③ 오픈 소스 도구인 Allpairs를 사용하여 페어와이즈 조합을 도출한다.
④ 엑셀 시트에서 입력 데이터를 작성하여 in.txt에 붙여넣기 한다.
⑤ 실행창 cmd -> "allpairs in.txt > out.txt" 수행
⑥ 실행 결과 작성된 out.txt의 결과를 확인한다. 가독성을 높이기 위해 엑셀에 결과를 붙여넣고 확인한다.

2) 테스트 베이시스

👀 Worklist 검색 기능

Worklist 검색 기능 예시

👀 테스트 베이시스는 요구사항을 포함하는 모든 문서를 얘기한다. 자세한 용어의 뜻은 아래 링크를 확인 바랍니다.

[v.2018-KOR(ㄱ ~ ㅅ)] Standard Glossary of Terms used in Software Testing Version 3.2

[v.2018-KOR(ㅇ ~ ㅎ)] Standard Glossary of Terms used in Software Testing Version 3.2

3) 기법 적용

📌 입력 파라미터와 데이터 식별

✔ 테스트 베이시스를 분석하여 입력 파라미터와 각 파라미터의 데이터 값을 식별한다.
✔ 데이터 값에서 Valid는 검색 결과가 있는 데이터, Invalid는 검색 결과가 없는 데이터를 의미한다.

입력 파라메터 데이터 식별

📌 Allpairs 도구 적용 결과

✔ BodyPart Value 값의 종류가 많아 전체적으로 페어와이즈 조합의 숫자가 많아졌다.
✔ 아래 조합의 숫자는 pairings 숫자를 기준으로 줄일 수 있다.

Allpairs 예시

📌 테스트 케이스 작성

No	ID	Main	Sub	Title	Pre Condition	Step	Test Data	Expect Result
1	TC_01	검색 페이지	Worklist 검색기능	Worklist 검색조건별 검색기능 확인	'- 브라우저에 정상적으로 화면이 보임 - 로그인이 되어 있어야 함	1. 검색 페이지 선택 2. 검색 조건 입력 3. "Search"버튼을 클릭하여 검색 수행	(FairWise 생성 데이터를 조건 별 입력 데이터로 적는다.)	검색 조건에 따른 검색결과가 출력되면 정상

 

📌 적용 유의 사항

① Allpairs 도구 다운로드: http://www.satisfice.com/tools.shtml (ALLPAIRS Test Case Generation Tool)
② 전체 풀 조합 적용 시 입력 데이터의 숫자가 많을 경우 의미 있게 입력 데이터의 조합을 줄여주는 방법이다.
③ 입력 파라미터가 3개 이상일 경우 적용한다. (입력 파라미터가 2개일 경우에는 풀 조합의 경우와 결과가 같다.)
④ 페어와이즈 조합을 적용하였어도 테스트를 수행하기에 데이터 조합 결과가 여전히 많다고 판단될 경우 Pairing 숫자를 기준으로 기준점 이상의 조합만 선택할 수 있다.
⑤ 입력 데이터 선택 시 의미 있는 데이터가 선택되어야 테스트 효과성을 높일 수 있으며, 페어와이즈 적용 결과를 검토하여 경험 기반의 의미 있는 테스트 조합을 추가할 것을 권장한다.
⑥ 입력 데이터의 앞에 "~"가 표시된 데이터는 페어와이즈 커버리지가 이미 확보되었으므로 다른 데이터로 대치해도 좋다는 의미이다.

 

Related References

Pairwise Testing or All-Pairs Testing Tutorial with Tools and Examples

Pairwise Testing

Pairwise Testing - Tutorialspoint

What Is Pairwise Testing And How To Use It For Cost-Effective QA

Real life examples of how to use pairwise technique in test design – ISS Art Blog | AI | Machine Learning | Computer Vision

- PDF(1) : www.testingeducation.org/wtst5/PairwisePNSQC2004.pdf

- PDF(2) : www.testingeducation.org/BBST/testdesign/Czerwonka_PairwiseTesting.pdf

 

TMMi

요약 : iso 표준, 국제 표준 iso, 국내 표준, 표준, istqb, kstqb, 웹 qa, 모바일 qa, 앱 qa, test web, tmmi, cmmi