[ROI - Chap.3] 플랫폼에 상관 없이 테스트 자동화 구축하는 방법

ROI(투자 대비 효과)를 꼭 확인하자.

테스트 자동화 도입 전 가장 먼저 검토되어야 하는 부분이 ROI(Return on Investment)입니다.

- ROI가 낮으면 당연히 테스트 자동화 도입은 하지 말아야 합니다.

- 현 상태를 분석했을 때 테스트 자동화를 도입하는 경우 ROI가 좋아진다면 도입을 위한 데이터를 만들어야 합니다.

- 테스트 자동화 도입에 비용이 들수도 있지만 비용 없이도 구축이 가능합니다.

- 비용과 관련해서도 ROI를 확실하게 어필하고, 설득해서 ROI가 높은 테스트 자동화를 구축하시길 바랍니다.

- 아래 내용은 ROI를 설명하기 위한 예시입니다. 참고만 하세요.

 

현재와 도입 이후 ROI 비교 이미지

현재와 도입 이후 ROI 비교

 

현재 분석

1. 최초 빌드를 전달받으면 2주 정도 모든 항목에 대해서 테스트를 진행합니다.

2. 두 번째 빌드부터는 일주일 정도의 시간이 주어지고, 필요에 따른 테스트 항목을 선택하게 되며, 우선순위에 따른 테스트를 진행하게됩니다.

• 기본 기능 Test Case를 진행할 수 있는 시간이 부족합니다.
• 현재는 우선순위가 높은 기능에 대해서만 필터링하여 확인하고 있습니다.

3. Bug Fixed 및 개선점 추가 등으로 Source가 변경되면 기존 잘 동작하던 기본 기능에 대한 Risk가 발생하게 됩니다.

4. 마지막에 전달받은 빌드는 당일 혹은 이 전날에 전달받기 때문에 현재 버전에서 발생한 이슈에 대한 Regression 테스트를 진행하기에 시간이 부족합니다.

5. 현재 버전 기준 Regression 테스트는 최소 1일이고, Version이 증가하고, 발생된 이슈의 양에 따라 공수는 점점 늘어나게 됩니다. (절대 줄어들지 않음)

6. 결론적으로 “소 잃고 외양간 고치기"보다는 하루빨리 테스트 자동화를 도입하고, 안정화를 확보해야 하는 부분이라 판단됩니다.

• 잦은 빌드 프로세스의 경우 테스트 자동화가 필요합니다.
• Source 변경 시 영향 범위가 넓거나 명확하게 가이드되지 않는 경우 테스트 자동화가 필요합니다.
• 기존 잘 되던 기능에 문제가 발생하면 신규 기능 문제 발생보다 더 심각한 신뢰도 타격을 받게 됩니다.

 

테스트 자동화 도입 후 ROI 측정하기.

1. 회귀(리그레이션) 테스트를 짧은 시간에 같은 범위를 반복 수행이 가능하게 됩니다.

2. 테스트 자동화 도입을 통해 확보된 시간에 탐색적 테스트를 더 많이 할 수 있게 됩니다.

3. 탐색적 테스트를 많이 해야 하는 이유는 이슈 발견율이 가장 높은 테스팅 기법이기 때문입니다.

- 탐색적 테스트에 대한 이유는 "[테스트 자동화] 목적 #5"에서 상세히 다루도록 하겠습니다.

 

 

Related Reference

How to Calculate SEO ROI - Results Driven Strategies | 1st on the List

테스트 자동화

요약 : 소프트웨어 테스트 자동화, 웹 ui 테스트 자동화, 게임 qa 자동화, 모바일 테스트 자동화