첫 앱을 내기 전 사용성 테스트는 5명 안팎으로 시작하고, 고친 뒤 다른 5명과 한 번 더 돌리는 게 효율적이에요. 닐슨 노먼 그룹(NN/g)의 글이 이 주장으로 유명해요. 이 글은 그 내용과 첫 앱 개발자가 바로 따라 할 수 있는 계획을 정리해요.
닐슨 노먼 그룹은 뭐라고 하나요
NN/g 글을 검색으로 확인한 내용이에요.
- 가장 좋은 결과는 작은 테스트를 예산이 허락하는 만큼 여러 번 돌릴 때 나와요.
- 곡선상 문제를 거의 다 찾으려면 약 15명이 필요해요.
- 그 15명을 한 번에 쓰기보다 5명씩 3번으로 나누고, 매번 디자인을 고치라고 권해요.
- 비용 대비 효과는 테스트 방식에 따라 3~5명 사이가 가장 좋다고 해요.
- 사용자 집단이 여럿이면 집단마다 3~4명을 권해요.
다른 글들은 이 바탕을 1993년 연구 모델로 설명하며 5명이 문제의 약 85%를 드러낸다고 소개해요. 다만 질문이 좋아야 하고, 숫자를 재는 정량 조사가 아니라 문제를 찾는 정성 테스트에 맞는 말이라는 주의도 붙어요.
첫 앱에는 왜 5명씩 3번일까요
처음 만든 앱은 만든 사람이 너무 익숙해서 막히는 곳을 못 봐요. 5명만 써봐도 같은 곳에서 여럿이 막히는 게 보여요. 그걸 고치고 나면 그 뒤에 숨어 있던 다음 문제가 나와요. 한 번에 많이 모으면 같은 문제를 여러 번 확인하는 데 인원을 써 버려요.
회차별 계획
| 회차 | 인원 | 보는 것 | 끝나면 |
|---|---|---|---|
| 1회차 | 5명 | 설치부터 핵심 기능 첫 사용까지 막힌 곳 | 같은 곳에서 막힌 순서대로 고쳐요 |
| 2회차 | 다른 5명 | 고친 곳이 풀렸는지, 새로 막힌 곳 | 남은 문제를 정리해요 |
| 3회차 | 다른 5명 | 첫 화면부터 끝까지 한 번에 | 출시 여부를 정해요 |
같은 사람이 두 번 쓰면 이미 익숙해서 문제를 못 봐요. 회차마다 새 사람을 쓰는 게 좋아요.
테스트에서 무엇을 물어볼까요
- 앱을 열고 처음 한 일은 무엇이었나요?
- 어디서 멈추거나 헷갈렸나요? (스크린샷으로 받으세요)
- 이 앱이 무엇을 하는 앱이라고 이해했나요?
- 다음에도 쓰고 싶은가요? 이유는요?
질문 예시는 베타 테스트 설문 질문 15개에 더 있어요. 받은 의견을 무엇부터 고칠지는 피드백 우선순위 정하는 법을 보세요.
5명은 어디서 모으나요
Oriber에서 모아요. 개발자용 화면에서 스토어 링크로 서비스를 등록(소유 확인)하고 캠페인을 열어요. 자리 수, 기간, 할 일, 혜택을 정하면 돼요. 5명 모집이면 자리를 5로 두면 돼요.
- 전 기능 무료이고 등록비·수수료가 없어요. Oriber는 돈을 받거나 보관하지 않아요.
- 혜택은 사례비(직접 정하고 직접 보내요), 유료 기능, 특별 혜택 중에서 정해요.
- 할 일은 질문 답변, 스크린샷, 짧은 글, 설문, 체크인으로 받아요. 외부 설문 도구 링크도 할 일로 넣을 수 있어요.
- 결과 화면에 추천 지수, 의견, 기능 사용률이 정리돼요.
Oriber에는 화상·전화 인터뷰 기능이 없어요. 말로 듣고 싶다면 기능 안이 아니라 참여자와 따로 약속해야 해요. 그리고 리뷰나 별점을 조건으로 거는 방법은 스토어 정책 위반이라 권하지 않아요. 정책은 앱 리뷰 이벤트 정리에 있어요.
Google Play 출시용 비공개 테스트(테스터 12명·14일)가 필요하다면 비공개 테스트 모집을 이용하세요.
한눈에 정리
- 처음엔 5명, 고친 뒤 새 5명으로 3번까지.
- 사용자 집단이 다르면 집단마다 3~4명.
- 5명은 문제를 찾는 용도예요. 비율 같은 숫자를 재는 조사에는 맞지 않아요.
- 질문은 좁고 구체적으로, 의견은 스크린샷과 함께 받아요.