UX 리서치, 큰 숫자의 함정에 빠지지 않기

디자인 리서치도 다다익선입니다. 더 많은 사용자를 대상으로 사용성 테스트를 진행하고, 또 반복하고, 인터뷰와 서베이까지 함께 진행해서 충분하다고 안심할 만큼의 리서치를 진행한다면 분명히 놓치지 않는 부분이 있을 겁니다. 문제는 디자인 리서치를 진행하는 환경과 효율성입니다. 사용자 경험을 주제로 리서치를 하는 이유 중 본질은 ‘사용성’입니다. 사용성을 평가할 때 가장 중요한 원칙이 되는 3요소를 한번 짚고 넘어갈 필요가 있습니다.

국제표준화기구(International Organization for Standardization)에서

정의한 사용성 3요소

1. 효과성(System Effectiveness)
시스템이 사용자의 목적을 얼마나 충실히 달성하고 있는가?

2. 효율성(System Efficiency)
사용자가 과업을 달성하기 위해 투입한 자원과 효과 사이의 관계는 얼마나 적절한가?

3. 만족도(System Satisfaciton)
사용자가 시스템을 사용하면서 기대했던 것에 비해 얼마나 만족했는가?

디자인 리서치는 사용성의 두 번째 요소와 마찬가지로 효율성을 담보해야 합니다. 가장 적절한 방법으로 제한된 일정 안에 리서치를 통해 가설을 검증해야 하기 때문이죠. 다다익선은 제한된 일정 안에서 가장 효과적인 리서치 방법을 수행하면서 고려해야 할 부차적인 속성입니다. 

극단적인 경우지만 다다익선의 효과는 ‘질문의 정확도’로 완전히 뒤집힐 수 있습니다. 대부분의 경우 1,000명을 대상으로 한 서베이 결과를 5명을 대상으로 한 사용성 테스트보다 더 신뢰합니다. 거꾸로 10명을 대상으로 한 서베이 결과에 대해서는 견고하지 않다고 생각하는 경우가 많죠. 핵심은 ‘질문’입니다.

“한 사람에게 적절한 질문을 던지는 것이 만 명에게 잘못된 질문을 하는 것보다 더 낫다”
– Caroline Jarrett, 『Forms that Work: Designing Web Forms for Usability』저자

온라인 서베이에서 오차가 발생하는 4가지 요인

1. 잘못된 질문을 부족한 보기로 묻습니다

올바른 질문을 던져야 답을 구할 수 있습니다. 질문을 잘 던지려면 서베이의 목적을 한정해야 합니다. 이것도 알아보고 싶고, 저것도 이번 기회에 알아보고 싶은 욕심이 스멀스멀 올라오더라도 그중 한 가지만 집요하게 물어야 합니다. 무엇을 물어볼지 정했다면, 적절한 보기를 나열하고 그중에 한 가지를 고르도록 객관식 선택형 문항을 설계할 수 있는데요. 이때 주의할 점은 ‘기타’ 또는 ‘해당 없음’ 보기를 추가하는 겁니다. 보기 중에 자신에게 해당하는 항목이 없는 경우 응답자는 설문의 완성도가 떨어진다고 생각하거나 자신이 응답하기에 적절하지 않다고 느껴서 이탈할 수 있습니다.

2. 표본 오차를 고려해서 표본을 추출하지 않습니다

표본 오차는 보통 신뢰도 95%에 표본 오차 2.35%와 같이 설명할 때 사용하는 개념입니다. 표본 오차가 발생하는 근본적인 이유는 샘플링에 있습니다. 전체 집단 중에서 일정 비율의 사람들을 ‘선택’하고 그들의 견해를 물은 뒤 그 답이 전체 집단을 대표하는 것을 희망하는 건데요. 예컨대, 100만 명의 사용자가 있을 때 소프트웨어를 구매하고 완전히 소유하는 방식이 아니라 통신요금처럼 매월 구독하는 방식으로 지불하는 변화에 대해 의견을 묻고자 합니다. 100만 명에게 모두 묻는다면 좋겠지만 현실적으로 너무 오랜 시간과 비용이 들기 때문에 ‘표본’을 활용합니다.

5% 오차 범위에서는 384명의 표본만 확보하면 되기 때문에 많은 경우 500명 내외의 사용자를 대상으로 설문 조사를 진행하죠. 만약 설문 결과에서 표본의 70%가 소프트웨어 구독 방식보다는 현재와 같은 완전 소유 방식을 선호한다고 나왔다면 실제 수치는 약 65%에서 75% 사이라고 확신할 수 있습니다. 만약, 표본의 크기를 1,066명까지 키운다면 오차 범위는 3%가 됩니다. 2배 이상의 표본을 확보해야만 오차를 2% 줄일 수 있죠. 단, 이 오차 범위는 표본이 임의로 추출된 경우에만 유효할 수 있습니다. 즉, 표본을 추출하는 방식에 따라 오차 범위는 달라질 수 있습니다. 예를 들어, 100만 명 중에 1,000번째마다 한 명씩 표본으로 추출할 수 있습니다.

3. 포함 오차

포함 오차는 어떤 방식으로 설문을 전달하느냐와 관련이 있습니다. 예를 들어 스마트폰으로만 설문에 참여할 수 있는 경우라면, 스마트폰을 사용하지 않는 응답자는 표본에서 제외될 수밖에 없습니다. 최근 대선 후보 지지율이나 정당 선호, 양자 대결 등에 대해 묻는 조사들이 ARS 전화를 통해 진행되는 경우가 많은데요. 070 번호나 모르는 번호를 받지 않는 사람, 집 전화가 없는 사람은 제외될 가능성이 높기 때문에 샘플링 자체가 임의로 이루어지지 않을 수 있습니다. 온라인 서베이의 경우 같은 맥락에서 인터넷 접속 시간이 상대적으로 적거나 환경적 제약이 있는 노숙자, 장애인, 노약자, 하위 사회경제 계층 등 디지털 약자들의 목소리를 충분히 담아내기 어렵습니다.

홈페이지에 방문하는 활성 사용자를 대상으로 온라인 서베이를 진행하더라도 포함 오차는 여전히 발생할 수 있습니다. 보통 웹사이트에서는 동일한 사용자가 반복적으로 온라인 서베이에 초대를 받는 것을 예방하기 위해 서베이 안내를 할 때마다 쿠키(웹사이트에 접속할 때 생성되는 정보를 담은 임시파일로 재접속할 때 페이지 로딩 시간을 줄여준다)를 함께 제공합니다. 호텔 예약 사이트에 상대적으로 자주 접속하는 사람들은 여행, 출장이 잦거나 여가를 즐기는 경우가 많을 겁니다. 이런 사용자들은 이미 쿠키를 제공받았기 때문에 표본에서 제외될 가능성이 많고 대조적으로 처음 웹사이트를 이용하는 사용자 그룹이 모두 표본에 포함될 수 있습니다. 이런 오차를 예상하고 리서처는 다음과 같은 질문으로 스크리닝 할 수 있습니다. “귀하께서는 지난 1년 동안 호텔에서 얼마나 자주 숙박을 하셨습니까?”

4. 무응답 오차

온라인 서베이의 함정은 응답률에 기인합니다. 100만 명의 표본 크기를 얻고 온라인 서베이를 돌리면 응답률은 1% 미만인 경우가 많습니다. 즉, 100만 명 중에서 99만 명은 무응답자이고 여기에서 무응답 오차가 발생합니다. 심각한 편향이 발생할 여지가 있죠. 무응답 오차는 인터넷에 익숙한 사람들이 처음 사용하는 사람들에 비해 서베이에 참여하지 않는 경우가 많이 발생하기 때문에 나타날 수 있습니다. 많은 사이트에서는 서베이 참여를 독려하기 위해서 팝업으로 서베이를 보여주면서 사용자 경험을 의도적으로 방해합니다. 이때, 처음 인터넷을 사용하는 사람이라면 온라인 서베이나 회원가입 동의 항목에서 선택 정보를 반드시 입력해야만 다음 단계로 넘어갈 수 있다고 생각하는 경향이 더 강하게 나타납니다. 여러 플랫폼에서 많은 온라인 서베이를 반복적으로 확인한 사용자는 온라인 서베이를 회피하는 방법을 학습했기 때문에 표본에 포함되지 않을 가능성이 더 높습니다.

숫자의 함정에 빠지지 않는 방법 3가지

1. 무작위로 표본을 만들고 응답률을 70%까지 높이는 것을 목표로 합니다.

표본은 현재 서비스를 사용하는 집단에서 1,500명 정도면 충분합니다. 핵심은 1,500명을 반드시 무작위로 선택하는 겁니다. 이중 70%가 응답하도록 응답률을 높이는데 집중합니다. 팝업 서베이의 경우 응답률이 0.1%에 불과할 수 있으므로 문자, 전화, 이메일, 공지사항 등 가능한 도달 방법을 모두 활용하되 참여를 유도할 수 있는 사례를 제공하고 문항은 답변이 수월하도록 3분 이내에 완료할 수 있게 설계하는 것이 좋습니다. 70%의 표본으로부터 응답을 받는다면 100만 사용자 그룹의 3% 표본 오차로 확보할 수 있습니다.

2. 모집단의 모든 사용자가 동일하게 참여할 수 있도록 설계합니다.

홈페이지 팝업 서베이는 사용자가 팝업을 차단하는 확장 프로그램을 사용하거나, 이미 과거 설문에 참여해서 설문 참여 대상에서 제외하는 쿠키를 수집한 경우 무응답 오차를 만들 수 있습니다. 우편, 문자, 전화, 이메일, 공지사항, 카카오톡 플러스친구까지 다양한 채널을 통해 모든 사용자에게 도달할 수 있는 방법으로 참여 가능성을 높입니다.

3. 무응답 오차를 줄이기 위해 참여도를 높이기 위한 방법을 고려합니다.

• 설문 목적과 설문 결과의 활용방안에 대해서 쉽고 명확하게 전달합니다
• 설문 참여자에게 적절한 보상을 제공합니다
• 가능한 질문의 숫자를 줄이고 쉽게 답변할 수 있도록 설계합니다
• “이미 70% 사용자가 응답했습니다”와 같은 사회적 증거, “저희 서비스가 도움이 될 수 있도록 노력하고 있습니다. 의견을 들려주시면 감사하겠습니다”와 같은 소통, “의견을 말씀할 수 있는 시간이 3일밖에 남지 않았습니다!”와 같은 희소성을 강조하는 것도 필요합니다.

큰 숫자의 함정에 빠지지 않으려면 온라인 서베이를 명쾌하게 설계하고 뾰족하게 만들어야 합니다. 애매한 단어나 표현을 사용하지 않도록 하고 ‘기타’ 응답이 필요한 문항인지, 서술형 문항을 더 줄일 수 없는지 점검해야 하죠. 다음으로는 설문에 응답할 표본을 임의로 추출해서 집단 속성에 편향이 생기지 않도록 함으로써 대표성을 확보합니다. 가능하다면 1,500명의 표본을 추출하고 응답률을 70%까지 높이는 것이 100만 명 이상이 사용하는 서비스에서 무응답 오차를 줄일 수 있는 방법입니다. 마지막으로, 정량 조사의 한계를 명확히 받아들이고 정성 조사를 결합하여 리서치 결과를 교차 분석합니다. 정량 조사는 사용자가 “무엇을 하는지” 파악할 수 있지만, “왜 그렇게 하는지”에 대해서는 알아차릴 수 없습니다. 오차를 보정하는 마지막 방법은 정성 조사입니다.

<참고 자료>

참고도서: 『THINK LIKE A UX RESEARCHER』

사진: ©Unsplash