온라인 설문조사를 완성하는 10가지 방법

설문조사를 하는 이유는 무엇일까요? 경쟁이 치열할수록 기업이 제품을 변경하는 주기는 짧아지고, 미리 시장 수요를 예측해야 경쟁에서 우위를 점할 수 있습니다. 누가 우리 제품을 사용하는지 알고, 그들이 원하는 것이 무엇인지, 자사 제품에서 부족하다고 생각하는 것은 무엇인지 알아차리고 싶은 거죠. 이때 정량조사가 필요하고 가장 많이 활용하는 방법이 온라인 설문조사입니다. 설문조사는 비용이 저렴하고 잠재적으로 많은 사람을 대상으로 조사를 할 수 있기 때문에 UX 리서치에서 가장 많이 사용하는 방법입니다. 이번 편에서는 온라인 설문조사를 완성하는 10가지 단계를 주의사항과 함께 소개합니다.

GIGO(Garbage In Garbage Out)

GIGO(Garbage In and Garbage Out)는 데이터 사이언티스트뿐만 아니라 리서치에도 유효한 교훈입니다. 무의미한 데이터를 수집하면, 무의미한 해석만 남기 때문이죠. 온라인 설문조사를 할 때 가장 중요한 건 초기에 설문을 기획하는 단계입니다. 어떤 문제의식을 갖고 있고 어떤 배경에서 리서치를 시작하는 것인지 충분히 고민해서 표본과 질문을 정해야 합니다. 현업에서 일을 할 때에는 항상 시간에 쫓기고 빨리 결과를 내놓으라는 무언의 압박에 시달리기 때문에 경험칙에 기대서 바로 질문을 설계하고 설문을 배포하는 오류에 빠지기 쉽습니다. GIGO. 처음부터 미숙하면 리서치 결과는 무의미해집니다.

STEP 1. 온라인 설문 기획하기(1~3단계)

1) 가설부터 정의하기

모든 리서치에서 기본이 되는 건 가설입니다. 사막에서 동이 트기 전에 북쪽으로 가야 하는데 어떤 장비도 없다고 생각해보세요. 북극성을 나침반 삼아 쫓아갈 겁니다. 리서치를 하다 보면 부표가 없는 바다 위에서 항해를 하는 기분이 들 텐데, 이때 바람이나 파도의 방향에 휩쓸리지 않고 목적지에 이를 수 있도록 하는 흔들리지 않는 명확한 가설이 필요합니다. 눈을 감고 다트를 던져서 과녁에 맞추려고 계속 다트를 던지는 건 시간과 에너지를 낭비할 뿐이죠. 눈앞에 과녁을 두고 시작해야 합니다.

2) 정성조사부터 시작하기

정량조사와 정성조사는 물과 기름이라기보다 산소와 질소의 관계와 비슷합니다. 두 가지가 섞이지 못하는 것이 아니라 적절한 비율로 섞일 때 공기로 숨을 쉬게 해주는 거죠. 산소 비율이 높아지면 사람은 산소중독에 걸려 경련, 멀미, 호흡곤란, 발작을 일으킬 수 있고 식물은 살기 어렵습니다. 상처 난 풀이나 잎, 외부에 내놓은 음식도 훨씬 빠르게 썩어버릴 테죠. 공기 중에 적당한 질소가 있어야 숨을 잘 쉴 수 있습니다.

정성조사를 먼저 진행하면 온라인 설문조사를 통해 무엇을 더 알아봐야 하는지 파악할 수 있습니다. 정성조사는 과학자가 갖는 호기심을 무기로 현상을 분석하기 때문에 “왜 그럴까?”라는 질문에 답을 찾을 수 있고 정량조사는 통계적 대표성을 담보할 수 있기 때문에 “어떻게 했을까?”, “어디서 했을까?”, “언제 했을까?”에 대한 답을 구할 수 있습니다. 정성조사를 통해 “왜?”라는 질문부터 시작하면 온라인 설문조사에서 물어야 할 질문, 보기로 제시해야 하는 선택지를 정의할 수 있습니다. 좋은 질문과 보기를 구성한 온라인 설문조사는 응답률이 높습니다.

3) 설문조사의 유효성과 한계점을 명확히 인지하기

설문조사는 통계적으로 유의미한 데이터(약 1,000개의 답변이 필요)를 수집할 수 있다는 점에서 강점이 있습니다. 디자이너는 리서치 결과를 반영한 산출물을 설득할 때 종종 이런 질문을 받기 때문입니다. “그게 모든 사용자 목소리를 대표한다고 말할 수 있나요?” 모든 사용자를 대표하는 리서치는 현실적으로 불가능하지만, 핵심 사용자나 충성고객의 목소리를 대표할 수 있는 리서치는 설문조사를 통해 뒷받침할 수 있습니다. 단, 설문 응답자는 과거의 행동을 정확하게 기억해내지 못할 것이기 때문에 과거에 했던 행동보다는 감정을 기억하고 감정에 따라 응답을 한다는 점을 기억해야 합니다. 즉, 설문조사 결과가 실제 고객이 했던 행동을 사실 그래도 전달할 수 있다고 판단해서는 안 됩니다. 이를 보완하기 위해서는 고객이 서비스를 이용하면서 쌓은 데이터를 분석해서 대조해야만 하죠. 기본적으로 아래 5가지 데이터를 분석해볼 수 있습니다.

[온라인 설문조사 후 검증할 필요가 있는 다섯 가지 데이터]

• 접속 시간
• 접속 횟수
• 체류 시간
• 구매 전환율
• 핵심 CTA 버튼 클릭률

STEP 2. 온라인 설문 설계하기(4~9단계)

설문도 디자인해야 합니다. 설문을 배포한 후 응답이 시작되면, 문항 수정이 어렵습니다. 마치 책을 한 권 낸다는 심정으로 질문과 보기, 문항 답변에 따라 후속 문항이 달라지는 구조에 대해서 꼼꼼히 확인해야만 합니다. 온라인 설문을 설계할 때 실수하기 쉬운 몇 가지를 짚고 체크리스트를 통해 현업에서 사용할 수 있는 팁을 공유합니다.

4) 가장 간결한 방식을 선택하세요

온라인 설문조사는 가장 쉬운 단어로 써야 합니다. 초등학교 5, 6학년이면 이해할 수 있는 단어를 사용하는 것이 효과적입니다. 전문용어 사용을 피해서 설문 문항이나 보기를 이해하는데 거리낌이 없어야 합니다. 설문 문항을 읽는데 모르는 단어가 있다면, 이 단어를 보는 순간 설문을 더 진행하고 싶지 않을 것이고 행여 그 단어를 찾기 위해서 검색창을 열었다고 하더라도 그 단어의 뜻을 알고 난 후 온라인 설문으로 다시 돌아오지 않을 수 있기 때문입니다. 설문조사에 사용하는 모든 표현은 쉽게, 문항은 최소한의 숫자만 구성하는 것이 설문에 효과적입니다.

5) 다른 보기에 양보하세요

선택은 언제나 어려운 문제입니다. 어떤 선택을 해야 하는데 만약 반씩 섞어서 할 수 있다면 어떻게 하시겠어요? 짜장면과 짬뽕, 양념치킨과 후라이드, 설탕을 묻힌 꽈배기와 묻히지 않은 꽈배기, SUV와 세단 등 우리는 많은 선택에서 하이브리드라는 중간 옵션을 택하려고 합니다. 설문조사도 마찬가지입니다. 질문을 하고 보기를 제시할 때, 모호하지 않게 확실히 구분해야만 합니다. 상호 배타적인 보기만 사용하세요.

6) 한 번에 한 가지만 물으세요

손님에게 식사를 대접하고 “음식은 짜지 않았어요? 양은 충분했어요?”라고 물었을 때 “네, 적당했어요”라는 답변을 어떻게 해석해야 할까요? 질문을 잘못 던지면 답을 받고도 해석을 할 수 없는 상황이 되기 때문입니다. 예를 들어 “코로나19 백신 부스터샷에 효과와 정부의 위드코로나 시행 결정에 대해 어떻게 생각하세요?”라고 두 가지를 결합해서 묻는다면 정확한 답을 선택할 수 없습니다. 백신 부스터샷에 대해서 효과적이라고 생각하면서도, 위드코로나 시행 결정이 조급하다고 생각할 수 있기 때문에 데이터에 대한 유효성과 신뢰성에 손상이 생길 수 있습니다.

7) 아름답지 않은 질문은 아름답게 쓰세요

“이거 어때요?”라는 질문에 “좋지 않은 건 아니에요”라고 답을 하는 경우입니다. 이중 부정은 긍정으로 유추할 수 있지만, 이중 부정 표현은 문항을 읽고 이해하는데 시간이 더 오래 걸릴 뿐만 아니라 실제 긍정 태도를 보인 것인지, 부정 태도를 보인 것인지 정확하지 않을 수 있기 때문입니다. 예를 들어 “병원 수술실에 CCTV 설치를 법제화하는 것에 반대하는 의사들의 입장에 찬성하시나요? 반대하시나요?”라고 묻는 질문은 이해가 어려울 뿐만 아니라 편향을 자극할 수 있습니다. “병원 수술실에 CCTV 설치를 법제화하는 것에 동의하십니까?”라고 묻는 것이 효과적입니다.

8) 중립적인 단어를 사용하세요

갤럽이 2020년 11월 5일부터 19일까지 조사한 결과에 따르면 ACA(Affordable Care Act)에 대한 태도는 정당 지지에 따라 차이가 큰 것으로 나타났습니다. 이 시기는 공화당 소속 도널드 트럼프가 제45대 대통령으로 재임하던 기간입니다. 출처: Statista

어떤 단어를 선택하느냐에 따라 응답 결과가 달라질 수 있습니다. 예를 들어 건강보험 보장률을 높이는 정책과 문재인 케어에 대한 만족도를 묻는다고 하면, 동일하게 건강보험 보장성 대책을 확대해야 한다고 생각하는 응답자라도 단어에 따라 선택이 달라질 가능성이 있습니다. 대선을 앞두고 있는 상황에서 정치적 성향이 건강보험 보장성 확대에 대한 긍정, 부정 응답을 감정적으로 압도할 수 있기 때문입니다. 실제로 미국에서 Affordable Care Act(ACA)와 Obamacare를 사용할 때 다른 지지율이 나타났습니다.

9) 보기 순서를 섞어서 초두 효과를 줄이세요

보기를 어떻게 제시하는지에 따라 설문 응답이 달라질 수 있습니다. 보기를 읽는 순서가 응답자 반응에 영향을 미칠 수 있기 때문에 보기 순서를 무작위로 섞는 것을 고려해야 합니다. 통상 온라인 설문조사에서는 처음에 제시된 보기를 선택할 가능성이 높고, 전화 설문조사에서는 목록에서 가장 마지막에 들리는 항목(후속 효과)을 선택할 가능성이 있습니다. 필요하다면 응답자 그룹을 2개로 나누어서 보기 순서를 변경해서 다른 설문을 제시할 수 있습니다. 이때 주의해야 하는 점은 척도형 질문 보기 순서는 임의로 섞지 않고 순서대로 제시해야 합니다. 척도형 질문에서는 보기를 순서대로 제시할 때 이해가 더 쉽고 연속해서 선택할 수 있기 때문입니다.

[보기 순서를 섞을 때 3가지 주의사항]

• 척도형 질문에서는 순서를 섞지 않고 규칙대로 유지합니다
• 척도형 질문에서는 긍정적인 선택지와 부정적인 선택지를 동일한 개수로 제시합니다
• 척도형 질문에서는 중립적인 선택지(예: 보통, 잘 모르겠다 등)도 함께 제시해야 합니다.

STEP 3. 온라인 설문 기획하기(10단계)

10) 온라인 설문을 테스트하기

설문도 디자인과 같이 프로토타입 테스트 과정을 거치는 것이 중요합니다. 설문은 책과 닮아서 출판하고 나면 수정이 어렵습니다. 이미 설문에 응답을 마친 사용자에게 설문에 실수가 있었다고 양해를 구하고 다시 설문에 응답해달라고 요청한다는 것은 리서치 신뢰도는 물론이고, 서비스 신뢰도까지 손상을 미칠 수 있습니다. 온라인 설문 테스트는 세 가지 방법으로 할 수 있습니다.

[온라인 설문 테스트하는 3가지 방법]

• 설문조사 질문을 소리 내서 읽어보고 자연스럽게 고치기
• 설문조사 질문 순서를 유사한 주제끼리 그룹으로 묶고 재배치하기
• 디자인팀이나 협력하는 조직 대상으로 먼저 설문을 배포하고 피드백받기

온라인 설문조사는 UX 리서치에서 활용하는 가장 경제적인 정량조사 방법입니다. 설문 참여자 대상으로 사례금을 지급하는 경우 개인정보를 수집을 하는데, 설문 배포 전에 반드시 개인정보수집 및 활용 동의에 대한 법무 검토를 받아야 합니다. 사례금 지급을 마친 후에는 수집한 개인정보를 바로 파기해야 하며 필수 동의 항목과 선택 동의 항목을 구분해서 나중에 활용하기 위한 목적으로 개인정보를 수집하지 않도록 주의를 기울여야 합니다.

<참고 자료>

• Medium <How to design a good survey?>

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.