효과적인 설문 조사를 위한 3단계

급격히 진화하는 고객의 니즈에 대응하기 위해서는 이에 걸맞은 발 빠른 서비스 개발 환경이 요구됩니다. 그러나 단순히 정성적으로 탐색된 고객의 니즈를 기반으로 서비스를 개발하기에는 높은 개발 비용이 부담으로 작용합니다. 이에 따라 정량적인 사용자 조사를 통해 가설적인 고객 니즈를 빠르게 검증하는 것이 필요하죠.

이를 위해 비교적 저비용으로 많은 양의 사용자 데이터를 효율적으로 수집할 수 있는 사용자 조사 방법이 필요한데요. 대표적인 방법으로 설문 조사를 들 수 있습니다. 설문 조사(Survey)는 설문지를 통해 사용자의 인식과 행동, 태도 등을 파악하는 효율적인 사용자 조사 방법입니다.

이번 글에서는 가설적인 고객 니즈를 효율적으로 검증하기 위해, 설문 조사를 어떻게 기획하고 수행해야 하는지 알아보겠습니다.

설문 조사란?

설문 조사는 구조화된 설문지(Structured questionnaire)를 통해 사용자들의 서비스에 대한 인식과 행동, 태도 등에 대한 데이터를 수집하는 방법입니다. 짧은 시간 내에 많은 양의 데이터를 수집하는 데에 효과적인데요. 그럼에도 불구하고 다른 사용자 조사 방법들에 비해 상대적으로 비용도 적게 든다는 장점을 가지고 있습니다. 충분히 많은 수의 응답자를 대상으로 정량 데이터를 수집한다면, 다양한 통계 분석을 통해 의미 있는 결과를 도출할 수 있습니다.

특히 설문 조사는 대규모의 데이터 분석을 통해 사용자들의 니즈, 선호에 대한 분포를 알 수 있게 해 주는데요. 이는 서비스 개발 프로세스 전반에 유용한 정보를 제공해 줍니다. 예를 들면 서비스 기획 단계에서 특정 서비스나 기능에 대한 니즈를 검증할 수 있을 뿐만 아니라, 간단한 디자인 컨셉에 대한 선호도를 파악할 수도 있습니다. 또한 서비스 개선 단계에서는 현재 서비스에 대한 사용 행태나 만족도 검증과 같이, 설문 조사는 다양한 목적으로 활용될 수 있습니다.

설문 조사를 통해 유용한 정보를 수집하기 위해서는 조사 목적을 명확히 하고, 한정적인 리소스 하에서 적합한 조사 방법을 선정해야 합니다. 또한 질문을 효과적으로 검증할 수 있는 문항을 설계하는 것이 중요한데요. 설문 조사를 기획할 때 가장 핵심적인 설문 조사 방법 선정과 설문지 개발에 대해 좀 더 자세히 살펴보겠습니다.

1. 설문 조사 방법 선정하기

설문 조사는 크게 오프라인 조사와 온라인 조사로 분류할 수 있는데요. 이 두 방법 간의 차이는 조사가 진행되는 공간적 차이뿐만 아니라, 진행자의 관여 여부에서 차이를 보입니다. 오프라인 조사에서는 진행자가 조사의 목적과 방법을 설명해 주고 참가자의 질문사항에 대해 답변해 줄 수 있는 것에 반해, 온라인 조사에서는 진행자의 도움 없이 참가자가 직접 설문지에 응답합니다. 이에 따라 각 조사 방법에는 장점과 단점이 존재하죠. 그러므로 기획하는 설문 조사의 목적과 리소스 등을 고려해 적절한 방법을 선정해야 합니다.

오프라인 조사에서는 온라인 조사보다 더 많은 설문 항목을 활용할 수 있을 뿐만 아니라, 설문의 난이도가 높을 경우에 효과적일 수 있습니다. 진행자가 설문 중에 조사 내용이나 문의사항에 대해 설명해 줄 수 있기 때문입니다. 따라서 직접 설문지에 응답하는 데에 한계가 있는 어린이나 노인들을 대상으로도 한 조사에는 오프라인 조사가 적합합니다.

그러나 오프라인 조사에는 상대적으로 많은 비용과 예산이 소요되기 때문에, 리소스가 충분히 확보되지 않은 상황이라면 적합하지 않습니다. 오프라인 조사는 크게 1:1 설문 조사와 다수의 응답자가 참여하는 갱서베이(Gang survey)로 구분할 수 있는데요. 1:1 설문조사에서는 진행자가 응답자를 찾아가 특정 주제에 대해 심층적으로 조사를 진행할 수 있는 반면, 갱서베이는 특정한 장소에 다수의 응답자들을 한 번에 모아 설문조사를 진행합니다. 이러한 갱서베이는 단 시간에 많은 양의 데이터를 확보할 수 있지만, 1:1 설문조사처럼 심층적인 조사를 하는 데는 한계가 있습니다.

온라인 조사는 시간과 장소의 상관없이 응답자 패널에게 이메일이나 SNS 등을 통해 설문 링크를 전달하여, 실시간으로 데이터를 수집할 수 있는 조사 방법인데요. 이를 통해 짧은 시간 내에 조사를 수행할 수 있을 뿐만 아니라, 낮은 비용으로 대규모의 데이터를 수집할 수 있습니다. 특히 설문 진행에 진행자에 의한 응답 편향이 없기 때문에 민감한 질문이 포함된 설문 조사에 적합합니다. 그러나 오프라인 조사에 비해 복잡한 설문이나 많은 설문 항목이 포함될 경우, 응답자는 설문에 성실히 답변하지 않을 수 있어서 응답 신뢰성이 떨어질 수 있다는 한계점도 있습니다.

2. 설문지 개발하기

설문 방법이 결정되면 설문 조사를 구체화하기 위해 설문지를 개발하는 과정이 필요합니다. 그 과정은 아래 그림처럼 무엇을 물어볼지 정의하는 것에서부터 시작해, 구체적인 설문지를 설계하고 이를 개선하는 단계를 거칩니다. 그럼 각 단계별로 자세히 살펴보겠습니다.

1) 설문 항목 정의

조사 목적에 따라 알고자 하는 연구 주제들이 세분화되고, 각 연구 주제들에 대해 응답자에게 물어볼 설문 항목들로 정의될 수 있습니다. 이러한 설문 항목의 구조화는 아래 그림과 같이 표현될 수 있는데요. 이러한 과정에서 각 설문 항목들이 서로 중복되지 않으면서, 각 설문 항목들을 모두 합치면 조사 목적의 전체를 파악할 수 있어야 합니다. MECE(Mutually Exclusive and Collectively Exhaustive)를 활용해 설문 항목을 구조화하는 것이 중요한데요. 이를 기반으로 설문 항목을 잘 대변할 수 있는 세부 내용으로 설문 내용을 정의합니다.

이때 적정한 수준의 설문 분량을 정의해야 합니다. 연구자는 많은 설문 항목을 통해 응답자들로부터 다양한 정보를 얻고 싶겠지만, 이는 응답자의 인지적 피로를 증가시켜 결국 설문 결과의 신뢰성을 떨어뜨릴 수 있기 때문입니다.

특히 진행자에 의해 진행되는 오프라인 설문에 비해, 온라인 설문에서는 참가자가 직접 설문을 읽고 질문의 의도를 이해해야 합니다. 이때 응답 피로로 인해 설문 후반부로 갈수록 응답의 신뢰성이 떨어질 수 있습니다(권익현 & 이상원, 2005). 그러므로 설문의 분량과 난이도에 따라 적정한 소요시간을 예상하고, 꼭 필요한 설문 문항만을 선정하는 과정이 필요합니다. 절대적인 설문 시간이 정의된 것은 아니지만, 실무적으로는 온라인 설문을 기준으로 약 20~30분 이내로 설문 소요 시간을 한정하는 것이 좋습니다.

2) 설문 형태 결정

개별 설문 항목들이 정의되면 그 내용을 데이터화하기 위한 설문 형태를 결정해야 하는데요. 설문 형태는 크게 주관식과 객관식으로 분류됩니다. 주관식 설문은 개방형 설문(open question)이라고도 부르는데요. 주로 응답에 대한 범주화가 어려울 때 탐색을 위해 사용되며, 응답된 단어나 문장을 분석하여 범주화(Categorization)를 합니다. 그렇지만 특히 문장으로 기술해야 하는 서술형 질문은 응답자의 인지적 부담을 가중시켜 의미 있는 데이터의 확보가 어려울 뿐만 아니라, 데이터 분석의 난이도도 어렵게 만듭니다. 그러므로 가능한 서술형 질문의 활용은 지양하되, 꼭 필요할 경우에는 소수의 질문만 활용하는 것이 좋습니다.

객관식 설문은 폐쇄형 설문(closed question)이라고도 부르는데요. 응답자의 응답이 어떨지 명백하게 짐작되고 그것이 범주화될 때 사용합니다. 만약 답변 항목 중에 그 외 응답 가능성이 조금이라도 있다면 질문의 보기에 기타 응답을 추가하여, ‘기타', '해당 없음', '응답하고 싶지 않음' 등과 같이 예외적인 선택지를 만드는 것이 필요합니다.

특히 정량적인 분석을 위해 객관식 설문이 많이 활용되는데요. 설문 응답의 척도에 따라 분석에 활용될 수 있는 통계적 분석 기법이 달라지므로, 설문 작성 단계에서부터 어떤 척도로 문항을 만들어 어떻게 분석할지 구상해 두는 것이 필요합니다.

척도(Scale)의 유형은 크게 선택형과 점수형으로 구분할 수 있는데요. 선택형에는 양자택일, 다항선택형, 서열 선택형이 있고, 점수형에는 리커드 척도(Likert scale), 의미미분법(Semantic differential method), 고정 총합형이 있습니다. 이때 분산 분석(ANOVA), 상관분석이나 회귀 분석과 같은 통계적 분석을 활용하려면 점수형 척도를 사용하는 것이 효과적입니다. 통계적 분석 방법에 대해서는 이전 글 ‘사용자 데이터를 효과적으로 분석하는 법’을 참고하면 좋습니다.

3) 설문 문항 완성

인터뷰와 달리 설문 조사는 응답자의 반응을 즉각적으로 알기 어려운데요. 따라서 설문 문항에 오류가 있어도 알아차리지 못할 수 있습니다. 이는 결국 응답률이나 응답 신뢰도와 같은 설문 결과의 품질에 크게 영향을 미칠 수 있습니다. 그러므로 좋은 설문 문항을 만들기 위해서는 응답자 관점에서 심사숙고하여 설문 문항을 개발해야 합니다. 설문 개발 시 아래의 가이드를 참고하면 더 나은 설문 문항을 만드는 데 도움이 됩니다.

① 이해하기 쉽도록 문장을 짧고 간결하게 구성해야 합니다.

길고 군더더기가 붙은 설문 문항은 설문 시간을 길어지게 하고 응답자의 피로도를 높입니다.

② 누구나 쉽게 이해할 수 있는 친숙한 단어를 사용해야 합니다.

특히 속어, 약어나 유행어를 사용하지 않아야 합니다. 이러한 단어의 사용은 응답자에게 인지적 부담을 야기할 뿐만 아니라, 질문 의도를 오인할 수 있게 만듭니다.

③ 하나의 설문에는 한 가지 내용만을 물어보아야 합니다.

하나의 질문에 여러 가지를 물어본다면 응답자가 질문을 이해하고 답변하기 어려울 뿐만 아니라, 분석 시 여러 갈래로 해석될 수 있어 정확한 원인 추정이 어렵습니다.

④ 중립적인 단어와 문구를 사용해야 합니다.

응답자에게 특정한 방향으로 선택을 유도하는 질문을 하거나, 감정에 호소하는 단어들을 사용하지 않아야 합니다. 이로 인해 응답자의 생각과는 달리 대답이 다른 방향으로 편향될 수 있습니다.

⑤ 이중 부정 문구나 전체 긍정 및 부정어의 사용하지 않아야 합니다.

사용자의 혼란을 일으키는 표현은 응답의 신뢰도를 떨어뜨리는 원인이 될 수 있습니다.

4) 설문 순서 결정

각 설문 문항이 완성되면 응답자가 자연스럽게 평가할 수 있도록 설문의 순서를 배열하는 것이 필요한데요. 먼저 같은 주제에 대한 물어보는 설문들은 한데 묶어서 물어보는 것이 응답자의 몰입을 해치지 않을 수 있습니다. 이때 각 주제별 설문의 시작은 가벼운 것에서부터 시작해, 좀 더 구체적이고 심화된 질문으로 옮겨가는 것이 응답자의 인지적 부담을 줄여줄 수 있습니다. 설문의 후반부는 응답자의 피로도로 상대적으로 집중도가 떨어져 있기 때문에 중요한 설문보다는 인구통계학적 정보와 같은 개인적 사항에 대한 질문을 배치하는 것이 좋습니다.

5) 파일럿 테스트

설문지 초안이 완성된 후에는 소수의 응답자를 대상으로 파일럿 테스트(Pilot test)를 진행하는 것이 필요한데요. 파일럿 테스트를 통해 설문의 소요 시간, 질문의 이해 정도나 배열, 안내 문구의 적합성 등과 같은 설문지 전반에 대해 점검하여 문제점을 파악할 수 있습니다. 이렇게 발견된 문제점을 개선하여 설문 결과의 품질을 향상시킬 수 있습니다.

3. 설문 조사 수행하기

최종 개선한 설문지를 이용해 설문 조사를 수행하고, 연구 질문에 대한 데이터를 수집합니다. 이때 설문 조사를 수행하는 과정은 조사 방법에 따라 차이가 있습니다. 오프라인 설문에서는 설문을 진행하는 진행자의 교육이 먼저 필요한데요. 진행자는 조사의 목적과 설문 내용, 그리고 예상되는 질문에 대한 답변 등에 대해 사전 이해와 연습이 필요합니다. 모든 사전 준비가 끝나면 사전 약속을 통해 조사 대상자에게 방문해 설문 조사를 수행합니다.

반면 온라인 설문에서는 설문지의 온라인으로 프로그래밍을 하는 것이 필요한데요. 응답자 패널 등을 활용해 메일이나 SNS 등의 채널에 설문 링크를 송부해 응답자의 조사를 유도하여, 온라인 설문을 진행합니다.

이러한 조사 방법을 통해 수집된 설문지는 이상 데이터가 없는지 검수 완료 후, 엑셀 등에 설문지 응답 내용을 입력하여 최종 분석 자료를 획득합니다. 이후 데이터 분석 과정에 대해서는 이전 글 ‘사용자 데이터를 효과적으로 분석하는 법’을 참고해 보시길 바랍니다.

현업에서 활용하기

설문 조사는 낮은 비용으로 가설적 고객 니즈를 효율적으로 검증할 수 있는 사용자 조사 방법입니다. 대규모의 사용자 데이터를 수집하고 이를 통계 분석을 진행한다면, 고객 니즈와 선호도에 대한 정량적인 분포를 파악할 수 있어 서비스 개발 프로세스 전반에 유용한 정보를 제공해 줍니다.

최근에는 다양한 온라인 설문 조사 도구를 통해 누구나 쉽게 설문을 만들고, 사용자 데이터를 확보할 수 있어서 활용도가 높습니다. 특히 디지털 전환으로 여러 온라인 채널을 통해 고객들의 서비스 사용 경험이 늘어나고 있는데요.

사용자가 온라인 서비스를 경험한 직후 바로 온라인 설문을 진행할 수 있다는 장점도 있습니다. 이는 기존 설문 조사가 과거 기억 회고에 의존해 평가해야 하기 때문에, 정확성이 떨어진다는 한계점을 보완할 수 있는데요. 이러한 온라인 설문 조사의 장점을 현업에서 잘 활용한다면, 사용자의 경험이 잘 반영된 생생한 데이터 확보할 수 있습니다.

이번 글에서는 설문 조사를 어떻게 기획, 수행하는 방법에 대해 살펴보았는데요. 이를 통해 바쁜 개발 환경 속에서 가설적 고객 니즈를 효율적으로 검증하는 데 도움이 되길 바랍니다.

<참고 문헌>

권익현, & 이상원. (2005). 패널을 이용한 온라인 서베이와 오프라인 서베이 데이터 사이의 신뢰도에 대한 탐색적 연구. 경영학연구, 34(4), 1261-1278.

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.