사용자 조사는 어떻게 써야 할까?

사용자 중심 디자인(User-centered design)은 사용자를 이해하고 공감하는 데에서부터 시작합니다. 그렇다면 이를 위해서 무엇을 해야 할까요? 많은 방법론이 있지만, 가장 먼저 사용자 조사(User Research)를 해야 합니다.

사용자 조사는 서비스 대상이 되는 사용자들로부터 살아있는 생생한 데이터를 수집하고 분석해 인사이트를 발굴하는 일련의 과정이라 볼 수 있는데요. 이를 통해 단순히 개인의 주관이나 직관에 의지하지 않고, 객관적인 관점에서 합리적인 의사결정을 할 수 있도록 해줍니다. 불확실성이 높은 디지털 시장 환경에서 고객의 생생한 니즈를 파악할 수 있는 사용자 조사는 이제는 선택이 아닌 필수가 되어가고 있습니다.

그렇지만 IT 관련 업계 실무자 427명을 대상으로 한 UX 리서치 트렌드 리포트(Opensurvey, 2022)에 따르면, 사용자 조사의 필요성에 대해서는 대부분 공감하지만 이를 수행하기 위한 인프라나 전문성을 가진 기업은 많지 않은 것으로 나타났습니다. 특히 대기업은 사용자 조사 수행률이 약 88%인 것에 반해 중소기업은 절반 수준인 약 52%에 불과했습니다.

그래서 이번 글을 통해 다양한 사용자 조사 방법과 그 분류 방식에 대해 소개하고, 이를 통해 현업에서 적합한 사용자 조사 방법을 선정하여 활용할 수 있는 방법을 제공하고자 합니다.

다양한 사용자 조사 방법들

그렇다면 사용자 조사는 어떻게 수행할까요? 연구자가 직접 사용자를 만나 질문하거나 혹은 사용자에게 직접 기록하도록 해 생생한 데이터를 수집합니다. 즉 기본적으로 관찰, 인터뷰, 그리고 자가 기록하는 방식을 기반으로 다양한 사용자 조사 방법들이 파생됩니다. 더 나아가 좀 더 제품이나 서비스의 평가에 초점을 맞춘 사용성 평가(Usability test)나 수용도 조사(Acceptance test), 그리고 실험(Experiment)과 같은 사용자 조사 방법도 있습니다.

• 관찰 기반: Ethnography, Shadowing, Bio signal(ex: Eye tracking, EEG, etc)
• 인터뷰 기반: 1:1 IDI, FGI/FGD, Contextual inquiry
• 자가 기록 기반: Survey(Online survey, Gang survey), User diary
• 평가 기반: Usability test, Acceptance test, Experiment, A/B Testing

관찰 기반의 사용자 조사

관찰 기반의 사용자 조사 방법은 일상생활이나 특정 과제를 수행하는 사용자의 행동을 관찰하고 기록하는 기법입니다. 주로 관찰자에 의해 사용자의 행동을 관찰지로 기록하지만, 특수한 장비를 통해 눈으로 보이지 않는 뇌파(EEG)나 표정, 시선과 같은 생체 신호를 측정하기도 합니다. 관찰 기법은 사용자의 실제 행동을 기록하기 때문에 인터뷰나 FGI(Focus Group Interview, 특정 경험을 공유한 사람들이 함께 모여 인터뷰를 진행하는 조사 방법)에서 사용자가 언어들 통해 표현하지 못하는 부분을 캐치할 수 있는 장점이 있습니다. 반면에 관찰된 행동에 대한 이유는 알기 어렵다는 한계점도 지닙니다.

대표적인 관찰 기반의 사용자 조사 방법은 아래와 같습니다.

• Ethnography: 꾸미지 않은 본래의 환경에 관찰자가 들어가서 사용자들을 관찰하는 방법
• Shadowing: 사용자 일상에 관찰자가 동행해 어떻게 생활하는지 긴밀히 관찰하는 방법
• Eye tracking: 특수 장비로 사용자가 서비스를 사용할 때의 시선을 추적해 측정하는 방법

인터뷰 기반의 사용자 조사

인터뷰 기반의 사용자 조사 방법은 주로 구조화된 질문 리스트들 기반으로 사용자에게 물어보고 그 답변을 기록하는 기법입니다. 주로 회의실에 개인이나 그룹 단위의 사용자를 모집해 진행자가 인터뷰를 진행하지만, 직접 사용자가 있는 현장으로 찾아가 인터뷰를 진행하기도 합니다. 인터뷰 기법은 사용자들로부터 개인적인 경험이나 생각, 감정 등에 대해 직접적인 설명을 듣는 가장 기초적이며 널리 사용되는 조사 방법입니다. 반면에 사용자가 자기 생각이나 느낌을 언어로 충분히 표현하지 못하거나, 조사라는 상황을 고려해 왜곡되거나 솔직하지 않게 말하는 한계점을 지니기도 합니다.

대표적인 인터뷰 기반의 사용자 조사 방법은 아래와 같습니다.

• 1:1 In-depth interview(IDI): 한 명의 사용자를 회의실로 초청해 심층적으로 인터뷰 진행
• Focus Group Interview(FGI): 다수의 사용자를 모집해 좌담회 형식으로 인터뷰 진행
• Contextual inquiry: 현장으로 찾아가 일상적으로 수행하는 작업을 보면서 인터뷰 진행

자가 기록 기반의 사용자 조사

자가 기록 기반의 사용자 조사 방법은 사용자에게 설문지나 일기장에 직접 기재하도록 해 정보를 수집하는 방법입니다. 주로 온라인이나 대면 등의 다양한 채널을 통해 설문지에 응답하지만, 일기장에 중요한 사건이나 생각 등에 대해 기록하게 하기도 합니다. 대규모의 사용자를 대상으로 짧은 시간 내에 저비용으로 많은 양의 데이터를 수집할 수 있는 장점이 있는 반면에, 진행자가 중간에 개입할 수 없기 때문에 심층적인 데이터를 얻는 데에는 한계가 있습니다.

대표적인 자가 기록 기반의 사용자 조사 방법은 아래와 같습니다.

• Online survey: 체계적으로 설계된 설문지를 온라인으로 링크를 보내 정보 수집
• Gang survey: 큰 회의실에 다수의 사용자를 한 번에 모아 설문조사를 진행
• User diary: 일기장에 일상이나 서비스 사용 경험에 대한 생각과 느낌을 기록

평가 기반의 사용자 조사

평가 기반의 사용자 조사는 제품이나 서비스를 사용자가 직접 사용하여 평가하도록 해 데이터를 수집하는 방법입니다. 주로 경쟁 서비스와 함께 평가해 경쟁력을 비교하고 개선 방안을 탐색하거나 동일한 기능에 대해 2개 이상의 UI 안을 만들어 이를 비교해 최적의 안을 선정하는 데도 활용됩니다. 이러한 평가 대상은 서비스 개발 주기에 따라 완성품이 아닌 프로토타입을 대상으로 하기도 합니다. 이러한 통제된 조건으로 평가된 결과물은 제품이나 서비스에 반영할 수 있는 실증적인 데이터를 제공한다는 강점을 지니지만, 반면에 실제 사용 맥락을 반영하지 못한다는 한계점도 동시에 지닙니다. 

대표적인 평가 기반의 사용자 조사 방법은 아래와 같습니다.

• Usability test: 사용자에게 과제를 수행하게 해 사용성에 대한 경험적 증거를 찾는 방법
• Acceptance test: 선행 컨셉이나 프로토타입에 대한 사용자의 수용성을 검증하는 방법
• Experiment: 통제된 실험 조건에서 집단 간의 차이나 변수 간의 관계를 검증하는 방법
• A/B Testing: 온라인 서비스를 대상으로 두 개의 UI 시안을 게시해 비교하는 방법

사용자 조사의 분류와 활용하기

데이터 관점에서의 분류

가장 대표적인 사용자 조사의 유형 분류 방법은 아래 그림과 같이 데이터 속성에 따른 방식입니다. ‘행동(Behavioral) vs 태도(Attitudinal)’, 그리고 ‘정성(Qualitative) vs 정량(Quantitative)’으로 구분할 수 있습니다.

먼저 사용자 데이터는 행동 데이터와 태도 데이터로 구분할 수 있는데요. 이는 각각 ‘사용자가 서비스를 어떻게 사용하고 있는지’와 ‘사용자가 서비스를 어떻게 생각하는지’와 연관할 수 있습니다.

만약 사용자가 우리 서비스를 어떻게 사용하고 있는지를 알고 싶으면 관찰(예; Ethnography, Shadowing)이나 평가(예: Usability test, A/B Testing) 기반의 사용자 조사 방법을 활용할 수 있습니다. 반면에 사용자가 우리 서비스를 어떻게 생각하고 있는지를 알고 싶으면, 인터뷰(예: 1:1 IDI, FGI, Contextual inquiry)나 자기 기록(예: Survey, User diary) 기반의 사용자 조사 방법을 활용하는 것이 효과적입니다.

사용자 데이터는 정성 데이터와 정량 데이터로도 구분할 수 있는데요. 주로 정성 데이터를 통해 사용자가 무엇을 원하는지에 대한 가설을 설정하고, 이를 정량 데이터를 통해 검증하곤 합니다.

사용자가 무엇을 원하는지를 파악하기 위해, 관찰(예; Ethnography, Shadowing)이나 인터뷰(예: 1:1 IDI, FGI, Contextual inquiry) 기반의 사용자 조사 방법을 활용해 정성 데이터를 수집할 수 있습니다. 반면에 서비스가 경쟁사나 이전 버전 대비 얼마나 더 만족하는지 검증하기 위해서는 평가(예: Usability test, Experiment)나 자가 기록(예: Survey) 기반의 사용자 조사 방법을 활용해 정량 데이터를 수집하고 분석할 수 있습니다

시점 관점에서의 분류

서비스 개발 프로세스의 시점에 따라 적합한 사용자 조사 방법을 선정하여 활용할 수도 있는데요. 아래 그림과 같이 사용자 조사가 요구되는 시점은 크게 기획 초기 단계, 컨셉 검증 단계, 그리고 출시 후 개선 단계로 구분할 수 있습니다.

기획 초기 단계에서는 사용자 인사이트를 발굴하기 위한 사용자 조사 방법이 활용되며, Ethnography, Shadowing, User diary, Survey, 1:1 IDI 및 FGI와 같이 주로 정성 데이터를 수집할 수 있는 기법이 활용됩니다.

이때 앞서 발굴된 사용자 인사이트를 기반으로 컨셉을 개발하는데, 이렇게 도출된 컨셉은 Acceptance test나 Experiment와 같은 평가 기반의 사용자 조사방법을 활용하여 검증합니다. 이렇게 사용자로부터 긍정적인 반응이 있는 컨셉은 UX 디자인, 그리고 개발 단계를 거쳐 최종적으로 서비스로 출시됩니다. 이후 Usability test나 A/B testing을 활용해 지속해서 검증과 개선 단계를 거치며 더 나은 서비스로 거듭나게 됩니다.

맥락 관점에서의 분류

사용자 조사 방법은 서비스의 사용 맥락에 따라, 아래 그림과 같이 ‘현장(field) vs 실험실(Lab)’ 연구로 구분할 수 있습니다. 

현장(field)에서 수행되는 사용자 조사는 통제되지 않은 실제의 사용 환경에서 진행됩니다. 대표적으로 Ethnography, Shadowing, Contextual inquiry 그리고 A/B Testing을 들 수 있습니다. 이런 현장 기반의 사용자 조사 방법을 통해 도출된 결과물은 실제 환경에서의 다양한 맥락 정보들을 반영하기 때문에 더욱 현실성 높은 데이터를 제공해 줄 수 있습니다. 그렇지만 연구 질문에 맞추어 환경이나 변수들을 통제하거나 조작할 수 없기 때문에 그 연구 결과를 다른 사용 환경에도 일반화하거나 변수 간의 연관성을 검증하기에는 어려운 한계가 있습니다.

반면에 실험실(Lab)에서 수행되는 사용자 조사는 연구 목적에 따라 통제된 실험 환경에서 진행됩니다. 대표적으로 Experiment, Usability test, 1:1 IDI 그리고 FGI 등이 그 방법입니다. 이러한 실험실 기반의 사용자 조사 방법을 통해 도출된 결과물은 사전에 정의된 연구 질문에 대한 사용자의 반응을 파악할 수 있습니다. 때문에 제품이나 서비스에 반영하기에 유용합니다. 그렇지만 많은 요소가 통제된 환경에서 진행되기 때문에 실제의 다양한 맥락들을 반영하는 데에는 한계가 있습니다. 그에 따라 연구 결과와는 달리 사용자들이 실제 사용 환경에서는 다른 행동이나 태도를 보일 수도 있습니다.

다른 UX 리서치 방법론과의 비교해 보기

사용자 조사 vs 전문가 평가

디자인 초기 단계에서 전문가 평가를 결정적인 사용성 문제를 파악하는 데 활용하는 것은 매우 효과적입니다. 전문가 평가는 인지공학이나 인간공학, 심리학 등의 HCI 전문가에 의해 진행되는데, 만약 사용자가 이 서비스를 이용한다면 어떤 문제점이 발생할 수 있는지 사전에 UI를 검토하고 평가하는 방법입니다.

대표적으로 휴리스틱 평가(Heuristic evaluation), 인지적 시찰법(Cognitive walkthrough), 그리고 일관성 검사(Consistency inspection)를 들 수 있습니다. 이러한 전문가 평가 방법은 사용자 조사 대비 상대적으로 저렴한 비용으로 짧은 시간 내 서비스의 중요한 사용성 문제들을 밝혀낼 수 있습니다. 또한 꼭 완성품을 요구하지 않기 때문에 디자인 프로세스의 매우 이른 시점에 활용할 수 있는 게 장점입니다. 반면에 전문가의 자질에 따라 평가 결과가 유동적일 수 있으며, 전문가와 사용자가 보는 시각이 다를 수 있어 전문가가 잡아낸 사용성 문제가 반드시 사용자에게 중요한 문제는 아닐 수도 있습니다.

사용자 조사 vs 빅데이터 분석

최근 온라인 데이터 트래픽의 급격한 증가와 함께 이를 저장하고 분석할 수 있는 기술 인프라가 발전하면서 빅데이터 분석이 UX 도메인에서도 많은 주목을 받고 있습니다. 사용자에게 직접적으로 데이터를 수집하는 사용자 조사 방법과는 다르게, 빅데이터 분석 방법은 사용자들이 온라인상에 남긴 흔적들을 간접적으로 수집해 이를 분석하는데요. 대표적으로는 아래 그림 같은 고객 목소리(Voice of Customer)나 로그 데이터(Log Data) 분석을 들 수 있습니다.

빅데이터 분석 방법은 초기에 분석 시스템을 구축한 이후에는 거의 실시간에 가깝게 자동으로 데이터를 수집하고 분석할 수 있습니다. 그렇기 때문에 필요에 따라 매번 수행해야 하는 사용자 조사 방법에 비해 짧은 시간과 낮은 비용으로도 사용자 데이터를 활용할 수 있습니다. 그렇지만 통제되지 않은 온라인상에 남겨져 있는 데이터라서 연구자의 연구 질문을 해결해 줄 수 있는 데이터가 없을 수도 있습니다. 아울러 심도 있는 인사이트를 제공해 주는 데도 한계가 있습니다.

특히 로그 데이터 분석은 데이터만으로 그 행동의 이유를 알기 어려우며, 텍스트 데이터인 고객 목소리 분석 역시 아직 기술의 한계로 데이터를 정제 및 분류하고 분석하는 데 사람의 개입이 필요한 상황입니다.

이상적으로 사용자 조사 방법을 선정하기

프로젝트 목적에 부합하는 사용자 조사 방법 선정하기

앞서 다양한 사용자 조사 방법과 그 분류 방식, 그리고 각 사용자 조사 방법의 활용 시의 강점과 한계점에 대해 살펴보았습니다. 그렇다면 현업에서 진행하고 있는 프로젝트에 어떤 사용자 조사방법을 선정해서 활용할 수 있을까요?

아래는 앞서 살펴본 사용자 조사 방법의 분류 방식입니다. 이를 통해 이번에 진행하는 프로젝트의 목적을 달성하기 위해서는 어느 시점에, 어떤 사용자 데이터를, 무슨 사용 맥락에 따라 조사 방법을 활용하는 것이 의미 있을지 검토하여 적합한 방법을 선정할 수 있습니다.

• 데이터: 행동 vs 태도, 정성 vs 정량
• 시점: 기획 초기 단계 vs 컨셉 검증 단계 vs 출시 후 개선 단계
• 맥락: 현장 vs 실험실

더 나아가 이러한 사용자 조사 방법들을 좀 더 상호보완적이고 신뢰성 있도록 고도화해 활용할 수 있는 방법도 있습니다.

혼합 연구 방법 활용하기

아쉽게도 만능인 사용자 조사 방법은 없습니다. 왜냐하면 모든 사용자 조사 방법에는 장단점이 함께 존재하기 때문입니다. 그렇다면 이러한 사용자 조사 방법들을 어떻게 효과적으로 활용할 수 있을까요? 이를 위해 사용자 조사 방법들을 상호보완적으로 활용하는 혼합 연구 방법(Mixed method)이 존재합니다.

혼합 연구 방법은 정량 조사 방법과 정성 조사 방법을 함께 사용하는 것입니다. 정량 조사 방법은 사용자의 행동과 태도에 대해 정량적으로 평가해 그 경쟁 수준을 알게 해주지만, 그러한 결과에 대한 원인은 알려주지 못합니다. 그래서 정성 조사 방법을 병행적으로 활용해 그 결과에 대한 원인을 파악할 수 있습니다.

예를 들면 우리 서비스의 사용성이 경쟁 서비스보다 더 불편하다는 정량 데이터와 함께, 어떤 부분에서 불편함을 겪었다는 정성 데이터를 함께 수집할 수 있습니다. 이러한 혼합 연구 방법의 적용을 통해 2가지 데이터를 함께 해석하면 개선 활동의 필요성에 대한 설득력과 무엇을 어떻게 개선해야 하는지에 대한 인사이트를 제공할 수 있습니다. 이러한 효과적인 해석을 위해 사용성 평가나 수용도 조사에서는 정량적인 설문지와 함께 정성적인 인터뷰와 관찰 기법을 함께 사용하곤 합니다.

신뢰성을 높여주는 삼각법(Triangulation)

정량 및 정성 조사 기법을 함께 쓰는 혼합 연구 방법과 유사한 개념으로 삼각법(Triangulation)을 들 수 있습니다. 한 가지 사용자 조사 방법으로만 데이터를 수집했을 때 ‘그 데이터를 얼마나 신뢰할 수 있는지’에 대해 논쟁이 발생합니다. 사용자는 완벽하지 않기 때문에 그들에게 수집되는 데이터도 완벽하지 않을 수 있습니다. 이러한 문제를 줄여주기 위해 연구 질문에 대해 다양한 각도로 증거를 수집해 주는 다수의 사용자 조사 방법을 함께 적용하여 데이터의 신뢰성을 높여주는 방법이 삼각법입니다.

가장 일반적인 삼각법은 설문지나 인터뷰와 같이 사용자가 직접 보고하는 주관적인 사용자 데이터 수집 방법과 관찰자에 의해 객관적으로 데이터를 수집하는 관찰 기법을 결합해 사용하는 것입니다. 자기 보고 형태의 사용자 조사 방법은 사회적 규범이나 연구자의 기대에 부응하기 위해 거짓되거나 왜곡된 사용자 데이터가 수집될 수도 있습니다. 이때 관찰 기법을 함께 사용해 제삼자인 관찰자가 사용자의 행동을 수집 및 분석해 인터뷰나 설문 결과와 반대되는 데이터가 있는지 확인해 그 결과를 검증해 볼 수 있습니다. 즉 사용자가 언행이 일치하는지의 확인 과정을 통해 더욱 신뢰성 높은 데이터를 확보하는 셈입니다.

이외에도 특수한 장비를 이용한 뇌파, 시선 추적, 표정, 심장박동 수 및 동공 확장 등과 같은 생리적 신호(Bio signal)를 측정하는 방법을 활용해 더욱 정교함을 높일 수도 있습니다. 그렇지만 이러한 사용자 조사 방법은 높은 비용과 긴 조사 일정을 요구하기 때문에 설득력 높은 데이터가 필요한 경우에 한정적으로 활용됩니다.

현실적인 부분 고려하기

비용과 일정 이슈

사용자 조사는 살아있는 생생한 사용자 데이터를 제공해 합리적인 의사결정을 지원해 줍니다. 그렇지만 이러한 과정은 필연적으로 비용과 일정이라는 현실적으로 고려해야 하는 고민을 안겨줍니다. 특히 대기업에 비해 중소기업은 이러한 인프라가 부족하기 때문에 사용자 조사를 수행하지 못하게 되고, 결국은 시장에서의 경쟁력을 악화시켜 주는 요인이 되기도 합니다. 미국 벤처캐피털 전문 조사 기관인 CB 인사이트의 조사 결과(2014)에 따르면, 스타트업이 실패하는 이유 1위로 ‘시장이 원하지 않는 제품을 만들었기 때문’이 뽑혔습니다. 제대로 사용자 조사를 하지 못했기 때문입니다.

그렇다면 꼭 높은 비용과 긴 일정이 요구되는 대규모의 정교한 사용자 조사 방법만을 고수해야 할까요? 꼭 그렇지는 않습니다. 상대적으로 작은 규모의 사용자 조사로도 의미 있는 데이터를 수집할 수 있습니다. 글로벌 통합 정보분석 기업 ‘Nielsen(1993)’에 따르면, 사용자 조사에 참여한 5명으로 의해 약 80%의 사용성 이슈를 발견할 수 있습니다. 그렇지만 이러한 소규모의 사용자 조사를 통해 수집된 데이터를 해석할 때는 데이터의 신뢰성과 일반화 측면에서는 조심스럽게 다루는 것이 필요합니다.

그렇다면 사용자 조사의 비용과 일정 이슈로 인해 소규모의 사용자 조사로 진행하는 것 외의 대안적인 방법은 없을까요?

대안적인 방법

대안적으로 사용자 조사를 대신할 방법에는 어떤 것들이 있을까요? 직접 사용자 조사를 통해 얻은 자료를 1차 자료라면, 2차 자료는 데스크 리서치(Desk Research)를 통해 얻을 수 있는 간행물 자료, 판매 자료 등의 자료를 의미합니다. 이러한 2차 자료는 구하기 쉽고 비용이 적게 드는 반면 정보의 깊이가 낮은 단점이 있습니다.

대표적인 2차 자료는 논문이라고 볼 수 있는데요. 구글 스칼라나 네이버 학술정보 등을 통해 관련 키워드를 검색하여 정보를 탐색할 수 있습니다. 또 다른 방법으로 아래의 그림과 같이 여러 사설 연구기관에서 수행한 조사 자료들도 있습니다. 진행하고 있는 프로젝트의 연구 질문과 관련된 조사 내용이 있어 참고한다면 꼭 사용자 조사를 직접 진행하지 않더라도 사용자를 이해하는 데 많은 도움이 될 수 있습니다. 

물론 데스크 리서치로 알고자 하는 연구 질문들을 모두 해결하는 데에는 한계가 많을 수 있습니다. 그런 경우 전문가 평가나 빅데이터 분석 방법도 검토해 볼 수도 있습니다. 이러한 전문가 평가가 업무 프로세스로 정착화되거나 빅데이터 분석 방법이 시스템적으로 준비된다면 사용자 조사에 따른 비용과 일정뿐만 아니라 시장에서의 실패 가능성도 함께 줄여줄 수 있습니다.

사용자 조사는 서비스 파악의 기본

사용자 조사만이 서비스 성공을 위한 필수 정답은 아닙니다. 그렇지만 사용자 조사가 사용자를 이해하고 공감하는 데에 가장 효과적인 방법임은 틀림없습니다. 이러한 사용자를 이해하고 공감하는 데 효과적인 방법들을 활용하는 것은 사용자의 가치 향상뿐만 아니라 시장에서의 경쟁력을 향상하는 데에 꼭 필요한 문화이자 일하는 방식일 것입니다. 이번 글에서 설명한 사용자 조사로 여러분의 서비스가 조금이나마 더 나아질 수 있는 계기가 될 수 있기를 바랍니다.

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.