사용자 경험은 어떻게 측정할까요?

사용자 경험(User Experience, UX)은 이제 익숙한 말이 되었습니다. 최근에는 사용자 경험 보다 더 넓은 범위의 개념인 고객 경험(Customer Experience, CX)이나 브랜드 경험(Brand Experience, BX)이라는 용어로도 쓰입니다. 이러한 사용자 경험은 기업에서 더 나은 비즈니스 성과를 위한 핵심 요소로 인식되고 있는데요. 이에 따라 사용자 경험을 측정하고 관리하는 활동이 더욱 중요해지고 있습니다.

그렇지만 UX에 대해 ISO 9241-210에선 ‘제품이나 서비스를 사용하거나 기대함으로써 얻어지는 개인의 반응과 지각’으로, 위키피디아는 ‘제품이나 서비스를 직·간접적으로 이용하면서 느끼고 생각하게 되는 총체적 경험’으로 정의하는 등 매우 주관적이고 추상적입니다. 그만큼 이를 측정하고 관리하기는 쉽지 않습니다. 이번 글에서는 사용자 경험의 구성 요소와 이를 측정할 수 있는 다양한 방법에 대해 소개하려고 합니다.

사용자 경험 요소와 측정 방법 좋은 UX는 사용자를 만족시킵니다. 그렇다면 사용자를 만족시킬 수 있는 UX는 어떻게 구성될까요? 많은 연구자들은 사용자의 만족을 충족시키기 위한 UX의 구성 요소로 사용성, 유용성 그리고 감성을 공통적으로 얘기합니다.

사용성(Usability): 얼마나 배우기 쉽고 사용하기 편리한 지에 대한 것 유용성(Usefulness): 얼마나 쓸모가 있는지에 대한 것 감성(Affect): 얼마나 즐겁고 아름다운지에 대한 것

UX 피라미드 WeAreBrain.com >

대표적인 모델로 벤 랄프가 제안한 UX 피라미드에서 좋은 UX를 제공하기 위해 만족시켜야 할 요소는 다음과 같습니다. 사용성(Usable), 편의성(Convenient), 유용성과 관련된 기능성(Functional), 사용성과 관련된 신뢰성(Reliable), 그리고 감성과 관련된 즐거움(Pleasurable)으로 정의합니다. 더 나아가 사용자 개인에게 중요한 의미를 제공하는 의미성(Meaningful)이 있습니다.

팬덤의 효과 SBS Biz >

최근에는 UX가 좋은 제품이나 서비스를 통해 사용자를 만족시키는 것뿐만 아니라, 사용자가 브랜드에 특별한 의미를 부여할 수 있도록 팬덤을 만드는 활동도 중요해지고 있습니다. 이러한 충성도가 높은 대표적인 브랜드로 애플이 있습니다. 애플의 팬이 된 사용자들은 새롭게 출시된 모델을 구매하기 위해 새벽부터 기다리거나, SNS 업로드를 통해 애플 제품을 적극적으로 추천합니다.

UX 측정 모델

이러한 개념은 위 그림처럼 정의할 수 있는데요. 높은 사용성과 유용성, 그리고 감성을 제공하는 좋은 UX는 사용자를 만족시킬 수 있으며, 더 나아가 해당 브랜드의 충성도를 높일 수 있습니다. 이를 통해 기업은 더 높은 매출과 바이럴 같은 긍정적인 마케팅 효과의 선순환을 기대할 수 있습니다.

위 UX 측정 모델의 각 구성 요소를 어떻게 측정할지 알아보기에 앞서, 추상적인 UX를 측정할 수 방법을 먼저 살펴보겠습니다. UX는 사용자가 제품이나 서비스를 사용하거나 기대했을 때의 주관적 반응입니다. 이는 사용자의 태도와 행동을 측정해 알 수 있으며, 대표적으로 3가지 방식이 있습니다.

주관적 데이터: 사용자가 제품이나 서비스를 사용해 본 경험을 직접 평가하여 측정 (예: 설문지 등) 수행 데이터: 제품이나 서비스와 상호작용하는 사용자의 행동을 관찰하여 측정 (예: 태스크 성공, 수행 시간, 에러 등) 생리적 데이터: 제품이나 서비스와 상호작용할 때의 사용자의 생리적 반응을 특수한 장비를 통해 측정 (예: 얼굴 표정, 시선, 동공 반응 등)

위 UX 데이터들을 측정하는 사용자 조사 방법은 이전 글 을 참고하시면 좋습니다. 다음으로 UX 측정 모델의 각 구성 요소를 어떻게 측정할 수 있는지 자세히 살펴보겠습니다.

1) 사용성의 측정 사용성은 제품이나 서비스를 사용자가 얼마나 배우기 쉽고, 사용하기 편리한지에 대한 정도입니다. 이는 주관적 데이터, 수행 데이터 그리고 생리적 데이터를 통해 측정할 수 있습니다.

System Usability Scale omb.report >

먼저 사용성에 대한 주관적 데이터를 측정하기 위해 설문지를 이용합니다. 대표적인 예로 시스템 사용성 척도(System usability scale, SUS)는 사용성에 대한 10개의 질문에 대해, 사용자가 얼마나 동의하는지 5점 척도로 측정할 수 있습니다. 이렇게 사용자에 의해 평가된 결과는 100점으로 환산할 수도 있는데요. 이를 통해 경쟁 서비스나 이전 버전의 서비스 대비, 사용성 경쟁력을 비교하거나 어떤 사용성 항목에서 강점이나 약점을 보였는지 알 수 있습니다.

이외에도 SSU(System usability scale), QUIS(Questionnaire for User Interface Satisfaction), CSUQ(Computer System Usability Questionnaire) 등 사용성을 평가할 수 있는 다양한 설문지들이 있습니다. 다만 이러한 설문지를 동일하게 사용하기보다는 이를 참고해, 서비스에서 중요하게 생각하는 사용성 속성들을 정의하고 설문 항목들을 설계해야 합니다. 그 후 평가하는 것이 서비스의 사용성 수준을 적절히 진단하고 개선하는 데에 더욱 효과적입니다.

EEG를 통한 인지적 부담의 측정 결과 예시 Debatri et al., 2018 >

다음으로 수행 데이터는 크게 효과성과 효율성을 측정하는 항목으로 구성됩니다. 먼저 효과성은 사용자가 서비스를 통해 목적을 얼마나 충실하게 달성할 수 있는지에 대한 것으로, 과제 완수 여부나 에러 수를 통해 측정할 수 있습니다. 효율성은 사용자가 과업을 달성하기 위해 투입한 자원과 그 효과 간의 관계에 대한 것인데요. 과제 수행 시간이나 학습하는 데 소요되는 기간, 과업 수행하는 데 소요되는 입력(예: 버튼 터치 횟수 등)의 효율성으로 측정할 수 있습니다.

과제 완수 여부: 사용자가 주어진 과제를 얼마나 효과적으로 완료했는지 측정 에러(Error): 과제를 수행하는 동안 사용자가 범한 실수를 측정 과제 수행 시간: 과제를 완료하는 데 필요한 시간이 어느 정도인지 측정 학습 용이성: 시간이 지남에 따라 사용자의 수행 수준이 어떻게 변했는지를 측정 입력 효율성: 웹 사이트의 클릭 횟수나 휴대폰의 버튼 누름 횟수와 같이 사용자가 과제 완료에 들이는 노력의 양을 측정해 산정

이러한 수행 데이터는 사용자가 과업을 수행하는 동안, 관찰자에 의해 측정되거나 비디오로 행동을 기록한 후 이후에 분석되기도 합니다. 과제 완수 여부와 수행 시간의 비교를 통해, 객관적인 관점에서의 사용성을 비교하거나 주로 어디서 에러가 발생했는지 분석해 사용성에 문제가 있는 UI를 진단합니다. 더불어 업무 효율성과 관련된 데이터는 ROI(Return On Investment) 분석과 같이, UX 개선을 통해 얼마만큼의 비용 절감 효과가 있는지 계산하는데 활용합니다.

더 정밀하게 사용성을 파악하기 위해선 생리적 데이터를 측정하는데요. 대표적으로 아이 트래커(Eye tracker)를 이용해 사용자의 시선을 추적하는 방법, 전극을 통해 뇌의 전기적 활동을 측정하는 뇌전도(Electoencephalography, EEG)를 들 수 있습니다. 시선 추적을 통해 원하는 대상을 사용자가 효율적으로 탐색할 수 있는지 분석하거나, 뇌전도를 통해 서비스의 사용에서 인지적 부담이 얼마나 유발되는지 파악하기도 합니다.

2) 유용성의 측정 유용성은 제품이나 서비스가 얼마나 유용한 지에 대한 정도로 정의할 수 있습니다. 이는 사용자가 제품이나 서비스를 통해, 실용적인 목적을 달성하는 도구로서의 기능적 가치를 의미합니다.

유용성은 주관적 데이터를 통해 측정할 수 있습니다. 예를 들면 ‘특정 서비스는 나의 생활에 매우 유용하다.’, ‘특정 기능이 나에게 도움이 된다고 생각한다.’ 등과 같이 설문지를 통해, 사용자가 이에 얼마나 동의하는지를 평가해 측정할 수 있습니다. 주로 새로운 서비스나 기능에 대해 사용자의 수용성(Acceptance)을 사전에 알아보고자 할 때 측정하거나, 출시된 서비스나 그 하위 기능들의 유용성을 측정하는 데 활용되곤 합니다.

3) 감성의 측정 감성은 제품이나 서비스를 사용하면서 사용자들의 마음에서 얼마나 적절한 느낌을 받았는지에 대한 것입니다. 주로 정서(Emotion)와 심미적 인상(Aesthetic impression)에 대해 주관적 데이터와 생리적 데이터를 통해 측정할 수 있습니다.

러셀의 감정 차원 모델 Peter et al., 2015 >

정서는 특정 대상에 대해 사람들이 단시간에 느끼는 감정인데요. 이러한 감정은 위 그림과 같이 러셀의 감정 차원 모델(Circumplex model)을 통해 유쾌함(Valence)과 활동 정도(Arousal)의 교차된 차원으로 표현할 수 있습니다. 예를 들어 서비스 사용을 통해 긍정적 경험을 했다면 사용자는 기쁜 감정을 느꼈겠지만, 부정적 경험을 했다면 사용자는 짜증 또는 분노의 감정을 느꼈을 것입니다.

정서 측정 설문지 예시 hcigames >

이러한 정서는 설문지를 통해 주관적 데이터를 측정할 수 있는데, 정서의 두 가지 차원인 유쾌함과 활동 정도에 대해 여러 표정을 보여줍니다. 이 중에서 사용자가 느끼는 정서와 가장 비슷한 이미지를 선택하여 측정할 수 있습니다 이러한 정서 평가는 서비스의 고객 여정 맵(Customer Journey Map)에서 어떤 부분에서 사용자가 불쾌한 경험을 겪었는지 파악하는데 활용할 수 있습니다.

표정 변화에 따른 감정 분석 예시 김종현, 2018 >

최근엔 감정의 생리적 데이터인 얼굴 표정을 인공지능으로 자동 분석해 주는 솔루션도 있습니다. 이러한 솔루션으로 화면을 보는 사용자의 얼굴 표정을 분석하면, 서비스 이용 시 어떤 부분에서 특정한 감정 반응을 보이는지도 함께 측정할 수 있습니다.

다음은 심미적 인상((Aesthetic impression)입니다. 이는 외부 자극에 의해 각인되는 감정이라고 정의할 수 있는데요. 심미적 인상은 단순히 예쁘다는 의미뿐만 아니라 밝음, 깔끔함, 고급스러움, 친근함, 신비함 등과 같은 다양한 개념을 포괄합니다.

이러한 심미적 인상은 감성 형용사를 기반으로 설계된 설문지로 측정할 수 있습니다. 예를 들어 특정 서비스를 사용하고 느낀 인상을 측정하기 위해 설문지에 감성 형용사들을 제시합니다. 각 형용사에 대해 사용자가 얼마나 동의하는지를 5점 또는 7점 척도로 답변해 심미적 인상을 측정할 수 있습니다. 주로 디자인에서 기획한 컨셉이나 추구하는 방향성에 잘 부합되는지 확인할 때 사용합니다.

4) 만족도와 충성도의 측정 높은 사용성과 유용성, 감성을 제공하는 제품이나 서비스를 경험한다면 사용자는 만족하게 됩니다. 이러한 사용자의 종합적인 경험에 대한 태도를 만족도라고 하며, 주관적 데이터를 통해 측정할 수 있습니다. 만족도를 측정하는 대표적인 설문은 CSAT(Customer Satisfaction Score)인데요. ‘특정 제품이나 서비스에 대해 얼마나 만족하시나요?’라는 질문으로 매우 만족하면 5점, 보통이면 3점, 매우 불만족하면 1점을 주는 5점 척도로 측정합니다.

NPS 측정 방법 및 계산 방법 opensurvey >

만약 특정 제품이나 서비스에 대한 만족이 사용자의 기대를 넘어 감동을 제공했다면 어떨까요? 사용자는 해당 브랜드의 팬이 될 가능성이 높습니다. 이러한 충성도(Loyalty)를 측정하는 대표적인 지표는 NPS(Net Promoter Score)입니다. NPS는 2003년 세계적인 컨설팅 회사인 베인앤컴퍼니에서 만들었는데, 여러 글로벌 기업들이 고객 충성도를 측정하는 가장 보편적인 지표로 활용하고 있습니다. 위와 같이 ‘특정 브랜드를 주변에 얼마나 추천하고 싶나요?’라는 질문으로 고객 충성도를 측정합니다.

로그 데이터와 사용자 경험 그렇다면 앞서 살펴본 주관적 데이터, 수행 데이터 및 생리적 데이터를 통해서만 사용자 경험을 측정할 수 있을까요? 반드시 그렇지는 않습니다. 대안적으로 제품이나 서비스에서의 사용 기록을 분석하여 사용자 경험을 유추할 수 있습니다. 바로 로그 데이터라고 알려진 앱이나 웹, 그리고 제품의 사용 과정에서의 행동 데이터를 수집해 분석하는 방법입니다.

로그 데이터는 제품이나 서비스를 이용할 때, 사용자의 행동을 기록한 데이터입니다. 별도의 사용자 조사 없이도 데이터를 획득할 수 있어, 조사 일정이나 비용이 들지 않는 장점이 있습니다. 하지만 로그 데이터는 사용 행동에 대한 결과만 있을 뿐, 그 이유를 분명히 알 수 없어 이를 해석하는데 한계가 존재합니다.

로그 데이터는 크게 사용 빈도, 사용 시간 그리고 사용 경로에 대해 구분할 수 있습니다. 각 로그 데이터에 대한 예시와 함께, 이를 사용자 경험 관점에서 해석할 수 있는 방법을 살펴보겠습니다.

1) 사용 빈도 로그 데이터 분석으로 방문자 수나 방문 빈도, 특정 기능에 대한 사용 빈도 등을 알 수 있는데요. 사용 빈도에 대한 대표적인 예시인 월간 방문자 수(Monthly Active User, MAU)는 서비스의 경쟁력을 보여주는 중요한 지표로 활용되고 있습니다.

그렇다면 서비스에 방문을 자주하거나, 특정 기능을 많이 사용하는 것은 UX 측면에서 어떤 의미가 있을까요? 이는 주로 유용성과 연관하여 해석될 수 있습니다. 예를 들어 사용 초기에는 유용성이 서비스 사용 빈도에 가장 크게 작용합니다. 사용자가 서비스를 이용하는 것은 특정한 목적을 달성하고 싶기 때문입니다. 만약 사용자가 원하는 기능을 제공한다면, 사용자는 목적 달성을 위해 서비스에 방문하게 됩니다. 이러한 기능이 유용하다면 반복적으로 사용하게 될 것입니다.

또한 사용이 지속됨에 따라, 사용 빈도는 사용성과 감성과도 연관성이 높아집니다. 만약 해당 서비스가 사용하기 어렵거나 즐겁지 않다면 사용빈도가 줄어들게 됩니다. 이때 유사한 기능을 제공하는 다른 서비스가 더 나은 사용성과 감성을 제공한다면, 사용자는 해당 서비스에서 이탈하게 됩니다.

2) 사용 시간 로그 데이터를 통해 서비스 사용 시간에 대해 알 수 있습니다. 이는 주로 사용성과 감성과 연관됩니다. 사용 시간이 짧다는 것은 특정 기능을 사용하는 과정이 쉽고 효율적이라서 빠른 진행이 가능했고, 사용성이 높다는 것을 의미할 수 있습니다. 하지만 감성 측면에서 볼 땐 사용하는 경험이 즐겁지 않아, 서비스에 오래 체류하지 않았을 수도 있습니다.

그러므로 사용 시간에 대한 로그 데이터를 해석할 때는 서비스나 기능의 속성이 무엇인지에 따라 적절한 해석이 필요합니다. 이러한 속성은 크게 실용적인 것인지, 유희적인 것인지로 구분할 수 있습니다. 뱅킹 서비스나 예약 서비스처럼 실용적인 속성이 강하다면 사용 시간이 짧은 것이 효율적이므로, 이는 좋은 경험을 제공했다고 해석할 수 있습니다.

반면에 영상이나 음악 스트리밍 서비스처럼 유희적 속성이 강한 서비스라면 사용 시간이 긴 것이 좋습니다. 즐거움을 주어 오래 체류한 것으로 볼 수 있어, 좋은 경험을 제공했다고 해석할 수 있는 것이죠. 물론 유희적 속성이 강한 서비스에서도 좀 더 세분화하면, 효율성이 중시되는 콘텐츠 탐색 과정을 별도로 분리하는 것이 좋습니다. 이는 사용 시간이 짧게 소요되는 것이 더 좋은 경험일 수 있습니다.

페이지 이동 간 이탈률 분석 Beusable >

3) 사용 경로 사전에 기능을 사용하는 경로가 정의되어 있다면, 위와 같이 페이지 이동 간 이탈률에 대해 분석하는 것도 가능합니다. 이는 사용성과 연관됩니다. 만약 특정 페이지에서 사용자가 어려움을 겪었다면 다음 페이지로 전환하지 못할 가능성이 높으므로, 이탈률이 높은 페이지에 대해서는 사용성에 문제가 있을 수 있습니다. 이러한 해석은 해당 페이지의 어떤 사용성 문제가 있는지, 정밀하게 진단하고 개선하는 데 도움을 줍니다.

현업에서 활용하기 지금까지 사용자 경험의 구성 요소와 이를 측정할 수 있는 다양한 방법에 대해 알아보았습니다. 그렇다면 현재 운영하고 있는 서비스의 적합한 사용자 경험 측정 방법은 무엇일까요?

우리 서비스에 맞는 사용자 경험 요소 측정하기 먼저 우리 서비스에 중요한 사용자 경험 요소는 무엇일지 고민해야 합니다. 앞서 살펴본 큰 틀을 참고하여, 좀 더 디테일한 경험 요소를 정의합니다. 제이콥 닐슨의 10가지 사용성 휴리스틱과 같은 UX 문헌들을 참고할 수도 있고, 사용자 인터뷰나 VOC(Voice of Customer) 분석을 통해 우리 서비스에 중요한 사용자 경험 요소를 도출할 수도 있습니다.

현재 서비스에서 중요한 사용자 경험 요소가 정의되었다면, 그들 간의 우선순위를 정하세요. 한정된 자원에서 좀 더 집중할 영역을 선정하는 것은 이후 고객 경험을 관리하고 개선하는 데 효과적입니다. 전문가들에 의한 AHP(Analytic Hierarchy Process) 분석, 내부 이해관계자들과 논의를 통해서도 우선순위를 선정할 수 있습니다.

실제 사용자들을 대상으로 설문 조사를 통해 주관적 데이터를 수집하고, 이를 회귀 분석과 같은 통계 분석으로 가중치를 도출하는 방법도 있습니다. 또한 VOC 분석은 반복적으로 언급되는 사용자 경험 요소를 파악하고, 이에 더욱 높은 가중치를 둘 수도 있습니다.

이처럼 우리 서비스에 중요한 사용자 경험 요소들을 정의했다면, 이제는 어떻게 측정할 것인지에 대한 고민이 필요합니다. 어떤 사용자 조사 방법을 이용해 주관적 데이터를 수집할지, 수행 데이터나 생리적 데이터도 수집할지 결정합니다. 아니면 로그 데이터를 수집해 사용자 경험을 분석할지 검토해보세요. 이때 데이터 수집 용이성이나 비용도 고려해야 하는데, 만약 비용과 시간이 허락된다면 더 높은 신뢰성과 타당성이 있는 측정 방법을 활용하면 좋습니다.

사용자 경험을 꾸준히 관리할 것 단순히 사용자 경험을 측정하는 것에서 끝난다면 더 나은 서비스를 만들 수 없습니다. 이를 정기적으로 측정하고 관리하는 활동이 필요합니다. 주기적으로 경쟁사 서비스와의 UX 스코어를 비교한다거나, 실시간으로 로그 데이터를 분석하여 개선 목표인 KPI(Key Performance Indicator)를 설정하는 것이 중요합니다. 만약 경쟁사 대비 사용성 점수에서 3점이 뒤처진다면, 그 원인을 파악하여 동등 수준으로 개선하는 것을 목표로 둘 수도 있습니다. 이번 달 MAU가 125만 명이었다면 다음 분기 목표는 150만 명으로 설정해, 이를 위한 액션을 정의하고 실행한다면 효과적으로 사용자 경험을 관리하고 개선할 수 있습니다.

이번 글에서는 사용자 경험의 구성 요소와 이를 측정할 수 있는 다양한 방법들을 살펴봤습니다. 이를 통해 서비스 특성에 따라 사용자 경험 요소를 정의하고, 효과적으로 관리할 수 있길 바랍니다.