‘사용성 평가’로 생생한 유저 피드백 수집하기

우리는 진화하는 고객의 니즈를 반영하기 위해 여러 기능을 추가할 때가 있습니다. 이때 서비스가 복잡해져 사용하기 어려워질 수도 있는데요. 이러한 사용성 저하는 오히려 고객의 서비스 이탈로 이어지기도 합니다. 그러므로 새로운 서비스를 개발하거나, 기존 서비스를 업그레이드할 때에는 단순히 기능 관점에서 경쟁력을 확보하는 것뿐만 아니라, 사용성 관점에서도 균형을 맞추어 UI를 개선해야 합니다.

서비스 UI를 개선하기 위해 사용자의 실제 피드백을 듣고 반영하는 과정이 필요한데요. 가장 대표적인 방법으로 ‘사용성 평가(Usability test)’를 들 수 있습니다. 사용성 평가는 사용자에게 직접 서비스를 써보게 한 후, UI의 문제점을 파악하고 개선하는 사용자 조사 방법입니다.

이번 글에서는 서비스 사용성 개선에서 의미 있는 데이터를 확보하기 위해, 사용성 평가를 어떻게 기획하고 수행해야 하는지 살펴보겠습니다.

사용성 평가(Usability test)란?

사용성 평가에서는 실제 사용자를 대상으로 특정한 과업(Task)을 수행하도록 해서, 서비스 사용에 대한 페인 포인트와 니즈를 파악합니다. 이를 통해 서비스의 현재 사용성을 진단하고, 더 나은 사용성을 확보하기 위한 개선 방안을 발굴합니다.

이러한 사용성 평가는 신규 개발한 서비스의 사용성을 검증을 하기 위해 활용될 뿐만 아니라, 기존 서비스의 사용성 개선을 위해서도 활용되는데요. 이는 사용자 중심의 반복적인 디자인 프로세스(Iterative design process)의 일환으로, 더 나은 서비스를 만들기 위한 중요한 과정입니다.

또한 사용성 평가는 인터뷰, 설문 조사와 같이 사용자의 의견이나 과거 경험을 묻는 것뿐만 아니라, 사용자에게 서비스를 실제 사용하도록 하여 그 반응을 살펴보는 실증적인 사용자 조사 방법입니다. 특히 사용성 평가에서는 수행도(Performance) 측정 및 설문지 평가와 같은 정량적 조사 방법과 함께, 인터뷰 및 행동 관찰과 같은 정성적 조사 방법을 함께 활용할 수 있는데요. 이를 통해 서비스의 사용성 수준을 수치적으로 경쟁 서비스와 비교하거나, 기존 서비스 버전에서의 개선 효과를 파악하는 데 효과적입니다. 또한 사용성 이슈에 대한 이유와 원인에 대해서도 면밀히 파악할 수 있는 강점이 있습니다.

사용성 평가 프로세스

사용성 평가 프로세스는 아래 그림과 같이 크게 4 단계를 거칩니다. 먼저 기획 단계에서는 누구를 대상으로 어떤 과업을, 어떻게 평가할지 정의합니다. 이후 수행 단계에서는 진행자가 사용성 평가 룸으로 참가자를 초청하여 과제를 수행하도록 하고 데이터를 수집합니다.

다음 분석 단계에서는 수집된 데이터를 분석해, 사용성 문제를 진단하고 이를 위한 개선 방안을 도출합니다. 마지막 보고 단계에서는 서비스의 이해관계자와 의사결정자에게 결과를 공유하고, 개선 방안에 대해 논리적으로 설득합니다.

이번 글에서는 사용성 평가 프로세스 중 서비스 개선을 위한 의미 있는 데이터를 확보하는 데에 핵심적인 과정인 ‘기획 및 수행 단계’를 중심으로 살펴볼 텐데요. 사용자 데이터를 분석하는 과정에 대해서는 이전 글(사용자 데이터를 효과적으로 분석하는 법)을 참고하면 좋습니다.

사용성 평가 기획하기

효과적인 사용성 평가 수행을 위해 기획 단계에서 준비가 필요한데요. 목표 정의, 참가자 기준 정의 및 모집, 과업 선정, 평가 항목 정의, 인터뷰 및 평가 절차서 정의와 같은 사전 준비 단계가 있고, 이후 사용성 평가를 수행하기 직전 점검이 필요한 사용성 평가 룸 세팅, 파일럿 테스트를 진행합니다.

1) 목표 정의하기

사용성 평가의 목표는 서비스의 사용성 문제를 파악하고 이를 개선하기 위한 것입니다. 이는 구체적인 하위 목표로 세분화될 수 있으며, 기획되는 내용도 달라질 수 있습니다. 대표적으로 서비스의 사용성 이슈를 파악하는 정성적 평가인지, 아니면 서비스의 사용성 수준을 정밀하게 진단하기 위한 정량적 평가인지에 따라, 참가자 수나 평가 항목에 차이가 생깁니다.

정성적 평가는 사용성 이슈 파악을 위해 소규모의 참가자가 요구되는 반면에, 정량적 평가에서는 데이터의 신뢰성과 객관성을 위해 대규모의 참가자를 모집해야 합니다. 평가 항목에서도 정량 평가는 수행도 측정이나, 생체 신호(시선 추적, 뇌파 분석 등) 측정과 같은 정교한 평가 방법이 요구되며, 이를 위한 평가 장비와 분석 프로그램 등의 준비가 필요합니다.

다음으로 경쟁 서비스와의 비교를 통해, 어떤 사용성 요소와 UI가 경쟁력 우위 또는 열위를 가지는지 파악하는데요. 이에 따라 사용성 평가 대상이 되는 서비스를 결정할 수 있습니다. 유사한 목표로 우리 서비스의 As-is와 To-be의 사용성 개선 효과를 검증할 수 있는데요. 이를 위해 더 나은 사용성을 제공할 것으로 예상되는 To-be 서비스를 평가 대상으로 준비해야 합니다.

2) 참가자 기준 정의 및 모집하기

사용성 평가로 데이터를 수집하려면 실제 사용자를 모집해야 합니다. 이유는 해당 서비스가 제공하는 가치를 필요로 하는 사용자들의 피드백을 받아야, 서비스 개선 효과도 유효할 수 있기 때문입니다. 만약 평가 목적이 경쟁 서비스와의 사용성 비교라면, 자사 서비스 사용자와 경쟁사 서비스 사용자를 동등한 수로 모집하는 것이 평가 결과의 형평성 측면에서 적절합니다.

또한 서비스의 사업 전략이 잠재 사용자나 경쟁 서비스의 사용자를 끌어와, 시장 점유율을 확장하는 것이라면 유사 서비스를 사용하지 않는 잠재 사용자와 경쟁 서비스 사용자를 참가자에 포함해야 합니다. 더 나아가 새로운 기능이나 서비스를 통해 새로운 시장을 개척한다면, 얼리어답터와 같은 선도 사용자를 참가자로 포함하는 것을 고려해야 합니다.

이렇게 참가자 기준이 정의되었다면, 기준에 부합하지 않는 참가자들을 걸러 내기 위한 스크리닝 질문(Screening question)을 개발합니다. 이를 통해 평가 의도에 적합한 사용자만을 모집할 수 있는데요. 예를 들어, MZ 세대 여성을 타깃으로 하는 패션 앱의 사용성 평가를 진행한다면, 50대 이상의 남성은 참가자로 적절하지 않습니다. 또한 관련 직종이나 시장 종사자는 조사 내용에 편견을 가지거나, 편향된 결과가 나올 수 있기 때문에 참가자에서 제외합니다.

그래서 선별 기준에 맞는 사용자를 모집하는 과정도 필요한데요. 전문 업체의 패널 풀을 이용해 모집하는 방법이 있습니다. 이는 모집이 편리하고 효율적이지만 비용적인 부담이 발생합니다. 다른 방법으로는 직접 참가자를 모집할 수 있는데, 이때 참가 대상에 따라 모집하는 곳이 달라질 수 있습니다. 만약 시니어를 대상으로 하는 서비스를 평가한다면, 노인 대학이나 노인 복지 센터에서 참가자를 모집하는 것이 좋습니다.

3) 과업 선정하기

다음으로 참가자들에게 요청할 과업을 사전에 정의해야 합니다. 이때 서비스에서 중요한 과업을 선별하는 과정이 필요한데요. 예를 들어, 서비스에서 사용자들이 자주 사용한다거나, 사용 빈도는 높지 않아도 사용자에게 중요한 과업이 그 대상이 될 수 있습니다.

만약 새로운 서비스나 기존 서비스를 업그레이드를 한 경우라면, 신규 기능이 포함된 과업을 선정해 검증하는 것이 좋습니다. 그다음 테스트할 과제의 우선순위를 정합니다. 전체 사용성 평가 시간을 약 60~90분이라고 볼 때, 한 과제를 수행하고 설문지 평가와 사후 인터뷰를 할 시간까지 고려합니다. 한 과제당 5~10분 정도 소요된다고 가정하여, 전체 평가할 과업의 개수와 우선순위로 정할 수 있습니다.

과업이 선정된 이후, 참가자가 상황에 이입해 과업을 수행할 수 있도록 구체적인 상황을 시나리오 형태로 작성해야 하는데요. 아래 시나리오 예시와 같이 과제를 하는 상황과 함께 사용자들이 알아야 할 정보(예: 아이디, 패스워드)와 제약 사항(예: 탐색 시 검색 기능은 사용하지 않음)에 대해 정의해 줍니다.

과업 시나리오 예시 <출처: 작가> 

4) 평가 항목 정의하기

이렇게 과업이 정의되면 참가자를 측정할 행동을 정의하거나, 과업을 수행한 이후 태도에 대해 측정할 평가 항목이 필요합니다. 이는 주관적 평가 항목과 객관적 평가 항목으로 구분될 수 있는데요. 주관적 평가 항목은 설문지를 통해 다양한 사용성 요인(예: 직관성, 효율성, 일관성 등)이나 만족도에 대한 점수(예: 리커드 7점 척도)를 참가자가 직접 평가합니다.

반면 객관적 평가 항목은 수행 시간이나 에러율과 같은 수행도나 생체 신호(예: 뇌파 분석을 통한 정신적 노력 정도, 시선 추적을 통한 정보 탐색 용이성)와 같은 측정 항목을 진행자나 관찰자가 측정합니다.

특히 설문 평가는 서비스 사용에 대한 참가자의 태도를 직접 평가할 수 있는 방법으로 현업에서 가장 많이 활용되는데요. 이는 사용 경험을 체계적으로 평가할 수 있을 뿐만 아니라, 참가자의 결과를 보고 인터뷰를 진행할 수 있어, 사용 경험에 대한 현상과 원인을 파악할 수 있습니다.

하지만 이때 설문지 항목 구성에는 주의가 필요한데요. 설문지 항목이 곧 평가 결과의 신뢰성과 타당성으로 직접 연결되기 때문입니다. 이를 위해 기존 연구에서 타당성이 검증된 설문 항목을 활용하면 좋습니다. 다만 설문 항목이 너무 보편적이거나, 우리 서비스의 사용 경험을 반영하는 데 한계가 있을 수도 있습니다. 따라서 우리 서비스에 중요하거나 차별화된 경험 요소를 면밀히 검토해 정의하고, 이를 설문지로 개발하여 활용하는 방법도 있습니다.

방금 경험한 과업에 대해 다음 각 항목별로 얼마나 동의하시나요? 전혀 동의하지 않으면 1점, 보통이면 4점, 동의하면 7점으로 선택해 주세요.

설문지 항목 예시 <출처: 작가> 

5) 인터뷰 질문 및 평가 절차서 정의

앞서 정의한 정량적 평가 항목 외에 정성적으로 알고 싶은 질문은 인터뷰를 통해 알아낼 수 있는데요. 인터뷰 질문은 크게 과업 수행 전에 물어볼 내용, 각 과업을 수행하고 물어볼 내용, 모든 과업이 완료된 후 물어볼 내용으로 구분할 수 있습니다.

이때 반구조화된 인터뷰(Semi-Structured Interview)로 진행하는 것 효과적인데요. 사전 정의된 인터뷰 항목을 모든 참가자들에게 일관되게 물어보는 구조화된 인터뷰(Structured Interview)와는 달리, 반구조화된 인터뷰에서는 사전 정의된 인터뷰 항목을 물어보되, 참가자가 특이한 행동이나 답변을 한다면 별도의 질문을 할 수 있습니다. 이를 통해 예상외의 인사이트를 얻을 수 있죠.

앞선 과업 및 평가 항목, 인터뷰 질문이 모두 정의되면, 이를 어떤 순서와 시간으로 진행할지 사용성 평가 절차서를 만듭니다. 이는 사용성 평가 시 진행자의 가이드로 활용합니다.

6) 사용성 평가 룸 세팅하기

다음은 사용성 평가 룸 세팅입니다. 사용성 평가 룸은 아래 그림과 같이 테스트 룸과 관찰 룸으로 구성됩니다. 테스트 룸은 사용성 평가가 진행되는 공간으로, 관찰 룸으로 테스트를 중계해 줄 수 있는 카메라와 마이크, 화면을 녹화하고 공유할 수 있는 PC 등의 장비가 필요합니다.

관찰 룸은 사용성 평가를 관찰하는 공간으로, 테스트 룸에서 참가자가 조작하거나 말하는 내용을 중계할 수 있는 화면과 스피커 장비가 필요합니다. 이때 관찰 룸에서는 One-way mirror를 통해 테스트 룸을 관찰할 수 있지만, 테스트 룸에서는 관찰 룸을 볼 수 없습니다. 또한 사용성 평가 이전에 사용성 평가 룸의 장비들이 잘 작동되는지 확인합니다.

7) 파일럿 테스트

본 사용성 평가를 수행하기 전, 파일럿 테스트를 진행하는데요. 파일럿 테스트를 통해 참가자들이 과업이나 질문 내용, 그리고 설문지를 이해하지 못하거나 잘못 해석하는 부분이 있는지, 평가 대상인 서비스들이 제대로 작동하는지 확인합니다.

또한 준비한 과제 리스트들을 수행하는 데 소요되는 시간을 체크하고, 진행자는 준비된 절차서대로 사용성 평가 진행을 연습해 봅니다. 어색한 부분을 미리 조정하면서, 본 평가가 원활히 진행될 수 있도록 합니다.

사용성 평가 수행하기

앞서 모든 기획을 완료했다면, 본 평가에서는 참가자를 테스트 룸으로 안내하고 진행자가 평가 절차서에 따라 사용성 평가를 진행합니다. 이때 관찰룸에서는 관찰자가 사용성 평가를 관찰하며 특이사항을 기록합니다. 지금부터 사용성 평가에서 진행자와 관찰자의 역할을 살펴보고, 사용성 평가가 어떤 과정으로 진행되는지 알아보겠습니다.

1) 진행자의 역할

진행자(Moderator)는 사용성 평가 수행에 있어 가장 중요한 역할을 하는데요. 참가자에게 해야 할 과업을 안내하고 질문하는 등 사용성 평가 전반에 걸쳐 진행을 담당합니다. 그렇다면 진행자가 사용성 평가를 원활하게 진행하려면 어떤 태도와 스킬이 필요할까요?

첫 번째로 진행자는 참가자가 편안하게 이야기를 할 수 있는 분위기를 조성하고, 참가자의 이야기에 경청하고 있다는 것을 보여줘야 합니다. 예를 들어, 참가자가 그들의 사용 경험이나 느낌을 말할 때 진행자는 고개를 끄덕이거나 리액션을 통해 잘 듣고 있다고 표현하거나, “그래서 00 부분이 찾기 어렵다고 말씀하신 거죠?”와 같이 참가자의 말을 제대로 이해하기 위해 노력해야 합니다.

또한 사용성 평가를 진행하다 보면, 참가자가 스스로 잘하고 있는 건지 초조한 모습을 보일 때도 있는데요. 이럴 때 진행자는 “정말 많은 도움이 되고 있습니다.”와 같은 말로 참가자를 격려해야 합니다. 이를 통해 참가자는 더욱 적극적으로 자신의 생각과 느낌을 표현할 수 있습니다.

두 번째로 진행자는 참가자에게 이야기할 때 중립적 자세를 유지해야 합니다. 만약 진행자의 의도가 전해진다면, 참가자는 진행자가 원하는 방향으로 이야기할 수 있기 때문인데요. 특히 진행자는 참가자가 무슨 말을 해야 하는지 알려주거나, 특정한 방향으로 답변을 유도해선 안 됩니다.

또한 참가자들이 과업을 수행하면서 어떻게 사용해야 하는지 물어봐도 대답해서는 안 됩니다. 참가자 스스로 사용 방법을 알아낼 때까지 기다려야 합니다. 참가자가 과업을 수행하다 질문하면 진행자는 “평소 사용하시던 대로 해보세요.”와 같이 답변하는 것이 좋습니다. 만약 인터뷰 중에 참가자가 질문하면 “어떻게 생각하시나요? 어떻게 될 것 같나요?”와 같이 질문에 답해주지 말고, 같은 말로 참가자가 생각을 직접 이야기하도록 유도하는 것이 중요합니다.

마지막으로 진행자는 참가자들이 과업을 수행하는 동안 그들이 생각을 말로 얘기할 수 있도록 유도해야 합니다. 이러한 방법을 ‘말로 생각하기 기법(Think aloud)’이라고 하는데요. 이를 통해 참가자들이 무엇을 보고 무엇을 하며, 무엇이 그들을 혼란스럽거나 어렵게 만드는지 알아낼 수 있습니다. 만약 참가자가 과업을 수행하면서 아무 말 없이 묵묵히 있다면, 진행자는 “무엇을 보고 계신가요? 무슨 생각을 하고 계시나요?”와 같이 생각을 입 밖으로 표출하도록 요청해야 합니다.

2) 관찰자의 역할

다음은 관찰자의 역할입니다. 관찰자들은 관찰 공간에서 사용성 평가 과정을 실시간으로 지켜보면서 발견한 특이점이나 문제점을 기록하는데요. 이를 통해 참가자가 우리 서비스를 어떻게 이해하고 사용하는지, 그리고 어떤 어려움을 겪게 되는지 분석할 수 있습니다. 특히 사전에 정의한 과업의 흐름도를 기반으로, 예상 동선에서 벗어난 오류 행동을 기록할 수 있는데요. 이를 통해 사용자에게 발생하는 병목 현상을 정량적으로 분석하고 원인을 진단할 수 있습니다.

3) 사용성 평가 진행 절차

다음으로 사용성 평가 진행 절차입니다. 진행자는 평가의 목적과 절차에 대해 자세히 소개하고, 참가자가 사용성 평가에 참여할 의사가 있다면 바로 진행할 수 있습니다. 먼저 참가자에게 개인 정보 보호와 비밀 서약에 대한 동의를 구합니다. 본 평가에 앞서 참가자가 편하게 평가에 임할 수 있도록 아이스브레이킹을 하면 좀 더 원활하게 진행할 수 있습니다. 또한 서비스를 직접 사용하기 전에 서비스와 관련된 기존 경험이나 태도에 대해 간단한 인터뷰를 진행할 수도 있습니다.

본 평가에서 진행자는 과업을 제시하고 참가자가 과업을 수행하도록 요청합니다. 참가자가 과업을 완료하면, 사용 경험에 대해 설문지에 평가하도록 하고 사후 인터뷰를 진행합니다. 인터뷰 내용은 주어진 과업에 대한 궁금한 질문이나, 참가자가 특이하게 보였던 행동이 있다면 그 이유에 등에 대해 물어볼 수 있습니다.

특히 설문지를 평가하면서 점수가 낮거나 높은 사용성 요인에 대해 그렇게 평가한 이유를 직접 파악할 수 있는데요. 이를 통해 어떤 사용 경험이 긍정적이거나 부정적인지 파악하면서, 그 원인이 되는 UI를 추적하여 알아낼 수 있습니다. 만약 과업의 제시 순서가 수행에 영향을 준다면, 과제 목록을 랜덤으로 제시해 순서 효과나 학습 효과로 인한 편향을 최소화해주어야 합니다.

그리고 참가자에게 전반적인 서비스에 대한 경험이나 불편사항, 그리고 니즈 등에 대한 의견을 물어봅니다. 마지막으로 관찰룸에 있던 이해관계자에게 참가자에게 추가적으로 묻고 싶은 게 있는지 확인하는 것으로 사용성 평가를 마무리합니다. 사용성 평가가 완료되면 참가자에게 감사의 말을 전하고 소정의 사례비를 전달합니다.

이렇게 사용성 평가가 모두 완료된 후, 진행자는 참관했던 이해관계자들에게 사용성 평가에 대한 전반적인 결과나 특이사항에 대해 브리핑합니다. 이때 참가자들이 서비스를 이용하면서 겪은 심각한 사용성 문제가 무엇이고, 이를 해결하는 방안은 무엇일지 함께 논의하고 기록해 둡니다. 이렇게 기록된 내용은 분석 단계에서 활용할 수 있습니다.

현업에서 활용하기

이번 글에서는 사용성 평가를 어떻게 기획하고 수행해야 하는지에 알아봤는데요. 사용성 평가를 진행하며 객관적인 관점에서 경쟁 서비스와의 사용성 경쟁력을 파악할 수 있을 뿐만 아니라, 발견한 사용성 문제를 통해 데이터 기반의 합리적인 의사결정을 할 수 있습니다. 특히 사용성 평가에 이해관계자를 참여시키면 사용자 반응을 직접 보고, 사용자 입장에서 서비스를 만들고 일하는 문화를 만드는 데 긍정적으로 작용할 수 있습니다.

하지만 사용성 평가를 수행하기 위해서는 많은 사용자를 모집하고, 평가를 준비해야 하기 때문에 많은 비용이 소요될 수 있습니다. 또한 서비스 기획과 개발을 빠르게 진행해야 하는 경우, 많은 시간이 소요되는 사용성 평가가 부담스러울 수 있습니다. 그렇지만 꼭 많은 수의 참가자를 모아, 대규모로 진행해야 하는 것은 아닙니다.

사용성 이슈를 파악하기 위해서는 5명 정도의 참가자를 대상으로, 조용한 회의실에서 진행해 볼 수도 있습니다. 사용성 평가의 핵심은 실제 사용자를 대상으로 서비스를 사용해 보게 한 후, 그들의 생생한 행동과 목소리를 듣는 것입니다. 이를 통해 사용자가 서비스의 어떤 부분에서 어떤 어려움을 느끼는지 공감하고, 더 나은 서비스로 개선하는 데 도움이 되길 바랍니다.

<참고 문헌>

오의택, 김성민, 홍지영, 조민행 & 최진해. (2016). Usability Comparison of Simple Home and App Drawer Home in Smartphone. 대한인간공학회 학술대회논문집, 232-238.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.