UX 리서치, 인간 사용자가 꼭 필요할까?

2023년 오픈서베이가 발표한 “UX 리서치 트렌드 리포트”를 보면 이러한 상황이 더 잘 드러난다. 설문에 참여한 응답자의 91.6%는 사용자와 UX를 이해하는 일, 즉 UX 리서치의 중요성을 인식하고 있었다. 그러나 실제 리서치를 수행할 인프라가 갖춰져 있다고 답한 비율은 20.6%에 불과했다.

이들은 UX 리서치를 진행하지 못하는 가장 큰 이유로 내부 리소스와 인력 부족을 꼽았다. 그와 함께 여러 리서치 방법 중에서도 ‘사용자 인터뷰’의 예상 예산은 1,221만 원으로 가장 높게 나타났으며, 사용자 인터뷰 과정의 가장 큰 어려움으로는 ‘대상자 모집’과 ‘결과 분석’이 지목됐다.

이처럼 실무에서는 사용자의 질적 데이터를 수집하는 작업이 매우 어렵다는 것을 알 수 있다.

오픈서베이 리포트: UX 리서치를 진행하지 않는 이유, 리서치별 예상 예산, 사용자 인터뷰 수행 과정 중 겪는 어려움 <출처: 오픈서베이, 작가 편집>

한편 이러한 조사 결과를 토대로 새로운 생각을 해볼 수도 있다.

‘이렇게 힘들고 어려운 사용자 인터뷰, 특히 대상자 모집 과정을 AI로 대체할 수 있다면 어떨까?’

실제로 이미 사회과학 분야에서는 인구통계학 정보나 온라인 데이터를 활용해 설문 응답을 예측하거나, 행동 실험 결과 및 소비자 선호도를 추정하는 등 인간 참여자의 응답과 행동을 모방하는 다양한 방법을 탐구하고 있다. 이러한 접근 방식을 UX 리서치 분야에도 동일하게 적용해 볼 수 있을 것이다.

대상자 모집을 AI로 진행한다는 것, 이는 곧 실제 인간 참여자를 대신할 AI 에이전트를 만든다는 것을 의미한다. 오늘은 이러한 UX 리서치의 사용자 대체를 위한 몇 가지 방법을 살펴보고, 이에 대한 논의를 다룰 예정이다.

방법① 역할 부여 프롬프트 사용하기

사용자 에이전트를 만드는 가장 간단한 방법은 ‘역할 부여 프롬프트’를 활용해 AI에게 사용자 역할을 맡기는 것이다. AI 사용자를 만들고, 이를 대상으로 가상 인터뷰를 수행하는 방식이다.

토스의 AI 에이전트, 휴리봇 사례

토스는 이 방식을 적용해 ‘휴리봇’이라는 에이전트를 만들어 활용하고 있다.

“우리가 작성한 이 UX 라이팅을 사용자도 이해할 수 있을까?”
“이 아이콘을 사용자는 어떤 의미로 받아들일까?”

이러한 질문들은 제품 품질 개선을 위해 반드시 검증해야 하지만, 많은 리소스를 투입해 사용자 조사를 수행하기에는 부담스럽고 비효율적일 수 있다. 예를 들어, 사용자가 특정 페이지를 어떻게 이해할지, 화면을 복잡하게 느끼지는 않을지와 같은 의문이 생기면 이를 확인하기 위해 많은 준비가 필요하다. 여기에 사용자를 직접 대면해야 한다는 심리적 부담까지 더해진다. 그 결과, 토스에서도 사용성 테스트를 아예 건너뛰거나 주변 동료를 대상으로 게릴라 UT를 진행하는 경우도 있었다고 한다.

이런 문제를 풀고자 토스는 더 자주, 더 가볍게 사용성을 점검할 방법이 필요하다고 판단했다. 그러한 맥락에서 탄생한 것이 바로 휴리봇이다.

휴리봇의 작동 예시를 살펴보자. 한 실무자가 토스의 이벤트 소개 페이지를 제시하고, 페이지의 첫인상과 이해 여부를 자유롭게 말해달라고 요청했다. 그러자 휴리봇은 사람이 걷는 인포그래픽을 참고해 “걸으면서 돈 버는 이벤트”인 것 같다고 답했다. 그러나 실제로 이 이벤트는 걷기와 전혀 관련이 없었다. 이로써 실무자는 사용자가 이미지를 오해할 수 있음을 깨달았고, 인포그래픽을 수정했다.

해지 페이지를 검토한 사례도 있다. 만약 해지 페이지에 확인 버튼만 있으면, 사용자가 어떤 반응을 보이는지 확인한 것이다. 이에 휴리봇은 취소 버튼이나 뒤로 가기 버튼이 없어 화면에서 빠져나가는 방법을 모르겠다고 답변했다. 이처럼 휴리봇의 답변에서 실제 사용자 피드백을 예측하면, 빠르게 제품을 개선할 수 있다. 질문과 피드백 반영 과정을 돕는 봇으로 디자이너 혼자 고민하는 시간을 크게 줄이는 것이다.

그렇게 토스에서 휴리봇을 사용한 팀원들은 세 가지 장점을 꼽았다고 한다. 첫째, 검증 범위가 이전보다 넓어졌다. 둘째, 가볍게 의견을 구해 빠르게 수정하고 발전시킬 수 있다. 셋째, 제3자의 시각이 필요할 때나 초안 단계에서도 편리하게 의견을 받을 수 있다.

휴리봇이 인간 사용자처럼 답하도록 만드는 프롬프트

주목할 점은 휴리봇이 실제 인간 사용자처럼 자연스럽게 답변한다는 부분이다. 토스 실무진은 이러한 작동 방식을 구현하기 위해 프롬프트 설계에 세심한 주의를 기울였다고 한다.

구체적으로 토스에서 휴리봇을 만들 때 적용한 프롬프트 설계 전략은 다섯 가지다.

첫 번째, 명확한 역할과 상황 부여다. 이를테면, 휴리봇은 ‘앱의 사용 편의성과 디자인 기능성에 대해 사용자의 솔직한 의견을 수렴하여 제품을 개선하기 위한 목적의 인터뷰’에 참여하며, ‘모바일 앱이나 디자인에 대한 전문 지식이 전혀 없는 평범한 사용자’의 관점에서 답변을 생성해야 한다. 이처럼 단순히 ‘UX 인터뷰’, ‘평범한 사용자’를 넘어 상황적 맥락과 역할을 구체적으로 지정해야만 AI가 제작 의도에 맞게 작동할 가능성이 높아진다.

두 번째, 구어체 사용 유도다. 단순히 “대화체로 자연스럽게 말해달라”는 프롬프트보다는 “응답이 너무 길거나 지나치게 구체적일 필요가 없다”는 조건을 추가하면 자연스러운 구어체 답변을 얻을 수 있다. 실제로 인간 사용자와 인터뷰를 진행할 때는 단답형 응답이 일반적이지만, AI는 방대한 정보를 장황하게 설명하려는 경향이 있다. 이 간극을 줄이는 방식으로 프롬프트를 보완할 수 있다.

세 번째, 부정 지시문 대신 긍정 지시문을 사용하는 것이다. AI에 특정 행동을 하지 말라고 명령하면 오히려 그 행동이 유발될 수 있다. 이는 생성 AI의 고질적인 문제인 ‘할루시네이션(hallucination, 환각)’ 때문이다. 예를 들어, 과거 오픈AI의 CPO를 맡았던 안드레아 카파시는 AI와 나눈 대화를 기반으로 자신의 삶을 묘사하는 그림을 생성한 적이 있다. 당시 그는 아내의 알레르기 때문에 고양이를 키울 수 없다고 말했는데, AI가 환각을 일으켜 마치 그가 고양이를 키우는 것처럼 이미지를 만들어냈다. 이와 같은 오류를 줄이려면 ‘특정 단어를 쓰지 말라’는 부정 지시문보다는 ‘~하도록 하라’와 같은 긍정 지시문이 효과적이다.

네 번째, 이미지 속 텍스트는 추출해 전달한다. 휴리봇은 사용자가 제공한 UI 이미지를 보고 피드백을 생성한다. 다만, 이때 UI 이미지 속 텍스트를 정확히 인식하지 못할 가능성이 있기 때문에, 토스는 OCR(Optical Character Recognition, 광학 문자 인식) 기능을 활용했다고 한다. 즉, 휴리봇과 대화를 시작하기 전에 이미지 속 텍스트를 미리 추출해 전달하는 것이다. 여기에 이미지에 이런 텍스트가 포함돼 있다는 설명을 추가로 입력하면, UI에 대한 해석 정확도를 높일 수 있다.

다섯 번째, 실제 인간 사용자처럼 응답을 생성하도록 인식 정확도를 의도적으로 낮추는 프롬프트 전략이다. 실제 사용자들은 화면 속 모든 텍스트를 꼼꼼히 읽지 않고, 중요한 정보만 선택적으로 확인하는 경향을 보인다. 대표적인 사례가 약관 동의 페이지다. 대부분의 사용자는 약관 내용을 읽지 않고 ‘확인’ 버튼만 누르고 넘어간다. 다른 페이지에서도 역시 작은 모바일 화면의 텍스트를 모두 꼼꼼히 읽는 사용자는 드물다. 이러한 행동 특성을 반영해, 휴리봇 역시 화면 속 텍스트를 덜 꼼꼼하게 읽도록 설계했다고 한다.

이와 같은 다섯 가지 프롬프트 전략으로 휴리봇은 실제 인간 사용자와 비슷하게 자연스럽고 유의미한 피드백을 제공할 수 있었다. 이처럼 토스의 휴리봇은 AI 기반 가상 사용자 인터뷰를 실무에서 효과적으로 활용할 수 있음을 보여주는 대표적 사례라 할 수 있다.

방법② 타깃 사용자 프로필 제공하기

한편, 이미 프로덕트 결과물이 존재하는 상태에서 개선을 목적으로 진행하는 리서치인 사용성 테스트와 달리, 서비스 사용 맥락이나 사용자의 상황을 파악해야 하는 탐색적 리서치 단계에서는 단순한 역할 부여 프롬프트만으로는 부족하다. 이 단계에서는 사용자의 성격, 신념, 가치관, 과거 경험 등 개인적 특성에 따라 응답이 달라질 수 있기 때문이다.

이럴 때는 가상으로 타깃 사용자의 프로필을 생성하고 이를 활용해 볼 수 있다.

Synthetic user

대표적으로 Synthetic Users라는 스타트업은 타깃 사용자의 인구통계학 정보, 문제, 어려움, 니즈, 목표 등을 기반으로 가상의 에이전트를 생성해 준다. 나아가 이를 활용해 인터뷰 응답을 확인할 수 있는 서비스까지 제공한다.

Synthetic Users는 현재 잠시 서비스 업데이트 중으로, 사이트에서 데모를 예약할 수 있다. 사용 방법은 AI로 맥도날드 키오스크 사용자 인터뷰하기 (w. Synthetic Users)를 참고하면 좋다.

GPTs

유저 퍼소나를 생성해 주는 GPTs로 가상의 사용자를 만들 수도 있다. 예를 들어 Persona Creator, UX GPT와 같은 GPTs는 인구통계학 정보, 문제, 고민, 니즈 등 프로필을 입력하면 이를 기반으로 가상의 사용자를 생성해 준다. 이렇게 생성한 사용자를 바탕으로 인터뷰 시뮬레이션을 진행하는 것이다.

가상 사용자와 인터뷰 시뮬레이션을 진행하는 방법은 4가지 GPTs로 ‘사용자 인터뷰’ 시뮬레이션하기 글에서 확인할 수 있다.

이처럼 구체적인 타깃 사용자 프로필과 함께 해당 역할을 수행하도록 프롬프트를 입력하면, 단순히 역할만 부여했을 때보다 더 구체적이고 세밀한 응답을 얻을 수 있다.

그러나 이 방식은 리서처가 직접 사용자의 프로필과 배경 정보를 설정하므로, 인터뷰 응답의 범위가 제한된다는 한계를 가진다. 또한, ‘퍼소나(persona)’ 자체가 개별 사용자가 아닌 유사한 프로필을 가진 사용자 집단을 대표하기 때문에, 일부 개별 사용자의 고유한 관점이나 의견이 배제될 위험이 있다. 이러한 한계를 보완하려면 세 번째 방법을 고려해볼 수 있다.

방법③ 개별 사용자 클론 만들기

클론 AI는 개별 사용자 데이터를 바탕으로 반응이나 행동 패턴 등을 모방하는 에이전트를 의미한다. 목적에 따라 클론 AI를 만드는 방법과 사용 데이터 종류는 달라질 수 있으며 본 글에서는 방대한 내면적 특성이 담긴 정성적 인터뷰 데이터를 활용할 예정이다.

① 가치관과 우선순위, ② 성격과 자아, ③ 라이프스타일과 일상, ④ 소비와 취향, ⑤ 포부와 미래 전망, ⑥ 사회적 관계와 관심사, ⑦ 의사결정 방식, ⑧ 감정과 정서적 반응 등 사용자의 내면적 특성을 파악할 수 있는 질문지를 활용해 풍부한 데이터를 수집하고 구현하는 것이다.

클론 AI를 만드는 방법은 나도 몰랐던 나를 비추는 거울, ‘클론 AI’ 만들기에서 이미 소개한 바 있다. 당시에는 고민 상담을 위한 클론 AI였지만, 동일한 방식을 활용해 사용자 에이전트를 생성할 수도 있다.

클론 AI를 위해 GPTs로 내면 탐구 인터뷰하기

문제는 이처럼 클론 AI를 구현하기 위한 내면 탐구 인터뷰를 대면으로 진행할 경우 시간, 비용과 심리적 부담 때문에 일반적인 사용자 인터뷰와 같은 한계가 발생한다는 것이다. 이를 보완하려면 GPTs를 활용해 내면 탐구 인터뷰를 대신 진행하고, 필요한 데이터를 자동으로 수집할 수 있다.

물론 수집되는 응답의 양과 질에 따라 클론의 현실감이나 응답 품질이 달라질 수 있는데, 이 역시 GPTs로 일부 통제할 수 있다. 단순히 정해진 질문을 순서대로 제시하는 방식이 아니라, 사용자의 답변을 기반으로 후속 질문을 이어가며 충분한 데이터를 확보하는 방식이기 때문이다. 여기에 AI를 활용하면 개인적인 이야기를 털어놓을 때 발생할 수 있는 심리적 부담을 완화하는 효과도 있다.

실무자들의 ‘사용자 클론’ 활용 후기

클론 AI의 활용 가능성을 확인하기 위해, LLM 애플리케이션 개발 플랫폼인 Dify.ai를 이용해 직접 생성한 사용자 클론을 활용해 8명의 실무자와 간단한 테스트를 진행했다. 그로써 얻은 인사이트는 크게 세 가지로 정리할 수 있다.

첫째, 클론 AI는 말투와 성향을 반영할 수 있다. 실무자들은 클론이 “~한 느낌이다”, “집중이 흐트러진달까?”와 같은 추상적이면서도 자연스러운 표현을 사용하자, AI라는 사실을 잊고 인터뷰에 몰입할 수 있었다고 말했다. 물론 기존의 휴리봇, Synthetic Users, GPTs 역시 ‘사용자처럼 답변하기’라는 프롬프트로 자연스러운 어투를 구사한다. 그러나 클론은 내면 탐구 인터뷰 데이터로 사고방식과 의사결정 과정을 반영했기에, 단순한 말투 재현을 넘어 ‘생각의 흐름에 따른 설명 방식’이 특히 인간과 유사하다는 평가를 받았다.

둘째, 클론은 ‘해 본 적 없다’라는 응답을 할 수 있었다. AI는 일반적으로 ‘모른다’라는 대답을 회피하고 긍정적으로 답변하려는 편향을 보인다. 이로 인해 실제 경험하지 않은 내용도 ‘해본 척’ 할 수 있다는 우려가 있다. 그러나 클론은 특정 경험이 없을 때, 이를 명확히 부인했다. 예를 들어 캠핑 경험을 묻자, 한 사용자의 클론은 “외국 여행 중 숲속에 머문 적은 있지만 캠핑을 해본 적은 없다”고 답하며 “최근 일이 바빠 시간이 없었다”라는 이유를 덧붙였다. 또 다른 클론은 “캠핑 장비 준비가 번거로워 가지 않았다”고 응답하기도 했다. 실무자들은 이러한 반응이 실제 인간 사용자와 유사해 신뢰감을 높여준다고 평가했다.

셋째, 지극히 개인적인 경험과 성향이 반영된 답변이 공감을 준다는 점이다. 한 클론은 “현재 직업이 적성에 맞지 않아 이직을 고민하고 있지만, 퇴근 후에 운동을 하는 것만으로 에너지가 고갈돼 포트폴리오 준비가 나아가지 않는다”고 답했다. 또 다른 클론은 “여자친구와 결혼 이야기를 나누고 있지만, 해외에서 오래 살아보고 싶은 꿈 때문에 갈등하고 있다”고 말했다. 실무자들은 이러한 답변에서 평범한 개인의 일상에 따른 미묘한 성향 차이가 드러났기에, ‘AI라는 설명이 없었다면 실제 인간의 인터뷰라고 믿었을 것’이라고 평가했다.

특히 GPTs나 Synthetic Users를 활용해 인터뷰 시뮬레이션을 경험했던 실무자들은 클론의 차별성을 더욱 뚜렷하게 체감했다. 한 실무자는 “사용자 프로필을 기반으로 생성한 GPT 응답은 입력한 특성을 되풀이하거나 인터넷에서 떠도는 이야기를 조합한 것처럼 보여 신뢰하기 어려웠다. 반면 클론의 응답은 개성적이고 인간적인 면모가 드러나 훨씬 현실적으로 느껴졌다”고 말했다.

따라서, 프롬프트 부여나 프로필 생성만으로 부족함을 느낀 UX 담당자에게는 이러한 클론 AI 생성이 좋은 선택지가 될 수 있다.

AI로 인간 사용자를 대체하는 것이 정답일까?

이처럼 사용자 에이전트를 만드는 방법은 간편하고 빠른 사용자 인터뷰 시뮬레이션을 돕는다. 그러나 뛰어난 효과에도 불구하고, 신뢰성과 활용성에 대해서는 여전히 상반된 입장이 존재한다.

AI 가상 사용자 활용의 긍정적인 면

긍정적으로 본다면, 이러한 방식은 인간 사용자와 유사한 응답을 제공하면서도 더 빠른 속도, 높은 유연성, 확장성을 갖추고 있다. 토스의 휴리봇 사용 후기에도, 이를 사용자 인터뷰의 ‘검증’이 아닌 ‘점검’ 목적이라면 충분히 활용할 수 있다는 평가가 있었다.

무엇보다 인간의 감정을 조작하는 것이 아니라 실제 태도, 행동, 목표, 니즈, 감정을 모방해 반영하는 것이므로 문제될 것 없다는 주장도 있다. 특히 사용자 리서치가 시간과 비용이 많이 들고 절차가 복잡해 많은 기업이 실행하지 못한다는 현실을 고려하면, AI 에이전트로 다양한 시나리오를 빠르게 시뮬레이션한다는 점만으로 충분히 가치가 있다는 것이다.

AI 가상 사용자 활용의 부정적인 면

물론 강력하게 반대하는 입장도 있다. 대표적으로, 미국의 UX 기업 닐슨 노먼 그룹에서는 ‘실제 사용자 연구가 없는 UX는 UX가 아니다!’라고 이야기하며 인간 사용자 대상 리서치의 중요성을 강조한다.

이들은 AI 에이전트가 인간 행동에 대해 비현실적인 관점을 제공할 수 있으며, 우선순위가 없는 피상적인 니즈만 나열해 실무에서는 쓸모가 없다고 지적한다. 실제로 LLM이 생성한 데이터는 신뢰하기 어렵고, 편향적이며, 인간 사용자의 고유성을 충분히 반영하지 못해 지나치게 일반적이라는 근본적인 한계가 있다.

물론 이와 같은 한계를 보완하기 위해 개별 사용자 클론 활용을 고려할 수 있다. 그러나 이때도 여전히 인간의 태도나 손짓, 표정 등 비언어적 표현을 파악하기 어렵다는 한계가 따른다. 즉, 발화와 실제 행동이 일치하지 않을 수 있어 주의가 필요하다. 또, 인간의 감정 기복이나 모순적인 사고 패턴은 완벽히 모방하기 힘들다.

어떻게 사용하면 좋을까?

따라서 사용자 에이전트는 인간 사용자를 완전히 대체하기 위한 수단이 아니라, 리서치 과정에서 참고할 보조 도구로 바라보는 것이 적절하다. 닐슨 노먼 그룹의 지적처럼 실제 사용자 리서치를 대체할 수는 없다는 점을 분명히 인식하면서, 빠르고 가볍게 시뮬레이션할 수 있는 장점만을 취한다면 의미 있는 보조 수단으로 쓸 수 있다. 물론 이러한 방식이 점차 보편화될수록 개인 데이터 보호와 윤리적 책임에 대한 논의도 함께 이루어져야 할 것이다.

결국 중요한 것은 기술 그 자체가 아니라, 그것을 어떻게 활용하느냐에 달려 있다.

참고 논문

사회과학 분야의 AI 기반 인간 참여자 모방 관련 논문

Argyle, L. P., Busby, E. C., Fulda, N., Gubler, J. R., Rytting, C., & Wingate, D. (2023). Out of one, many: Using language models to simulate human samples. Political Analysis, 31(3), 337-351.
Bisbee, J., Clinton, J. D., Dorff, C., Kenkel, B., & Larson, J. M. (2024). Synthetic replacements for human survey data? the perils of large language models. Political Analysis, 32(4), 401-416.
Brand, J., Israeli, A., & Ngwe, D. (2023). Using LLMs for market research. Harvard business school marketing unit working paper, (23-062).

[북 이벤트 알림!]

요즘IT X에서 이 글을 쓴 디논 작가님의 책 “30가지 심리학 이야기로 풀어보는 UX 디자인” 북 이벤트를 진행해요. 이벤트 트윗 RT하고 무료로 책 받아 가세요!