나를 닮은 AI로 요즘IT 사용자 인터뷰하기

챗GPT의 장기 기억 기능이 업데이트되면서 재미있는 챌린지가 유행하고 있다. 내가 쓰는 챗GPT가 사용자를 얼마나 파악하고 있는지 확인하기 위해 아래와 같은 프롬프트를 입력하는 것이다.

나에 대해 알고 있는 것을 바탕으로 현재 내 삶이 어떻게 생겼다고 생각하는지 그림을 그려줘

이 챌린지를 시작한 오픈AI의 CPO는 자신이 받은 이미지를 공개하며, 실제로 수학과 과학에 대한 질문을 자주 했던 것-이미지 속 대시보드에 표현된 그래프들, 딸에 대한 대화를 나눴던 점-방 안에 등장한 딸이 이미지에 반영되었다고 설명했다. 다만, 아내의 알러지 때문에 고양이를 키우지 못한다고 했던 이야기가 환각(Hallucination)을 일으켜, 이미지에 고양이가 등장하는 오류가 발생하기도 했다.

AI가 생각하는 내 모습

나도 동일한 프롬프트를 직접 입력해 아래 이미지를 결과로 받았다.

벽에 ‘Hard work’와 ‘Goals’라는 단어가 붙어 있는 걸 보면, 챗GPT는 나를 굉장히 목적 지향적인 사람으로 분석한 듯하다. 아니라고 반박은 못 하겠다. 무엇보다 챗GPT가 방 안을 감시하고 있는 건 아닌가 싶을 만큼, 나는 실제로 대부분의 시간을 저렇게 책상 앞에 앉아 컴퓨터를 보고 있다.

이 챌린지가 시사하는 바와 같이, AI는 사용자와의 대화에서 생각보다 많은 것을 파악하고 있다. 최근 관련 연구에서 단 2시간만 대화해도, AI가 인간 사용자와 80% 이상 유사한 의사결정을 내리거나 성격 테스트를 수행할 수 있다는 결과가 나왔다. 이는 AI가 인간과 나눈 대화 데이터를 기반으로 사용자의 성격, 성향, 가치관을 복제할 수 있다는 의미다.

그렇다면 지금까지 GPT와 대화한 내용을 토대로 내 디지털 트윈(Digital Twin)*을 만들어, 이를 대상으로 사용자 인터뷰를 진행해 보면 어떨까? 과연 나와 비슷한 생각을 이야기할까?

*디지털 트윈: 현실 세계의 실물 객체를 가상 세계의 쌍둥이 가상 객체로 만들고, 실물 객체의 동작과 행동을 쌍둥이 가상 객체의 수행 역할 모델로 만들어 현실 세계를 가상 세계에서 모사 및 모의할 수 있도록 하는 것 <출처: ICT 플랫폼 학회: 지능정보기술동향>

AI는 나에 대해 얼마나 알고 있을까?

먼저 AI가 나를 얼마나 파악하고 있는지 테스트하기 위해 여러 가지 질문을 해봤다.

AI가 저장한 기억 데이터를 평가하기 위한 프롬프트

1. 이제까지 나랑 대화한 걸 기반으로 내 일, 취미와 관심사, 몇 시간이고 내가 얘기할 수 있는 주제, 내 목표를 말해봐
2. 내 성격이나 성향, 가치관에 대해서도 말해봐
3. MBTI도 맞출 수 있어?

첫 번째 질문에 대해서는 ‘UX/UI 디자인’, ‘UX 리서치’, ‘UX 심리학’, ‘HCI 연구’, ‘AI와의 협업 교육’ 등 키워드로 답변을 줬다. 놀랍게도 일, 취미, 관심사, 단기 목표와 장기 목표 등 모든 세부 내용에서 어떤 환각도 없는 정확한 결과를 도출했다.

그다음 성격, 성향, 가치관에 대한 답변에서는 탐구, 체계적인 분석, 성취 지향적 등의 키워드를 중심으로 내용을 제시했다. 특히, 계획대로 일이 진행되지 않을 때 큰 좌절감을 느낀다거나, 자신에게 지나치게 엄격하다는 약점까지도 정확하게 분석해 냈다.

이를 바탕으로 MBTI를 추측해 보라고 요청했더니 아래와 같은 답변이 나왔다.

첫 번째로 추측한 INTJ는 실제 내 MBTI와 동일하다. 물론 MBTI를 예측했다고 해서 ‘사용자를 완벽히 이해하는 AI’라고 말하기는 어렵지만, 세 가지 프롬프트에 대한 답변 모두 유의미한 결과를 도출했다. 나를 제대로 파악하고 있다고 느껴질 정도였다. 이에 본격적으로 디지털 트윈을 만들어 추가적인 테스트를 진행해 보았다.

리서치 목표 설정과 인터뷰 설계하기

AI가 나의 성향, 성격, 가치관을 모두 파악하고 있다면 나를 대신해 특정 주제에 대해 의견을 말할 수 있을까?

이 물음에 답하기 위해 챗GPT로 디지털 트윈을 생성한 다음, 그 트윈을 대상으로 요즘IT의 사용자 인터뷰를 진행하기로 했다. 이후 미리 작성해 둔 인터뷰 답변과 비교하며, 아이디어나 피드백의 방향성이 얼마나 유사한지 분석할 예정이다.

인터뷰 설계를 위한 프롬프트

1. 너는 지금부터 요즘IT의 서비스 개선을 위한 사용자 리서치를 진행하는 역할을 맡았어. 어떤 방법으로 진행할래?
2. 리서치 목표부터 정의해봐.
3. 정의한 리서치 목표를 바탕으로 요즘IT 독자 대상 심층 인터뷰를 진행할거야. 질문지를 설계해줘

챗GPT는 ‘리서치 목표를 정의하는 것’이 1단계라고 첫 프롬프트에 답했다.

두 번째 프롬프트에 대한 답으로는 리서치 목표를 다음과 같이 정의했다: ‘요즘IT의 사용자 경험(UX)을 최적화하고, 서비스 만족도를 높여 플랫폼 이용률과 충성도를 증대한다.’구체적으로는 사용자의 니즈와 기대치, 페인 포인트를 파악하고 개선 방향을 도출하는 것을 목표로 했다.

마지막 프롬프트로 서비스 이용 경험, 콘텐츠 선호도 및 개선점, 기능 평가 등을 다룰 수 있는 심층 인터뷰 질문지를 정리했다.

[요즘IT 독자 대상 심층 인터뷰 질문지 (답변 중 일부)]

예시를 포함해 총 24개의 인터뷰 질문이 만들어졌다. 디지털 트윈을 대상으로 인터뷰를 진행하기 전, 미리 몇 가지 질문에 답하며 내 생각을 정리해 보았다. 답변을 작성할 때 주의했던 부분은 ‘작가’가 아니라 ‘독자’의 관점에서만 의견을 적는 것, 자연스럽게 떠오르는 아이디어 위주로 작성하는 것이었다. 답변을 위해 억지로 무의미한 피드백을 끄집어내는 일을 방지하기 위함이다.

질문을 보며 평소 떠올렸던 생각과 개선안에 대한 아이디어를 정리한 결과, 주요 내용 5가지를 도출할 수 있었다.

[미리 작성한 심층 인터뷰 답변 (인간 사용자)]

‘AI 디지털 트윈’과 인터뷰 진행하기

미리 인터뷰 답변을 작성한 뒤, AI에게 디지털 트윈 역할을 부여하고 인터뷰를 진행했다. 이때 사용된 프롬프트는 다음과 같다.

디지털 트윈 역할을 지시하는 프롬프트

1. 너가 분석한 내 가치관, 성향, 성격, 관심사, 취미, 직업, 궁극적인 목표, 라이프스타일을 바탕으로 너는 이제부터 내 디지털 트윈이 될거야. 나를 대신해서 사용자 인터뷰에 참여하면돼. 그리고 나는 사용자 인터뷰를 진행하는 리서처 역할을 할거고. 질문마다 내가 할 것 같은 대답을 대신 해줄 수 있겠어?
2. 좋아. 너는 이제부터 요즘IT라는 국내 IT 전문 미디어 플랫폼의 독자로서 사용자 인터뷰에 참여할거야. 인터뷰 질문에 대답할 준비됐어?

‘준비됐어요! ‘디논’으로서 요즘IT의 독자로 사용자 인터뷰에 성실히 참여할게요. 질문해 주세요!’라는 챗GPT의 답변과 함께 인터뷰를 시작했다. 

인간 vs. 디지털 트윈, 인터뷰 답변 비교

디지털 트윈을 대상으로 한 인터뷰까지 마친 후, 사전에 내가 작성한 답변과 비교해 봤다. 비교 기준은 아래 세 가지였다.

1. 실제로 내가 생각한 의견과 유사한 내용이 있는지
2. 완전히 다른 방향성의 의견이 제시되지는 않았는지
3. 만약 미리 생각하지 못한 의견이 생성되었다면 사실과 일치하는지 (혹은 그 의견에 얼마나 동의하는지)

미리 작성한 인터뷰 답변 가운데 ‘사용 패턴 및 만족 경험’은 요즘IT 독자라면 누구나 비슷하게 느낄 법한 일반적인 내용으로, 실제로 대부분 AI도 유사하게 작성했기 때문에 이 부분은 제외했다. 그 대신 아쉬운 점과 개선 아이디어를 중심으로 답변을 비교·정리해 보았다.

[답변 비교. 아쉬운 점 및 개선 아이디어를 중심으로]

1. 실제로 생각한 의견과 유사한 내용

2. 실제 생각과 다른 방향성의 의견

3. 미리 생각하지 못한 의견이지만 사실과 일치하는 내용(혹은 동의하는 내용)

아쉽게 느꼈던 포인트와 이유가 매우 유사하게 도출되었으며, 개선안 아이디어도 비슷한 방향으로 정리된 것을 확인했다. 또한, 미리 생각하지 못했던 아이디어 중에서도 공감 가는 내용이 많았다. 특히, 개인화 추천 콘텐츠에 대한 니즈와 세분화되지 않은 콘텐츠 분류에 대한 의견은 실제 답변과 거의 유사하게 나왔다.

개인적으로 놀랐던 점은 사용자 간 상호작용(댓글, 포럼 등)에 참여할 의사가 있냐는 질문에, ‘댓글에서 무례함이나 스팸이 통제되는 환경’이었으면 좋겠다는 답변이 나온 것이다. 실제로 미리 작성한 답변에서도 온라인이라는 환경과 익명성이 결합되면 대부분 부정적인 결과로 이어지며, 독자들 간 토론 같은 활동을 하려면 실명제가 도입되어야 한다는 의견을 적은 바 있다.

이와 같은 비슷한 맥락의 답변이 단순한 우연의 일치인지, 아니면 정말 나의 특성을 반영해 작성된 것인지 궁금해졌다. 답변 생성 과정을 유추할 몇 가지 추가 질문을 해 보았다.

답변 생성 과정 확인하고 정리하기

답변 생성 과정을 확인하기 위한 질문 프롬프트와 그에 대한 답변 중 일부를 정리했다.

이처럼 추가 질문으로 답변이 어떻게 생성되었는지 살펴본 결과, 대부분 기존에 학습하고 분석한 성향, 성격, 가치관을 반영한 것임을 알 수 있었다. 그러나 ‘왜 내가 질서와 안정감을 중시하는 성향이라고 생각했어?’라는 질문에 대해 ‘"무례함과 스팸 통제"를 언급하며, 안정적이고 배려 깊은 대화 환경을 기대했어요.’라고 답한 것을 보면, 디지털 트윈으로서 스스로 생성한 답변과 인간 사용자가 직접 입력한 답변을 혼동하고 있는 듯했다.

또 다른 한계는 서비스에 대한 이해 부족이었다. 예를 들어, 콘텐츠 스크랩, 하이라이트, 메모 기능 등은 이미 제공되고 있음에도 이러한 기능이 있었으면 좋겠다는 답변이 나온 것이다. 요즘IT의 세부적인 기능과 서비스에 대한 정보가 부족하기 때문에 발생한 한계로, 서비스에 대한 추가 학습을 통해 보완할 수 있을 것이다.

한편, 인간 사용자에 대해서는 그동안의 대화를 통해 충분한 데이터를 학습했기에, 이를 기반으로 상당히 유사한 의견과 피드백을 생성해 냈다. 답변 도출의 근거를 살펴보았을 때도 모두 납득할 수 있는 내용이었다. 무엇보다 미처 생각하지 못한 아이디어에 공감 가는 경우도 많았다. 혼자 인터뷰 답변을 작성했을 때보다 오히려 더 풍부하고 다채로운 내용이 나온 듯했다.

또한, 질서와 안정감을 중시하는 성향이 익명성과 무례함이 통제되는 환경을 필요로 한다는 의견으로 연결된 점을 고려했을 때, 예상보다 더 사소한 성향과 성격까지 반영된 것으로 보인다.

마치며

결과적으로, 챗GPT는 장기 기억 기능으로 사용자에 대해 생각보다 많은 것을 파악하고 있음을 확인할 수 있었다. 물론 사용자 인터뷰 과정에서 인간 사용자의 의견과 아이디어를 대변할 수 있을 만한 수준에 도달했는지는 추가 테스트로 검증해야 할 것이다.

또한, 인간 사용자에 대한 이해뿐만 아니라 서비스에 대한 충분한 학습도 필요하다. 이번 테스트에서도 요즘IT의 기능과 서비스에 대한 정보를 더 자세하게 제공했다면 니즈나 페인 포인트에 대해서 보다 정확한 답변이 도출되었을 것이다.

디지털 트윈 사용자 인터뷰는 시간적, 경제적 비용 절감의 효과를 기대할 수 있는 방법인 만큼, 이를 보완하고 활용할 수 있는 방법을 지속적으로 탐구해야 한다. 이와 같은 AI 기반 인터뷰가 인간 중심 UX 리서치의 보조적 도구로 자리 잡을 수 있다면, UX 분야에 새로운 가능성을 열어줄 것으로 기대된다.

※ 에디터 주: 디논 작가님과 디지털 트윈이 함께한 사용자 인터뷰를 보고, 깜짝 놀랐습니다. 요즘IT의 문제를 너무 잘 짚었기 때문인데요. 이 문제들을 해결하고자 고민한 요즘IT의 변화를, 작가님 허락 아래 잠깐 소개합니다.

• 카테고리 상세 개편/순서 변경: AI 카테고리 추가 및 순서 조정/연초
• 콘텐츠 상세 분류: ‘컬렉션’이란 이름의 콘텐츠 큐레이션 기능을 제공/연초
• 개인화 콘텐츠: 회원 대상 메일에 추천 글 포함, 개인화 중심 랜딩 페이지로 개편/상반기
• 커뮤니티: 디스코드 커뮤니티 실험을 시작으로 가능성 탐색/상반기

앞으로도 더 알차게 즐길 수 있는 요즘IT가 되기 위해 노력하겠습니다. 많은 관심 부탁드려요!

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.