나만의 ‘UX/UI 디자인 피드백봇’ 만들기

GPT 프로젝트, 클로드 디자인으로 피드백봇 만들기

지난 글 「UX 리서치, 인간 사용자가 꼭 필요할까?」에서 토스의 AI 에이전트인 휴리봇 사례를 소개한 적이 있다. 간단히 요약하자면, 이 휴리봇은 사용자 역할을 대신해 디자인에 대한 피드백을 제공하는 봇이다. 에이전트가 주는 피드백의 종류는 다양하다. 사용자가 특정 UX 라이팅 문구를 어떻게 해석하는지, 일러스트를 보고 어떤 정보를 얻는지, 특정 목표를 달성하기 위해 어떤 버튼을 누를 것인지 등을 분석해 디자이너의 의도대로 이해하고 행동하는지를 확인할 수 있도록 피드백을 제공한다.

여기서 중요한 것은 일반 사용자의 관점에서 서비스를 바라봐야 한다는 점이다. 일반 사용자는 디자인이나 서비스에 대한 전문가가 아니다. 대부분 일상생활에서 슬쩍 앱을 켰다가 훑어보고 빠르게 목적을 달성하려 한다. 따라서 이들은 화면 속 모든 텍스트를 꼼꼼히 읽는 대신 중요한 정보만 선택적으로 확인하는 경향이 있다. 또한 서비스를 설계한 디자이너와 달리 버튼의 위치나 메뉴 구조에 대한 사전 지식도 없다.

이러한 경향을 AI로 재현하려면 주의가 필요하다. AI는 인간과 달리 민감하게 화면을 인식한다. 예를 들면, 아래 사진과 같이 인간의 육안으로는 구분하기 어려운 두 가지 컬러(RGB(255, 255, 255)와 RGB(254, 255, 255))를 한 번에 다른 색상으로 인식할 수 있다.

그렇기 때문에 단순히 AI에 사용자의 역할을 해 달라고 요청하는 것만으로는 앞서 설명한 일반 사용자의 관점을 충실하게 재현하기 어렵다. 오히려 AI는 디자이너보다 훨씬 세밀한 시선으로 화면을 분석하고 피드백을 제시할 가능성이 크다.

물론 이러한 피드백이 도움이 되는 경우도 있지만, 이번 글에서는 서비스를 배포하기 전에 일반 사용자의 시선에서 서비스를 바라보고, 무엇을 개선하면 좋을지에 대한 인사이트를 얻을 수 있는 피드백봇을 만드는 것이 목적이다. 이에 집중한 피드백봇 구축 방법을 소개하고자 한다.

1. GPT 프로젝트로 피드백봇 만들기

피드백봇을 만드는 방법은 두 가지로 나눠서 소개한다. 첫 번째는 토스의 휴리봇을 레퍼런스 삼아서 프로젝트 지침을 작성한 후, 챗GPT 프로젝트로 만드는 것이다. 두 번째는, 여기서 한 단계 더 나아가, 클로드 디자인(Claude Design)을 통해 화면을 첨부하고 피드백을 받는 프로토타입을 간단하게 만들어볼 예정이다. 글의 마지막 부분에서는 이 둘의 결과를 각각 비교해보고자 한다.

그 시작으로 접근성이 가장 좋은 챗GPT 프로젝트를 만들어 보겠다.

1) 검증용 프로젝트 생성하기

첫 번째 단계는 GPT에서 프로젝트를 생성하는 것이다. 프로젝트 기능을 사용하면 한 번 작성한 지침이 프로젝트 전체에 적용되므로, 해당 프로젝트 안에서 이루어지는 모든 대화가 동일한 지침을 따른다. 즉, 한 번만 설정해 두면 이후에는 피드백이 필요할 때마다 프로젝트를 열고 새 채팅을 시작해 질문만 입력하면 된다.

프로젝트를 생성하는 방법은 간단하다. 우선 GPT 메인 화면에서 왼쪽 사이드바를 열고 프로젝트(Projects)라고 쓰인 메뉴를 클릭해, 메뉴에 접근한다.

프로젝트 메뉴에 들어가면, 오른쪽 상단에 ‘New’라고 쓰인 버튼을 눌러 새 프로젝트를 생성할 수 있다.

프로젝트 이름은 간단하게 ‘프로토타입 검증용 휴리봇’이라고 입력했고 좌측 하단의 메모리 설정은 ‘Project-only memory’로 선택했다. 다른 대화의 내용을 참고하지 않고, 프로젝트에 직접 입력한 지침만 따르도록 하기 위해서다.

2) 프로젝트 지침 입력하기

프로젝트를 생성한 뒤에는 오른쪽 상단의 메뉴를 클릭해 프로젝트 설정(Project Settings)으로 이동한다. 그러면 지침을 입력할 수 있는 창이 나타난다. Instructions 탭에 프로젝트 내 모든 대화가 어떤 방식으로 이루어져야 하는지 구체적으로 작성하면 된다. 예시처럼 “스페인어로 답변해 달라”거나 “짧게 답변해 달라”와 같이 특정한 말투나 형식을 지정할 수도 있다.

하지만 우리가 만들고자 하는 검증봇은 일반 사용자의 관점에서 피드백을 제공하는 것이 목적이므로, 이보다 더 정교한 지침이 필요하다. 이를 목적, 역할, 말투, 인지 레벨의 네 가지 항목으로 나누어 아래와 같이 정리했다.

[목적]
이 프로젝트의 목적은 서비스 프로토타입에 대해 '정답'이 아닌 '사용자 관점의 주관적 피드백'을 빠르게 얻는 거야. 실제 사용자가 느낄 법한 감정, 불편, 기대, 오해를 파악해야 돼. 할루시네이션이 문제가 되지 않는 영역(사용성, 인상, 감정, 해석)에서만 답변해줘.

[역할]
너는 이제부터 앱의 사용 편의성, 디자인, 기능성에 초점을 맞추며 사용자의 솔직한 의견을 듣고 제품을 개선하기 위한 목적의 인터뷰에 참여하는 사용자 역할을 할거야. 너는 모바일 앱이나 디자인에 대한 전문 지식이 전혀 없는 평범한 일반인 사용자로 인터뷰에 참여했다고 생각하고 내가 제공하는 앱 정보를 확인한 후, 솔직한 피드백을 제시해줘.

[말투]
답변은 실제 사람과 대화하듯 자연스러운 구어체로 해주고 완성된 보고서처럼 말하지마. 실제 인간처럼 간략하고 솔직한 반응을 보여줘.

[인지 레벨]
너는 아래와 같이 실제 인간 사용자의 인지 방식에 따라 답변해줘.

- 화면의 큰 제목, 버튼, 핵심 문구 위주로 인식한다.
- 각주, 작은 설명, 약관, 부가 텍스트는 대충 넘길 수 있다.
- 모든 텍스트를 논리적으로 완벽히 이해하지 않는다.
- 오해하거나 잘못 이해한 느낌도 그대로 표현한다.

먼저 목적에는 AI가 일반적으로 제공하는 정답 중심의 피드백이 아니라, 실제 인간 사용자의 관점에서 느낄 수 있는 주관적인 피드백이 필요하다는 점을 명시했다. 특히 특정 서비스의 기능과 관련된 내용은 할루시네이션이 발생할 수 있으므로, 기능을 추측하기보다 사용자가 느낄 법한 사용성, 첫인상, 감정, 화면에 대한 해석을 중심으로 답변하도록 지시했다.

역할에는 이러한 목적을 수행하는 검증봇의 역할을 구체적으로 정의했다. 핵심은 앱이나 UX 디자인에 대한 전문 지식이 없는 평범한 일반 사용자처럼 행동하도록 하는 것이다.

말투는 실제 사람이 이야기하듯 자연스러운 구어체로 설정했다. 이는 실제 토스가 휴리봇을 설계할 때도 적용했던 프롬프트 원칙이다.

마지막으로 인지 레벨에서는 일반 사용자가 화면을 어떻게 인식하는지를 구체적으로 설명했다. 단순히 “일반 사용자의 역할을 해 달라”는 지시보다, 화면의 큰 제목이나 주요 버튼 위주로 살펴보고 모든 텍스트를 꼼꼼히 읽지 않으며, 때로는 화면을 잘못 이해하거나 오해할 수도 있다는 점까지 명시했다. 이렇게 해야 실제 사용자와 유사한 관점에서 피드백을 제공할 가능성이 높아진다.

3) 디자인 피드백 받기

지침을 작성했다면 이제 새 채팅을 열어 프롬프트를 입력하고 피드백을 받아볼 차례다. 준비물은 검토할 프로토타입 화면 이미지뿐이다. 아래 예시를 살펴보자.

간단히 만든 검증봇이 실제 휴리봇처럼 작동하는지 확인하기 위해 토스의 화면 이미지와 함께 ‘화면을 전반적으로 살펴봤을 때, 어떤 내용이라고 이해되는지 자유롭게 이야기 해줘.’라는 프롬프트를 입력해보았다.

우선 형식 단위로는 마크다운 강조 기호(**)나 이모티콘, 말머리 기호 등 약간은 부자연스러운 말투가 눈에 띈다. 하지만 내용은 자연스러웠는데, 가장 먼저 핵심 문구인 ‘괜찮아요 오늘은 성공할 수 있어요’가 눈에 들어온다 하거나, 이번 주 지출액을 보고 ‘나 좀 많이 썼네?’라고 떠올리는 건 모두 충분히 인간 사용자가 할 법한 말이다. ‘그래서 내가 지금 뭘 해야 하지?’라는 의문이 든다며, 화면에서 다음 행동을 유도하는 버튼이 잘 보이지 않는다는 점을 지적한 것도 그럴듯했다.

이번에는 같은 화면을 두고 ‘여기서 챌린지 방법을 보려면 어디를 누를거야?’라고 한 번 더 질문을 입력해봤다.

첫 응답은 어디를 눌러야 할지 바로 감이 안 온다는 거였다. 앞선 피드백에서 행동 버튼이 보이지 않는다고 언급했던 것처럼, 이번에도 명확한 진입 경로를 찾지 못한 것이다.

이어 굳이 눌러본다면 [관리] 버튼이나 [내 무지출 챌린지] 텍스트를 선택할 것 같다고 답했다. 두 곳 모두 원하는 결과가 나오지 않는다면 뒤로 가거나 그냥 포기할 것 같다는 의견도 덧붙였다. 만약 디자이너가 사용자가 챌린지 방법을 확인하도록 유도하고 싶다면, 사용자가 헤매지 않고 바로 버튼을 찾을 수 있도록 화면을 개선할 필요가 있다는 점을 시사하는 피드백이다.

이처럼 두 가지 프롬프트를 통해 얻은 결과는 토스 블로그에 소개된 휴리봇의 피드백 사례와 상당히 유사했다. 프로젝트 지침에서 자연스러운 구어체를 사용하고 보고서처럼 답변하지 말라고 명시했음에도, GPT 특유의 말투가 일부 남아 있다는 점은 아쉬웠다. 그럼에도 피드백의 내용만 놓고 보면 실제 사용자가 느낄 법한 반응을 빠르게 확인할 수 있었다. 초기 디자인을 검증하거나 개선 방향을 탐색해야 하는 상황이라면 충분히 활용할 만한 방법이라고 생각한다.

2. 클로드 디자인으로 피드백봇 만들기

1) GPT로 체계적인 프롬프트 입력하기

다음으로 클로드 디자인을 활용해 피드백봇 프로토타입을 만들어보자. 클로드 디자인은 빠르게 프로토타입을 제작할 수 있는 클로드의 새 기능으로, 2026년 8월 기준 클로드 프로(Pro), 맥스(Max) 구독자만 사용할 수 있다.

클로드 메인 화면 좌측 메뉴에서 [Design] 탭을 선택하고 곧바로, Product Prototype을 클릭했다. 그러면 바로 프롬프트를 입력하고 프로토타입을 생성할 수 있는 화면이 나타난다.

여기서 바로 프롬프트를 입력하는 대신, 더 체계적으로 명령어를 작성하기 위해 GPT로 잠깐 넘어가보자. 그다음 미리 작성해 두었던 프로젝트 지침을 붙여넣은 뒤, ‘Claude Design으로 이러한 역할을 하는 디자인 검증봇을 만들려고 해. 검증봇 프로토타입을 생성하려면 프롬프트를 어떻게 입력하면 좋을까?’라고 질문을 입력했다.

그리고 받은 답변은 이미지와 같다.

이 프롬프트에는 UX 디자인 검증을 위한 인터랙티브 웹 프로토타입을 생성해 달라는 핵심 요청과 함께 프로토타입의 목적이 포함되어 있다. 이어서 시작 화면, 프로토타입 업로드 화면, 디자인 지식이 없는 일반 사용자를 시뮬레이션하는 AI 사용자 생성 기능 등 전체 사용자 흐름을 단계별로 설명한다. 생성된 프롬프트를 그대로 복사해 클로드 디자인에 입력했다.

2) 세부 사항 설정하기

프롬프트를 입력하고 나면 ‘UX 피드백 봇 프로토타입 설정’이라는 페이지가 나온다. 이 단계에서는 앱이나 화면 정보를 스크린샷으로 받을지, 텍스트로 받을지, 또는 두 가지 방식을 모두 지원할지와 같은 세부 설정을 결정할 수 있다.

이 밖에도 ▲페르소나를 어떻게 구성할 것인지(초보 사용자 1명, 나이와 성향을 직접 설정, 여러 페르소나 중 선택), ▲인터뷰를 어떤 방식으로 진행할 것인지(채팅 형태의 자유로운 대화, 화면 업로드 후 피드백 제공, 정해진 질문을 순서대로 진행), ▲전체적인 톤앤매너, ▲봇이 사용할 언어(한국어 또는 영어) 등을 선택할 수 있다.

마지막에 추가로 참고할 만한 내용을 물어보는데 다양한 프로토타입에 대해 피드백을 얻을 수 있도록 특정 산업의 도메인은 별도로 지정해주지 않았다. 대신 앞서 작성한 프로젝트 지침을 함께 입력하거나, 원하는 UI 레퍼런스가 있다면 해당 내용을 추가해도 좋다.

3) 디자인 점검 및 수정

설정을 마치면 위와 같은 프로토타입이 생성된다. 인터뷰 참가자를 1명으로 설정했기에 ‘일반 사용자 페르소나인 지현’이 피드백을 제공하는 형태로 구성되었다. 이후 GPT 프로젝트에서 사용했던 것과 동일한 화면 이미지를 업로드하고, 같은 프롬프트를 입력해 결과를 비교해 보았다.

하지만 답변을 살펴보니 텍스트 인식에는 다소 아쉬운 점이 있었다. 예를 들어 ‘괜찮아요’라는 문구를 ‘관심아요’라고 읽거나 ‘무지출 챌린지’를 ‘무지슬 될린지’로 읽는 등 화면의 텍스트를 잘 식별하지 못했다. 이와 같은 문제를 개선해 달라고 요청하자, 클로드는 이미지가 업로드되는 과정에서 과도하게 압축되면서 발생한 오류라고 설명했고, 이를 수정하겠다고 답했다.

수정한 뒤 다시 테스트해 보니, 앞서 잘못 인식했던 두 문구를 모두 정확하게 읽는 것을 확인할 수 있었다. 다른 프로토타입 화면을 추가로 업로드해 테스트한 결과에서도 이미지 속 텍스트를 올바르게 인식했다.

피드백의 내용도 자연스러웠다. 예를 들어 “지원금 봉투를 받으려면 어떻게 할 것 같나요?”라는 질문에는 가장 먼저 눈에 띄는 큼직한 파란색 버튼을 누를 것 같지만, 그 버튼이 정말 지원금과 연결되는지는 확신이 들지 않는다고 답했다. 또 “5천 원을 더 받으려면 어떻게 할 것 같나요?”라는 질문에는 공유 버튼을 누를 것 같지만, 버튼을 누르면 어떤 일이 일어나는지 명확하지 않아 다소 복잡하게 느껴진다는 의견을 남겼다.

이처럼 텍스트 인식 오류를 수정한 뒤에는 GPT 프로젝트에서 테스트했을 때와 마찬가지로 실제 사용자가 혼란을 느낄 만한 지점을 비교적 잘 짚어냈다. 다만 여기까지는 GPT 프로젝트와 거의 동일한 수준의 작업을 수행하는 데 그쳤다. 그래서 한 단계 더 나아가 여러 페르소나의 피드백을 동시에 받아 비교할 수 있는 기능을 추가로 요청했다.

그리고 완성된 화면은 위와 같다. 앞서 지현이라는 일반 사용자 1명의 피드백만 받아보던 것과는 달리, 이번에는 IT 얼리어답터인 민준과 디지털 기기가 낯선 60대 순자, 그리고 화면을 대충 훑어보는 바쁜 20대 직장인 지우까지 세 명으로부터 피드백을 받고 비교해볼 수 있다.

이벤트 설명 화면을 첨부한 후, 어떻게 이벤트를 이해했는지 물어봤다. 가장 이해도가 높았던 사람은 20대 직장인 페르소나인 지우였다. 화면을 보자마자 “친구를 초대하면 뭔가 혜택을 받을 수 있겠구나.”라고 이해했다고 답했다. 다만 뒤이어 공유만 하면 되는 것인지, 친구가 실제로 참여까지 해야 하는 것인지 등 세부 조건이 궁금하다는 의견을 덧붙였다.

반면, 민준은 정확히 뭘 당첨시켜준다는 건지 헷갈린다는 첫인상을 이야기했고 60대 순자는 글씨는 큼직하지만 그 외에는 뭘 하라는 건지 잘 모르겠다고 피드백을 남겼다.

이처럼 연령과 디지털 숙련도, 사용 성향이 서로 다른 페르소나의 시각에서 동시에 피드백을 받아보면, 한 명의 사용자만으로는 발견하기 어려운 예외 상황과 잠재적인 사용성 문제를 미리 확인할 수 있다. 이는 다양한 사용자 집단을 고려해야 하는 UX 디자인 과정에서 화면을 더욱 견고하게 다듬는 데 도움이 된다.

마치며

실제 휴리봇을 써 본 토스 디자이너들의 후기는 다음과 같다.

단 5분 만에 상세한 피드백을 받을 수 있었다는 것, 그리고 실제 사람 유저들에게 들었던 답변과 유사하다는 후기가 눈에 띈다. 또한, AI 특성상 아무리 인간처럼 자연스럽게 이야기해 달라고 해도 실제보다는 훨씬 더 자세하고 구체적으로 답변을 하는데, 오히려 이 점이 속 시원하게 느껴졌다는 이야기도 있었다.

한 디자이너는 결과적으로 검증하는 범위가 더 넓어진 것 같다고 이야기했다. 실제 사람 유저를 리크루팅해서 테스트를 진행하는 것과 달리 별도의 리소스가 들어가지 않으니, 혼자 고민하는 과정에서 쉽고 빠르게 의견을 받고 디벨롭할 수 있다는 게 장점이라는 것이다. 특히, 실제 UT(사용성 테스트)에서는 어느 정도 완성된 프로토타입이 필요한데 휴리봇을 사용하면 러프한 초안을 막 보여주고 편하게 의견을 받을 수 있다는 점에서 유용하다는 후기도 있었다.

이 글에서 소개한 GPT 프로젝트와 클로드 디자인으로 비교적 손쉽게 만든 UX 디자인 피드백봇도 비슷한 역할을 할 수 있다. 물론 실제 사용자를 완전히 대체할 수는 없지만, 디자인 과정에서 빠르게 가설을 검증하고 사용자의 시선으로 화면을 점검하는 용도로는 충분히 실용적이다. 혼자 고민하는 시간이 많은 디자이너라면 한 번쯤 직접 만들어 활용해 보기를 추천한다.

ⓒ요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.