[일잘러의 지표들] ② 뤼이드 AI 튜터 제품 PM이 주목한 지표 3가지

IT 제품의 사용자 경험을 만드는 일은 스토리텔링의 과정입니다. 영화, 드라마처럼 사용자 경험을 만드는 일도 주 타깃이 되는 대상에게 감동을 줄 수 있도록 이야기를 전달하는 것입니다.

우리는 이야기를 구상할 때, 이전에 인상 깊게 보았던 단편적인 장면을 떠올리며, 전형적인 클리셰를 있는 그대로 따라 하는 실수를 흔히 저지르곤 합니다. 혹은 감각적이고, 거창한 표현에만 집중하여, 보는 사람에게 꼭 전달해야 할 메시지를 놓치게 되는 경우도 있습니다.

반면, 크리스토퍼 놀런, 봉준호 등 재능 있는 스토리텔러들은 스스로의 생각과 표현 방식에 대한 강박을 버리고, 관객을 감동시키겠다는 욕망을 가지며 뚜렷한 서사에 집중합니다. 어떤 사람이든 공감할 수 있는 보편적인 갈등을 이야기로 풀어낸 뒤, 개성적이고 독특한 표현을 조화롭게 활용하여 더욱 진한 여운을 선사합니다.

이와 유사하게 좋은 사용자 경험도 대다수의 사용자가 공감할 수 있는 단 하나의 메시지로부터 시작됩니다. 각각의 기능과 인터랙션은 제품의 메시지를 강화하기 위한 장치이며, 일관된 내러티브 안에서 조화롭게 움직일 때 그 빛을 발휘합니다. 여기서 ‘지표’는 사용자가 제품을 사용하는 과정 중간중간 느끼는 만족감과 불편함을 서둘러 포착해서, 더 적은 노력으로도 일관적인 제품의 이야기를 전개해 나갈 수 있도록 도와줍니다.

에듀테크 회사 PM이 사랑하는 3가지 지표

저는 ‘뤼이드’라는 글로벌 에듀테크 회사에서 영어 학습자를 위한 B2C AI 튜터 제품을 담당하는 프로덕트 매니저입니다. “AI 튜터 제품은 결과적으로 어떤 모습이 되고, 어떤 목표를 달성해야 비로소 성공적이었다고 평가할 수 있을까?”라는 질문을 매일 거듭하며, 제품의 스토리, 즉 사용자 경험을 만들어가고 있습니다.

저는 더 나은 제품을 만들기 위한 핵심 지표를 정의할 때, 해당 제품만의 ‘고객 성공(Customer Success)’과 ‘사용자 경험 구조(UX Structure)’를 가장 우선적으로 정의합니다. 프로덕트 매니저에게 지표는 제품의 기획 의도가 시장에서 고객에게 잘 전달되었는지 검증하는 수단이자, 초기 기획 당시에는 미처 깨닫지 못했던 제품의 수많은 문제와 가능성을 판단할 수 있도록 하는 ‘도우미’ 역할을 합니다.

따라서 초기에 정의했던 ‘고객 성공’은 지표를 올바르게 해석하는 데에 가장 중요한 초석이 됩니다. 아무리 다른 제품에서 크게 기여했던 방법론, 지표라고 하더라도 우리 제품에 대한 정의 없이 그대로 적용한다면, 대부분의 경우 크게 도움이 되지 않습니다. 여러 제품 개발 방법론에서 중요시하는 관점과 원칙을 유지한 채, 우리 제품 만의 ‘고객 성공’과 이를 달성하기 위한 ‘사용자 경험 구조’를 이해하고 적절한 선행지표를 찾는다면, 목표 달성을 앞당길 수 있습니다.

에듀테크 제품의 특성: 학습자의 자발적인 참여와 학습 효과 

이에 따라 제가 맡고 있는 ‘에듀테크’ 제품의 특성을 먼저 정리해 보고, 제가 생각하는 적절한 선행지표에 관해 이야기해 보려고 합니다.

에듀테크 제품과 다른 도메인 제품의 가장 큰 차이점은 자발적으로 제품을 사용하도록 유도함과 동시에, 학습의 효과성을 보장해야 한다는 점입니다. 일반적인 디지털 프로덕트의 UX는 기술을 통해 사용자의 활동을 더욱 편하고, 쉽고, 재밌게 개선할 수는 있지만 학습 효과를 보장하지는 않습니다. 하지만 에듀테크 제품에서 사용자의 최종 목적은 학습 실력(시험 점수 등)을 향상시키는 것이며, 이는 사용자가 최종적으로 제품의 사용 여부를 판단하는 기준이 됩니다.

이를 위해 에듀테크 제품은 학습자가 원하든, 원하지 않든 학습 과정 중간중간 평가를 치르도록 해서 학습 활동에 대한 피드백을 제공해야 합니다. 이에 더해 실력이 향상됨을 보여주며 학습자의 동기를 높여야 합니다. 이처럼 교육 과정을 설계한다는 특성 때문에 에듀테크 분야에서는 UX의 의미에 더해 교육 과정을 설계한다는 의미를 포괄적으로 담아 ‘학습 경험(Learning eXperience; 이하 LX)’이라는 용어를 사용하기도 합니다.

한편, 디지털 제품은 정해진 대로 따라야 하는 학교 교육 프로그램과는 다르게 학습자가 스스로 사용 의사를 선택할 수 있다는 점 또한 중요한 특성입니다. 학습자가 상대적으로 안 좋은 프로덕트를 사용하지 않거나, 더 좋은 프로덕트를 선택할 수 있기 때문에 장기적인 학습의 효과뿐만 아니라 제품의 도구적인 효용성을 학습자가 직관적으로 체감할 수 있도록 해야 합니다. 많은 설명 없이도 제품의 상대적인 가치를 간결하게 설득시킬 수 있을 때, 제품이 주체적인 사용자(학습자)에게 선택받을 수 있습니다.

따라서 해당 제품이 다른 제품에 비해 사랑받아야만 하는 이유를 콘텐츠, 교수법, 인터랙션 경험 등의 차원에서 고민하며 쌓아 올려야 합니다.* 특히, 교육에서는 지속적인 학습 행동을 유도하고, 지식을 내재화시키는 것이 중요하기 때문에, 개개인의 학습 목표, 강점과 약점, 행동 특성 등에 기반한 개인화된 추천과 인터랙션 경험은 AI 튜터 제품의 차별화 여부를 결정하는 주된 요소가 됩니다.

*Jennifer Dorman, “Design in EdTech: Product Design + UX Research + UX Writing + LXD”, UX of EdTech, Dec 10, 2021

이처럼 에듀테크 제품에서 고유한 ‘고객 성공’과 사용자 경험 구조를 구성하는 요소가 무엇인지 이해하면, 제품 성장에 필요한 선행지표와 과제를 더욱 간결하게 정리할 수 있습니다. 또한 제품의 성장에 가장 직접적으로 기여할 수 있는 선행지표에 집중하여, 가장 경제적이고, 고객 가치를 극대화할 수 있는 방법으로 전략을 구성할 수 있습니다.*

*Andre Plaut, “Elements of Learning Experience Design”, Feb 11, 2014

그럼 이제 LX설계의 관점에서 학습자가 자발적으로 선택해 학습하도록 유도하고, 나아가 교육의 효과성을 높이기 위해, 제가 중요하게 바라봤던 선행 지표 3가지를 공개해 보겠습니다.

1. 사용자 참여도(User Engagement) 지표: 1인당 학습 콘텐츠 소비량

우선, 기능의 성공 여부를 판단하기 위해 배포할 때마다 가장 첫 번째로 확인하는 지표는 ‘사용자 참여도 지표’입니다. 일반적으로 사용자 참여도 지표는 일정 기간 내에 사용자가 제품/기능과 상호작용한 빈도, 정도 등을 표현하는데요. 예시로는 활성 사용자 수(Active Users), 세션 시간(Session Time), 사용 빈도(Frequency of Use), 사용자 행동(User Behavior) 지표 등이 있습니다.

저는 에듀테크 제품의 사용자 참여도를 판단하기 위해서, ‘1인당 학습 콘텐츠 소비량’을 가장 중심적으로 살펴봅니다. 학습 콘텐츠 소비는 사용자가 제품에서 하는 가장 기본적인 활동이며, 자발적인 학습 참여 정도를 가장 직관적으로 확인할 수 있는 지표이기 때문입니다. 개인화된 교육 제품은 개별 학습자가 학습 과정에 깊게 참여하고 몰입하도록 해야 합니다. 이는 학습 효과를 높이는 데 반드시 필요한 선행조건입니다. 학습 기능을 구상할 때, 일반적으로 ‘1인당 학습 콘텐츠(강의/문제 등) 소비량’을 가장 우선적인 성과 지표로 설정하고, 구체적인 가설과 솔루션을 세웁니다.

학습 콘텐츠 소비량 지표는 구체적인 문제와 솔루션에 따라 다양하게 응용할 수 있습니다. 예를 들어, 1인당 “강의” 콘텐츠 소비량이 다른 콘텐츠 유형(문제, 단어 등)에 비해 낮다고 판단했을 때, 사용자가 강의 콘텐츠를 소비하지 않는 이유를 찾아 해결하고 콘텐츠 유형별로 구체적인 결과를 확인하기도 합니다. 또한 때에 따라서 유료 유저 여부, 점수대 등의 기준에 따라 유저 세그먼트를 나누어 1인당 학습 콘텐츠 소비량을 비교합니다. 이를 통해 특정 유저 세그먼트의 학습 및 구매를 강화하기 위한 전략을 구상하기도 합니다. 나아가 AI 추천 콘텐츠에 대한 신뢰와 수용 여부를 판단할 때에도 중요한 성과지표가 됩니다. 확인하고자 하는 가설과 기능의 영향 범위에 따라 유저 세그먼트, 콘텐츠 유형 등의 비교 기준을 적절히 설정하는 것이 중요합니다.

‘산타 토익(Santa, AI Tutor for TOEIC)’의 사례를 들어 설명해 보겠습니다.* 산타 토익에는 추천학습(AI가 제공하는 완성된 커리큘럼을 그대로 따라 학습하는 방식)과 선택학습(필요에 의해 사용자가 스스로 콘텐츠를 선택해서 소비하는 방식의 학습 방식)이 있습니다. 프로덕트 매니저는 데이터를 모니터링하는 과정에서 높은 점수대에 비해 낮은 점수대의 사용자들이 추천학습에만 의존한 채, 선택학습을 사용하지 않는 현상을 발견합니다.

*이승헌, ‘Santa, AI Tutor for TOEIC의 사용자 경험(UX) 개선기’, Riiid Teamblog KR, Nov 16, 2022

인터뷰를 통해 문제를 심층적으로 파악해보니, 뚜렷한 문제가 발견됩니다. 저점수대의 사용자들은 선택학습에 대한 니즈가 있음에도 불구하고, 아직 어떤 콘텐츠를 선택해야 할지 잘 모르거나, 원하는 콘텐츠를 찾지 못하고 있었습니다. 이 때에 “AI가 산출한 예측 정답률을 기준으로, 컨텐츠를 비교, 선택할 수 있게 한다면, 1인당 선택학습 문제 콘텐츠 소비량이 증가할 것이다.”는 가설과 목표를 세우고, 제품 개발을 진행합니다.

한편, 기능 배포 이후 역으로 가설의 성공 여부를 판단할 때에는 가설의 영향범위를 고려하여 성과 지표를 뚜렷이 정의하는 것이 중요합니다. 산타토익의 사례에서는 선택학습의 문제풀이 탭 UX를 개선한 이후, 학습 콘텐츠 소비량을 ‘선택학습’, ‘문제풀이’, ‘저점수대’를 기준으로 나누어 합산했고, ‘1인당 선택학습 문제풀이 콘텐츠 소비량’의 지표 개선 여부를 확인했습니다.

AB 테스트 등의 결과에 따라, 원인을 좀 더 구체적으로 파악하기 위한 디테일한 분석을 진행하기도 합니다. 예를 들어, 특정 콘텐츠 소비 행동에 영향을 주었던 세부 기능에 대한 참여도(특정 콘텐츠를 소비한 사용자 중, 특정 기능을 사용한 비율과 빈도 등)를 확인하여, 해당 기능이 실제로 언제, 어떤 방식으로 도움이 되었는지 인과관계를 조금 더 뚜렷이 유추할 수도 있습니다.

2. 사용자 리텐션(User Retention) 지표: 학습 리텐션율

제가 에듀테크 PM으로서 일관적으로 제품 성과를 내기 위해 꾸준히 확인하는 두 번째 지표는 학습 리텐션율입니다. 새해가 올 때마다 영어를 공부해야 겠다며 서점에서 새 책을 구입하지만, 얼마 가지 않아 학습 의지가 꺾였던 경험이 다들 있으실 것입니다. 학습의 효과성을 높이기 위해서는 학습자가 꾸준히 학습하도록 유도하는 것이 매우 중요합니다. 에듀테크 제품에서는 학습 효과성을 높이기 위한 선행 지표로 사용자 참여도 뿐만 아니라 학습 리텐션율을 중점적으로 활용합니다.

일반적으로 리텐션율은 시간이 지나도 지속적으로 제품을 사용하는 사람의 수를 표현하는 지표입니다. 나아가 학습 리텐션은 시간이 지나도 학습을 지속하는 사용자의 비율을 의미하며, 콘텐츠를 최소 1개 이상 소비한 날을 기준으로 계산합니다. 에듀테크 제품에서는 제품에 대한 전반적인 만족도를 높이는 것 이상으로, 사용자가 잊지 않고 학습을 지속할 수 있도록 동기 부여 장치를 만들기도 합니다.

대표적인 사례로 듀오링고(Duolingo)라는 언어 교육 앱의 학습 게이미피케이션 기능을 예로 들 수 있습니다.* 이는 모두 리텐션율을 높이기 위한 장치입니다. 학습 일자별로 학습자들이 잊지 않고 앱에 접속해 학습을 지속할 수 있도록, 캐릭터와 감성적인 메시지를 활용해 사용자를 유인합니다. 그리고 출석할 때마다 연속으로 학습한 날을 카운트하고, 학습한 날짜에 따라 차등적인 보상을 제공합니다. 이러한 기능을 설계할 때에는 사용자의 상황에 적합한 메시지를 제공하여, 사용자의 마음을 사로잡아야 합니다. 에듀테크 제품에서는 메시지를 보내는 시점과 콘텐츠, 보상을 더욱 정교하게 설계하기 위해 여러 실험이 진행되며, 특정 개입이 학습 리텐션율에 영향을 주었는지 수차례 검증합니다.

*Anton Yu, “Improving the streak: Forming habits one lesson at a time”, duolingo blog, Nov 19, 2020

리텐션율의 성과를 판단하기 위해서는 대표적으로 ‘코호트 기반 학습 리텐션율’을 활용합니다. 이는 특정 기간별 유저 코호트를 기준으로 일/주/월별로 남아있는 사용자의 비율을 계산해 도출하는 방법입니다. 예를 들어, 1월 1일에 결제하고 처음 학습을 시작한 사용자가 100%라고 가정했을 때, 일/주/월 단위로 학습을 이어가고 있는 사용자 수의 비율을 퍼센트로 나누어 확인합니다. 앞서 언급한 게이미피케이션 기능이 학습 리텐션율에 미친 영향을 알고 싶다면, 특정 일에 결제 및 학습을 시작한 사용자를 기준으로 A집단(기존 버전)과 B집단(게이미피케이션 기능이 도입된 버전)을 나누어 테스트를 진행합니다. 그리고 시간이 지날수록 남아있는 사용자의 비율을 비교해서, 성과를 가시적으로 도출해냅니다.

7일, 30일 등 특정 기간을 설정해서 Day N 리텐션율을 계산하기도 합니다.Day N 리텐션율은 특정 코호트의 사용자(ex. 1월 1일 가입)을 기준으로 기준 시점(N일) 까지 남아있는 사용자의 비율을 계산하는 방식 입니다. 사용자가 반드시 매일 학습을 진행해야 하는 것은 아니기 때문에, 이렇게 적절한 기준 시점을 정해서 리텐션율을 파악해보는 것도 학습이 지속되는지 판단하는 데에 적절합니다.

나아가 듀오링고의 사례에서는 상위 지표(DAU)와 하부 지표(CURR)의 연관성을 파악하는 일이 실질적인 제품 성장을 이끌어내는 데 매우 중요하다는 점을 배울 수 있습니다. 듀오링고는 리텐션율을 측정하기 위해 ‘현재 사용자 리텐션율(Current User Retention Rate; 이하 CURR)’라는 지표를 정의했습니다. CURR은 사용자가 지난 2주 동안 적어도 한번씩 제품에 들어왔을 때, 이번 주에도 제품에 접속할 확률을 의미합니다. 또한 CURR이 DAU(Daily Active User) 향상에 직접적으로 기여할 것이라는 가정을 세우고, 2019년부터 CURR을 높이기 위한 기능 개발에 집중했습니다.

듀오링고의 리텐션 지표의 성과를 추적한 자료*를 보면, CURR에 집중한 이래로(2019년~2022년) DAU 지표가 4.5배 올라간 것을 볼 수 있습니다. 상승된 DAU 지표에 대한 CURR 지표의 영향도를 분석한 결과, 75% 이상 기여한 것을 객관적인 수치로 확인할 수 있습니다.

*Jorge Mazal, “How Duolingo reignited user growth”, Lenny’s Newsletter, Feb 02, 2023

3. 재구매율

세 번째 지표는 재구매율 지표입니다. 에듀테크 제품, 특히 AI 튜터 제품에서는 커머스와 같이 잘 만들어진 상품을 중개하는 것이 아니라 제품의 경험 자체가 하나의 상품이 되는 SaaS 형태의 제품 특성을 가지고 있습니다. 사용자는 양질의 콘텐츠, AI 기반의 개인화된 인터랙션, 학습 목표 달성(효과성) 여부를 종합적으로 판단하여 하나의 교환 가능한 서비스/재화로서 제품을 인식하게 됩니다.

이러한에듀테크제품에서 재구매율은 제품에 대한 고객의 만족도와 충성도를 가장 잘 대변하는 행동 지표가 됩니다. 또한 교육 제품 특성상 사용자는 학습 목표를 달성하면 이탈하게 되는데요, 이때문에 사용자가 다시 유입되는 사이클을 만들기 위해 적극적인 바이럴 효과를 일으키는 것이 매우 중요합니다. 제품에 대한 만족은 곧 추천으로 이어지기도 합니다. 재구매율을 지속적으로 모니터링하며 사용자의 충성도를 확인하고, 나아가 친구 추천, 사용자 리뷰 등으로 연계하여 신규 유저의 유입과 결제를 늘리는 것이 중요합니다.

재구매율은 간단하게는 총 구매자 중 재구매자의 비율을 구하여 ‘평균 재구매율’을 산출할 수 있습니다. 하지만 AB 테스트 집단, 배포 주기별, 기간별 등의 세부적인 영향을 직접적으로 평가하기 위해서는 ‘코호트 기반 재구매율’을 계산해보는 것이 좋습니다. 이는 월별 등의 기준으로 유저 코호트를 나눈 다음, 재구매 유저 수를 코호트의 첫 구매 유저 수로 나누어 계산합니다.

월단위로 재구매가 일어나는 구독형 상품을 간단히 예로 들어보겠습니다., 7월에 1000명이 구매하고, 8월에는 7월 구매자(코호트 설정) 중 300명이 재구매를 했다고 가정하면 재구매율은 30%가 됩니다. 이러한 재구매율은 구매 기간, 상품의 유형 등에 따라 각기 다른 방식으로 계산되어야 합니다.

마무리 하며

결국 지표는 하나의 목표를 일관적으로 달성하는 수단이 되어야 합니다. 따라서 프로덕트 매니저에게는 고객 성공을 정의하고, 직접적으로 성공에 영향을 줄 수 있는 선행 지표를 선별해내는 것이 중요한 안목입니다. 이러한 원칙을 유지함과 동시에 제품 도메인의 특성, 고객의 목표와 행동 과정 등을 이해한다면, 제품이 집중해야할 목표를 선별하는 데 큰 도움이 됩니다. 또한 상위 목표와 하부 지표 간의 인과관계를 더욱 뚜렷하게 확인한다면 해야할 일과 하지 말아야 할 일을 구분하는 기준이 될 수 있습니다.

단편적인 아이디어는 언제나 실행 능력을 넘어 쏟아지기 마련입니다. 하지만, 고객에게 점차 장편의, 몰입할 수 있는 제품 스토리를 전달하기 위해서는 하나의 큰 제품 맥락 안에서 기능의 필요성을 판단하고, 그 기능들을 자연스럽게 연결해 나가야 합니다. 이를 위해서 프로덕트 매니저는 핵심 목표와 우선순위가 가장 높은 일에 몰두하는 열정을 갖춰야 합니다. 그리고 그 외의 것들은 기분 좋게, 웃으며, 미안해하지 않고 거절하는 용기 또한 필요합니다. 제품을 둘러싼 여러 차원을 이해하며, 우리 제품만의 ‘고객 성공’를 정의하고, 이를 가장 직접적으로 표현하는 ‘지표’를 통해 중요한 일에 집중할 수 있는 환경을 구성하시길 바랍니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.