꾸준히 성장하는 AI 제품은 어떻게 만들까?
‘일’상의 AI 시리즈
짧은 주기로 쏟아져나오는 생성형 AI 기술들로 인해 마음이 조급해졌던 적이 있습니다. 제가 속한 교육 시장 내 경쟁 제품들 역시 발 빠르게 생성형 AI를 활용한 기능들을 출시하고 있었습니다. 우리 제품은 너무 늦은 것이 아닌지, 일단 빠르게 적용하여 AI 활용 사례로 인지도를 얻는 것이 필요하지는 않을지 등의 여러 생각이 복잡하게 얽혔습니다.
조급한 마음에 매일 새로운 아이디어를 쏟아내며 프롬프팅으로 검증하기도, 복잡한 엔지니어링이 필요하지 않은 AI 기능을 서둘러 제품에 적용하여 사용자의 반응을 겪어보기도 했습니다. 그동안 생산성, 엔터테인먼트 등의 버티컬 영역에서 꾸준히 성장하는 AI 프로덕트를 볼 수 있었습니다. 물론 반대로 발 빠르게 출시되었지만 시장의 선택을 받지 못한 경우도, 주목을 끌었지만 안정적인 수익/비용 모델을 갖추지 못해서 성장을 지속할 수 없었던 AI 스타트업의 사례도 있었습니다.
개인적인 시행착오와 여러 AI 스타트업의 성공 및 실패 사례들로 배운 것이 있습니다. 추상적인 컨셉과 AI 기술의 ‘생소함’에 쏠렸던 관심을 다시 ‘지속 가능한 제품’으로 되돌려야 한다는 점입니다. 눈에 띄는 AI 기술과 아이디어는 일시적인 관심을 만들 수는 있지만, 연속되는 성장을 이끌어내는 것은 어려워 보였기 때문입니다. 프로덕트 매니저로서 장기적인 제품의 비전과 단기적인 사업 성과를 함께 따져보며 AI 프로덕트의 지속적인 성장을 이끌어낼 수 있는 실용적인 방법에 대해 고민했습니다.
이처럼 ‘지속적인 성장’에 대한 고민을 ‘산타 세이’라는 AI 제품의 개발 과정에 어떻게 반영하여, 제품을 출시하고 개선했었는지 그 과정을 상세히 공유하고자 합니다.
생성형 AI로 매력적인 고객 경험 구상하기
제가 담당했던 ‘산타(구 산타토익)’는 객관식(듣기/읽기) 시험을 넘어, 영어 말하기/쓰기 시장으로 제품의 영역을 확장해야 한다는 목표가 있었습니다. 매년 객관식 영어 시험점수 대신 토익스피킹, OPIC 등 독립적인 영어 말하기 시험의 시장 규모가 커졌고, TOEFL, IELTS 등과 같이 영어 말하기 역량을 종합적으로 평가하는 시험의 종류가 많아졌기 때문입니다. 사업적 성과 확보와 음성/텍스트 진단 및 첨삭 기술에 대한 AI 연구가 동시에 이루어져야 했던 상황이었기 때문에, AI 프로덕트의 비즈니스 방향성을 더욱 명확히 세우는 것이 중요했습니다. 또한 매출과 비용을 안정적으로 컨트롤하며 단계적으로 제품을 성장시키기 위해서 적합한 운영 방식을 찾아야 했습니다.
이런 고민에서 시작한 ‘산타 세이’ 는 AI 점수 예측과 답안 첨삭 기능이 결합된 영어 말하기 시험 모의고사 서비스입니다. 사용자가 실제 시험과 동일한 플로우로 모의고사를 응시하고 답안을 제출하면, AI가 사용자의 음성과 텍스트로 변환된 응답 내용을 분석해 실제 시험에서 어느 정도의 점수를 받을 수 있는지 예측합니다. 이후 실제 사람 조교처럼 사용자의 답안을 문법적으로 교정해 주며 추가로 학습해야 할 내용을 가이드합니다.
저는 제품을 경험하지 않고도 체감할 수 있는 직관적인 고객 경험을 구성하기 위해, 세분화된 타겟과 AI를 통해 창출할 수 있는 차별화된 가치를 아래 두 가지 방법을 통해 도출했습니다.
1. 고객의 학습 목표 달성 과정을 상세히 이해하기
첫 번째, AI 프로덕트의 매력적인 고객 경험을 설계하려면 고객이 학습 목표를 달성하기까지의 과정을 상세히 이해해야 합니다.대다수의 사용자가 일반적으로 겪는 문제를 시간, 비용, 물리적인 노력 등의 객관적인 기준으로 비교하고, AI 프로덕트가 해결해야 할 문제를 더욱 정교하게 설정했습니다.
일반적으로 대부분의 학습자는 교재나 유튜브, 온라인 강의 등 단뱡향 학습으로 영어 말하기 시험을 준비합니다. 하지만 기존의 방식은 피드백이 부재하기 때문에 학습자 스스로 말하기 실력의 취약점을 교정하고 반복적으로 훈련하는 데에는 한계가 있습니다. 객관식처럼 정오답을 분명하게 구분할 수도 없고, 발음, 문법, 내용의 일관성 등 시험 기관의 주관적인 채점 기준을 학습자가 스스로 적용할 수 없기 때문입니다. 이로 인해 학습자는 초기에 설정했던 목표 기간 안에 점수를 달성하지 못하고 학습 기간이 길어집니다. 이러한 문제를 해결하기 위해 학습자는 프리미엄 첨삭 강의, 1:1 첨삭 과외 등 고가의 서비스를 이용하는 경우도 있습니다.
2. 대체 서비스와의 상대적인 가치 비교하기
두 번째, AI 프로덕트의 지속 가능성을 사전에 예측하려면 고객이 이미 돈을 지불하고 있는 대체 서비스와의 상대적인 가치(차별화된 경험, 높은 서비스 품질, 적절한 지불 의사/가격 등) 비교가 필요합니다.
이미 사용자가 특정 서비스에 돈을 지불하고 있다면, 해당 서비스는 일부 타겟 혹은 영역에서 이미 고객의 니즈를 충족시켰다고 볼 수 있습니다. 산타 세이를 설계할 때는 사람 강사가 제공하는 첨삭 서비스의 프로세스를 벤치마크했습니다. 그리고 프로세스 내에서 고객이 서비스의 품질을 판단하는 결정적인 요인을 찾고, AI로 우월한 품질을 만들 수 있는 방법을 고민했습니다. 이러한 고민의 과정은 추가적인 가치를 연결할 수 있는 방법을 찾음과 동시에, 수익화 가능성을 예측 하는 데에 큰 도움이 되었습니다.
페인 포인트와 유저 스토리 정의하기
사용자의 연속적인 목표 달성 과정과 대체 서비스의 문제를 맵핑하여 지원 범위가 적은 제품으로도 시장에 진입할 수 있도록 타겟과 포지셔닝을 아래와 같이 명확히 정의했습니다. 저희 팀이 발견한 기존 학습 과정에서 사용자의 페인포인트는 이렇습니다.
- 단방향 학습 방법에서는 피드백이 부재해서 학습 효과가 미미하다.
- 양방향 학습(1:1 채점 및 첨삭)을 위해서는 고가(5만 원/회)의 비용을 지불해야 한다.
- 오프라인 학원 첨삭반 등 상대적으로 저렴한 가격에 첨삭을 받기 위해서는 최소 3~5일이 소요된다.
온라인 환경에서, AI로 사람 조교가 제공하는 채점 및 첨삭과 유사한 수준의 서비스를, 낮은 비용으로 쓸 수 있게 한다면, 충분히 유료 사용자를 유치할 수 있을 것이라고 예상했습니다. 또한 합리적인 가격과 묶음 상품 등을 제시하면 사용자가 여러 차례 서비스를 쓰며 실력을 향상시킬 수 있을 것이라고 판단했습니다. 반복적인 실전 연습과 피드백의 가치는 어느 정도 개념 학습을 완료한 학습자에게 의미가 있을 것이라고 생각해, 예상 점수대를 기준으로 구분하여 타겟을 설정했습니다. 산타 세이가 유료 서비스 런칭 시 목표로 했던 유저 스토리는 아래와 같습니다.
- 기본적인 시험 유형과 영어 표현을 학습한/지식이 있는 110~150점 대의 학생들에게
- 오프라인 학원의 첨삭반 대비 빠르고, 1:1 첨삭 과외보다는 저렴한, AI 기반 자동 채점 및 첨삭 서비스를 제공한다.
- 이를 통해 사용자는 더 높은 빈도로 자신의 발화 내용을 교정하며 빠르게 목표 점수를 달성할 수 있다.
AI가 효율적으로 해결할 수 있는 문제를 정조준하기
앞서 정의한 고객 경험을 일관적으로 실현하기 위해서, 대체 서비스의 채점 프로세스 내에서 발생하는 비효율을 어떻게 AI를 통해 해결할 수 있을지에 집중했습니다. 특정 부분을 자동화했을 때, 사용자의 학습 과정에 어느 정도로 변화할지 임팩트를 예측하여, 도입의 타당성을 따져봤습니다.
대체 서비스와 비교해 동등한 수준의 경험을 만들기 위해 반드시 필요했던 부분은 (1) 실제 시험과 유사한 모의고사 응시 경험을 구현하는 것 (2) 사람 조교/강사와 유사한 품질의 채점 및 첨삭 결과를 만들어내는 것이었습니다. 나아가 온라인 서비스의 이점을 활용하여, 오프라인 첨삭 프로세스 대비 높은 접근성과 낮은 비용, 빠른 속도를 보장한다면, 압도적인 사용자 경험의 차이를 만들 수 있다고 생각했습니다.
이를 구현하기 위해 여러 AI 재료를 사용했습니다. 사용자의 발화&채점 데이터를 수급하여 자체적인 점수 예측 모델을 구성했습니다. 또 음성 텍스트 변환(STT; Speech to Text) 모델과 GPT-4 등의 상용 AI 모델을 조합하여 음성 발화에 대한 첨삭을 진행할 수 있는 기능을 구현했습니다. 이를 통해 모의고사 응시 후, (1) 자신의 객관적인 점수를 알고 (2) 발화 내용을 텍스트로 확인하고 (3) 첨삭 답안과 나의 답안을 비교하며 개선을 유도했습니다.
기본적인 사용자 플로우를 구성한 다음에는 성능을 끌어올렸습니다. 영어 콘텐츠 전문가, AI 리서처와의 협업을 통해 시험의 채점 요소에 특화된 피드백을 제공할 수 있도록 프롬프트를 고도화했습니다. 또 가치 가설 검증을 위해 초기엔 모의고사 플로우와 AI 점수 예측만을 결합하여 먼저 MVP로 출시했습니다. 그리고 유료화 전까지, 첨삭 관련 AI 기능을 출시하고 시험의 채점 요소를 반영해 피드백 프롬프트를 개선하는 등 4번의 릴리즈를 진행했습니다. 기능을 릴리즈할 때마다 신규 유저를 대상으로 진행한 서베이에서 단계별로 상승하는 NPS(Net Promoter Score; 사용자의 구매 의사를 확인하는 간접 지표)를 확인할 수 있었습니다.
사용자가 수용할 수 있는 AI 품질 보장하기
AI 프로덕트를 만들 때, 결과의 정확도, 속도와 가격에 대한 기준을 선제적으로 세우고, 사용자가 수용할 만한 AI 모델의 성능과 아웃풋의 품질을 지켜내는 일 또한 매우 중요합니다. 특히 생성형 AI는 일반적인 소프트웨어와는 달리, 사용자의 인풋과 사용 맥락에 따라 결과물의 품질이 크게 차이 날 수 있습니다. 그렇기 때문에 사전에 많은 테스트를 거쳐 반복적으로 개선해야 합니다.
처음 서비스 베타 버전을 시장에 출시했을 때, 다양한 고객의 피드백을 받았습니다. 제품에 만족한다는 피드백도 있었지만, 종종 예측 점수의 오차가 발생하거나, AI 채점 과정에 오류가 발생하여 로딩 속도가 길어지는 등 사용자 경험이 떨어진다는 피드백도 여럿 나왔습니다. 그뿐만 아니라 일부 문항에서는 알 수 없는 이유로 사용자의 음성이 텍스트로 변환되지 않거나, 관계없는 피드백이 나오는 경우도 있었습니다.
제품을 고객에게 유료로 제공하기 위해서는 최소한 사용자가 수용할 만한 수준으로 AI 기술의 성능을 올리는 것이 무조건 필요하다고 판단했습니다. 따라서 목표 기준을 세운 뒤, 반복적인 성능 개선 작업을 진행하여 원하는 기준을 달성하기 위해 노력했습니다.
우선, AI 리서처와 콘텐츠 전문가가 반복적으로 모델의 문제를 찾고 프롬프트를 개선하거나, 모델에 학습되는 데이터 등을 조정했습니다. 이렇게 점수 예측 모델의 성능을 ±10점 수준으로 올렸습니다. 곧이어 할루시네이션 문제가 발생했던 음성 세트와 에러케이스를 맵핑하여 엑셀로 테스트 케이스를 정리했고, 같은 문제가 다시 재현되지는 않는지 배포 시마다 확인하며 아웃풋의 품질을 유지했습니다. 최대 3분이라는 기준 아래 ML 엔지니어가 모델 서빙 방식 등을 변경했고, 평균 9초 이내로 채점 속도를 높이기도 했습니다. 모두 고객이 짧은 텀으로 신뢰할 만한 피드백을 받고, 반복적으로 훈련할 수 있는 제품이 될 수 있었습니다.
적절한 운영 모델을 통해 비즈니스 시나리오를 확대하기
마지막으로 지속 가능한 운영 모델을 만드는 것은 꾸준히 성장하는 제품을 만드는 데에 큰 도움이 됩니다. 일반적으로 사업적인 성과는 간단하게 매출과 비용 두 가지 측면에서 해석될 수 있습니다. 어떤 구조로 수익이 창출되는지, 그 중 비용은 어느 정도 차지하는지, 이를 명확히 인지하고 있어야 뚜렷한 목적을 가지고 제품의 영역을 확대할 수 있습니다.
1. AI 프로덕트의 비용 구조 설정하기
AI 프로덕트 원가에서 LLM 사용료 등의 AI 인프라 비용은 큰 부분을 차지합니다. 그 때문에 AI 인프라 비용을 통제하는 것은 다양한 수익 모델을 실험하는 데에 큰 도움이 됩니다. LLM 사용료가 점차 줄어들고는 있지만, 제대로 통제하지 못한다면 어느 순간 비용이 폭증할 수 있기 때문입니다.
‘산타 세이’의 경우에는 고객 관점에서 ‘모의고사 1회’가 자연스러운 소비 단위였습니다. 그래서 원가 단위와 LLM 사용료가 발생하는 단위를 일치시킬 수 있었습니다. 예를 들어, AI 모의고사 1회를 사용할 때 AI 채점과 첨삭 또한 1회가 포함됩니다. 즉, 회당 고정된 비용이 발생하는 구조입니다. 만약 고객이 AI 모의고사 1회를 만 원에 구입했다고 가정했을 때, AI 채점과 첨삭 비용에 드는 AI 인프라 비용이 3,000원이라면, 판매 단위당 7,000원이 남는 구조가 되는 것입니다. 여기서 AI 인프라 비용을 줄여 판매 단위당 원가를 낮출 수 있다면, 기업이 취득할 수 있는 이익의 범위가 확대됩니다.
처음 런칭했을 때에는 AI 인프라 비용이 원가에서 차지하는 비중이 매우 높았기 때문에, 수익성을 높이기 위해서는 반드시 개선이 필요했습니다. 산타 세이에서는 첫째, 프롬프트에 사용된 토큰 수를 줄였고, 둘째, 일부 모델은 사용료를 내고 외부 AI 모델을 사용하는 대신, 오픈 소스 모델을 내부 GPU에서 서빙하는 형태로 변경하여 비용을 축소했습니다. 또한 성능을 유지하는 선에서 더 저렴한 모델을 찾고 교체하는 것도 하나의 방법이 되었습니다. 이를 통해 LLM 사용 비용 등 AI 리소스 사용에 드는 비용을 ⅓ 수준으로 낮췄습니다. 이런 구조에서는 많이 팔면 팔수록 큰 수익을 남길 수 있게 됩니다.
2. 효과적인 연계 수단을 통해 수익 모델을 확장하기
뚜렷한 원가 체계를 설정한 결과, 가격 테스트를 할 수 있는 충분한 구간을 만들 수 있었습니다. AI 인프라 비용 축소로 고정적인 원가를 형성한 뒤 가장 먼저 시도했던 것은, 할인율을 높이되 3회권, 5회권의 묶음 상품을 구성하고 단가를 높인 것입니다. 원가가 낮다 보니 유연하게 가격 테스트를 진행하고 매출을 극대화시킬 수 있는 가격과 상품 구성을 찾을 수 있었습니다. 또한 프로모션을 통해 낮은 가격에 1회권 서비스를 경험하게 한 다음 5회권, 10회권 등 묶음 상품의 추가 구매를 유도하는 식으로 마케팅 시나리오를 구성했습니다. 그 결과, 이전에 비해 약 2.7배 높은 수준까지 재구매율을 끌어올릴 수 있었습니다.
또한 회당 판매 방식을 바탕으로 확장성 있는 쿠폰 기능을 개발하여 , 좀 더 유연한 상품/프로모션 연계를 통해 확장 매출을 만들었습니다. 산타 세이는 ‘실전 연습’이라는 매우 좁은 가치 영역을 타겟하고 있다 보니 출시 초기에는 매스 마케팅으로는 충분한 ROAS(Return on Ads Spend, 광고수익률)가 나오지 않았습니다. 적은 비용으로 사용자를 유입시키기 위해 효과적인 바이럴 수단을 찾는 것이 필요했습니다.
이 때에 할인 쿠폰이 힘이 되었습니다. 마케팅 팀과 함께 후기 이벤트를 진행하거나, 인플루언서 마케팅을 통해 쿠폰을 확산시켰습니다. 블로그 등의 여러 채널을 통해 유입된 고객은 낮은 체감 가격으로 인해 이전 대비 약 1.5배 높은 ROAS를 보였고, 그 결과 매달 매출이 높은 비율로 상승했습니다. 한편, 이용권 지급 쿠폰은 기존 산타(구 산타토익) 등의 상품과 크로스 셀링을 유도하거나, B2B 고객을 상대로 벌크 단위의 이용권을 판매 등을 통해 확장 매출을 만들어내는 데에도 큰 도움이 되었습니다. 이처럼 적절한 운영 모델을 갖추려고 했던 시도는 지속 가능한 방식으로 수익이 발생할 수 있는 여러 흐름을 인지하고 확대하는 일에 큰 도움이 되었던 것 같습니다.
어떻게 하면, 지속적인 성장을 만들 수 있을까?
지금까지 신규 제품의 PM으로서 지속 가능한 AI 제품을 위해 필요한 고객 가치 설정 > AI 역할 정의 > AI 품질 확보 > 운영 모델 설정을 하나씩 해결했습니다. 그 결과 초기에 설정했던 사용자 가설과 일치하는 사용 패턴을 확인할 수 있었습니다. 개념 학습을 완료한 중간 점수대(110~150점대) 학습자들이 주로 제품을 구매했으며, 짧은 간격으로 매일 한 회차씩 이용하는 등 반복적인 훈련에 사용한 것을 확인했습니다. 사용자 인터뷰에 참여한 고객들은 첨삭의 퀄리티와 가격에 만족하는 경우가 많았습니다. 이는 직접적인 구매 지표로 연결되었습니다. 상대적인 효용 가치가 분명했기 때문에 기존 제품(산타)보다 약 10%p 이상 높은 결제 전환율을 보였고, 사용자의 만족을 객관적으로 보여주는 재구매율 부분에서 역시 높은 수치가 지속되었습니다. 한편, 제품의 유즈케이스를 확장하기 위해 직접 B2B 학원/기관을 만나 영업을 진행하기도 했었는데, 예상했던 것과는 달리 뜻밖의 비즈니스 시나리오가 발견되기도 했습니다.
하지만, 여전히 어떻게 하면 규모 있게 제품을 확대할 수 있을지에 대한 고민이 남습니다. 지속적인 개선을 통해 사용자가 만족할 수 있는 최소 수준의 제품을 검증했지만, 니치한 영역을 타겟으로 잡았기 때문에 아직 절대적인 사용자 규모에서는 아쉬움이 많이 있었던 것 같습니다. 끈기 있게 고객을 만나고, 제품과 인접한 비즈니스 시나리오를 발굴하며, 제품의 가치를 키워나가는 과정이 이후에도 지속적으로 필요할 것 같습니다. 함께 일하는 구성원들과 신뢰를 형성하고 지속적으로 제품을 키워나가기 위해서, PM으로서 좀 더 가시적인 성장 목표를 제시할 수 있는 역량을 길러야 할 것 같습니다.
매일 새롭게 발전하는 기술과 제품 개발 환경 내에서 프로덕트 매니저로서 어떤 역할을 해야할까 매번 고민이 됩니다. 여러 시행착오 속에서 오늘은 맞다고 생각했던 원칙이, 내일은 또다시 이질적으로 다가오는 순간이 있으니까요. 가끔은 너무 많은 생각을 하느라, 레버리지 할 수 있는 기회를 놓쳐버리는 것은 아닐지 불안하기도 합니다. 그럼에도 저는 생성형 AI 기술로 얻게 된 기회를 고객 가치로 변환하고, 제품의 ‘지속적인 성장’을 이끌어내는 것이 프로덕트 매니저인 제 가장 큰 임무가 아닐까 싶습니다. 기술의 발전에 초조해하기보다, 고객의 문제에 집중하고 비즈니스를 확대할 방법을 찾으며, AI라는 획기적인 재료를 목적에 맞게 활용할 수 있게 되길 기대합니다.
‘일’상의 AI 시리즈
©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.
