27,797시간 강의 데이터로 챗봇 진화시키기 (Note by 패스트캠퍼스)

여러분이 가장 최근에 주고받은 채팅의 대상은 누구인가요? 인간인가요, 아니면 AI인가요?

이 모든 변화의 시작, 챗GPT입니다. 챗GPT의 등장과 함께 많은 사람이 주목한 건 ‘GPT’지만, 더 중요한 건 ‘챗’, 그러니까 채팅입니다. 우리에게 대화는 모든 가능성의 시작입니다. 기계와 원활하게 대화할 수 있다는 것만으로 끝 모를 가능성의 세계가 열렸듯이요. 그렇게 다가올 미래에 AI와 상호작용하는 기준은 채팅이 되었습니다. 그리고 이를 대표하는 기능, 바로 챗봇입니다.

챗봇: 최종 사용자와 사람의 대화를 시뮬레이션하는 컴퓨터 프로그램입니다. 모든 챗봇에 AI가 탑재된 것은 아니지만, 최신 챗봇은 자연어 처리와 같은 대화형 AI 기술을 사용하여 사용자의 질문을 이해하고 이에 대한 응답을 자동화하는 경우가 점점 더 많아지고 있습니다. 

<출처: IBM, 챗봇이란 무엇인가요?>

하지만 우리가 지금까지 접해온 챗봇은, 따지자면 앵무새입니다. 정해준 선택지에 따라 같은 말을 반복할 뿐이죠. 그런데요, 기계와 사람이 채팅한다는 점에서 일반 챗봇이나 챗GPT나 근본적인 경험은 다를 바 없습니다. 그러니 생각해 봅시다. 우리가 쓰는 거의 모든 서비스에 챗GPT가 붙는 상황을요. 얼마나 편해질까요?

기업 입장에서도 최고입니다. 쏟아지는 CS에 대응하는 노력, 그러니까 인건비를 절약하는 건 시작입니다. 사용자 경험? 압도적입니다. 만족한 고객에게 제안하기? 상상만 하면 이루어질 겁니다.

그래서 AI 비법 노트의 첫 번째 주제는 ‘챗봇’입니다. IT 교육 전문 기업을 넘어 모든 성인 대상 교육으로 파이를 넓히고 있는 패스트캠퍼스(데이원컴퍼니)의 AI 실무자들을 만났습니다. 학습 튜터 챗봇, 캐미 도입기입니다.

Chapter 1. 똑똑한데 응답도 빠른 봇이 수강생을 맡으면 어떨까?

모든 제품의 변화는 문제에서 출발합니다. AI 기능이라고 다를 것 없습니다. 캐미를 탄생시킨 배경은 “수강생과 강사의 시차”입니다. 일하느라 답이 늦은 실무자 강사들 대신, 수강생의 궁금증을 빠르게 풀어줄 챗봇이 필요했습니다. 특히 패스트캠퍼스가 본격적으로 뛰어든 기업 교육 시장에서는 빠른 답변이 전체 교육 만족도를 좌우할 정도로 중요해졌습니다. 그러나 CS팀에 모두 맡기기에는 인력도, 전문성도 부족했죠. 마침 나온 챗GPT는 그 해답으로 보였습니다.

Q. 튜터 챗봇 ‘캐미’ 프로젝트를 시작한 계기가 있을까요?

김승민 기획그룹장: 패스트캠퍼스의 출발은 오프라인 기반 IT 교육 회사였습니다. 그때는 강의를 듣다 궁금한 것은 바로 강사한테 물으면 되니 문제가 없었죠. 하지만, 코로나로 온라인 전환을 시작하며 상황이 달라졌습니다. 물론 회사는 아주 빠르게 성장했죠. 지금은 매출의 90%가 온라인에서 나올 정도고요.

전환 초기에는 콘텐츠를 보급하는 데 집중했습니다. 수강 기반 환경은 뒤에서 이런 성장을 따라잡아야 했죠. 특히 B2B 시장에 진입하면서 온라인 수강 환경에 대한 복잡한 요구 조건을 만나게 되었습니다. 그때쯤 챗GPT가 시장에 나왔는데요. 우리가 가진 수강 환경 문제를 해결해 줄 편의 기능을 만들어 볼 수 있겠다 생각했습니다. AI 챗봇이 수강생과 실시간으로 상호작용하며 강의 이해도를 높이는 데 도움을 줄 것으로 보였죠.

Q. 처음부터 문제를 AI 챗봇으로 풀어야겠다고 생각했나요?

김승민: 패스트캠퍼스 강의는 대부분 전문 영역을 다룹니다. 그래서 전문적인 지식이 없다면, 답변이 큰 의미를 가지기 어렵죠. 강의를 만든 강사들처럼 뛰어난 전문성을 가진 사람이 답해야 해요. 한편 강의 영역이 아닌 운영 관련 질문이라면 빠르게 답해 주는 것이 중요합니다. 여기에 IT 강의를 주로 취급하다 보니, 수강생도 AI 챗봇에 대한 거부감이 덜했죠. 이런 이유를 따지니 AI 챗봇이 최적의 선택지였습니다.

패스트캠퍼스는 ‘AI 교육’의 선도 기업으로 자리 잡기 위해 노력하고 있었습니다. 그러려면 기업 자체가 AI를 잘 다룬다는 이미지도 필요했죠. 새로운 AI 기능을 기존 제품에 덧붙이는 프로젝트는 그렇게 경영진의 전폭적인 지원과 함께 시작합니다. 대신 ‘빠르게 해볼 것’이 핵심 전제였습니다.

Q. 프로젝트 시작 단계에서는 무슨 일이 있었나요?

김승민: 빠르게 기능을 출시하기 위해 여러 기업과 PoC를 진행했습니다. PoC로 검증하고자 하는 바는 확고했습니다. “원하는 퀄리티를, 빠르게 구축할 수 있는가?”였죠. 시스템이 수요를 따라잡는 시간을 줄이려고 했습니다.

그렇게 몇 차례 검증 끝에 스타트업 ‘콕스웨이브’를 파트너로 확정했습니다. 당시 콕스웨이브는 이제 막 시작한 젊은 기업이었습니다. 패스트캠퍼스가 회사의 주요한 첫 고객이 된 거죠. ‘온라인 교육’이라는 도메인과 회사 상황에 맞춤형 커스터마이징을 해준 것이 선택 포인트였습니다.

이윤정 개발자: 콕스웨이브와 협업을 했기에 빠르게 프로토타입을 만들고 고객에게 제공할 수 있었다고 생각해요. 초기 학습 데이터를 준비하거나 모델을 튜닝할 필요가 없어 개발 시간을 크게 단축한 것도 사실이고요.

Chapter 1 3줄 요약

① 캐미는 온라인 교육에서 수강생과 강사 사이 ‘시차’를 줄이기 위해 시작한 프로젝트
② 전문성 확보와 빠른 응답이라는 두 가지 조건에는 AI 챗봇이 최고의 선택지
③ 출시 속도를 높이기 위해 패스트캠퍼스는 외주 모델 제작사 ‘콕스웨이브’와 협업을 선택

Chapter 2. “딸깍”하면 나오는 줄 알았죠. 10개월이나 걸릴 줄이야.

풀어야 할 문제와 좋은 선택지, 경영진의 지원까지. 프로젝트의 시작은 수월했습니다. 그때는 몰랐습니다. 알파 테스트에 긴 시간이 들어갈 지는요. 단순한 챗봇이라면 문제가 없었을 겁니다. 하지만 고객도, 기업도 처음인 AI 챗봇을 ‘고객이 원하는 수준까지’ 올리는 일에는 수많은 시행착오가 뒤따랐습니다. 그렇게 챗GPT처럼 “딸깍”하면 나올 듯했던 캐미의 정식 출시에는 “10개월”이란 시간이 들어갑니다.

Q. 실제 도입 과정에서 생긴 문제는 무엇일까요?

김태희 개발자: 결국 문제는 데이터였습니다. 처음에는 강의 자료, 그러니까 일반 장표 데이터로도 충분한 학습이 이뤄지지 않을까 생각했죠. 하지만 그것만으로는 부족했습니다. 원하는 퀄리티가 안 나왔죠. 그래서 강의 전체를 학습시키기로 했습니다. 이를 위해 모든 강의 영상의 자막을 추출하는 작업이 필요했어요. 당시 패스트캠퍼스의 자막은 마찬가지로 AI의 힘을 빌리고 있었죠. 오픈AI의 위스퍼(Whisper) 모델로 음성을 인식하고 한글 자막을 제공했어요. 학습의 보조로는 퀄리티가 괜찮았고요.

하지만 정작 챗봇 모델의 학습을 위해 데이터를 추출하니 아쉬운 부분이 많았습니다. 오탈자는 기본이고, 인식에 자주 실패하는 전문용어에 대한 별도 처리가 필요했죠. 그래서 오탈자 수정하는 알고리즘 추가하고, 용어에 대한 피드백은 강의 자료 참고해서 후보정했습니다. 문장의 마침표와 쉼표를 깔끔하게 뽑기 위해 별도 LLM까지 추가로 도입했고요. 답변 품질을 올리기 위해 우리 데이터를 알맞게 가공하는 일에 시간이 들어간 거죠.

이윤정 개발자: 또 다른 문제는 고객들이 우리가 의도한 대로 챗봇을 쓰지 않는다는 점이었어요. 초기에는 강의 내용 관련 질의응답으로 학습에 도움을 주고자 기능을 넣었는데, 정작 고객들은 운영 관련 문의를 많이 쓰더라고요. 특히 큰 문제는 사회적 잣대를 무너뜨리는 질문들, 이를테면 젠더 이슈, 정치 이슈에 대한 질문도 많이 나왔다는 거예요. 그런 질문에는 답을 피하고, 그 대신 학습 관련 질문이 나오도록 대응 시나리오를 만들어야 했죠.

또 캐미의 예상치 못한 대답도 막아야 했어요. 다른 사이트의 강의를 추천하거나 엉뚱한 대답을 하는 경우가 있었거든요. 거의 모든 답변을 “환불해 드리겠다”고 하기도 하고요. 그래서 CS팀과 함께 추가로 시나리오를 조정했죠. 그런 과정에서 사용자 이용 방식에 따른 답변 성격을 바꾸는 일도 필요했어요. 캐미를 쓰는 사용자들은 이탈이 빠른 편이었기에 빠르고 확실한 답변 위주로 나가도록 조정하는 과정도 거쳤죠.

김승민: 패스트캠퍼스가 교육 회사라는 점도 긴 테스트 기간에 영향을 줬습니다. 아무래도 교육 회사를 바라보는 사회적 인식이 다르니까요. 그런 만큼 회사에서는 모든 일에 윤리적 잣대를 조금 더 강하게 적용하고 있습니다. 그래서 더 챗봇의 응답으로 인한 리스크를 최소화하는 데 시간을 쓰게 된 거죠.

Q. 데이터 보안도 중요한 포인트인데요. 외부 협업 과정에서 데이터 보안은 어떻게 확보하고 있나요?

김승민: 데이터 보안은 문제가 없도록 특히 촘촘하게 관리하고 있습니다. 사용할 수 있는 데이터와 없는 데이터도 잘 구별하고 있고요. 이를테면 사내에서 수강생 데이터는 외부 반출이 아예 불가능하다고 규정하고 있어, 학습에 전혀 쓰지 않고 있습니다.

또 우리 데이터를 학습한 모델이 강의 관련 정보를 유출하는 것도 막고 있어요. 패캠 데이터로 파인 튜닝한 콕스웨이브의 모델은 아예 캐미에만 쓰도록 조약으로 강제하고 있습니다. 파트너사와 일종의 모델 활용 독점 계약을 맺은 거죠.

이처럼 챗봇의 성패는 데이터에 달렸습니다. 결국 패스트캠퍼스가 가진 수만 시간의 강의 데이터, 축적된 CS 데이터가 챗봇의 퀄리티에 영향을 준 것입니다. 기존 강의 자료를 코스, 클립, 챕터로 잘 구분해 둔 것도 포인트였습니다. 수강생의 질문에 대해, 챗봇이 “어떤 코스의 무슨 클립을 기반으로 대응한다”고 답할 수 있으니까요. AI 기능을 도입하는 가장 좋은 방법은 결국, 기존 사업의 데이터를 잘 준비하는 것입니다.

이런 과정을 거쳐 캐미는 올해 2월, 본격 출시를 알립니다.

Q. 이제 캐미를 출시한 지 1년 정도가 지났어요. 내부에서는 성과를 어떻게 판단하고 있나요?

김승민: 우선 분명히 이 모든 고생은 결국 ‘비용’을 줄이기 위한 노력이었죠. 파트너 협업으로 모델을 심은 것도 거기에 있고요. 만약, 챗GPT API를 썼다면 그 비용을 내는 것만으로 힘들었을 거예요. 현재는 CS팀의 업무를 한 자릿수 정도 대체한다고 판단하고 있어요. 이러한 비용 대체가 기능 출시의 기준이기도 했고요.

장은진: 1년 정도 운영하면서 고객들이 캐미에 남긴 질문이 10,000개를 넘었어요. 현재는 테크 강의에서만 기능을 제공하지만, 회계 쪽으로도 확장하려고 준비 중입니다. 캐미의 성과나 만족도를 온전히 평가하기는 아직 이르다고 보고 있어요. 지금은 데이터를 쌓으며 문제를 발견하는 과정으로 보고 있죠. 하지만 캐미는 꾸준히 기능을 보완하고 업데이트할 예정이예요. 고객들이 “스스로 공부하고 싶게 만드는 경험을 설계하는 것”이 2025년 목표입니다.

특히, AI가 먼저 접근해서 도움을 줄 수 있는 환경을 구축하려고 노력하고 있어요. 이를테면, 어느 정도 강의를 들은 사용자에게 먼저 이런 강의를 함께 듣는 것은 어떨지, 이런 테스트로 현재 레벨을 측정하는 건 어떨지 묻는 거예요. 수강생들은 내가 제대로 이해하고 있는 게 맞는지 혼란스러워하거든요. 고객 한 명 한 명에 딱 맞는 수준의 퀴즈를 풀어볼 것을 캐미가 먼저 제안하는 거죠.

Chapter 2 3줄 요약

① 도입 과정에서는 데이터 최적화, 고객 경험 설계가 가장 큰 문제로 작동
② 챗봇 퀄리티 확보에는 기존 사업에서 확보한 데이터가 핵심
③ 출시 10개월 차, 현재 캐미는 CS를 일정 수준 대체했으며, 고객에게 먼저 접근하도록 진화할 예정

Chapter 3. AI가 패캠에 가져온 변화

캐미는 어쩌면 작은 변화일지 모릅니다. AI라는 말이 최근 몇 년 사이 우리에게 얼마나 가까워졌는지 생각하면요. IT 기업이자 교육 기업으로, AI 변화의 중심에 있는 패스트캠퍼스 역시 더 크게 영향을 끼치고 있다 합니다. 기업의 사업 전략에도, 그 안에서 일하는 개인의 생산성과 커리어에도요.

Q. 캐미 개발 과정을 비롯해 AI 기능 도입으로 또 바뀐 것이 있을까요?

김승민: 현재로는 강의 데이터를 최적화하기 위해 자막 추출을 개선하는 등 AI 관련 프로젝트 진행 경험이 캐미 자체보다 더 큰 영향을 끼쳤어요. AI는 현재 패스트캠퍼스의 주요 전략인 ‘글로벌 진출’의 핵심이거든요. 회사는 일본, 동남아, 북미 등 진출을 노리고 있는데요, AI가 없었다면 당장 자막 번역이 정말 힘들었을 거예요.

김태희: 우선 번역에 들어가는 기간이 엄청 줄었죠. 원래는 외주 업체 여럿을 끼고 강의 하나씩 번역을 진행했대요. 기간이 정말 오래 걸렸는데, 지금은 모델에 영상만 넣으면 알아서 번역해 준 데이터를 받아 써요. 자체 검수 과정이 있기는 해도 기간이 정말 많이 줄었죠. 한 달 걸리던 작업이 1~2일로 줄었으니까요.

여기서 눈여겨봐야 할 점이 하나 있습니다. 캐미 개발에 참여한 두 개발자 모두 머신러닝 엔지니어가 아닌 백엔드 개발자라는 점이죠. 즉, 반드시 내부에 전문가를 확보하지 않아도 서비스의 도입을 충분히 만들 수 있다는 것입니다. 결국, 개발자들이 진화하기 때문입니다.

Q. 백엔드 개발자로서, AI 기능을 붙이는 과정에서 생기는 어려움은 어떻게 해결했나요?

김태희: 모델을 오픈 소스로 받아 만들 때 어려운 건 결국 커뮤니티의 도움을 많이 받았어요. 허깅 페이스를 보면 저와 같은 모델을 쓴 레퍼런스가 보였죠. 물론 대부분 문제 해결 방법보다는 “이런 문제가 있는데 어떻게 하냐?”는 질문이었지만요. 그래도 단순한 튜닝으로 성과가 크게 좋아지는 방법 등 문제 해결의 힌트를 많이 얻었어요.

또 다행히 개발자들이 기존에 알던 방식으로 모델을 쓸 수 있도록 프레임워크 등이 많이 개선되고 있는 듯해요. 그래서 꼭 모델 학습 알고리즘 같은 영역에 깊은 지식이 없어도 된다고 봐요. 물론 기반 지식을 아는 것이 큰 도움을 주지만요.

이윤정: 제 입장에서는 파트너사마다 인터페이스가 다른 것이 허들이었어요. 이를테면 모델을 제공하는 벤더 사가 바뀔 수도 있는 건데, 시스템이 결국 이를 모두 수용해야 하니까요. 그래서 애초에 설계 단계부터 벤더를 갈아낄 수 있게 구현하는 것이 과제였어요. 문제 해결을 위해 학습할 때는 다시, 챗GPT나 코파일럿 같은 AI가 도움을 주었고요. 그것만으로 해결할 수 없는 문제는 스터디나 책으로 그때그때 동료들과 학습했습니다.

Q. 다음 단계로 나아가기 위해 요즘 관심이 가는 영역은 무엇일까요?

김태희: 저는 스트리밍 자막이요. 실시간으로 송출하는 영상에 곧바로 달리는 자막이죠. 위스퍼의 C++ 모델이 이를 지원한다고 알고 있어요. 그러다 보니 자연스레 자연어 처리의 더 깊은 영역으로 학습을 해나가는 것 같아요.

이윤정: 최근 몽고DB 콘퍼런스에 다녀오고 그쪽 분야에 관심이 많아졌어요. 벡터 서치 관련 기술이 특히 관심이 가요. 머신러닝 기반으로 강의 검색 기능을 어떻게 강화할 수 있을까, 이 부분이 핵심 고민이죠.

김승민: 마지막으로 하고 싶은 말이 있어요. 7~8년 정도 개발자 교육을 기획해 온 입장에서도, 이렇게 빠르게 달라지는 산업이 있을까 싶어요. 그래서 부담이 큰 데다 늦지 않게 따라가는 것만으로도 힘들어하는 분들이 있더라고요. 이럴 때일수록 내 직업이나 상황에 맞춰 목표를 확실하게 정하는 것이 중요하다고 봐요. AI를 기초 수학부터 시작하면 몇 년을 배워도 모자라니까요. 목표한 영역을 제대로 잡고, 일단 빠르게 원하는 강의를 들어보는 작은 시도들이 중요할 거예요.

Chapter3. 3줄 요약

① 패스트캠퍼스의 글로벌 진출 전략에는 AI가 핵심, 특히 자막 번역 속도를 80% 넘게 개선
② AI 도입 과정에서 개발자들은 커뮤니티와 AI 도구의 도움, 학습으로 문제를 극복
③ 빠르게 변하는 시장에서 AI를 학습할 때는 현실적인 목표를 잡고 하나씩 접근하는 것이 핵심

오늘 하루 종일 여러분은 AI에 얼마나 질문했나요? 당장 저만 해도 이 콘텐츠를 쓰는 와중에 몇 번이나 AI와 대화를 나눴는지 모르겠습니다. 채팅의 대상을 기계로 바꿔버린, 그 작은 변화는 지금 IT 업계를 주도하고 있습니다.

그저 당연하게 생각했을지 모를 우리 서비스 속 챗봇의 가능성에 다시 주목해 볼 시점입니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.