AI 챗봇이 있어도 왜 콜센터 전화는 줄지 않을까?

이미 AI 챗봇 서비스는 많은 회사가 도입했고, 일상에서도 흔하게 접하는 소통 수단이 됐습니다. 그러다 보니 AI 챗봇을 개발하는 기술 또한 빠르게 진화하고 있죠.

실제로 저는 월 수백만 트래픽을 가진 커머스에 AI 챗봇 서비스를 오픈했고, 1년 넘게 운영하고 있습니다. AI 챗봇 서비스 오픈 이후 사용자가 폭발적으로 늘었고, 안정적인 서비스 안착에도 성공했습니다. 매월 이용자도 눈에 띄게 늘어났죠.

결과적으로 오픈 초기 대비 300% 이상 성장하는 눈부신 성과를 거두었습니다. 그러다 보니 상담 운영 비용도 드라마틱하게 줄어들 것이라는 기대감이 생겼죠. 그런데 1년 넘게 운영하면서, 실제로 마주한 결과는 전혀 달랐습니다. 챗봇 이용자 수는 계속 늘고 온갖 정보들을 물어보는데, 실제 콜센터의 문의 비율은 감소하지 않았습니다.

왜 정작 콜센터 문의는 큰 감소가 없었을까요? 기술은 유례없이 화려해졌고, 트래픽은 300%나 폭증했는데, 왜 현장의 역설은 더 깊어만 갈까요? 이 역설을 이해하지 못하면, 사용자들은 우리가 고생해서 만든 AI 챗봇을 누르지 않고 이탈할 겁니다. 이건 AI 챗봇 개발의 문제가 아닙니다. 아마도 AI 챗봇을 도입한 많은 회사들이 마주한 현실입니다.

미리 요점만 콕 집어보기

• 지표의 역설: 월 수백만 트래픽의 커머스 서비스에서 AI 챗봇 도입 후 사용자가 초기 대비 300% 이상 급증하며 안정적인 안착에 성공했지만, 정작 콜센터의 인바운드 문의건은 큰 감소가 없는 묘한 괴리감은 무엇일까요?
• 답답함의 두 가지 결: 사용자가 느끼는 AI 챗봇의 답답함은 ‘환불처럼 직접 처리를 못 해주는 완결성의 한계’와 ‘사람의 질문 속 미세한 숨은 맥락을 이해하지 못하는 한계’라는 두 갈래에서 터져 나옵니다.
• 진정한 해법: AI 챗봇이 권한 한계에 부딪히는 순간 대화 맥락을 상담사에게 자연스럽게 연결(Hand-over)하고, 숨은 맥락을 온톨로지 기반 지식 그래프로 풀어내는 과정에 집중해야 합니다.

사용자들이 조용히 X 버튼을 누르는 진짜 이유

멀티 에이전트 구조에 RAG, 지식 그래프 등 AI 개발 기술을 총동원하고, 지속적으로 개선 업데이트한다면 웬만한 질문엔 막힘없이 답변할 겁니다. 하지만 콜센터 문의 비율 관점에서 보면, 사용자들은 여전히 AI 챗봇에 만족하지 못합니다. 챗봇이 대답을 잘 해도, 왜 사용자들은 답답하다고 느낄까요? 많은 회사들이 놓치는 지점이 바로 여기에 있습니다.

1) ‘완결성’의 한계: 요청을 끝까지 처리하지 못하는 에이전트

AI 에이전트는 ‘텍스트로 정해진 매뉴얼을 보여주는 일’은 기가 막히게 잘합니다. 예를 들어, “아이디나 비밀번호를 찾는 절차가 어떻게 되나요?” 같은 단순 질문에는 단 몇 초 만에 완벽한 가이드를 알려줍니다.

문제는 사용자들이 진짜 해결하고 싶은 건 대개 일차원적이지 않다는 데 있습니다. “지난달에 정기 구독 해지 신청을 분명히 했는데, 이번 달에 또 이중 청구가 됐습니다. 환불해 주세요.” 같은 복합적인 맥락이 얽힌 요청들이 많습니다. 또 대부분은 AI 에이전트에 결제/취소 및 민감한 기능에 대한 처리 권한을 주지 않고요. 그래서 “마이페이지 > 결제 내역에서 신청해 주세요”라는 안내만 되풀이할 수밖에 없는 게 현실입니다.

즉, 사용자는 요청에 대해 완결성 있는 마무리를 원하지만, 실제 AI 챗봇의 권한상 일을 끝맺기 어려운 게 현실입니다. 이런 상황이 반복되면 사용자들은 답답함과 짜증이 밀려오죠. 그리고 조용히 대화창의 닫기 버튼을 누르고, 콜센터에 전화를 겁니다.

결국 AI가 직접 해결할 수 없는 권한의 한계에 도달했을 때, ‘얼마나 매끄럽게 사람에게 맥락을 넘겨주느냐(Hand-over)가 핵심 포인트 입니다.사실 최악의 경험은 AI 챗봇과 한참 대화하다 콜센터로 연결되었을 때, 상담사가 “고객님 어떤 문제가 있으신가요?” 하고 처음부터 다시 물어보는 순간입니다.

즉, AI 챗봇의 목표는 ‘무조건 내가 대답해서 고객 질문을 방어하기’가 아니라, ‘내가 못 하는 순간 사용자의 수고를 최소화하며 사람에게 넘겨주기’로 바뀌어야 합니다.

특히 AI 챗봇이 답변에 실패하거나, 사용자가 반복해서 부정적 반응을 보일 때 억지로 대화를 이어가지 않고 바로 ‘상담사 연결 버튼’을 띄워야 합니다. 그리고 상담사 연결을 누르는 즉시, AI 챗봇과 나누었던 대화 요약본과 AI가 확인할 수 있는 API를 호출해, 확인된 사용자의 상황을 상담사 모니터에 실시간 보여줘야 합니다.

그래야 상담사가 연결된 후, “고객님, 조금 전 이중 청구 건으로 당황하셨죠? 대화 기록 확인했으니 제가 바로 환불 처리 도와드릴게요.”라고 대응할 수 있고, 이것이 바로 처리 권한의 한계를 극복하는 가장 자연스러운 흐름입니다.

사람이 처리해야 하는 건은 사람이 나서야 합니다. 괜히 모든 것을 AI로 대응하려고 하면, 좋은 성과로 이어갈 수 없습니다. 사용자들이 끝내 사람을 찾는 이유는 기계 시스템이 채울 수 없는 세 가지 공백 때문인데요. 바로 신뢰, 보안, 책임에 있습니다. 이 부분을 간과해서는 안 됩니다.

돈이 걸려 있거나, 본인의 민감한 개인정보를 다뤄야 하는 고위험 비즈니스 사안일수록, 사용자들은 AI의 그럴듯한 답변보다 “제가 책임지고 이 부분 확실하게 처리해 드리겠습니다.”라는 사람의 음성에 신뢰를 가집니다. 즉, 핸드오버 과정에서 위험도와 복잡성에 따라, AI와 사람간 역할을 정교하게 나누는 ‘하이브리드 협업 구조”가 필요하죠.

• 자동화 영역: 단순 정보 조회, 예약 변경, 주소지 변경처럼 절차가 명확하고, 리스크가 낮은 정형 문의는 인공지능 에이전트가 24시간 완전 자율형으로 신속하게 처리하는 구조입니다.
• 협업 영역: 난이도가 조금 있는 문의는 AI가 실시간으로 사용자의 맥락을 분석해 상담사에게 최적의 답변 초안과 가이드를 제안하고, 최종 판단과 커뮤니케이션은 상담사의 재량과 유연성에 맡겨 진행합니다.
• 사람 전담 영역: 심각한 브랜드 클레임, 복잡한 법적 사안, 극도로 소진된 감정 케어가 필요한 위기 순간에는 AI를 대신 숙련된 전문 상담사가 전면에 나서서 신뢰를 완성해야 합니다.

2) ‘숨은 맥락’의 한계: 온톨로지 기반 지식 그래프의 필요성

또 다른 한계는 사람의 글 안에 숨어 있는 맥락 이해의 한계입니다. 최근 AI 에이전트를 고도화하며, 가장 치열하게 들여다보는 지점은 기술의 화려함보단, 고객 맥락을 다루는 시스템의 정교함과 안정성입니다.

최근 고객들의 탐색 패턴은 키워드 검색에서, 자연어 기반의 추상적인 질의로 급격히 바뀌었습니다. 고객은 이제 조건이 완벽히 정리되지 않은 상태로 AI에 질문을 던집니다. 문제는 자연어 속 숨은 프롬프트(Prompt)와 제약 조건을 엔지니어링 관점에서 어떻게 해결하느냐입니다.

예를 들어, “아이와 함께 갈 만한 휴양지 추천해 주세요.”라는 한 문장 뒤에는, 유모차가 다닐 수 있는 평지 동선, 키즈 전용 시설, 응급실 접근성 같은 디테일한 제약 조건들이 숨어있죠. 질문 속 숨은 맥락을 짚어내지 못하고, 비슷한 답변만 반복하는 AI에 사용자는 더 이상 대화를 이어갈 이유를 찾지 못합니다. 가차 없이 대화창을 닫아버리죠.

단순히 AI 챗봇에게 “더 똑똑하게 대답해 봐”라고 요구하는 건 무리입니다. 단순히 질문의 의미만 파악해서는 부족합니다. 사용자가 최근 앱에서 검색한 기록, 과거의 예약 이력, 그리고 아이 관련 문의 내역까지 유기적으로 엮어내야 합니다. 이런 파편화된 정보들이 하나의 맥락으로 연결될 때, AI는 비로소 ‘아이와 함께라면 유모차 이동이 쉽고, 응급실이 가까운 곳이 좋겠네요.’라는 같은 제안을 건넬 수 있습니다. 이게 바로 우리가 기대하는 진짜 대화의 모습입니다. 기술적으로 보면, 이런 유기적 연결성을 강화 하기 위해서는 단순 RAG(문서 검색)를 넘어 지식 그래프(Knowledge Graph)와 온톨로지(Ontology) 기반의 하이브리드 검색 레이어가 필수적이고요.

• 온톨로지(Ontology): 데이터의 개념 체계와 관계 규칙(Schema)입니다. 예를 들어, “아이 동반”이라는 개념은 “평지 동선”, “키즈 시설”, “응급실 거리”라는 제약 조건과 연결되어야 한다는 관계 규칙 설계도입니다.
• 지식 그래프(Knowledge Graph): 그 온톨로지라는 뼈대 위에 실제 데이터(인스턴스)를 노드(Node)와 간선(Edge)으로 연결해 구축한 실체입니다. 예를 들어, “A 리조트(노드) - [갖추고 있다] ➔ 키즈 클럽(노드)”, “A 리조트 - [거리] ➔ B 병원 응급실 10분(노드)”이라는 실제 데이터 그래프입니다.

사용자가 “아이와 갈 휴양지”라고 툭 던졌을 때, 지식 그래프가 ‘아이 동반’에 연결된 필수 제약 조건 노드들을 탐색해 프롬프트에 자동으로 주입합니다. 이 엔지니어링이 밑바탕에 깔려야만, 비로소 AI가 사용자의 숨은 의도와 맥락을 정확히 파악해 답변할 수 있습니다.

3) 기업과 사용자 사이의 목적 불일치

결국 본질을 들여다보면, 기업과 사용자 사이의 심각한 ‘목적 불일치’가 있습니다. 기업은 효율성과 비용 절감이라는 내부 지표에 매몰되어, ‘얼마나 많은 문의를 AI 챗봇 단계에서 답변(방어)했는가’를 성공의 기준으로 삼기 쉽습니다. 사용자의 니즈의 완결성이 아니라, 질문에 답변을 했는가에 집중하는 거죠. 물론 AI 챗봇은 오류가 아니라면, 정해진 대로 기준에 따라 답을 했을 겁니다. 그런데 앞에서도 이야기했지만, 단순히 답변만 했다고 해서 사용자의 니즈가 해소되는 건 아닙니다.

사용자의 목적은 단 하나, “귀찮고 복잡한 문제를 얼마나 적은 수고로 해결할 수 있는가”이기 때문입니다.

이 간극을 메우지 못한 채 서비스 도입을 강행하는 건, 냉정하게 말해 기업이 스스로 감당해야 할 업무와 수고를 사용자에게 은근슬쩍 떠넘기는 것밖에 안 됩니다. 원하는 답을 찾기 위해 사용자가 필터 메뉴를 이리저리 누르고, 질문을 바꾸는 일을 직접 하게 만들기 때문입니다. 그렇게 기계적인 응대에 지친 사용자의 문의는 콜센터에 연결되는 순간, 분노가 결합한 고난도 클레임으로 변질되곤 합니다. 결국 상담사의 감정 노동과 평균 처리 시간(AHT)이 오히려 폭증하는 부메랑으로 돌아오죠.

성패는 ‘사용자의 노력을 얼마나 줄였는가’에 있다

그렇다면 프로덕트 팀은 여기서 어떤 시사점을 얻고, 관점을 전환해야 할까요? 많은 조직이 “챗봇 기능을 더 고도화하자.”라며 성능을 올리는 데 집중합니다. 하지만, 핵심은 챗봇 대화 창 안의 프롬프트 몇 줄이나 단일 기능 스펙을 고도화하는 데 있지 않습니다. 고객 문제 해결 여정 전체를 지원할 수 있는 체계로 확장해야 합니다.

트래픽이 300%나 늘어났어도 콜센터 문의량은 그대로였던 진짜 원인은, 챗봇이 해결하지 못한 문제가 다음 단계로 이어지지 못하고, ‘단순 챗봇 응대 처리율’이라는 단편적인 지표 뒤에 숨어있었기 때문입니다.

프로덕트 팀이 가져야 할 관점의 전환은 명확합니다.

• 지표의 패러다임 전환 (자동 처리율 ➔ 여정 완료율): “챗봇이 얼마나 많은 문의에 답변했는가”라는 공급자 중심 지표를 버려야 합니다. 챗봇 대화부터 사람 상담 연결까지 포함해, 고객이 자신의 문제를 완결짓는 데 걸린 총 시간과 수고가 얼마나 줄었는가를 핵심 지표(KPI)로 삼아야 합니다.
• 시스템 인프라의 전환 (단일 대화창 ➔ 여정 파이프라인): 앞서 살펴본 것처럼, 온톨로지 기반 지식 그래프로 고객의 숨은 맥락을 정교하게 읽어내고, AI의 한계 지점에서는 대화 요약 및 맥락을 동기화해 사람에게 매끄럽게 넘기는 [맥락 추론 ➔ 오케스트레이션 ➔ 핸드오버] 전체 파이프라인을 구축해야 합니다.

결국 AI 기술의 화려함보다 중요한 것은 ‘고객의 노력을 얼마나 줄여주었는가’입니다. 챗봇이 못 하는 일은 솔직하게 인정하고, 다음 해결책으로 매끄럽게 연결해 주는 시스템 구조야말로 사용자가 AI 챗봇 창을 닫지 않게 만드는 첫걸음입니다.

마치며

우리는 기술의 홍수 속에서 종종 본질을 잊곤 합니다. 어떤 생성형 AI 모델을 썼는지, 프롬프트 파인 튜닝을 얼마나 정교하게 했는지는 우리 개발팀 내부의 치열한 엔지니어링 기록일 뿐, 서비스를 이용하는 사용자에게 중요한 건 아닙니다. 사용자의 좋은 경험은 “와, 이 서비스 AI가 대단하네.”라고 인지하는 순간이 아니라, 내가 겪은 불편함이 기분 좋게 해결되어, “어라? 생각보다 쉽게 끝났네.”라고 느끼는 짧은 찰나에 있습니다.

여러분이 만든 AI 챗봇은 어떤가요? 지금 바로 브라우저를 켜고, 우리 서비스의 가장 대표적인 케이스를 직접 끝까지 해보시기를 권합니다. 사용자가 되어 직접 질문을 던지고, 챗봇과 씨름하며 그 답답함을 온몸으로 겪어보세요. 우리가 만든 프로덕트가 정말 고객을 돕고 있는지, 아니면 그저 시간만 끌고 있는지. 그 냉정한 현실을 마주하는 게 진짜 개선의 시작입니다.

ⓒ요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.