국내 IT 기업은 한국을 넘어 세계를 무대로 할 정도로 뛰어난 기술과 아이디어를 자랑합니다. 이들은 기업 블로그를 통해 이러한 정보를 공개하고 있습니다. 요즘IT는 각 기업의 특색 있고 유익한 콘텐츠를 소개하는 시리즈를 준비했습니다. 이들은 어떻게 사고하고, 어떤 방식으로 일하고 있을까요?
이번 글에서는 국내 대표 VC ‘매쉬업벤처스’의 박은우 파트너가 AI 에이전트로 인한 엔터프라이즈 소프트웨어의 변화를 소개합니다.
안녕하세요, 매쉬업벤처스 박은우 파트너입니다. 최근 마이크로소프트의 CEO인 사티아 나델라는 팟캐스트에 출연하여 전통적인 엔터프라이즈 소프트웨어의 종말에 대한 도발적인 발언을 했습니다. 이는 AI 에이전트(Agent)의 등장과 함께, 전통적인 데이터베이스 기반의 소프트웨어의 비즈니스 로직이 모두 AI 레이어로 옮겨갈 것이란 의미로, 단순한 수사가 아닌 AI가 가져올 소프트웨어 산업의 근본적인 변화를 지적한 것입니다.
그런 만큼 이번 글에서는 AI 에이전트의 사업적, 기술적 현황을 짚어보고 미래를 준비하는 AI 시대의 창업자들에게 필요한 실질적인 이야기들을 나누고자 합니다.
전통적으로 엔터프라이즈 고객의 비즈니스 프로세스를 자동화하는 소프트웨어 기술로 RPA(Robotic Process Automation)가 큰 역할을 해왔습니다. 앞서 UiPath(NYSE:PATH)와 같은 기업들이 ‘Fully Automated Enterprise’를 약속하며 시장을 선도했지만, 현실적으로는 사람의 마우스 클릭과 키보드 입력을 그대로 모방하는 수준에 그쳤습니다. 이 같은 접근은 프로세스가 조금만 변경되어도 제대로 작동하지 않고, 수정을 위해 고비용 컨설팅이 필요해 대기업 중심으로만 도입할 수 있다는 한계가 있었습니다.
하지만 이제 AI 에이전트의 등장으로 RPA가 보여준 한계가 극복되며, 엔터프라이즈 소프트웨어의 새로운 패러다임 변화가 나타나고 있습니다. a16z의 파트너인 Kimberly Tan은 최근 글에서 AI 에이전트가 가져올 변화에 대해 조명했습니다. LLM 기반의 AI 에이전트들은 단순히 정해진 동작을 반복하는 것이 아니라, 목표를 이해하고 상황에 맞게 유연하게 대처할 수 있습니다. 이미 데카곤(Decagon)과 같은 기업들이 AI 기반 고객 지원 자동화를 성공적으로 구현하고 있으며, 앤트로픽(Anthropic)의 컴퓨터 제어 기능은 이러한 혁신을 가속화하고 있습니다.
특히 주목할 만한 점은 시장 기회의 크기입니다. 미국 노동통계국에 따르면 800만 개 이상의 운영/정보 사무직과 2,500억 달러 규모의 BPO 시장이 자동화의 대상이 될 수 있습니다. 이 시장은 크게 두 가지 방향으로 발전하고 있습니다. 이는 여러 산업에 공통으로 적용될 수 있는 수평적 AI 도구들(Horizontal AI Enablers)과 의료나 물류 같은 특정 산업에 특화된 수직적 자동화 솔루션(End-to-end Vertical Automation)입니다. 무엇보다 이 영역은 아직 뚜렷한 강자가 없어 스타트업들에게 큰 기회가 될 것으로 보입니다.
AI 에이전트의 핵심 구성 요소
추론(Reasoning), 외부 메모리(External memory), 실행(Execution), 계획(Planning)
AI가 비즈니스 현장에 처음 등장했을 때는 챗GPT나 클로드와 같은 제너럴리스트 AI의 형태였습니다. 이들은 ‘프롬프트 엔지니어링’이라는 새로운 방식을 통해 다양한 작업을 수행할 수 있었지만, 특정 산업이나 업무에 대한 전문성을 갖추기에는 다소 부족했습니다. 이후 법률, 의료와 같은 전문 분야에 특화된 AI 전문가 시스템이 등장했고, 2023년부터는 실제 사람의 업무를 대신하여 수행할 수 있는 AI 에이전트들이 속속 출현하고 있습니다. 이는 마치 자동차가 운전자의 보조 역할을 하는 Co-pilot에서 완전 자율주행인 Autopilot으로 발전하는 것과 유사한 진화 과정이라 할 수 있습니다.
그렇다면 AI 에이전트는 어떤 요소들로 구성되어 있을까요? Menlo Ventures에서는 완전한 자율성을 가진 AI 에이전트의 네 가지 핵심 요소로 추론(reasoning), 외부 메모리(external memory), 실행(execution), 계획(planning) 능력을 제시하고 있습니다. 현재의 AI 에이전트들은 이 네 가지 요소를 완벽하게 갖추지 못했지만, 발전 단계별로 그 형태가 진화하고 있습니다.
이 네 가지 핵심 요소는 AI 에이전트가 진정한 자율성을 갖추기 위한 근간이 됩니다. 먼저 추론(reasoning) 능력은 에이전트가 주어진 상황을 이해하고 적절한 판단을 내리는 기반이 됩니다. 단순히 정해진 규칙을 따르는 것이 아니라, 상황의 맥락을 파악하고 최적의 의사결정을 할 수 있어야 합니다. 예를 들어, 의료 분야에서 AI 에이전트는 환자의 증상, 병력, 검사 결과를 종합적으로 분석하여 최적의 진단과 치료 방향을 제시할 수 있습니다.
외부 메모리(external memory)는 에이전트가 이전의 경험과 학습 내용을 저장하고 활용할 수 있게 합니다. 이는 마치 인간이 경험을 통해 학습하고 이를 다가올 일(future task)에 적용하는 것과 유사한 방식입니다. 시에라(Sierra)의 고객 서비스 에이전트는 과거 고객과의 상호작용 기록을 저장하고 이를 바탕으로 맥락에 맞는 개인화된 응대를 제공합니다.
실행(execution) 능력은 에이전트가 실제로 작업을 수행할 수 있는 역량을 의미합니다. 가령, CRM 및 ERP와 같은 엔터프라이즈 시스템과 연결을 통해 해당 시스템 내에서 UI를 직접 제어하며 작업을 수행할 수 있습니다.
마지막으로 계획(planning) 능력은 장기적인 목표를 설정하고 이를 달성하기 위한 단계적 전략을 수립할 수 있는 능력입니다. 이는 복잡한 프로젝트나 다단계 작업을 수행하는 데 필수적인 요소입니다. 예를 들어, 복잡한 소프트웨어 개발을 여러 단계로 나누고, 각 단계별 우선순위를 설정하여 체계적으로 개발을 진행할 수 있습니다.
AI 에이전트의 핵심 구성요소들은 인지 아키텍처(Cognitive Architecture)라는 형태로 동작합니다. 랭체인(LangChain)의 창업자인 Harrison Chase는 인터뷰에서 인지 아키텍처를 ‘AI 어플리케이션에서 사용자 입력부터 출력까지의 시스템 아키텍처’로 정의하고 있습니다. 이는 데이터 흐름, API 호출, 정보의 처리 과정을 구조화하여, AI가 더 효과적인 추론과 사고 과정을 거쳐 더 나은 결과를 도출하는 것을 목적으로 구성됩니다. 이러한 목적을 달성하기 위해 추론 프롬프트 전략(Reasoning Prompt Strategy)이 도입되었고, 이는 AI가 체계적으로 사고하고 추론할 수 있도록 돕는 핵심 메커니즘이 되었습니다.
인지 아키텍처는 LLM 기술의 발전과 함께 진화해왔습니다. 초기에는 LLM이 단일 단계의 추론조차 어려워하는 문제를 해결하기 위해 생각 사슬(Chain of Thought) 개념이 도입되었습니다. 이는 LLM에게 단계별 사고 역량을 제공함으로써 더 나은 추론을 가능하게 했고, 이후 이러한 능력은 모델 자체에 학습되어 기본 기능이 되었습니다. 이러한 프롬프트 전략의 발전은 랭체인과 같은 오케스트레이션(Orchestration) 프레임워크를 통해 체계화되었으며, 개발자들은 복잡한 프롬프트 체인을 효율적으로 구성하고 관리할 수 있게 되었습니다.
생각 사슬의 다음 단계로, 구글 브레인(Google Brain)에서 발표한 REACT(ReAct: Synergizing Reasoning and Acting in Language Models) 논문을 통해 추론(Reasoning)과 행동(Acting) 예측을 결합한 새로운 패러다임이 제시되었고, 이는 현대 AI 에이전트 아키텍처의 기초가 되었습니다. REACT의 핵심은 각 행동을 취하기 전에 명시적인 추론 단계를 포함시키는 것을 골자로 하고 있습니다. 이는 마치 인간이 문제를 해결할 때 ‘이런 이유로, 이렇게 해야겠다’라고 생각하는 과정을 모방한 것입니다. 이러한 복잡한 추론 과정을 구현하기 위해서는 단순한 프롬프트 체인을 넘어서는 고급 오케스트레이션 기법이 필요했고, 이는 라마인덱스(LlamaIndex)와 같은 도구들이 제공하는 메모리 관리, 컨텍스트 유지, 외부 도구와의 통합 기능을 통해 가능해졌습니다.
AI 기술과 추론 프롬프트 전략의 빠른 발전 속도에 따라 AI 에이전트 또한 빠르게 진화하고 있습니다. Menlo Ventures는 AI 에이전트는 단기적으로 의사결정 에이전트(Decisioning Agent), 레일즈 기반 에이전트(Agent on Rails)의 단계로 나아갈 것으로 내다보고 있습니다. 가장 기본적인 형태인 의사결정 에이전트는 LLM을 의사결정 도구로 활용하는 단계로, 제한된 자율성 안에서 에이전트가 미리 정의된 규칙들 중에서 적절한 도구를 선택하고 실행할 수 있습니다. 대표적으로 헬스케어 스타트업 Anterior가 개발한 의료 진단 시스템은 환자 데이터를 기반으로 진단 규칙을 선택하고 적용하는 방식으로 작동합니다.
한 단계 진화한 레일즈 기반 에이전트는 더 높은 수준의 자율성을 보여줍니다. 이들은 단순히 정해진 규칙 중에서 선택하는 것을 넘어, 고수준의 목표를 이해하고 이를 달성하기 위한 규칙들을 유연하게 적용할 수 있습니다. 예를 들어, 시에라의 고객 서비스 에이전트는 ‘이 고객의 문제를 해결하라’는 높은 수준의 목표를 받아, 상황에 맞는 다양한 해결 방안을 자율적으로 선택하고 실행할 수 있습니다.
이처럼 AI 에이전트가 점차 고차원의 태스크를 수행하기 시작하면 장기적으로 미래의 소프트웨어 경제의 패러다임이 지금과는 차원이 다른 모습으로 진화할 것입니다. 센드버드(Sendbird)의 창업자인 김동신 대표는 블로그 글을 통해 AI 에이전트 진화의 다음 단계를 ‘A2A(Agent-to-Agent) Economy’라고 정의하고 있습니다. A2A는 AI 에이전트들이 서로 직접 소통하고 거래하는 새로운 경제 패러다임을 의미합니다.
금융시장에서 이미 70% 이상의 거래가 AI 알고리즘으로 실행되고 있는 것처럼, 다양한 산업 분야에서 AI 에이전트들이 주도하는 경제 활동이 급속도로 확대될 것으로 예상됩니다. Y 콤비네이터의 2025년 겨울 배치에 선정된 Wildcard(W25) 같은 팀은 이미 이 같은 미래를 대비하며 AI가 자연어로 API를 선택하고 실행할 수 있는 플랫폼을 개발하며, 다가오는 A2A 시대를 준비하고 있습니다.
A2A 이코노미에서는 기업과 소비자를 대신하는 AI 에이전트들이 24시간 끊임없이 협상하고 거래하며, 이 과정에서 발생하는 수많은 마이크로 트랜잭션들이 새로운 가치를 창출하게 됩니다. 예를 들어, 한 가족의 휴가 계획을 세우기 위해 개인 AI 에이전트가 항공사, 호텔, 레스토랑, 관광지의 AI 에이전트들과 자동으로 협상하고 최적의 여행 패키지를 구성하는 식입니다. 이러한 변화는 단순히 거래 비용을 절감하는 것을 넘어, 전혀 새로운 형태의 서비스와 비즈니스 모델을 가능하게 할 것입니다.
특히 A2A 이코노미의 성장을 뒷받침하기 위해서는 VISA와 같은 새로운 형태의 인프라가 필요합니다. 이는 AI 에이전트들 간의 신원 확인, 평판 관리, 거래 검증, 분쟁 해결 등을 담당하게 될 것이며, 이러한 인프라를 구축하고 운영하는 것 자체가 새로운 사업 기회가 될 수 있습니다.
결론적으로, AI 에이전트는 단순한 자동화 도구에서 시작하여 점차 더 높은 수준의 자율성을 획득하며, 궁극적으로는 서로 협업하고 거래하는 A2A 이코노미라는 새로운 경제 체제를 만들어낼 것으로 보입니다. 이러한 변화는 기존 비즈니스 모델의 혁신을 넘어, 완전히 새로운 형태의 경제 활동을 가능하게 할 것이며, 이는 곧 스타트업들에게 거대한 기회가 될 것입니다.
창업자를 위한 가이드: AI 에이전트 스타트업 플레이북
AI 에이전트 시장이 급성장하면서, 많은 창업자들이 자신들만의 경쟁력을 고민하고 있습니다. Sequoia Capital은 성공적인 AI 에이전트 스타트업의 핵심 요소로 ‘골디락스 존(Goldilocks Zone)’을 찾을 것을 강조합니다. 이는 LLM이 실제로 제어 가능하면서도 충분한 자율성을 발휘할 수 있는 최적의 지점을 찾는 것을 의미합니다.
오늘날의 에이전트 개발은 크게 세 가지 유형으로 나뉩니다. 가장 단순한 형태는 LLM을 단순 라우터로 사용하는 것으로, 실제 비즈니스 가치 창출이 제한적일 수 밖에 없습니다. 반대로 AutoGPT와 같은 완전 자율 시스템은 실제 비즈니스에서 활용하기에는 너무 불안정합니다. 결국 성공적인 스타트업들은 이 사이의 골디락스 존을 찾아야 하며, 여기서는 LLM에 상당한 자율성을 부여하면서도 명확한 가이드라인 기반의 관리를 통해 안정성을 확보할 수 있습니다.
골디락스 에이전트의 핵심은 맞춤형 인지 아키텍처(Custom Cognitive Architecture)입니다. 이는 단순히 프롬프트 엔지니어링을 넘어서, 특정 도메인과 태스크에 최적화된 추론과 실행 방식을 설계하는 것을 의미합니다. 특정 산업에 대한 깊은 도메인 지식과 실제 비즈니스 프로세스에 대한 이해를 바탕으로 복잡한 워크플로우를 자동화할수록, 시장에서 더욱 차별화된 제품으로 성장할 수 있습니다.
이러한 맥락에서 YC 파트너들은 최근 인터뷰에서 AI 스타트업 포트폴리오 사례들을 분석하며 보다 구체적인 인사이트를 공유했습니다. 특히 주목할 만한 점은 AI 스타트업 창업자들이 자신만의 차별화된 경쟁력을 발견하는 방식입니다.
많은 창업자가 자신의 전문성을 과소평가하는 경향이 있지만, 실제 성공 사례들을 보면 이전 경험이 핵심 경쟁력이 되는 경우가 많습니다. 예를 들어 테슬라(Tesla) 금융팀에서 일했던 창업자는 자동차 대출 처리를 자동화하는 AI(Salient)를 개발했고, 피그마(Figma)의 엔지니어는 복잡한 프론트엔드 테스팅을 자동화하는 솔루션(Spur)을 만들었습니다. 심지어 코히어(Cohere)에서의 단기 인턴 경험도 AI 데이터 도구를 개발하는 창업(DataCurve)으로 이어졌습니다.
산업 현장으로의 침투(Getting Out of the House)
전문성이 부족하다고 느끼는 창업자들에게 YC는 “집 밖으로 나가라(Get out of the house)”고 조언합니다. ESS 헬스의 창업자는 치과의사인 어머니의 진료실에서 하루를 보내며 보험 청구 자동화의 기회를 발견했고, 한 의료 테크 스타트업의 창업자는 직접 의료 청구 담당자로 취직해 현장의 문제를 파악했습니다.
특히 인디드(Indeed.com)와 같은 원격근무 플랫폼을 활용하여 사업 기회를 발견하는 방법이 공유됩니다. ‘remote analyst’, ‘remote clerk’와 같은 키워드로 검색하면 대부분의 사람들이 들어보지 못한 다양한 원격 업무들을 발견할 수 있습니다. 이러한 직무들은 대부분 반복적이고 규칙적인 업무로, AI 자동화의 좋은 후보가 될 수 있습니다. 심지어 직접 해당 직무에 지원해서 일해보면서 자동화 기회를 발견하는 것도 가능합니다.
기술적 차별화의 힘
명확한 기술적 차별성 또한 AI 에이전트 시장에서는 강력한 경쟁력이 될 수 있습니다. 인터뷰에서 언급된 GigML의 사례가 특히 주목할 만합니다. 이들은 고객 지원 자동화라는 이미 경쟁이 치열한 시장에 뛰어들었지만, 뛰어난 기술력으로 차별화에 성공했습니다. 많은 기업들이 고객 지원을 AI로 대체할 수 있다고 주장하지만, 실제로 고객이 원하는 수준으로 구현해낸 기업은 극히 드뭅니다. GigML은 인도의 대형 이커머스 기업 젭토(Zepto)와의 협업을 통해 고도화된 기술력을 입증했고, 이는 대규모 엔터프라이즈 계약으로 이어졌습니다.
또한 최신 AI 기술 스택을 깊이 이해하고 있는 팀들의 성공 사례도 있습니다. Reductio는 RAG(Retrieval-Augmented Generation) 애플리케이션 개발 과정에서 발견한 문제점, 특히 문서 청크 추출의 한계를 해결하는 특화된 기술을 개발했습니다. 이들은 AI 스타트업들과의 긴밀한 협업을 통해 실제 개발자들이 겪는 문제를 정확히 파악하고 해결할 수 있었습니다.
DataCurve의 사례는 더욱 흥미롭습니다. 19세의 젊은 창업자들이 설립한 이 회사는 처음에는 ‘Uncle GPT’라는 이름의 단순한 ChatGPT Wrapper로 시작했습니다. 하지만 창업자 중 한 명이 코히어에서의 인턴 경험을 바탕으로, LLM을 위한 데이터 도구와 합성 데이터 생성 분야로 피봇했고, 이후 빠른 매출 성장을 거둘 수 있었습니다.
결론적으로, AI 에이전트 스타트업의 성공 확률을 높이기 위해서는 현재 기술의 한계를 정확히 이해하고, 실현 가능한 범위 내에서 고객 가치 제공을 추구하는 것이 중요합니다. 무리하게 범용성을 추구하기보다는, 특정 영역에서 실제 고객의 니즈를 충족시킬 수 있는 수준의 기술력을 기반으로 신뢰할 수 있는 수준의 자율성을 제공하는 것이 오늘날 AI 에이전트 창업을 위한 Sweet Spot이 될 것입니다.
[매쉬업벤처스가 AI Agent 창업자를 찾습니다]
산업 최전선의 경험을 활용한 End-to-End AI 에이전트
빠르게 증가하는 AI 에이전트와 A2A 이코노미를 위한 기반 기술
글로벌 비즈니스 경험이 풍부한 창업자 출신 파트너들이 직접 투자하고 성장을 지원합니다. 매쉬업벤처스와 함께 AI의 미래를 만들어갈 창업자들은 아래 버튼을 눌러 연락주세요.
