고양이도 알아듣는 생존형 AI 기초: 트렌드① 챗GPT 폭탄 편

요즘 IT 시장을 보면 온통 AI 이야기로 가득 차 있습니다. 특히 ‘챗GPT’가 등장한 이후로 정말 많은 것이 바뀌었죠. 이런 흐름에 ‘AI가 내 일을 대체할 거라는데, 정작 나는 아무것도 모르겠어.’라는 두려움이 퍼지고 있습니다. ‘AI 포모(AI FOMO)’라는 이름으로요.

두려움에 빠진 분들을 위해 AI를 이해할 때 필요한 최소한의 이야기를 준비했습니다. 어려운 이론은 뛰어넘고 실제 산업을 이해할 때 도움을 줄 것들만 다루겠습니다. 목표로 하는 것은 새로운 뉴스가 나왔을 때 적어도 “그 소식이 왜 중요한지” 정도는 이해할 수 있는 겁니다. 모두가 ‘이건 정말 중요하다!’라고 말할 때, 최소한 그 이유 정도는 알 수 있도록 말이죠. 집사 옆에 식빵 굽던 고양이도 알아들을 수 있는, 생존을 위한 AI입니다.

제게는 ‘AI 발작 버튼’이 있습니다.

“아, OOO 처음 들어보시는 구나 ㅎ 요즘 트렌드인데 ㅎ” 라는 말입니다. 생각만 해도 뒤통수가 땡기네요. 기술의 빠른 발전과 변화는 트렌드를 모르는 사람을 바보처럼 보이게 만듭니다.

다만 커뮤니티를 오가며 쏟아지는 키워드에만 파묻혀 있다면 트렌드도 아느니 못하다고 생각합니다. 에이전트 우르르, MCP 우르르, 바이브코딩 우르르 해봤자, “그럼 그게 왜 중요해요?” 했을 때 어버버하면 의미 없잖아요. 그러니 먼저 “왜 에이전트가 주목 받을까?”, “왜 MCP에 사람들이 열광할까?”, “바이브코딩은 어쩌다 이리 눈에 띌까?” 같은 질문이 필요합니다.

그 질문이 맞닿는 곳, 그러니까 트렌드의 본질은 ‘지금 사람들이 해결하려고 하는 문제’에 있다고 믿습니다. 그렇게 오늘은 챗GPT라는 폭탄과 그 이후 트렌드를 AI와 서비스의 관점에서 얘기해 보려고 합니다.

• 고양이(요고): 아니, 나는 모르겠고! 키워드만 뱉으라냥
• 나: 후… 귀여우니까 봐주겠습니다. 챗GPT, AI 네이티브, 랭체인, RAG 순입니다.

‘챗GPT 등장’은 아무래도 교과서 감입니다

사실 AI 역사를 살펴보면, 그 등장은 20세기 초중반까지 거슬러 올라가야 합니다. “AI의 아버지” 급인 앨런 튜링(Alan Turing)이 활약한 곳이 세계 2차 대전이니까요. 잠시 기세가 꺾였던 AI가 딥러닝 분야의 중요한 난제 해결과 함께 다시 부흥하기 시작한 시점은 1990년대입니다. ‘추천’이란 신세계가 열리며 AI 기능이 비즈니스에 자리 잡은 것은 또 2000년대 후반의 일이고요. 또, 그거 아세요? 내년이면 알파고가 이세돌 기사와 바둑을 둔 지 10년 째입니다.

하지만 요즘 우리가 체감하는 AI는 무언가 다른 느낌이 듭니다. 갑자기 눈앞에서 폭탄이 터져버린 느낌이랄까요?

그래서 바로 그 시점, 그러니까 우리 눈앞에서 빠르게 전개되는 무언가들로부터 이야기를 시작해 보려고 합니다. 이 폭발의 명확한 출발 지점은 누가 뭐라해도 ‘챗GPT(ChatGPT)’의 등장입니다.

“생성”이라는 이름의 괴물

챗GPT는 2022년 11월에 처음 나왔습니다. 준비 기간도 없이, 소문은 삽시간에 퍼졌습니다.

대화(Chat)라는 구조는 사용자 입장에서 굉장히 직관적으로 다가옵니다. 마치 사람과 사람 사이 대화처럼, AI와의 대화는 아주 자연스럽고 빠르게 이루어졌습니다. 다른 번잡한 UI 없이 곧바로 대화를 유도한다는 점, 누구나 품질을 체험할 수 있는 무료 버전 중심이라는 특징도 사람들의 체험 심리를 자극했습니다. 무엇보다 본질적으로 챗GPT는 “체감”이 엄청났습니다.

그러다 보니 모두가 깨달은 거죠. ‘아, AI 시대가 진짜 왔구나. 이건 정말 다르구나.’ 하고요.

그렇게 챗GPT가 처음 나왔을 때는 오히려 혼란이 있었습니다. 정신이 없었죠. 이때의 키워드는 생성형 AI였습니다. 그저 “AI의 ‘생성’이 정말 엄청나다”, “생성을 가능하게 만든 핵심 기술이 LLM(대규모 언어 모델)이다” 같은 말들만 여기저기 오갔던 기억이 납니다. 그 자체로 충격이었기에 그럼 우리는 무엇을 할 수 있을지 깊게 고민할 겨를조차 없었습니다.

우리도 좀 해볼 수 없을까?

물론 모두가 그런 것은 아닙니다. 이런 혼란 속에서 ‘우리도 이 LLM이란 걸로 서비스를 좀 해볼까?’ 하고 빠르게 접근한 이들도 있었습니다. (LLM은 2018년에 나온 개념이니 한참 앞서 출발한 기업들도 꽤 많습니다) 하지만 곧 어려운 문제에 직면했죠.

새로운 아이디어, 새로운 UX도 문제였지만, 가장 결정적인 난관은 그만한 모델이 ‘우리 것’이 아니라는 점이었습니다. 그러니까 GPT 같은 모델은 GPT 밖에 없었던 겁니다.

*LLM 개발의 어려움과 모델을 활용할 여러가지 방법은 <고양이도 알아듣는 생존형 AI 기초: LLM 편>에서 더 자세히!

그럼 포기합니까?

그렇다고 LLM을 쓰는 방법은 꼭 자체 구축만 있는 건 아니었습니다. AI 모델을 공급하는 기업들은 자기 모델을 “API 형태”로 공급하고 있었으니까요. (챗GPT 이전부터요.) 여기에 오픈 소스 모델들도 점점 성과를 내기 시작했습니다. 더디지만 포기하지 않고 자체 모델을 만들던 기업들 역시 멈추지 않았고요.

또 한편에서는 LLM 자체가 아닌 “AI”에만 집중하기도 했습니다. LLM 붐이 엉덩이를 찬 것은 맞지만, 이해를 높여가다 보니 꼭 “LLM이 전부는 아니구나” 하고 깨달은 거죠. 그렇게 추천, 탐지 등을 적용하기 위한 데이터 관리 영역도 함께 주목을 받습니다.

이제 관심은 ‘생성형 AI’ 그 자체에서 “AI 모델을 우리 서비스에 붙이는 법”으로 옮겨가기 시작합니다. 여기까지가 2022년 말부터 2023년 초반까지, 그 즈음의 흐름입니다.

• 고양이(요고): 챗GPT 등장이 어쩌고 저쨌다고요?
• 나: 챗GPT가 주는 충격적인 ‘체감’은 생성형 AI 붐과 함께, “우리 서비스에 어떻게 AI를 붙일 수 있을까?”란 질문으로 발전!

AI 네이티브 서비스 이야기: 기회는 여기에서부터

본격적으로 ‘붙이는 법’에 대한 트렌드를 다루기 전에 잠깐, ‘우리 서비스’에 대한 얘기를 해보겠습니다. 짚고 넘어가야 하는 이야기가 있거든요.

이 역시 트렌드라면 트렌드일텐데요, 2023년 후반부터 흐름을 탄 ‘AI 네이티브(AI-Native)’라는 용어가 있습니다. 왜 클라우드 네이티브, 모바일 네이티브 이런 표현 들어보셨나요? 비슷합니다. AI 네이티브를 서비스에 한정하면 ‘AI 추론으로 얻은 결과물을 핵심 가치로 제공하는 서비스나 애플리케이션’을 뜻합니다. 좀 더 쉽게 말해, AI 기능 빼면 시체인 서비스입니다.

대표적인 AI 네이티브 서비스로는 주구장창 말한 챗GPT가 있고요, 구글의 ‘제미나이(Gemini)’, 검색 도구 ‘퍼플렉시티(Perplexity), 개발자를 위한 코딩 도구 ‘코파일럿(Copilot)’ 등이 속합니다.

기본적으로 여기에는 강력한 AI 모델이 있고, 사용자들이 쉽고 자연스럽게 사용할 수 있는 인터페이스(interface)가 붙습니다. 또한 이를 뒷받침하며 모델과 데이터, 사용자를 연결하는 인프라(infrastructure)가 갖춰져 있죠. 여기에 비즈니스에 필요한 시스템, 이를테면 계정 관리나 결제 같은 요소들이 더해지면 ‘서비스’가 나오는 겁니다.

챗GPT랑 GPT랑 뭐가 다르나요

그전에 잠깐, 사람들이 종종 헷갈리는 부분이 있습니다. 모델과 서비스의 차이입니다. 그러니까요, GPT랑 챗GPT는 매우 다른데 같은 의미로 말해 버린다는 겁니다.

이건 다 오픈AI 잘못입니다. 애초에 GPT란 모델에 ‘챗’ 하나 붙은 챗GPT라는 서비스를 너무 잘 만들어 버렸고, 그렇게 그 이름이 지나치게 유명해져 버린 탓입니다. GPT라는 브랜드가 워낙 강력하게 자리 잡았기 때문인지, 후속 주자들도 모델 브랜드를 서비스에 그대로 붙이기 시작했습니다. 구글의 제미나이가 그렇고요, 앤트로픽의 클로드도 그렇습니다.

• 고양이(요고): 이름 차이가 중요함? 그게 그거 아님?
• 나: 절대 아님. 모델 버전마다 성능과 활용도에 차이가 큰 건 물론, 가격 차이도 대단함.

이를테면, 기획자가 GPT-4o API를 염두에 두었으나 기획서에는 “챗GPT API 활용”으로 썼다고 해보겠습니다. 개발자는 성능을 고려해 이를 GPT-4.5 API 활용으로 이해하고 구현했고요. 결과는 당연히 좋겠죠. 기획자는 만족했고, 이를 배포했습니다. 어떻게 될까요? GPT-4.5 API는 GPT-4o API보다 약 15배 비쌉니다. (6월 9일 입력 토큰 기준) 즉, 운영 비용이 15배 비싸진다는 말입니다.

모델마다, 만든 회사마다 잘 하는 영역이 다르기도 합니다. 다음에 다루겠지만, 일반 모델과 추론(reasoning) 특화 모델의 차이도 어마어마하고요. 특히 요즘은 서비스 하나에 다양한 모델을 적용하는 것이 트렌드입니다. 그러니 AI 네이티브 서비스를 모델과 분리한 별도 개체로 보는 것이 앞으로 등장할 서비스를 이해하는 데 중요할 겁니다.

요즘 힙한 AI 네이티브 서비스: 커서

요즘 가장 힙하면서도 주목받는 AI 네이티브 서비스 하나를 예시로 파급력을 좀 보려고 합니다. 여기, 커서(Cursor)라는 서비스가 있습니다.

돌아가는 방식은 간단합니다. 사용자는 서비스를 다운로드 받고 필요한 권한을 준 다음, 자연어로 “이렇게 저렇게 코딩해 줘”라고 지시할 수 있습니다. 그럼 놀랍게도 서비스를 구성할 코드가 뚝딱 나옵니다. 정말 간단한 설정과 지시어로도 결과가 나오더라고요. 지켜야 할 룰(Rules)을 주기도 하고요, 에이전트 기능을 쓰면 알아서도 움직입니다. 여기에 코드 리뷰, 자동 PR, 결제와 사용량 대시보드 같은 기능들이 붙습니다.

커서는 25년 6월 초, 공식 제품(1.0 버전)이 나온 따끈따끈한 제품입니다. 유명한 거야 베타 버전부터 이미 유명했지만요, 공식 출시는 그렇습니다. 이 제품을 만든 기업인 애니스피어(Anyspere) 역시 신생 스타트업입니다. MIT를 막 졸업한 이들이 창업했고, 전체 직원 수도 100명 아래라고 알려졌죠. 이 작은 기업이 당연히 큰 돈을 들여 LLM을 자체 구축했을 리는 없습니다. 그래서 커서는 외부 모델을 활용합니다. 초기에는 코드 생성에 강점이 있다는 클로드 중심으로 공급했고요.

그런데 이 회사, 이제 막 공식 출시한 제품 하나로 기업 가치를 약 100억 달러(약 13조 6000억 원)까지 인정 받습니다. 최근 당근이 상장을 준비하며 ‘목표’ 기업 가치를 10조 원이라고 했으니, 순수하게 시장 평가만 따지자면 그보다 더 가치가 큰 회사인 겁니다.

일단 찾으면 대박이긴 합니다

이처럼 거대한 자본이 뒷받침하지 않아도 AI 네이티브 시장에는 새로운 기회가 열려 있습니다. 파급력과 성장 속도 역시 그 어느 때보다 크게 느껴지고요.

다만 기회를 포착하려면 AI를 활용한 추론과 응용에 필요한 시스템 이해도가 높아야 합니다. 또한, 이러한 새로운 추론 방식이 사람들이 가진 어떠한 문제를, 어떻게 해결할 수 있을지에 대한 통찰이 필요하겠죠.

커서가 발견한 문제는 “비슷하게 반복해서 써야 하는 코드가 많다”는 것입니다. 다만, 이를 해결하려면 ‘주니어 개발자만큼 코드를 쓸 수 있는 무언가’가 필요한 거였고요. 그 ‘무언가’는 AI, 정확히 말하면 LLM이었습니다. 전에는 없던 기술이죠. 그렇게 기본 전제는 “요즘 나온 AI”로만 해결할 수 있는 사람들의 문제를 찾아내야 한다는 겁니다. 그때는 틀렸지만, 지금은 맞는 것으로요.

• 고양이(요고): 오호, AI 네이티브 서비스가 대박이다 이거지?
• 나: 네, 전에 없는 도구로 해결이 불가능에 가까웠던 문제를 해결할 수 있다면! 그런데요, 사실 모든 제품의 탄생이 그렇긴 할 겁니다.

기존 제품에 AI 붙이기: ‘진짜’는 여기에?

다만 새로운 기회가 어디에 있는지는 아무도 모릅니다. 그저 그 시장이 조금 더 혁신적이고, 빠르며, 강력하다는 얘기를 할 뿐입니다.

그래서 다른 영역에 대한 얘기를 해보려고 합니다. 마찬가지로 많은 기회를 품고 있으며, 오히려 진짜 새로운 가능성이 있는 영역이지만 또 주목은 덜한 곳이라고 생각합니다. ‘기존 제품에 AI를 붙이는 일’입니다.

AI를 붙여서 성공한 것인가? 성공해서 AI를 붙이는 것인가?

넷플릭스(Netflix), 유튜브(YouTube), 스포티파이(Spotify).

무슨 공통점이 있을까요? 세계에서 제일 잘 나가는 콘텐츠 플랫폼이죠. 하나 더 있습니다. ‘추천’ 기술로 유명한 곳들이라는 겁니다. 이들이 성공한 데에는 다양한 이유가 있겠지만, 무엇보다 그 추천 기술이 큰 역할을 했습니다.

추천은 AI 추론(Inference)의 대표적인 응용 기술입니다. 그와 함께 비즈니스 영역에서 지금까지 가장 성공적으로 자리 잡은 AI 기능이라고 봐도 무방합니다.

무엇보다 추천 기술은 효과적으로 돌기 시작하면 어느 순간부터 다른 기업이 따라잡기도 어렵습니다. 추천 시스템이 좋으면 좋을수록 플랫폼에는 사용자가 몰립니다. 쏟아지는 콘텐츠로 피로한 시대니까요. 이렇게 사용자가 늘어나면, 또 그들의 움직임에 따라 방대한 데이터가 쌓입니다. 데이터는 어디로 갈까요? 다시 AI 추천의 재료로 쓰입니다. 그 추천의 결과는 사용자를 다시 붙잡고요.

그뿐만 아닙니다. 사용자는 곧 수익으로 이어지며, 이는 다시 플랫폼 개선과 AI 고도화, 양질의 인재 영입 같은 재투자로 이어집니다. 모든 기업이 바라는 ‘선순환 구조’가 생기는 겁니다.

어쩌면 이러한 이유로 요즘은 ‘플랫폼 비즈니스 진입이 어렵다’는 소리도 들립니다. 원래 있던 플랫폼들은 시장 지배자 아래로 통합되기도 하고요. 이렇게 진입 장벽이 높아진 원인에는 물론 산업의 재정비나 불황 같은 이유도 있겠지만, 데이터를 활용하는 AI 시스템의 비약적인 발전도 영향이 있을 겁니다.

• 고양이(요고): 기존 제품에 붙어 아주 성공적인 AI 기능 또 없어요?
• 나: 추천만큼 파급력이 높은 걸 물어보면, 아직 없는 듯. 그래서 요즘은 AI로 어떤 ‘기능’을 구현할 수 있을지, 그 사례가 사람들의 최고 관심사. (눈에 띄는 게 있다면, 요즘IT에 제보해 주세요!)

지금 우리 제품과 고객, 얼마나 아세요?

그래서 기업 차원에서도 일종의 AI 포모 현상이 존재합니다. 유독 AI 이야기를 할 때는 ‘뒤처지면 죽는다’ 같은 말이 나오는 데에도 이런 맥락이 있습니다. 트렌드를 놓치면 경쟁력이 떨어진다, 는 일반론과 차이가 있습니다. 데이터만큼은 따라잡기 어려운 영역이니까요.

특히 사용자 데이터(User Data)는 정말로 이야기가 다릅니다. 이건 결국 사용자가 우리 서비스를 써야만 쌓이는 데이터이기 때문이죠. 그렇게 축적된 데이터는 다시 우리 서비스만을 위한 전용 AI 시스템의 훌륭한 재료가 됩니다. 그 데이터가 뛰어난 결과물을 만들어내고, 그 결과물은 다시 자본으로 이어지죠. 그렇게 얻어진 자본은 다시 서비스와 AI 기술에 들어가 더 큰 성장을 가져옵니다.

물론 원래 사업을 운영하던 그 누구나 격차를 낼 수 있는 건 아닐 겁니다.

AI는 도구이며, 도구는 그 쓰임새에 맞게 써야 합니다. 아무리 신기술의 집약체인 못을 가지고 있다 해도, 우리 고객들이 나사만 원한다면 쓸데가 없으니까요. 그러니까 AI, 특히 LLM이 할 수 있는 것은 무엇인지 정확히 알고 있으며, 이로써 이전에는 못했지만, 지금은 해결할 수 있는 고객의 문제가 무엇인지 알아야 합니다.

돌고 돌아 데이터

그래서 AI를 도입하려면 먼저 우리 서비스 자체를 돌아보고 점검하는 것이 우선인 경우가 많습니다. 특히 필요한 것은 ‘데이터 활용 능력’입니다.

우리가 데이터를 어떻게 설계했고, 현재 어떻게 관리하고 있는지를 먼저 확인해야 하기 때문이죠. 고객들이 막 데이터를 만들어낸다 해도 여기저기 질질 흘리다 모조리 없어져버렸다면 남는 게 없습니다. 아무데나 막 쌓아두었다가는 꺼낼 때마다 방을 싹 뒤집어 할지도 모르고요.

또, 잘 흘러가야 합니다. 데이터는 사용자의 실시간 반응과 상호 작용 속에서 만들어 집니다. 추천을 예로 들어 볼까요? 사용자가 반응하면 그 즉시 새로운 데이터가 생기고, 그것이 다시 추천 모델의 입력값으로 들어갑니다. 그리고 그 활동을 반영한 새로운 추천이 다시 나오죠.* 이러한 실시간 데이터 흐름을 얼마나 효과적으로 구현하느냐, 그 자체가 전반적인 품질에 큰 영향을 줄 수 있습니다.

*물론 추천의 지연 시간을 얼마나 두는지 자체는 서비스와 고객의 특징을 따라야 할 겁니다. 신뢰가 중요한 물품인데, 클릭 한 번 할 때마다 추천 대상이 바뀌면 당연히 신뢰가 떨어질 테니까요. 대신 ‘안 하기로 하는 것’과 ‘못 하는 것’의 차이는 있습니다.

그러니 이런 데이터를 처리하는 흐름(파이프라인)을 잘 구축하고, 시스템이 오류 없이 매끄럽게 돌아가도록 하는 것이 정말 중요합니다.

정리해 보겠습니다. “우리 제품에 AI를 붙이는 일”의 핵심은 이겁니다. 다른 사람들은 절대 모를 ‘우리 서비스만 가진 고유한 데이터’와 ‘우리가(혹은 우리만) 아는 고객의 문제’가 무엇인지를 정확히 파악하고, 거기서 새로운 기회를 발굴하는 것입니다.

서비스를 운영하고 있다면, 오픈AI조차도 절대 알 수 없는 내부의 고유한 데이터가 생겨납니다. 이 고유 데이터에서 출발해 제대로 된 기회를 찾아내는 일이 앞으로의 사업 경쟁력을 결정짓는 중요한 요소가 될 것입니다.

• 고양이(요고): 그러니까 기존 제품의 AI 경쟁력은 무엇이라고요?
• 나: 우리만 아는 ‘데이터’에 AI 기술을 붙여 ‘고객’의 묵은 문제를 누가 더 빨리 해결하는가!

그런데 LLM 이거, 어떻게 붙이나요?

조금 돌았는데요, 어쨌든 고객과 데이터가 얼마나 중요한지 모르는 기업은 거의 없었습니다. (몰랐다면 이미 쓰러지고 있지 않을까요? IT 시장은 더더욱 그래왔으니까요.) 그래서 다들 그 중요하다는 LLM을 서비스에 붙여보고 싶어 했습니다. 우리 데이터도 알고, 새로 붙일 영역도 몇 군데 추렸고, 모델도 어찌저찌 구한 곳들이 생긴 거죠. 그렇게 트렌드는 새로운 영역으로 나아갑니다.

“아, 우리도 서비스에 쓸만한 LLM 붙이고 싶다!” 하는 외침으로요.

서비스에 붙이고 싶다는 거죠?; #랭체인 프레임워크

쉬운가요? 아니요.

그 희망이 쉽게 이뤄졌으면 트렌드까지도 안 갑니다. 당연히 문제가 있었겠죠.

기존 서비스 데이터를 모델이 이해할 방식으로 재구성해야 한다는 것부터 걸립니다. 또, LLM은 프롬프트로 작동합니다. 프롬프트를 어떻게 짜는지에 따라 결과가 천차만별인데, 이게 또 마냥 쉽지는 않았습니다. 최적화 문제도 생각해야 합니다. 모델을 쓸 때마다 비용이 생기니 헛돈을 쓸수는 없습니다. 게다가 결국 이를 기다리는 사용자도 생각해야 합니다. 재빠르게 받아와서 재빠르게 보여줘야 합니다. 그러니 모델이 작동하는 흐름을 정리해야 합니다. 또, 이전 상태를 기억하고 활용하게 만들 필요도 있고요, 필요한 정보를 검색하거나, 도구를 써야할 수도 있습니다. 이 역시 시스템이니 유지보수는 당연히 필요하고요.

역시 개발자 커뮤니티야! 랭체인의 등장

다행히 개발자 커뮤니티가 정말 빠르게 움직입니다. 열심히 문제에 달려들고, 해결 방법이 나오면 조금씩이라도 모조리 공유하고요. 정말 멋진 커뮤니티입니다. 어쨌든 그렇게 이 문제를 해결하기 위한 프레임워크가 주목을 받기 시작합니다. 대표적인 것, 바로 랭체인(LangChain)입니다.

단순합니다. LLM 기반 애플리케이션을 구축하는 과정을 쉽게 만들어주는 도구들을 모아둔 겁니다.

핵심은 추상화랑 체인

핵심은 ‘추상화(Abstraction)’입니다. IT 서비스의 동작은 복잡한 매커니즘과 이를 구현한 코드로 이뤄집니다. 추상화는 그 복잡한 매커니즘과 코드를 묶어 명령어 하나 안에 쏙 집어 넣는 작업입니다. 그럼 누구나 그 명령어 하나와 그에 대응하는 개념만 이해해도 원하는 동작을 구현할 수 있습니다.

사실 추상화는 랭체인의 특징이라기보다는 ‘프레임워크’의 특징에 더 가깝습니다. 랭체인은 “LLM 기반 애플리케이션을 구축하는 일”에 최적화된 추상화를 해낸 것이고요.

대신 LLM이 애플리케이션에서 동작하는 과정을 구조로 바꿔냈다는 것, 그 자체는 또 랭체인의 공헌입니다. 이 프레임워크에서는 그 구조를 ‘체인(Chain)’이라고 부릅니다. 모델에 요청이 가고, 결과물을 내기 위해 필요한 과정을 거치고, 그 결과물이 돌아오는 어떠한 일련의 과정, 이는 모두 행동의 고리입니다. 하나의 고리마다 필요한 시스템이 다르고요. 그 행동의 주체 역시 모델일 수도, 백엔드 시스템일 수도, 혹은 둘 다 일수도 있죠.

이렇게 LLM 기반 애플리케이션을 만드는 작업에서 발생하는 문제를 찾고, 그 문제를 다시 해결하며, 이를 묶어 추상화하는 작업에 랭체인은 큰 역할을 해냈습니다.

• 고양이(요고): 오, 랭체인 설명 좀 더 해주실래요?
• 나: 랭체인의 구성 요소와 동작 방식은 10분 만에 랭체인 이해하기 글에서 만나 보세요. 아주 쉽지만, 매우 정확하게 핵심을 짚어 줍니다. 제가 몰라서 그렇거나 귀찮아서 그런 건 아닙니다. 이게 또 글의 길이 문제도 있고…
• 고양이(요고): 됐다 마

‘쓸만한’ LLM이 필요하다는 거죠?; #RAG

랭체인이 ‘붙이고 싶다’라는 마음을 풀어줬다면, 그와 비슷한 시기의 트렌드인 RAG는 ‘쓸만한 AI’에 좀 더 초점이 가 있습니다.

LLM은 구닥다리에 가끔은 멍청해

문제는 당시 LLM 자체의 한계에서 출발합니다. 모델은 학습으로 인한 결과물, 즉, 학습을 마친 존재입니다. 그러니까 한번 학습이 끝난 이후에 나온 새로운 정보는 그 안에 들어 있지 않다는 겁니다.

게다가 LLM은 기본적으로 범용 지식을 다루도록 설계된 모델입니다. 그러다 보니 우리 서비스가 다뤄야 할 구체적이고 특징적인 문제에 대해서는 제대로 된 답을 내놓지 못하는 경우도 많았죠. 예를 들어, 반도체 분야의 코드는 여전히 AI 모델이 잘 생성하지 못한다고 합니다. 기술 보안이 매우 엄격한 분야라 공개된 코드가 웹에 비해 적으니까요. 이처럼 LLM이 특정 영역에서는 무력해지는 현상이 발생했습니다.

일상적이고 일반적인 질문하면 정말 뛰어난 답변이 나오지만, 정작 우리 회사 서비스에 필요하거나 새로운 지식에 대한 답변을 요청하면 갑자기 모델이 멍청해지는 거죠. 그렇다고 우리 회사의 데이터를 LLM에 그대로 학습시킬 수도 없습니다. 우리만 알아야 할 데이터를 다른 사용자와 공유하게 되는 셈이니까요.

마법의 단어: ‘커스터마이징’ 되나요?

그래서 이런 문제를 해결하기 위해 등장한 기술이 바로 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다. 쉽게 말하면 모델이 추론할 때 필요한 데이터를 외부에서 검색해 끌어다 쓰는 기술입니다. 웹 검색 데이터를 활용할 수도 있고, 따로 만든 특수 데이터 저장소를 쓸수도 있습니다.

새로운 정보를 반영하기 쉬울 뿐더러 필요한 정보를 검색으로만 찾아 활용하고 보안 처리된 결과를 내보내기 때문에 훨씬 안전하고 효율적입니다. 결국 기업들의 마음을 활짝 열어주는 마법 같은 키워드, ‘커스터마이징(Customizing)’을 위한 길이 열린 겁니다.

핵심은 저장소야

어쨌든 이 기술의 핵심은 참고할 수 있는 적합한 데이터들을 모아둔 저장소입니다. 이 저장소가 일종의 데이터 풀(Pool)을 구성하게 되니까요. RAG의 등장으로 우리 회사의 기존 데이터를 잘 결합하고 축적하여 이 풀을 만드는 과정이 정말 중요해졌습니다.

“아, 우리 데이터 그거 보안 문제 때문에 못 써요”, “LLM이 새로운 데이터 쪽은 좀 멍청하던데요?” 같은 말이 통하지 않게 된 거죠.

• 나: RAG에 대한 더 자세한 설명은 “10분 만에 RAG 이해하기”로
• 고양이(요고): 날로 먹겠다?

챗GPT 그 다음, 영광의 목걸이

이렇게 기업들은 크게 두 가지 방법—랭체인과 RAG—을 탐구하며 LLM과 서비스를 결합하기 시작했습니다. 시기로는 대략 2023년입니다. (한국은 조금 느리니 2024년까지요) 최고의 기술 트렌드 키워드였죠.

물론 트렌드는 곧 에이전트라는 거대한 키워드로 옮겨가 버렸습니다만, 그렇다고 이 기술의 중요성까지 사라진 것은 절대 아닙니다. 랭체인과 RAG 모두 여전히 활발히 쓰이고 있으며 지금 이 순간도 진화하고 있으니까요. 사실 나온 지 얼마 안 된 기술이라 미처 파악하지 못한 부분도 많을 겁니다.

여기까지 요약 with 요고AI

• 챗GPT의 등장과 미친 체감으로 ‘생성형 AI’ 시대의 대폭발이 일어남
• AI가 핵심인 네이티브 서비스, 데이터와 고객에 기반한 AI 기능 추가 모두 거대한 잠재력을 가짐
• “우리도 서비스에 쓸만한 AI 붙이고 싶다!”는 욕구를 풀어줄 기술, 랭체인과 RAG가 챗GPT 다음 트렌드

마치며

지금까지 챗GPT 폭탄이 터진 자리 위로 쌓인 트렌드를 ‘지금 사람들이 해결하려고 하는 문제’, 그러니까 “AI를 ‘우리 서비스’에 올리는 법” 중심으로 봤습니다. AI를 서비스의 주력으로 삼는 것과 더 나은 서비스의 도구로 쓰는 것의 차이를 짚어봤고, 또, 이를 가로막는 문제를 해결할 ‘기술’들도 살펴봤습니다. 업무 생산성 같은 또다른 주요 영역은 배제하고 산업 단위로만 짚었고요.

무엇보다 기술 그 자체 설명에 집중하기 보다, 이를 둘러싼 배경, 그러니까 사람들의 욕망이 향하는 자리에 눈을 두려고 무지 애를 썼는데요. 그러다 보니 문득 ‘크게 달라진 것 없다’는 생각도 듭니다. 결국 모든 건 “사람들이 가진 진짜 문제를 알아차리고, 이를 풀어주는 것”에 있다는 거죠. 대신 그 풀어주는 데 쓰이는 도구가 조금 독특하고 성능이 뛰어날 뿐이라고요.

그러니까요, 이건 모두 원래 어려운 일이었습니다. AI 트렌드를 몰라서 그런 것이 아니라고요. 그렇게 생각하면 마음이 조금 편해지는 듯합니다. 그렇게 편해진 마음으로 마지막 이야기, 지금 이 시점의 AI 이야기로 가보겠습니다.

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.