B2B 시장에서는 어떤 AI 서비스가 통할까?

생성형 AI 기술의 발전과 함께 사용자들의 이목을 사로잡는 서비스가 연일 등장하고 있습니다. 인터넷 검색 엔진과 생성형 AI 모델을 접목한 퍼플렉시티(Perplexity) 같은 ‘인공지능 기반 검색 플랫폼’, 기업의 로고를 만들거나 소설과 시를 써주는 등 특정 분야에 특화된 전문가형 서비스들이 특히 눈에 띕니다.

이런 생성형 AI 서비스의 지향점을 바꾸는 결정적인 차이가 어디서 생기는지 아시나요? 그중 하나는 바로 최종 고객이 일반 사용자(B2C)인지, 혹은 기관(B2B)인지 차이입니다.

예를 들어 우리가 일상에서 흔히 접할 수 있는 챗GPT, 뤼튼(wrtn) 같은 생성형 AI 서비스는 대표적인 B2C(Business-to-Consumer) 서비스입니다. 이러한 B2C 서비스는 크게 2가지 형태를 띱니다. 오픈AI, 구글처럼 생성형 AI 모델 개발사가 일정 금액의 월 구독료를 받고 직접 서비스를 제공하거나, 뤼튼처럼 생성형 AI 콘텐츠 플랫폼이 모델 개발사에 금액을 지불하고 API로 기초모델(Foundation Model)을 받아 최종 사용자에게 서비스를 제공하는 형태죠.

개인 유저들이 매달 사용료를 내며 B2C 서비스를 사용하는 목적은 다양합니다. 업무와 일상에 생성형 AI를 활용하기 위해서일 수도 있고 트렌드를 쫓거나 호기심을 충족시키기 위해서일 수도 있죠. 이처럼 여러 이유로 개인은 유료 생성형 AI 서비스를 결제합니다. 따라서 B2C 생성형 AI 서비스의 핵심은 ‘사용자 편의성과 차별화’에 있습니다. B2C 서비스 플랫폼들은 이처럼 개개인의 니즈에 맞추어 가장 퍼포먼스가 좋은 최신 SoTA(State-of-The-Art) 모델을 쓰거나 독창적이고 사용에 편리한 UI/UX 요소를 도입합니다. 소비자의 눈길을 끌 만한 요소로 차별화를 시도하는 거죠.

반면 금융 기관, 대기업, 공공 기관 등 규모가 큰 단체에서 생성형 AI를 활용하는 방식은 조금 다릅니다. 흔히 엔터프라이즈(enterprise) 혹은 B2B(Business-to-Business)라고 불리는 생성형 AI 서비스의 고객, 즉 기업들은 철저히 투자대비수익(ROI, Return On Investment) 관점에서 생성형 AI 도입을 검토합니다. 최소 수억 원에서 많게는 수천억 원에 이르는 도입 비용을 회수하기 위해서라도 이들은 명확한 목적을 가지고 접근할 때가 많습니다. 예를 들어 생성형 AI 서비스를 도입해 직원들의 보고서 작성 시간을 단축한다거나 내부 직원을 위한 AI 개인 비서를 구축하는 것이 목적이 됩니다.

저 역시 주로 B2B 서비스와 관련된 일을 하는 엔지니어입니다. 이번 글에서는 그 경험을 살려 현업 엔지니어의 (지극히 주관적인) 관점으로 B2B 생성형 AI 서비스의 기술적인 특징을 다뤄볼 예정입니다.

B2B 생성형 AI 서비스의 3가지 특징

엔터프라이즈용 생성형 AI 서비스를 설계하고 개발할 때에는 일반적인 B2C 생성형 AI 서비스와는 다른 관점으로 접근할 필요가 있습니다.

답변 속도와 정확성을 중요시하는 B2C 서비스와 달리 이들은 ‘유용한’ 서비스를 제공하는 것에 포커스가 맞춰져 있습니다. 그뿐만 아니라 기업의 매출과 직결되는 데이터 유출 등 사고를 막기 위한 데이터 보안 역시 매우 중요하죠. 마지막으로 대규모 인원이 동시에 서비스를 사용하는 만큼 안정적으로 대규모 데이터를 처리할 환경도 갖춰야 합니다. 이를 위해 인프라 구성과 생성형 AI를 지속적으로 유지 및 관리하기 쉬운 시스템 아키텍처가 필요합니다. 그럼 조금 더 자세히, 엔터프라이즈 생성형 AI 서비스의 특징에 대해 알아보도록 하겠습니다.

1. 속도, 정확도 보다는 사용성!

개인 사용자를 최종 고객으로 하는 B2C 서비스는 불특정 다수의 사용자를 대상으로 합니다. 이러한 대외 고객 서비스는 고객이 질문했을 때 빠르고 정확하게 답변할 수 있는 구조의 아키텍처를 구상하는 것이 가장 중요합니다. 아무리 화려한 사용자 화면을 자랑하는 B2C 서비스라도 답변의 정확도와 속도가 뒤처지면 고객의 선택을 받기 어렵죠.

반면 주로 회사의 내부 직원들이 사용하는 생성형 AI 서비스는 일반적인 B2C 서비스, 즉 챗 기반 서비스와 다른 접근 방식이 필요합니다. B2B 생성형 AI 서비스에서는 답변의 정확성이나 속도보다 더 중요한 것이 있습니다. 바로 사용자가 실제로 해당 서비스를 업무에 최대한 유용하게 활용하는 것입니다. 왜 그럴까요?

앞서 말했듯 기업이 생성형 AI 서비스를 도입하는 목적은 분명합니다. 프롬프트 몇 줄로 마케팅 문구를 생성하거나 내부 인사 규정에 기반해 유용한 답변을 검색할 수 있어야 하죠.

이때 답변이 정확하고 빠르게 나오느냐는 부차적인 문제에 불과합니다. 아무리 정확하고 빠르게 답변이 나와도 매번 쓸 때마다 직접 프롬프트를 입력해야 하거나, 원하는 양식에 맞추기 위한 재작업이 다시 필요하면 이 서비스는 점차 내부 직원들에게 외면받게 될 것입니다.

따라서 그보다는 ‘생성형 AI 서비스의 답변을 실제로 업무에 활용할 수 있는지’, ‘유용하고 정확한 정보로 업무 효율이 정말 좋아졌는지’가 더 중요합니다. B2B 생성형 AI 서비스의 최우선 목적은 직원들이 보다 유용하게 해당 서비스를 쓰면서 실질적으로 업무에 도움을 받는 것이기 때문입니다.

이를테면 직원이 인사 관련 질문을 던졌을 때, 단순히 원론적인 답변만 내기보다 실제 업무 처리에 적용할 답을 줄 수 있어야 합니다. 또 후속 질문 등이 있을 때 연관된 항목에 대한 정보 범위를 좁혀나가면서 원하는 답을 얻게 하는 기능도 필요할 것입니다. 여기에 멀티 모달 모델을 적용해 문서 내 이미지나 그래프, 표와 같은 이미지 정보를 함께 전달하면 사용성을 더욱 개선할 수 있습니다. (서비스 특성에 따라 속도와 정확도가 요구되는 경우도 있지만, 대부분의 B2B 서비스는 사용성을 더 중요시합니다.)

2. 중요한 건 데이터 보안

회사 기밀이나 고객 개인 정보 같은 매우 민감한 데이터를 대량으로 보유한 기업이라면 이들 데이터의 보안은 최우선 과제가 됩니다. 개인의 입장에서도 정보 유출은 커다란 문제이지만, 기업의 경우 데이터 관련 이슈는 기업의 운명을 결정할 만큼 중대한 사안입니다. 따라서 B2B 생성형 AI 서비스를 도입할 때도 데이터 보안은 핵심으로 고려해야 하는 요소입니다.

물론 생성형 AI가 다루는 데이터의 성격에 따라 보안의 강도는 달라질 수 있습니다. 예를 들어 개인 정보를 다루는 서비스는 강력한 암호화와 접근 권한 관리가 필요하지만, 내부 문서 검색 서비스는 비교적 간단한 보안 조치만 해도 충분할 수 있습니다.

3. 지속적인 관리 환경 구축이 필수

최종 사용자가 개인인 생성형 AI 서비스와 달리 사내 직원을 대상으로 하는 생성형 AI 서비스는 꾸준히 이를 운영하고 유지하기 위한 환경을 함께 구축해야 합니다. 모델의 학습 및 배포, 모니터링, 유지보수, 업데이트 과정 등이 안정적인 서비스를 제공하기 위해 반드시 고려해야 하는 요소죠.

이때 중요한 개념은 LLMOps(LLM Operations)입니다. 이 LLMOps는 실험 추적, 프롬프트 엔지니어링, 모델 관리뿐만 아니라 관리형 모델 전환, 배포와 LLM 모니터링 등을 간편하게 수행하도록 만듭니다. B2B 환경에서 LLMOps는 여러 팀의 협업으로 이뤄집니다. 그런 만큼 비즈니스 요구 사항에 맞춰 고객, 개발사가 함께 모델을 최적화하고 필요한 데이터를 꾸준히 관리하는 것이 중요합니다.

아키텍처를 구성할 때는 무엇을 고려해야 할까?

지금까지 엔터프라이즈 생성형 AI 서비스의 특성에 대해 살펴보았습니다. 그렇다면 이러한 B2B 비즈니스의 특성에 최적화된 시스템 아키텍처를 구현하려면 어떤 점들에 주목해야 할까요?

1. 꼭 SoTA 모델을 고집할 이유는 없다

SoTA(State-of-The-Art) 모델이란 ‘현재 최고 수준의 모델’을 의미합니다. 예를 들어 현재 SoTA 모델로 꼽히는 모델로는 오픈AI의 GPT-4o나 앤트로픽(Anthropic)의 Claude-3.5-Sonnet 등이 있습니다. 이들 모델은 최소 조 단위 매개 변수(1000B)를 가지고 있으며, 추론 및 독해 능력 같은 다양한 기준의 벤치마크(benchmark)에서 최고 성능을 자랑합니다.

그러나 잘 알려져 있듯 이러한 SoTA 모델을 구동하려면 더 많은 컴퓨팅 리소스와 장비가 필요합니다. 따라서 무조건 SoTA 모델만을 고집하기보다 비용, 성능, 특정 도메인 적합성 등을 고려하여 상황에 따라 적용할 모델을 선택하는 것이 중요합니다.

특히 B2B 생성형 AI의 목적은 최대한 유용한 서비스를 제공하는 것에 있습니다. 그렇기에 최소한의 정확도 기준을 유지할 수 있다면 꼭 SoTA 모델을 고집할 필요는 없습니다. 예를 들어 특정 도메인의 데이터로 파인튜닝한 LLaMA-3.1 같은 모델이 SoTA 모델보다 더 좋은 성능이나 효율을 보일 수 있다면, 이를 도입하는 편이 목표 달성을 위한 더 나은 선택이 될 수 있습니다.

2. 잊지 말자, 보안과 사용성이 성능과 속도보다 중요하다

또, 기업 고객에게 데이터 보안은 가장 중요한 요소 중 하나입니다. 기업 DB 특성상 개인 사용자에 비해 고객 개인 정보나 사내 기밀 등 민감한 정보를 포함할 가능성이 매우 높기 때문입니다. 따라서 시스템 아키텍처를 구성할 때에도 데이터 유출을 원천 봉쇄하거나 보안을 우선 고려하는 방식을 선택해야 합니다.

최근 뛰어난 성능으로 많은 사랑을 받는 GPT-4o나 Gemini, 그리고 Claude-3.5 등 기초모델(Foundation Model)들은 대부분 오픈소스가 아닌 폐쇄형 서비스로 제공됩니다. 이들은 주로 모델 개발사의 API로 제공되는데, 이러면 사용자가 남긴 질문이 모델 제공사의 데이터 센터를 거쳐야 합니다. 이때 남은 사용자의 질문과 답변 기록은 다시 모델 성능 개선을 위해 수집하고 활용됩니다. 문제는 이들 모델 제공사가 우리 질문에 들어간 민감 정보를 어떻게 활용하는지 신뢰할 수 없다는 것입니다.

실제로 작년 말, 챗GPT에서 한국인 이용자 687명의 개인정보가 유출되었고, 그에 따라 오픈AI에 과태료가 부과되었다는 뉴스가 난 적이 있습니다. 개인 입장에서도 정보 유출은 커다란 문제이지만, 기업의 경우는 스케일이 훨씬 더 큽니다. 이러한 데이터 유출이 기업에서 발생하면 그 기업은 매출에 직격탄을 맞습니다. 때로는 기업의 존망마저 위태로워질 수 있습니다.

특히 고객의 개인정보나 기밀정보 등 민감한 데이터를 다루는 금융과 공공기관은 보안이 더 중요해집니다. 따라서 생성형 AI 도입 시 클라우드 기반이 아닌 자체 서버 구축을 통한 온프레미스(on-premise) 환경을 구성하는 경우도 많습니다. 생성형 AI 모델 훈련이나 추론 등을 위한 물리적 서버를 사내 서버실에 두고, LLaMA-3.1과 같은 오픈소스 모델을 활용해 직접 파인튜닝 하며 개발하는 방식입니다.

상대적으로 덜 민감한 정보를 다루는 때에도 네트워크 망을 업무용과 인터넷용으로 이중화시켜 데이터 유출 가능성을 원천 차단하는 등 조치가 필요합니다. 그뿐만 아니라 데이터 암호화 및 비식별화, 접근 권한 관리, 침입 탐지 및 예방 시스템 구축 등 다양한 보안 조치가 뒤따라야 하죠.

마치며

이처럼 엔터프라이즈 생성형 AI의 발전은 앞으로 기술 혁신뿐만 아니라 조직의 전반적인 효율성 향상과 목표 달성에 중요한 역할을 하게 될 것입니다. 이런 서비스는 단순히 기술 도입에 그치는 것을 넘어 사용자들이 실제 업무를 할 때 유용함을 제공할 수 있어야 합니다. 그뿐만 아니라 데이터 보안 준수로 사내 기밀 데이터 등 민감 데이터의 유출을 방지하고 LLMOps 관점에서 꾸준히 개선 및 관리 할 수 있는 환경이 갖추어져야 하죠. 그제야 ‘ROI 극대화’라는 본연의 목적을 이룰 수 있습니다.

생성형 AI 엔지니어와 개발자들 역시 B2B 생성형 AI 서비스를 계획하고 설계할 때 이러한 사용자의 요구를 고려해야 합니다. 특히 유용성과 보안을 강조할 적절한 아키텍처를 구성하는 것이 중요한 과제가 될 것입니다. 이와 같이 변화하는 시대의 흐름 속에서 B2B AI 기업들은 꾸준히 기술을 탐색하며 최적의 솔루션을 찾아 나가야 합니다. 지금은 단순히 기술을 통한 변화를 넘어 AI 도입이 기업의 미래 경쟁력을 구축하는 투자이자 전략이라는 것을 인식시켜야 할 중요한 시기이기 때문입니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.