구글 클라우드 기반 기업용 AI 구축하기(feat. CEN AI)

이 글은 아이티센클로잇과 함께 요즘IT 브랜디드 콘텐츠로 제작했습니다.

요즘 ‘AI 시대’는 그야말로 속도전입니다. 아침에 일어나면 또 새로운 AI 기술이 나왔다는 소식이 들려옵니다. 이메일이나 기획서를 쓸 때 AI의 도움을 받는 것도 흔한 일이 됐고, 오히려 AI 없이 일하는 게 어색하게 느껴질 정도죠. 이제 기업에서도 업무 생산성과 효율성을 높이기 위해 더 이상 AI를 외면할 수 없는 현실입니다.

하지만 막상 AI를 도입하려고 하면 고민도 많습니다. 회사의 민감한 데이터를 외부 AI 서비스에 넘기는 것이 안전할지, 우리 회사 업무 환경에 제대로 맞출 수 있을지 걱정이 되죠. 이럴 때 복잡한 구축 과정 없이, 이미 사용 중인 구글 클라우드(Google Cloud) 같은 플랫폼 기반으로 우리 회사만의 생성형 AI 챗봇을 구축할 수 있다면 어떨까요? 업무 생산성은 또 얼마나 달라질까요?

오늘은 이러한 고민을 현실적으로 해결하기 위해 AI 에이전트 기술을 활용해, 기업 맞춤형 AI 챗봇 서비스 ‘CEN AI’를 개발한 아이티센클로잇 관계자들을 만나봤습니다.

이번 인터뷰에서는 기업 내부 데이터를 활용하는 생성형 AI 챗봇이 실제 업무 환경에서 어떻게 쓰일 수 있는지, 그리고 클라우드 환경에서 생성형 AI 챗봇을 구축하는 전략과 앞으로의 AI 기술 발전 방향에 대해 자세한 이야기를 들어봤습니다.

아이티센클로잇은 멀티 클라우드 환경에서 Cloud Native 애플리케이션 개발과 DevOps 플랫폼 구축 등 전문 기술 역량을 갖춘 기업입니다. 특히 클라우드 기반 AI 기술과 데이터 분석 역량을 바탕으로 다양한 산업 분야의 디지털 혁신을 기술적으로 지원하고 있습니다. 클라우드 전환, 구축과 운영, 컨설팅, 솔루션 제공까지 다양한 영역에서 활동 중입니다.

우리 회사에 맞는 생성형 AI 챗봇, 왜 필요할까?

#AI챗봇 #데이터보안 #생산성 #LLM

Q. 우리 회사만의 ‘생성형 AI 챗봇’이 필요한 이유는 무엇인가요? 챗GPT나 제미나이와 같은 범용 AI 서비스를 써도 되지 않나요?

정승모 상무: 챗GPT나 제미나이 같은 범용 AI 모델은 기본적으로 개인을 위한 서비스입니다. 그러다 보니 회사의 기밀문서, 고객 정보, 영업 비밀 등 민감한 데이터를 외부에 노출시킬 위험이 매우 큽니다. 실제로 보안 사고가 번번이 발생하고 있어서, 외부 서버로 데이터를 전송하는 일 자체가 엄격히 제한된 회사도 많습니다. 기업의 내부 데이터를 안전하게 활용하고 싶다면, 처음부터 우리 회사에 맞게 설계된 생성형 AI 챗봇을 선택하는 것이 좋습니다.

윤상배 이사: 데이터 면에서도 범용 LLM(대규모 언어 모델)은 일반적인 데이터를 학습한 것이지, 회사의 구체적인 내부 데이터는 학습하지 못합니다. 기업의 업무는 재무, 고객 관리, 문서 관리 등 내부 시스템과 복잡하게 얽혀 있는데요. 범용 AI 모델은 이러한 내부 시스템과 직접 연동되도록 설계되어 있지 않습니다. 결국 직원들이 생산성 향상을 위해 내부 데이터를 활용하려면, 기업의 정보와 데이터 환경에 맞게 커스터마이징된 챗봇 솔루션이 필요합니다.

Q. 기업 단위로 생성형 AI 챗봇을 도입해야 하는 가장 큰 이유는 무엇일까요?

정승모 상무: 대부분의 기업에서 공통적으로 겪는 어려움이 바로 데이터와 관련된 문제일 텐데요. 기업 내부의 정보가 여기저기 분산되어 있고, 또 그 형식도 다양해서 막상 업무에 필요한 데이터를 찾고 취합하는 게 상당히 까다롭습니다. 이런 환경에서는 정확한 데이터 기반의 의사결정을 내리기 어렵죠.

실제로 지식 노동자들은 하루 8시간 중 생산적인 시간은 2시간 정도고, 나머지 6시간은 정보 검색 등 준비 작업에 소비한다고 합니다. CEN AI는 AI를 이용해 이러한 비효율 문제를 해결하는 데 집중했습니다. 기업 내부에 흩어져 있는 데이터를 효과적으로 통합하고, 실시간으로 최신 정보를 기반으로 답변을 생성해 주는 것이죠.

윤상배 이사: 특히 RAG(Retrieval-Augmented Generation, 검색증강생성)라는 기술을 쓰면, 기업 내부에서 생산된 최신 데이터를 정확히 활용할 수 있습니다. AI가 흔히 일으킬 수 있는 할루시네이션(환각) 같은 현상을 크게 줄이고, 답변의 출처까지 명확히 제공해서 신뢰도를 높이죠. 결과적으로 기업들이 자주 직면하는 데이터 접근성의 문제나, 민감한 정보의 보안 문제, 그리고 복잡한 업무 환경 속에서도 빠르고 정확하게 의사결정을 내릴 수 있도록 돕습니다.

Q. 생성형 AI 챗봇을 도입하려면 회사 내부 데이터는 어느 정도로 준비되어 있어야 하나요? 

윤상배 이사: 생성형 AI 챗봇의 성능은 결국 데이터의 품질과 양에 따라 결정됩니다. 하지만 많은 기업들이 이미 갖추고 있는 데이터들이 잘 정리되어 있지 않거나, 상당히 파편화되어 있는 경우가 많죠. 그래서 도입 초기부터 모든 데이터를 완벽하게 준비하려고 하기보다는, 일단 명확한 평가가 가능한 특정 시나리오와 관련된 데이터를 우선적으로 준비하고, 간단한 수준에서부터 시작하는 것이 좋습니다.

예를 들어, 제품의 스펙이나 고장 수리와 관련된 데이터가 충분히 확보된 상황이라면, 해당 데이터를 먼저 챗봇에 학습시켜 QA 담당자나 고객지원(CS) 업무에서 빠르게 효율성을 높일 수 있습니다. 그리고 이렇게 초기의 명확한 사례를 만들어 성공 경험을 쌓은 후, 점차 내부나 외부로 확산시키는 것이 가장 효과적인 방법입니다.

Q. 생성형 AI 챗봇 도입 후, 기업에서 기대할 수 있는 주요 성과나 효과는 무엇일까요?

정승모 상무: 가장 먼저 눈에 띄는 성과는 업무의 정확성과 효율성 향상입니다. 기존에 직원들이 많은 시간을 소비했던 기획서 작성이나, 계약서 검토 같은 업무를 생성형 AI 챗봇이 빠르게 처리해 줌으로써 직원들이 핵심 업무에 더 집중할 수 있죠.

윤상배 이사: 무엇보다 중요한 건 기업 내부 데이터를 안전하게 활용하면서도 높은 정확도로 정보를 제공한다는 점입니다. 실제로 범용 AI 모델을 쓰면 정보의 정확도가 80% 정도지만, 기업 전용 챗봇을 활용하면 정확도가 95% 이상으로 올라갑니다. 기업 입장에서는 정보 신뢰도가 높아지고, 의사결정의 속도와 질이 크게 개선되는 효과를 볼 수 있는 것이죠.

또한 기업의 업무 프로세스를 효율적으로 관리할 수 있게 됩니다. 생성형 AI 챗봇은 기업 내부의 복잡하고 다양한 데이터를 통합해, 직원들이 필요로 하는 정보를 즉시 찾아주고 제공합니다. 결과적으로 생성형 AI 챗봇을 도입하면 반복 업무의 부담은 줄고, 의사결정은 빠르고 정확해지며, 직원들이 생산적인 업무에 더 몰입할 수 있는 환경을 마련할 수 있습니다.

기존 클라우드 환경에서 손쉽게 구축하는 생성형 AI 챗봇

#Google Cloud #손쉬운구축 #비용 #클라우드

Q. 클라우드 환경을 기반으로 생성형 AI 챗봇을 구현하면 어떤 이점을 얻을 수 있나요?

윤상배 이사: 구글 클라우드(Google Cloud) 같은 클라우드 벤더를 활용해, 생성형 AI 챗봇을 구현하면 크게 세 가지 정도의 중요한 이점을 얻을 수 있습니다. 가장 먼저, 빠르게 서비스를 출시할 수 있다는 점입니다. 클라우드 벤더들이 이미 준비해놓은 최신 기술과 다양한 서비스를 활용하면, 처음부터 기술을 구축하고 준비할 필요가 없어, 빠르게 시장에 대응할 수 있다는 점이 큰 장점이죠.

두 번째는 비용 관리 측면에서 효율적입니다. 클라우드 환경에서는 별도의 초기 투자가 적고, 사용량에 따라서 유연하게 비용을 조절할 수 있죠. 특히 생성형 AI의 경우 토큰 단위로 비용이 청구되는데, 이 방식을 잘 활용하면 기업 내에서 사용량을 효율적으로 관리할 수 있습니다.

마지막으로 데이터 관리와 보안이 쉽고 안정적입니다. 클라우드 플랫폼에서 데이터를 통합 관리하다 보니, 보안 정책이나 데이터 접근 권한을 일관되게 적용할 수 있는데요. 덕분에 민감한 데이터도 보다 안전하게 관리할 수 있게 됩니다.

Q. 반대로 우려되는 점은 없을까요?

윤상배 이사: 물론 클라우드 벤더 종속에 대한 우려가 있을 수 있습니다. 하지만 앞서 언급한 빠른 구축과 높은 효율성 같은 장점을 생각하면 충분히 감수할 만한 부분이죠.

또 요즘 표준인 하이브리드 클라우드나 멀티 클라우드 방식을 고려한다면 주요 기능은 특정 벤더나 자체 기술을 활용하고, 필요한 특화 기능만 외부 모델을 연동하는 형태로도 유연하게 구성할 수 있어요.

Q. 클라우드 환경에서 생성형 AI 챗봇을 도입할 때, 복잡한 설정이나 별도의 추가 장비 없이도 쉽게 구축할 수 있나요?

정승모 상무: 클라우드 환경의 가장 큰 장점 중 하나는 ‘관리형 서비스(Managed Service)’가 많다는 점인데요. 이는 기업이 최신 기술의 인프라나 서비스 구축과 설정, 심지어 관리조차 직접 하지 않아도 된다는 의미입니다.

특히 클라우드 벤더들은 다양한 관리형 AI 및 머신러닝(ML) 서비스를 제공하고 있습니다. 예를 들어, 대규모 언어 모델(LLM), 임베딩 모델, 벡터 데이터베이스 등 복잡한 서비스를 바로 활용할 수 있도록 지원하죠.

CEN AI도 최신 기술 기반의 클라우드 서비스를 최대한 이용해 개발한 솔루션으로, 인프라 구축에 드는 노력 대신 솔루션 기능과 품질 향상에 집중했습니다. CEN AI를 고객사 환경에 적용할 때도 클라우드 환경을 활용하기 때문에, 온프레미스 기반의 솔루션보다 훨씬 빠르고 간편하게 구축할 수 있는 것이죠.

Q. 생성형 AI 챗봇을 구축할 수 있는 기반 클라우드 서비스로, 구글 클라우드(Google Cloud)가 선택된 이유는 무엇인가요?

정승모 상무: 저희가 구글 클라우드를 선택한 가장 큰 이유는 구글이 가지고 있는 다양한 형태의 데이터와 이를 잘 처리할 수 있는 제미나이 모델의 장점 때문입니다. 구글은 오랜 기간 유튜브나 구글 포토, 구글 맵처럼 이미지나 영상을 많이 다루는 서비스를 운영해 오면서, 정말 방대한 양의 데이터를 쌓아왔어요. 이런 멀티모달 데이터들이 생성형 AI가 학습하고 발전하는 데 아주 좋은 기반이 되는 거죠.

윤상배 이사: 특히 저희가 주목했던 부분은 제미나이 모델이 다양한 형태의 데이터를 굉장히 잘 다룬다는 점이었습니다. 이미지나 영상과 같은 데이터를 실제로 처리할 때 다른 AI 모델에 비해 더 우수한 결과를 보여줬고요. 무엇보다 최근 들어 제미나이의 품질 개선 속도가 정말 빨라서, 저희도 놀랄 정도였죠. 이런 장점 덕분에 생성형 AI 챗봇 구축의 기반으로, 구글 클라우드를 선택하게 됐습니다.

Q. 처음 설정이나 유지보수 시 주로 신경 써야 할 부분은 어떤 것들이 있을까요?

윤상배 이사: 많은 기업들이 처음 AI 챗봇을 도입할 때 가장 먼저 고민하는 부분은 “어떤 LLM 모델을 선택할까?”입니다. 하지만 실제 운영 과정에서 가장 중요한 건 ‘데이터 라이프 사이클 관리’와 ‘챗봇의 응답 품질 관리’입니다. 특히 데이터는 지속적으로 변화하기 때문에 주기적으로 품질을 점검하고 관리하는 게 매우 중요한데요. 기업 환경에서 정확한 정보를 제공하는 건 핵심이기 때문에, 사용자 피드백을 적극적으로 수집하고, 로그 분석 및 품질 프레임워크를 도입하여 철저히 관리하는 게 필요합니다.

또 한 가지 강조하고 싶은 점은 비용 최적화입니다. 클라우드 환경은 간편한 만큼 자원 낭비가 쉽게 발생할 수 있습니다. AI 챗봇 역시 예산 책정부터 지속적인 비용 모니터링, API 호출 최적화까지 체계적으로 관리해야 비용을 효과적으로 통제할 수 있고요.

정승모 상무: 각 회사에 맞는 보안과 규정 준수도 중요합니다. 클라우드 환경의 편리성 덕분에 정보 접근이 매우 빠르지만, 그만큼 보안 리스크가 높아질 수 있는데요. 따라서 데이터 암호화는 기본이고, 주요 민감 데이터에 대한 접근 권한 관리와 로깅 시스템, 감사 시스템 구축까지 세부적으로 준비해야 합니다. CEN AI에서는 이러한 리스크를 줄이기 위해, 데이터 암호화 및 마스킹, 입력이나 출력 단계의 가드레일, 역할 기반 접근 제어(RBAC) 등 다양한 보안 장치들을 추가해 나갈 예정입니다.

또 한 가지 말씀드리면, AI 기술은 최근 매우 빠르게 진화하고 있습니다. 거의 매월 새로운 모델이 나오기 때문에 최신 모델과 기술 동향을 꾸준히 모니터링하고, 주기적으로 테스트하면서 적절한 시기에 모델을 업데이트하는 전략을 반드시 갖추어야 해요. 이렇게 해야만 생성형 AI 챗봇의 성능을 지속적으로 높이고, 새로운 기술의 혜택을 놓치지 않고 활용할 수 있습니다.

Q. 일반적인 챗GPT 같은 서비스와 비교했을 때, ‘가격’의 차이도 있을까요?

정승모 상무: CEN AI의 가격은 크게 구독형과 설치형 두 가지로 나눌 수 있습니다. 구독형의 경우에는 클라우드 방식으로 제공돼서 사용자가 많아질수록 한 사람당 내는 비용이 저렴해지는 구조예요. 예를 들어, 챗GPT 같은 서비스가 한 달에 약 29,000원 정도 한다면, CEN AI는 사용자 한 명당 월 몇천 원 수준으로 이용하실 수 있어요. 다만 구독형 서비스라 하더라도 초기 설정 비용이나 클라우드 인프라 사용료가 따로 발생할 수는 있습니다.

특히 설치형의 경우, 기업 내부 환경에 맞게 시스템을 구축하기 때문에 처음에 별도의 구축 비용이 들어갑니다. 그러나 사용한 토큰 양을 기반으로 비용이 청구되는 방식이라, 실제 사용량이 많아지더라도 평균적으로 사용자의 비용 부담을 낮출 수 있다는 장점이 있죠.

일반적인 챗GPT 같은 서비스를 기업 단위로 사용하게 되면, 토큰 사용량이 누적되어 월 수천만 원 규모까지 비용이 발생할 수 있는데요. CEN AI는 같은 규모로 운영하더라도 사용량 기반의 과금 구조 덕분에 비용 부담을 줄일 수 있어요.

더 똑똑한 생성형 AI 챗봇이 되는 방법

#RAG #기술 #에이전트 #효율성

Q. 앞서 ‘RAG’라는 용어가 자주 언급됐는데요. RAG 기술이 정확히 무엇이고, 왜 중요한가요?

윤상배 이사: RAG(Retrieval-Augmented Generation) 기술은 기본적으로 공개된 정보만 학습된 일반적인 대규모 언어모델(LLM)을 기업 내부의 데이터까지 활용할 수 있도록 확장하는 기술입니다. 간단히 비유하자면, 일반 LLM은 상식이 풍부하지만 기업 내부 데이터는 알지 못하는 “비숙련 전문가”와 같습니다. RAG는 바로 이 비숙련 전문가에게 기업의 구체적인 정보를 검색하여 제공함으로써 “숙련된 전문가”로 만드는 것이죠.

다시 말해, 사용자의 질문을 정확히 분석한 뒤, 관련된 기업 내부 문서를 검색하고, 이를 종합적으로 분석·요약해 최적의 결과를 제공하는 기술이라고 할 수 있습니다. 최근에는 단순히 정보를 제공하는 것을 넘어 실질적인 업무와 연계된 액션(AI 에이전트)까지 수행할 수 있도록 발전하고 있습니다.

Q. 그렇다면 클라우드 기반의 ‘CEN AI’는 RAG 기술을 활용해 기업 내부 시스템 및 데이터와 어떻게 연동하고, 기존 챗봇과 비교해 어떤 강점을 가지나요?

윤상배 이사: CEN AI는 기업이 내부에 가지고 있는 데이터를 잘 찾아서 쓸 수 있도록 RAG 기술을 기반으로 만들었어요. 덕분에 ERP나 CRM 같은 기존 시스템들이랑도 쉽게 연결할 수 있고, 각 회사 상황에 따라 필요한 시스템을 맞춤형으로 붙이기도 굉장히 편해졌죠.

특히 자체적으로 만든 도큐먼트 파서 같은 기술을 이용해서, 단순히 키워드만 뽑는 게 아니라 문서의 맥락이나 의도까지 이해하도록 했어요. 이렇게 하면 정확도나 신뢰도가 훨씬 올라가거든요. 또 데이터를 업무나 특성에 맞춰 각각의 AI 에이전트로 만들고, 이 에이전트들을 하나의 슈퍼 에이전트가 다시 통합해서 관리하기 때문에, 여러 시스템과 데이터를 더 자연스럽고 효과적으로 연결할 수 있어요.

정승모 상무: 비즈니스 관점에서 보면 CEN AI는 일반 생성형 AI 챗봇과 차별화된 노선을 지향합니다. 단순히 정보만 주는 게 아니라, 실제 기업 고객의 업무 상황과 맥락을 이해하고, 업무를 직접 도와주는 역할까지 확장하려고 합니다. 회사 내부 시스템과 쉽게 연동해서 업무를 자동화하거나 최적화할 수 있고요. 불특정 다수의 사용자를 대상으로 한 일반 생성형 AI 챗봇과는 달리 CEN AI는 기업마다 서로 다른 요구에 맞춰 유연하게 쓸 수 있어, 기업 사용자의 실제 업무 효율을 높이는 AI 에이전트라고 할 수 있습니다.

Q. 생성형 AI 챗봇이 기업의 업무를 제대로 지원하기 위해 어떤 조건을 충족해야 할까요?

윤상배 이사: 생성형 AI 챗봇이 현장에서 제대로 쓰이려면 네 가지가 중요합니다. 첫째는 정확성과 신뢰성으로, 항상 최신 정보와 기업 내부 정책이나 법률을 정확히 반영해야 합니다. 둘째는 사실 기반의 답변인데요, 잘못된 정보가 전달되지 않도록 내부 데이터와 연동하고 출처를 명확히 밝혀야 합니다. 셋째는 일관성입니다. 같은 질문에는 일관된 정보를 제공해 사용자 신뢰를 유지해야 하죠. 마지막으로 규정과 정책 준수입니다. 챗봇이 기업의 보안 정책이나 개인정보 보호 기준을 철저히 따르도록 설계되어야 하죠.

생성형 AI 챗봇이 바꿀 비즈니스의 미래

#기업사례 #에이전트 #생산성 #미래전략

Q. 생성형 AI 챗봇을 실제로 도입했을 때 직원들의 업무 방식이나 효율성은 어떻게 달라질까요? 실제 사례가 있다면 소개해 주세요.

정승모 상무: 실제 사례에서 제약업체의 경우, 의약품 규제나 최신 정책 관련 정보를 빠르고 정확하게 얻을 수 있어서 업무 정확도가 높아졌고, 가전업체에선 제품 수리나 고객 응대 정보를 즉시 제공받아 업무 대응력이 크게 개선됐다고 합니다. 건설업계 역시 최신 건축 규제나 프로젝트 관련 정보를 챗봇을 통해 실시간으로 확인해, 업무 처리가 빨라졌다고 하고요. 전반적으로 생성형 AI 챗봇을 도입한 기업에서는 직원들의 만족도와 업무 속도가 눈에 띄게 좋아졌습니다.

Q. 앞으로 ‘CEN AI’가 발전하는 과정에서 주목할 만한 새로운 기술이나 기능은 어떤 것이 있을까요?

윤상배 이사: CEN AI는 앞으로 단순한 정보 검색과 제공 수준을 넘어서, 직접적인 업무 수행과 의사 결정까지 보조할 수 있는 AI 에이전트로 발전해 나갈 예정입니다. 특히 MCP(Model Context Protocol), A2A(Application-to-Application), ADK(Application Development Kit) 같은 아키텍처를 통해 기업이 원하는 방향으로 보다 쉽게 확장하고, 커스터마이징할 수 있도록 지원할 계획입니다.

Q. 마지막으로 장기적인 관점에서 생성형 AI 챗봇이 기업에 꼭 필요한 이유를 정리해 주신다면요?

정승모 상무: 장기적으로 보면 생성형 AI 챗봇은 기업들이 경쟁력을 지키고 높이기 위해 반드시 필요한 기술입니다. 앞으로 AI를 도입한 기업과 그렇지 않은 기업 사이의 격차는 크게 벌어질 거예요. 특히 데이터를 기반으로 더 정확한 의사결정을 하고, 업무 효율성을 높이며, 고객 경험을 개선하는 데 있어서 우리 기업에 꼭 맞는 생성형 AI를 적극적으로 고민해 보셨으면 좋겠습니다.

윤상배 이사: 생성형 AI 챗봇은 우리 기업이 가진 내부 데이터를 더 잘 활용할 수 있게 하고, 여러 시스템이나 최신 기술과도 자연스럽게 연결해 줍니다. 그래서 앞으로 AI로 생길 변화에 있어, 기업이 더 빠르고 유연하게 대응할 수 있는 환경을 만드는 데 큰 도움이 될 겁니다.

이번 인터뷰를 통해 생성형 AI 챗봇이 단순히 기술적 트렌드가 아니라, 기업의 업무 방식을 바꾸고 경쟁력을 키우는 핵심 전략이 될 수 있다는 점을 확인할 수 있었는데요. AI 기술이 빠르게 발전하고 있는 지금, 잠깐의 변화를 두려워하기보다, 한발 앞서 준비하는 기업이야말로 지속 가능한 성장을 이룰 수 있지 않을까요?

[CEN AI / 구글 클라우드 트라이얼 이용해 보기] 링크에서 우리 기업만을 위한 생성형 AI 챗봇 ‘CEN AI’와 구글 클라우드 도입 상담을 받아 보세요.

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.