사내 생성형 AI 플랫폼은 뭐가 다를까?

기업은 정보 유출 위험에 대비하여 내부 데이터 보안에 신경 쓸 수밖에 없다. 초기에는 범용 GPT 사용을 금지하고, 내부 데이터를 학습해 업무 효율성을 높일 수 있는 온프레미스(On-Premise) 형식의 사내 GPT를 제공했다. 그러나 최근 삼성전자는 ‘가우스(Gauss)’와 함께 외부 AI를 적극 도입·활용하는 방향으로 선회하며, 보다 유연한 시장 대응과 효율성 향상을 꾀하고 있다. 또한 한국어와 한국 문화 학습에 강점을 지닌 네이버의 ‘하이퍼클로버 X’와 SK텔레콤의 ‘A.X’는 기업형 서비스로 확장해 새로운 수익 창출 기회를 모색하고 있다.

필자 역시 회사에서 롯데 LLM인 ‘아이멤버Chat’을 사용 중이다. 사내 GPT는 업무 관련 문서와 데이터를 업로드해 아이디어를 얻거나 기획안을 작성할 때 주로 활용한다. 이번 글에서는 사내 GPT가 범용 GPT와 어떤 점에서 다른지, 어떻게 활용할 수 있는지에 대해 소개하고자 한다.

(*GPT는 현재 특정 아키텍처와 생성 중심의 설계를 가진 모델로 통용되고 있다. 이에 본문에서는 사내 GPT보다 범위를 넓혀, 다양한 모델을 포괄하는 의미의 ‘사내 생성형 AI 플랫폼’이란 용어를 사용했다.)

사내 생성형 AI 플랫폼은 어떻게 활용되고 있을까?

우리나라는 미국에 이어 챗GPT 유료 구독자가 두 번째로 많은 국가로, 업무 현장에서도 적극적으로 활용되고 있다. 직접 한 번만 사용해 봐도 기존 대비 효율성이 확연히 높아, 앞으로 업무에 활용되는 빈도는 더 증가할 것으로 예상된다. 따라서 사내 생성형 AI 플랫폼의 활성화를 위해서는 AI 활용 교육과, 실질적인 도움이 되는 유용한 프롬프트 공유가 필요하다. 이러한 지원이 이루어진다면 직원들의 참여도도 한층 높아질 것이다.

그러면 이제 실제 업무에서 사내 생성형 AI 플랫폼이 어떻게 활용되는지, 가장 많이 이용되는 순서대로 살펴보자.

1) 아이멤버Chat과 범용 GPT 모델을 함께 활용

나 또한 챗GPT 유료 구독자로서 업무 외 일상에서 궁금한 점이나, 아이디어를 얻을 때 GPT를 자주 사용한다. 반면, 회사에서는 사내 생성형 AI 플랫폼을 이용하는데 챗GPT, 클로드(Claude), 제미나이(Gemini) 등 다양한 LLM을 선택할 수 있어 활용 범위가 넓다.

특히 최근에는 ‘프롬프트 라이브러리’와 같이 활용 사례를 공유할 수 있는 기능이 추가됐다. 이를 통해 같은 프롬프트를 사용하는 계열사 간 담당자들이 자료와 아이디어를 손쉽게 공유할 수 있어, 업무 효율이 한층 높아질 것으로 기대된다.

2) 회의록 정리

평소 업무의 대부분이 커뮤니케이션으로 이루어지다 보니, 사내 메신저와 회의에 할애하는 시간이 많다. 이전에는 회의록 작성 시간을 절약하기 위해 네이버의 ‘클로버 노트’를 사용했는데, 이제는 사내 생성형 AI 플랫폼에서도 동일한 기능을 제공한다. AI 회의록 기능은 회의 내용을 녹음하면 초안을 즉시 생성해 준다. 예를 들어, 1시간 회의 내용을 단 1분 만에 정리하고, 핵심 키워드를 추출해 주요 안건과 다음 할 일을 자동으로 분석·요약한 뒤 메일로 발송해 준다. 한 번만 사용해도 그 편리함을 실감할 수 있다.

다만 앞으로는 회의 참석자를 구별해 주요 결정 사항을 담당자별로 배정할 수 있으면 좋겠다. 또한 지시 사항을 ‘액션 아이템(Action Item)’ 형태로 분류해 해당 담당자에게 자동 배포된다면, 업무 효율은 더욱 높아질 것이다.

3) 검색증강생성(RAG)이 반영된 보고서 작성

RAG는 관련 자료를 기반으로 보고서를 작성하는 방식이다. 그래서 할루시네이션이 단점을 보완하고, 보고서의 정확도를 높일 수 있다. 데이터를 업로드하는 방식과 프롬프트를 개선하는 방식은 ‘노트북LM’, ‘스토리텔 AI’와도 유사하다. 다만 업무용으로 차별화되는 점은 보고서 형식에 맞춰 비즈니스형, 기술형, 서술형 등을 선택할 수 있다는 것이다. 또한 보고서 표지 이미지를 자동 생성해 준다는 점에서 편리했다.

초기 화면에서는 AI가 작성한 보고서 사례를 먼저 보여주어, 작성 전 심리적 부담을 줄여준다. 실제 사용해 본 결과, 초안이 1분 만에 생성돼 이를 바탕으로 보고서 내용을 빠르게 정리할 수 있었다. 또한 보고서 내용은 자유롭게 수정할 수 있고, 관련 인포그래픽을 추가할 수도 있다.

여기에 보고서를 체계적으로 점검해 주는 ‘체크메이트(Checkmate)’ 기능까지 더해져, 평균 1일 걸리던 작업을 반나절이면 마칠 수 있었다. 앞으로는 이 기능을 가장 자주 활용하게 될 것으로 보인다.

4) 비전 스튜디오와 보이스 메이커 기능

다음으로 텍스트를 입력하면 이미지를 생성하는 ‘비전 스튜디오’와, 음성을 제작하는 ‘보이스 메이커’ 기능이 있다. 개인적으로는 음성보다는 이미지 생성 기능을 더 자주 사용하는데, 주로 보고서에 포함할 참고용 예시 이미지나 컨셉 이미지를 만드는 데 활용한다.

‘비전 스튜디오’는 사내 생성형 AI 플랫폼인 L.Vision뿐만 아니라, Leonardo와 FLUX 등 범용 모델도 선택할 수 있다. 특히 L.Vision은 다른 범용 모델과 달리 이미지의 비율과 스타일 구조를 직접 선택할 수 있어, 퀄리티와 자유도가 모두 높다. 또한 생성한 이미지를 AI로 바로 편집할 수도 있다. 아래 예시처럼, 필요한 부분을 생성·삭제·확장하는 작업이 가능하다. 개인적으로 가장 만족스러운 부분이며, 실제 활용 빈도도 높다.

‘보이스 메이커’의 경우 내 목소리를 녹음해 모델을 만들거나, 44명의 성우 목소리 중 하나로 변환해 주는 기능이다. 단독 기능만으로는 업무 효용성이 크지 않지만, 향후 보고서 표지 생성처럼 특정 업무에서 자연스럽게 활용될 수 있게 발전한다면 좋을 것 같다.

예를 들어, ‘노트북 LM’에서 제공하는 AI 오디오 오버뷰처럼, 업로드한 자료를 기반으로 AI가 팟캐스트를 생성해 준다면 다른 일을 하면서도 내용을 들을 수 있다. 물론 실제 활용 빈도가 높을지는 미지수지만, 단순히 녹음을 대체하는 수준을 넘어, ‘재미와 감성’을 더한 소통·협업 도구로 발전하기를 기대한다.

5) AI 비서, 나만의 챗봇 만들기

또 다른 기능으로, 사규나 정책 등 특정 주제에 특화된 나만의 챗봇을 만들 수도 있다. 이를 활용하면 궁금한 점이 생겼을 때 자료를 직접 검색하는 시간을 크게 줄일 수 있다. 이렇게 제작한 챗봇은 다른 사람과 공유해, 서로 알고 있는 지식을 효율적으로 나눌 수도 있다.

다만 아직은 사용자 경험(UX)이 익숙하지 않아, 활용 빈도가 낮은 점이 아쉽다. 인터페이스가 더 직관적으로 개선된다면, 업무 속도와 지식 공유의 효율이 한층 높아질 것으로 기대된다.

사내 생성형 AI 플랫폼으로 비즈니스 가치를 창출하려면?

얼마 전 ‘챗GPT 5’가 출시된 것처럼, 현실적으로 LLM(대규모 언어 모델) 분야는 거대한 자본 경쟁이다. 따라서 국내 기업이 독자적인 AI 모델만으로 시장 우위를 점하기는 쉽지 않다. 그러나 이제 AI는 기업 생존의 필수 요소가 되었기에, 직원들이 AI 활용에 적극 참여하도록 유도하는 것이 불가피하다.

또한 앞으로 사내 생성형 AI 플랫폼은 각 업무에 최적화된 ‘에이전틱 AI(Agentic AI)’로 진화할 가능성이 크다. 이는 사내 AI 플랫폼 도입 목적이 단순히 생산성과 효율성을 높이는 데 그치지 않고, 외부 확장 운영 모델과 완전히 새로운 비즈니스 모델 발굴로까지 확장되고 있기 때문이다.

1) 기업용 B2B 솔루션으로 상용화

위 그림과 같이 IBM 조사에 따르면, 향후 2년간 AI에 기대하는 주요 비즈니스 성과로는 ‘고객과 직원 경험 개선’과 ‘운영 복원력 향상’이 가장 높은 비중을 차지했다. 이에 맞춰 삼성 SDS와 LG CNS 역시 기업용 AI 서비스 확산에 집중하고 있다. 이처럼 사내 생성형 AI 플랫폼도 차별화된 기술력을 기반으로, B2B 솔루션 상용화와 구독형 서비스 개발을 단계별로 확장하는 로드맵을 마련할 필요가 있다.

2) 새로운 수익 모델 창출로 연결

가트너(Gartner)에 따르면, 2026년까지 전 세계 80% 이상의 기업이 생성형 AI API 또는 모델을 사용하거나 생성형 AI 기반 애플리케이션을 배포할 것으로 예상된다. 이에 SK텔레콤은 직무별 특화 AI 서비스를 다양하게 개발해 계열사에 보급하고 있으며, LG유플러스는 ‘LG 엑사원(Exaone)’ 기반 상담 어드바이저로 2025년 5월 기준 약 200억 원의 매출을 기록했다.

이처럼 매일 반복되는 운영·관리 업무에 자동화된 워크플로우를 구축하면, 이를 자연스럽게 수익 모델로 전환할 수 있다. 또한 미국 내 AI 도입 현황을 보면 업종별 편차는 있지만, 정보통신·IT·전문 서비스 분야에서 빠르게 확산되고 있다. 이는 앞으로 AI 도입이 본격적인 확산 단계로 진입할 가능성을 시사한다.

따라서 사내 생성형 AI 플랫폼을 통해 업무 생산성을 높이고, 절약한 시간을 새로운 업무로 전환하는 전략이 필요하다. 즉, 남은 리소스를 핵심 업무에 집중할 수 있도록 하는 선순환 시스템 구축까지 고민해야 한다.

<출처: USA Census Bureau & Goldman Sachs Research>

단순한 ‘업무 비서’를 넘어 ‘전략적 파트너’로

지금까지 회의록 요약부터 개인화된 답변 제공까지, 사내 생성형 AI 플랫폼의 활용 사례를 살펴봤다. 아쉬운 점은 아직 다양한 업무 스타일에 맞춘 워크플로우 최적화가 충분히 이루어지지 않았다는 것이다. 이 부분은 앞으로 지속적인 개선 노력이 필요하다. 그럼에도 확실히 달라진 점이 있다면, 검색증강생성(RAG) 기능 덕분에 신뢰성과 정확성이 향상되면서 활용도가 크게 높아졌다는 점이다.

앞으로는 단순한 업무 지원을 넘어, 각자의 챗봇과 프롬프트를 유기적으로 연결해 모든 직원이 자유롭게 소통하는 채널로 발전할 수 있다면, 업무 효율성은 한층 높아질 것이다. 또한 임직원 모두가 AI 사용을 습관화한다면, 축적된 업무 패턴 데이터를 분석해 비효율적인 부분을 발견하고 최적화하는 기회도 얻을 수 있다. 이렇듯 사내 생성형 AI 플랫폼은 앞으로 각 업무에 최적화된 ‘에이전틱 AI’로 진화하며, 전략적 파트너로서 자리매김할 수 있다. 결국 AI의 기술 발전만큼이나 중요한 것은, 이를 적극적으로 활용하려는 우리의 태도일 것이다.