AI 도입, 기업들은 지금 무엇을 고민하고 있을까?

10분

2025.03.19.

3.9K

‘AI 도입’이라고 하면 어떤 이미지가 떠오르나요? 몇 년 전만 해도 탄탄한 기술력과 뛰어난 개발자를 보유한 대기업만이 AI를 활용해 새로운 서비스를 출시하거나, 기존 서비스에 AI를 접목하는 장면을 볼 수 있었습니다.

하지만 불과 몇 년 사이, AI에 대한 인식이 크게 변화했습니다. AI 기술은 거의 모든 영역에 접목할 수 있을 만큼 폭넓게 발전했고, 활용 문턱도 한층 낮아졌습니다.

‘국내기업 AI 기술 활용 실태 조사’에 따르면, 기업의 78.4%가 AI 도입이 필요하다고 응답했다고 합니다. 이제 AI는 일부 대기업만이 다룰 수 있는 기술이 아니라, 새로운 비즈니스 기회를 모색하거나 업무 효율을 높이고 싶은 기업이라면 누구나 고민해야 할 필수 요소가 되었습니다.

누구나 쓸 수 있지만, 여전히 높은 심리적 장벽

‘단순 자동화를 넘어서, AI로 비즈니스 효율화하기’ 웨비나 현장 모습 <출처: 위시켓>

이러한 흐름에 따라 위시켓은 지난 2월 19일, 파트너사 랭코드와 함께 ‘단순 자동화를 넘어서, AI로 비즈니스 효율화하기’라는 주제로 웨비나를 개최했습니다. 500명이 넘는 참가자가 신청하며, AI에 대한 기업들의 높은 관심을 다시 한번 확인할 수 있었습니다.

그와 함께 위시켓이 확인한 것이 또 하나 있습니다. 바로 AI 도입에 대한 ‘기업의 심리적 장벽’이었습니다. 어떤 기업이든 AI를 활용할 수 있는 시대가 온 건 알겠는데, 막상 시작하려니 고민이 많아지는 것이죠.

‘AI 도입, 어디서부터 시작해야 할까?’

‘우리 비즈니스에 맞는 AI 기술은 무엇일까?’

‘도입 후 성과를 제대로 낼 수 있을까?’

웨비나 현장에서 나온 질문들을 추리다 보니, 지금 이 순간에도 많은 기업이 비슷한 고민을 하고 있겠다는 생각이 들었습니다. 그래서 수많은 질문 중, 특히 중요하며 많은 기업이 공감할 만한 질문과 답변을 정리해 보았습니다.

만약 AI 도입을 고민하고 있다면, 우리 회사의 상황과 비교해 보고 실질적인 인사이트를 얻어가길 바랍니다. 혹시 비슷한 고민을 하고 있었다면 해결의 실마리를 찾을지도 모르니까요.

AI 도입, 기업들은 지금 무엇을 고민하고 있을까?

*질문에 대한 답변은 위시켓 내부 AI 전문 매니저의 의견을 추가해 보완했습니다.

Q. AI 도입, 어디서부터 시작해야 할지 모르겠어요.

A.기업의 현재 상황에 따라 접근 방식이 달라집니다. 그러니 먼저, AI를 도입하고 싶은 이유와 현재 조직의 준비 상태를 점검하는 것이 중요합니다. 아래에서 대표적인 두 가지 상황별 AI 도입의 첫 단계를 정리해 보겠습니다.

1. AI를 도입하고 싶지만, 어디에 적용할지 모르는 경우

AI를 도입하면 좋겠다는 생각은 있지만, 어디에 적용해야 할지 확신이 없는 경우라면 AI를 도입했을 때 비즈니스 효과가 클 만한 영역을 탐색하는 것이 우선입니다.

먼저 전문 컨설턴트 등과 함께 현재 조직에서 해결해야 할 주요 문제나 비효율적인 프로세스를 정리해 보세요. 그다음, AI를 도입했을 때 비즈니스적으로 효과가 클 만한 영역을 선택합니다. 수작업으로 처리하는 데이터 입력 작업, 고객 응대, 내부 보고서 작성, 제품 추천 시스템 등이 AI 도입을 고려할 대표적인 분야입니다.

반복적이며 시간이 많이 소요되는 작업이 있는가? → AI 기반 자동화
대량의 데이터를 분석하여 의사결정을 개선할 필요가 있는가? → AI 기반 분석
고객 경험을 개인화하거나 대응 속도를 높이고 싶은가? → AI 챗봇 또는 추천 시스템

경쟁사의 AI 도입 사례를 분석하는 것도 좋은 방법입니다. 같은 업종에서 AI를 어떻게 활용하고 있는지 참고하면, 보다 현실적인 아이디어를 얻을 수 있습니다.

2. AI 적용 업무를 정했지만, 어떻게 도입해야 할지 방법을 모르는 경우

AI로 해결하고 싶은 문제가 이미 명확한 상황도 있습니다. CS 파트에서 1차 고객 상담을 모두 AI가 처리하게 해 상담 시간을 줄이고 싶다든가, 정해진 양식에 맞춰 보고서를 자동으로 작성해 업무 시간을 줄이고 싶다는 것들이죠.

이런 경우 해당 문제를 해결할 수 있는 AI 기술을 탐색해야 합니다. AI 기술 종류는 무척 다양하기 때문에, 내 상황에 딱 맞는 기술이 무엇인지 명확하게 가리는 것이 중요합니다.

더불어 솔루션을 도입할지, 맞춤형으로 개발을 할지 고민도 필요합니다. 만약 회사에 AI 개발 경험이 있는 엔지니어가 있다면 자체 개발을 고려할 수도 있지만, 대부분의 기업은 AI를 처음 도입할 때 외부 솔루션을 활용하는 편이 더 현실적일 것입니다. AI 기술과 도입 방식이 정해져야 본격적으로 다음 과정을 진행할 수 있습니다.

Q. AI 도입을 고민 중이지만, 모아놓은 데이터도 없고, 어떤 데이터를 쌓아야 할지도 모르겠습니다.

A.이런 고민도 AI로 해결하고 싶은 문제를 명확히 정의하고, 어떤 AI 기술을 활용할지 결정한 다음, 해야 할 기술적 고민입니다. 어떤 AI 기술을 어떻게 활용하는지에 따라 모아야 하는 데이터의 형태나 양이 다르기 때문입니다.

예를 들어 많은 회사가 보편적으로 사용하는 기능은, 이미 잘 만들어진 AI 모델로 추가 학습 없이 구현할 수도 있습니다. 이미지 속 글자를 읽고 텍스트로 바꿔주는 OCR(광학 문자 인식) 기술 등이 이런 경우죠.

네이버 클라우드 플랫폼의 ‘클로바 OCR’ 설명 <출처: 네이버클라우드>

한편 비슷해 보여도 이미지에서 추출한 텍스트의 의미를 ‘우리만의 방식으로 해석해야 할 때’는 추가 학습이 필요할 수 있습니다. 예를 들어 5세 이하 어린이의 손 글씨 이미지에서 텍스트를 읽어내려면, 아이들의 손 글씨 이미지 데이터를 추가로 학습시켜야 정확도가 올라갑니다.

이처럼 AI 기술의 종류와 활용 방식에 따라 필요한 데이터의 형태와 양이 달라집니다. 따라서 도입할 AI 기술과 도입 방식을 확정하고, 이에 맞춰 전문가 도움을 받아 데이터 수집 전략을 수립하는 것을 추천합니다.

Q. AI를 학습시킬 데이터가 충분하지 않아요. 어떻게 접근하는 것이 좋을까요?

A. 우선 현재 어떤 데이터를 얼마나 확보하고 있는지 점검하고, 기존에 보유한 데이터가 AI 모델을 학습하기에 충분한지 검토해 보는 것이 필요합니다.

어떤 AI 모델은 우리가 별도 데이터를 제공하지 않아도, 이미 목표로 하는 퍼포먼스를 낼 수 있을 만큼 성능이 좋기도 합니다. 때문에 공개된 사전 학습 모델을 잘 활용하면, 적은 데이터로도 효과적인 결과를 얻을 수 있기도 합니다. 만약 원하는 퍼포먼스를 내기에 데이터가 실제로 부족하다는 결론이 나온다면, 목표를 달성하기 위해 어떤 데이터가 얼마나 필요할지 전문가와 상담하며 미리 준비해 두어야 합니다.

혹은 목표를 달성하기에 지금 당장 부족하더라도, 작은 규모로 AI 도입을 시작하며 점진적으로 데이터를 쌓아가는 전략도 효과적입니다.

예를 들어, ‘모든 CS를 다 AI로 처리하겠다’라는 목표를 달성해야 한다면 모든 응대 방식을 데이터로 만들어야 할지도 모릅니다. 반면 ‘자주 묻는 질문에 대해서만 AI가 응대하고, 그 영역을 벗어나는 질문은 상담사가 직접 처리하겠다’를 목표로 개발하면, 더 빠르게 작은 영역부터 AI를 도입해 볼 수 있습니다.

이렇게 하면 초기 데이터 부족 문제를 해결하면서도, AI 도입 효과를 빠르게 검증할 수 있습니다. 작게 시작해 목표를 달성하기 위해 필요한 데이터를 정리하고 축적하는 체계를 구축하면 점진적으로 데이터 자산을 확보하며 AI를 개선해 나갈 수 있습니다.

Q. AI 도입으로 현실적인 성과를 내기 위해서는 무엇이 필요할까요?

A. 당연한 얘기 같아 보이지만, 효과가 확실해 보이는 영역에 AI를 도입하는 것이 중요합니다.

한 프로젝트의 성과를 측정할 때 어떻게 할까요? 보통 해결해야 하는 문제를 정의하고, 정확한 성과 측정 기준에 따라, 그 문제를 해결하기 전과 후의 상태를 비교하죠. AI 도입도 마찬가지입니다.

AI로 해결하려는 문제가 명확해야 하며 현재 그 문제를 내부적으로 어떤 기준(정량적 또는 정성적)으로 측정하고 있는지 정의해야 합니다. 그다음 AI가 실제로 그 문제를 해결하고 성과 기준에 따라 유의미한 변화를 만들 수 있다고 판단되면 도입하는 것이 바람직합니다.

물론 성과 측정이 애매한 경우도 있습니다. 예를 들어, 계약서를 자동으로 작성하는 AI를 도입한다고 가정해 보겠습니다. 목표는 인간이 작성하는 것보다 더 ‘정확한’ 계약서를 만드는 것입니다. 그런데 이 ‘정확도’는 어떻게 측정할까요?

기업마다, 비즈니스마다 모델의 정확도를 판단하는 잣대는 다릅니다. 따라서 AI 도입 전에는 내부적으로 정확도를 평가할 기준을 먼저 세워야 합니다. 그래야 AI 적용의 성과를 효과적으로 측정할 수 있습니다.

그러려면 AI 도입은 단순한 기술 도입이 아니라, 비즈니스 목표와 이어진 변화의 하나라는 점을 꼭 이해해야 합니다.

Q. AI 전문가가 없는 조직에서는 AI를 어떻게 도입해야 할까요? 솔루션 도입부터 시작해도 될까요?

A. 내부에 AI 전문가가 없다면 솔루션 도입부터 시작하는 것도 좋은 방법입니다. 대신 어떤 솔루션이 내 문제를 해결해 줄지 판단할 수 있어야 하겠죠.

기업을 타깃으로 하는 AI 시장이 커지면서, 솔루션도 무척 세분화 되었습니다. 전문 분야가 다 다르고 각각의 장단점이 있죠. 같은 AI 챗봇 솔루션이라도 어떤 솔루션은 빠르고 정확한 대신 가격이 비싸고, 어떤 솔루션은 가격이 저렴한 대신 내부 시스템과 호환성이 떨어질 수도 있습니다.

개중에 가장 유명하고 많이 쓰이는 솔루션을 도입하면 실패 확률을 줄일 수 있겠지만, 그마저도 확신하기 어렵습니다. 그래서 내 문제와 상황에 적용했을 때 어떤 솔루션이 가장 적합할지 비교해 보는 과정이 필수입니다. 혹은 비슷한 산업, 상황에서 어떤 AI 솔루션을 도입했는지 참고할 수도 있겠죠.

하지만 이는 마찬가지로 비전문가에게는 어려운 작업일 수 있습니다. 그래서 가능하면 솔루션 비교 과정부터 전문가와 함께하길 추천합니다. 만약 전문가의 도움을 받기 어려운 상황이라면, 충분한 시간 여유를 갖고 스스로 솔루션을 비교·테스트하며 도입해 볼 수도 있습니다. 하지만 이때는 기대했던 성과보다 실제 효과가 미미할 가능성이 있습니다.

“AI 도입해 봤는데 효과 없더라”라고 단념하기보다는, 더 적합한 솔루션이 있는지 전문가와 다시 상담해 보는 것이 중요합니다. AI 도입은 한 번의 시도로 끝나는 것이 아닌, 비즈니스에 최적화된 방향을 끊임없이 찾아가는 과정임을 기억해 주세요.

Q. AI 데이터 보안이 걱정입니다. 사내 정보가 유출되거나 하지는 않나요?

A. AI 도입을 고려하는 기업들은 대부분 데이터 보안을 걱정합니다. 특히, 사내 정보가 AI 솔루션을 타고 외부로 유출되지 않을까 걱정하죠. 하지만, AI를 도입하는 방식에 따라 데이터를 안전하게 보호할 방법이 있습니다.

우선 많이 사용하는 AI 모델인 GPT, 클로드(Claude) 등을 API 방식으로 사용할 경우, AI를 사용할 때 제공한 데이터를 학습에 재사용하지 않도록 설정할 수 있습니다.

문자 메시지를 전송할 때 쓰는 SMS API를 떠올려보면 이해하기 쉽습니다. 우리가 문자 발송 서비스를 이용해 고객에게 메시지를 보내더라도 문자 서비스 제공 업체는 그 내용을 따로 저장하거나 활용하지 않죠. 암호화 알고리즘이나 접근 권한 제어 등 기술과 시스템이 이를 지원합니다. AI 모델의 API도 같은 원리입니다. 기업용 모델 API를 사용할 경우, AI가 데이터를 저장하거나 학습하지 않는 경우가 많습니다.

또한 RAG(검색 증강 생성, Retrieval-Augmented Generation) 방식을 쓰면, AI가 우리 정보를 직접 저장하는 것이 아니라 필요할 때만 검색해 활용하는 방식으로 운영할 수 있습니다.

쉽게 말해 우리 회사가 직접 관리해 보안을 확보한 공간(클라우드나 서버)에 데이터를 보관하고, 외부의 AI 모델은 그 안에서 필요한 정보를 받아 답변을 생성하는 구조입니다. 이렇게 하면 AI 업체가 우리 정보를 가져가거나 저장하지 않기 때문에, 사내 정보가 외부로 유출될 가능성이 거의 없습니다.

그럼에도 AI 보안을 더욱 철저히 하려면 몇 가지 핵심 사항을 점검하는 것이 중요합니다.

AI 사용자 보안 관리: 내부 직원이나 외부 사용자가 AI를 악용하지 않도록 보안 설정을 강화하고, 사용자 시나리오를 명확하게 점검할 필요가 있습니다.
AI 제공업체의 데이터 정책 확인: AI가 우리 데이터를 학습하지 않는다는 점이 서비스 정책, 개인정보 처리 방침 등에 명확하게 명시되어 있는지, AI 제공 업체가 신뢰할 수 있는 업체인지 확인해야 합니다.
AI 운영 환경 보안 점검: AI를 온프레미스(사내 서버)에서 운영할지, 클라우드에서 운영할지 결정한 다음, 각각의 보안 규정을 세우고 따르는 것이 중요합니다.

AI 보안은 단순히 ‘설정만 하면 끝’이 아닙니다. 기업 환경에 맞는 운영 방식과 정책을 설정하고 지키는 것이 중요하죠. 시장에는 다양한 AI 모델과 운영 방식이 존재하기 때문에, AI 보안 및 도입 경험이 풍부한 컨설팅 업체와 함께하는 것이 보다 안전한 방법이 될 수 있습니다.

마치며

지금까지 위시켓의 AI 웨비나에 참석한 기업 담당자들이 현장에서 남긴 고민과 그에 대한 답을 소개했습니다. 정리하면 이렇습니다.

AI 도입은 단순히 기술을 적용하는 것이 아니라, 비즈니스 목표 수립부터 시작해 단계적으로 접근하는 것이 중요합니다.
AI 전문가가 없는 조직에서도 기술을 충분히 도입할 수 있으며, 외부 전문가와 협업하면 보다 효과적으로 활용할 수 있다.
AI를 도입하는 방식에 따라 보안 체계를 세우면 데이터를 안전하게 보호할 수 있다.