‘AI 쓰지 말라’ 는 회사에서 AI 능력 키우는 법

여러분은 AI를 업무에 ‘정말로’ 활용하고 있나요?

지금으로부터 약 3년 전, 챗GPT로 상상 속에서만 존재했던 AI 기술을 처음 접하고는 설렘 반 기대 반으로 프롬프트를 작성하던 때가 기억납니다. 새로운 기술을 제대로 배우기 위해 프롬프트 활용법을 연구하는 스터디 그룹을 만들고, 회사 내부 포럼에서 사용법에 대한 발표까지 했었죠.

당시 저는 동료와 함께 영어로 진행하는 회의 스크립트를 한국어로 자동 번역하고, 이를 활용해 회의록을 정리하는 서비스를 직접 제작해 보기도 했습니다. 그 경험으로 AI 도구가 가진 확장성과 무한한 가능성에 큰 기대를 가졌습니다. 머지않아 제가 하는 대부분의 업무를 AI가 대체할 수 있겠다 생각했고, 매일 반복하던 업무를 AI로 자동화할 날을 상상하기도 했습니다.

AI 기술에 대한 관심이 뜨겁게 달아오르던 그때, 회사 보안팀에서 챗GPT를 포함한 대부분의 AI 서비스 접근을 회사 장비와 네트워크에서 차단해 버렸습니다. 이로 인해 저는 한동안 업무에 더는 AI 기술을 사용할 수 없게 되었습니다.

AI 서비스로 회사 정보가 무분별하게 유출될 수 있다는 보안팀의 우려는 충분히 이해할 수 있었지만, 한편으로는 최신 AI 기술을 업무에 활용하지 못해 뒤처질까 걱정도 앞섰습니다.

시간이 흘러 회사에서는 최근 자체적으로 개발한 AI 어시스턴트와 일부 기능이 제한된 코파일럿(Copilot)을 공식 AI 도구로 제공하기 시작했습니다. 덕분에 저는 다시 업무에 AI 도구를 활용하고 있습니다.

하지만 동료들과 이야기를 나눠보니 기대보다 AI를 업무에 잘 활용하지 못하겠다는 말을 들었습니다. 특히 AI를 실제 업무에 어떻게 적용할 수 있을지 구체적인 아이디어가 없다는 의견이 많았습니다. 일부는 AI로 업무를 수행한다는 사실을 주위에 드러내고 싶지 않다고 말하기도 했습니다.

2025년 4월 현재, AI 도구와 제 업무를 다시 생각해 봅니다. 저는 이메일을 정리하거나 회의록을 작성하는 데 AI 도구를 적극적으로 활용하지만, 여전히 최종 검토는 필수입니다. 또 보고서에 필요한 자료와 이미지를 AI로 생성해 보고 있지만, 결과물은 어딘지 모르게 기대했던 수준에는 미치지 못합니다. 분명 AI 도구를 열심히 활용하고 있는데 기대한 만큼 제 업무가 극적으로 달라지지는 않은 것 같습니다.

이제 여러분에게 질문하고 싶습니다. 회사에서, 그리고 개인의 업무에 AI를 얼마나 활용하고 계신가요?

국내 회사의 AI 활용률은 겨우 5%?

챗GPT의 등장 이후 약 3년 동안 AI 산업에는 정말 많은 변화와 발전이 있었습니다. 챗GPT 외에도 다양한 AI 도구가 등장해 특화 서비스를 제공하고 있으며, 최근에는 MCP(Model Context Protocol)라는 표준 기술로 AI와 외부 시스템 간의 편리한 연결도 가능해졌습니다. 그런 만큼 AI 도구의 확장성과 전문성은 앞으로 더욱 고도화될 것으로 보입니다.

하지만 이러한 흐름과는 달리, 국내 기업의 AI 활용률은 겨우 5% 수준이며 실제 업무에서의 활용률은 30%에도미치지 못한다고 합니다. 물론 회사와 산업에 따라 AI 활용 정도는 차이가 있겠지만, 국내 기업들의 AI 전환 속도가 예상보다 빠르지 않다는 점을 알 수 있습니다. 기업의 AI 활용률에 차이가 나는 이유는 다양하겠지만, 일반적으로 아래 3가지 요인들이 AI 전환의 걸림돌로 작용하고 있습니다.

첫째, 회사의 AI 보안 및 도입 정책

AI를 도입할 때 회사의 보안 문제는 큰 장애물 중 하나입니다. 예를 들어, 업무에 활용하기 위해 AI 도구에 회사의 주요 정보를 입력하며 꾸준히 노출된다면, 회사 입장에서는 주요 데이터에 대한 보안 취약점이 발생할 수 있습니다. 또한 여러 AI 도구 중 어떤 것을 도입할지 회사 차원에서 검토가 필요하고, 이에 따른 비용 투자도 요구됩니다.

둘째, 직원들의 AI 활용 능력

회사에서 AI 도구를 도입했더라도 직원들의 AI 활용 능력 차이가 존재할 수 있습니다. 직원들이 AI 도구를 업무에 제대로 활용하지 못한다면, 회사 차원에서는 직원들의 AI 활용 능력을 높이기 위한 가이드라인이나 교육 기회를 마련해야 합니다. 이처럼 도입에도 다양한 검토와 실행을 위한 노력이 필요합니다.

셋째, AI를 대하는 회사의 문화

AI 활용을 저해하는 회사의 문화적 요인도 존재합니다. 회사 문화에 따라 일부 직원들은 본인의 업무에 생성형 AI를 사용하는 것이 마치 부정행위처럼 느껴지거나, 업무 능력이 부족한 사람으로 보일 것을 우려하기도 합니다. 이로 인해 직원들은 AI를 업무에 활용한다는 사실을 관리자나 주변에 밝히는 것을 꺼릴 수 있으며, 오히려 직원들의 AI 활용에 대한 동기 부여를 떨어뜨릴 수 있습니다.

회사보다 직원이 먼저 활용하는 AI

그렇다면 업무를 벗어난 개인의 AI 활용률은 어떨까요? 최근 통계에 따르면, 지난 1년 동안 전 국민 3명 중 1명이 생성형 AI를 사용해 본 경험이 있다고 합니다. 이는 전년 대비 약 2배 증가한 수치이며, 앞으로 더욱 빠르게 증가할 것으로 예상됩니다.

저 역시 목적에 따라 다양한 AI 도구를 적극적으로 사용하고 있습니다. 하루에도 몇 번씩 AI에게 질문을 던지거나 이미지를 생성하며, 이제는 일상생활에서 AI 도구 없는 삶은 생각할 수 없습니다. 다만, 제가 AI를 활용하는 영역은 업무보다는 개인적인 용도가 더 많은 편입니다.

이처럼 직원 개인들은 회사보다 먼저 AI를 활용할 준비를 하고 있지만, 회사 차원의 AI 도입은 여전히 신중하게 진행되고 있는 것 같습니다. 특히 회사 입장에서는 직원들의 자율적인 AI 사용이 업무 생산성을 높일 수 있다 해도 저작권 문제나 보안 사고에 대한 걱정을 지우기 어렵습니다. 그렇기 때문에 회사 차원의 AI 가이드라인이나 충분한 교육, 문화적인 준비가 이루어질 때까지는 개인 업무에서의 AI 활용을 적극적으로 권장하지 않는 경향이 있습니다.

그렇다면, AI 활용 능력을 어떻게 취급해야 할까요?

이처럼 회사와 개인 간의 AI 활용에는 아직 간극이 있는 것으로 보이지만, AI 전환이 빠르게 이뤄지고 있다는 사실은 모두가 인지하고 있습니다. 개인뿐만 아니라 많은 회사들 역시 AI가 앞으로의 업무 방식을 바꿀 ‘게임 체인저(Game changer)’라는 점을 인식하고 있기에, AI 활용 능력을 향상해야 한다는 의견에는 대부분 동의할 것입니다.

이러한 흐름 속에서 최근 쇼피파이(Shopify)의 대표 토비아스 뤼트케(Tobias Lütke)가 내부적으로 선언한 AI 지침은 눈여겨볼 필요가 있습니다.

쇼피파이(Shopofy) 대표가 던진 AI 활용 문화의 새로운 패러다임

토비아스는 최근 내부 직원들에게 ‘AI 선언문’을 공유했습니다. 이 선언문은 주로 조직 내 AI 활용 문화의 변화를 이끌기 위한 메시지를 담고 있습니다. 핵심은 업무에서의 AI 도구 사용을 적극 권장하며 “AI 활용은 더 이상 실험이 아니라 기본 기대사항”이라는 것입니다.

1. AI 활용은 필수다. 업무에 AI를 활용하지 않는 상태는 낙오로 간주한다.
2. 모든 프로토타입은 AI로 시작한다. 기획, 아이디어 발굴, 초기 설계는 AI와 함께 진행한다.
3. 성과 평가에 AI 활용을 포함한다. 사용 여부가 아닌, 활용 수준과 그 결과가 평가 대상이다.
4. 인력 요청 전에 AI 대안을 검토한다. 추가 인력이 필요한 이유를 설명하려면, 먼저 AI로 안 되는 이유를 제시해야 한다.
5. 학습은 개인, 공유는 조직이다. 성공과 실패, 프롬프트와 결과를 공유하는 문화를 정착해야 한다.
6. 적용은 전원 대상이다. CEO를 포함하며, 리더가 가장 먼저 써야 한다.

토비아스 CEO는 AI 사용이 단순 권장사항을 넘어, 팀과 개인의 역량을 강화할 필수 도구가 되어야 한다고 설명합니다. 구체적으로 프로토타입 제작, AI 사용 여부를 성과 평가 및 동료 리뷰에 반영, 모든 구성원의 AI 활용 사례와 학습 공유 시스템 등 구체적인 가이드라인도 함께 제시합니다.

즉, 그는 AI를 ‘스킬’이 아닌 ‘문화’로 받아들이고 있습니다. 조직 전체가 함께 실험하고 학습하며, 빠르게 변화하는 AI 환경에서 경쟁력을 유지하겠다는 전략입니다. 이러한 그의 방향성은 앞으로 많은 회사들이 참고할 만한 좋은 본보기가 될 것입니다.

개인의 노력과 회사의 노력, 그 중간 어디쯤

쇼피파이 CEO의 메시지는 AI 시대에 회사와 직원들이 생각해 볼 가이드를 제시하고 있습니다. 결국 AI 활용에 대한 긍정 문화는 개인 혼자만의 노력으로는 만들 수 없기에, 회사와 개인이 함께 노력하고 실행하며 실험하는 과정이 필요하다는 것입니다.

만약 쇼피파이처럼 탑다운 방식으로 적극적인 AI 활용에 대한 가이드라인과 문화 조성을 지원해 주지 않는다면 어떻게 해야 할까요?

마음 맞는 직원끼리 소규모 그룹을 구성해 AI 활용 방법과 문화를 스스로 확산해 보는 시도를 권장합니다. 회사 차원의 공식 AI 도구가 제공되고 있음에도 여전히 많은 직원이 AI 활용 능력 부족이나 어떻게 적용해야 할지 몰라 기대보다 사용률이 낮은 경우가 있습니다. 즉, 도구가 주어졌다 하더라도 이를 효율적으로 활용할 수 있는 능력은 아직 학습하거나 경험하지 못한 직원이 많다는 것입니다.

그럴수록 AI 활용 능력을 기르고 이를 서로 공유하려는 노력이 필요합니다. 유사한 업무를 수행하는 같은 팀 내에서 각자가 활용 중인 AI 도구와 프롬프트를 서로 공유하는 문화를 만들면, 업무 생산성을 높이는 데 도움이 될 것입니다.

지원이 없다면, 일단 BYOAI(Bring Your Own AI)

‘BYOAI(Bring Your Own AI)’라는 단어처럼, AI 활용 능력의 성장을 위해 개인적으로도 익숙한 AI 도구를 회사 업무에도 자연스럽게 활용할 수 있어야 합니다.

만약 회사 차원의 공식 지원이 없다면, 주로 사용하는 AI 서비스를 업무에 활용해 반복 업무를 줄이고 생산성을 높여볼 것을 권장합니다. 물론 이는 회사의 가이드라인을 지키는 선에서 이루어져야 하겠죠. 이러한 적극적인 AI 활용은 개인의 AI 활용 능력을 높이고, 더 창의적인 업무에 집중할 수 있도록 도와줍니다.

저 또한 회사에서 공식 지원하지 않는 다양한 AI 도구를 업무 목적에 맞춰 활용하고 있습니다. 우선 개발자와의 효과적인 소통을 위해서는 챗GPT를 사용합니다. 개발자들이 설명한 기술적 내용 중 복잡하거나 이해하기 어려운 부분을 프롬프트로 정리하고, 이를 다이어그램으로 생성해 시각적으로 소통합니다. 또한, 개발에 필요한 요구사항을 우선 글로 작성한 다음, 간단한 UI 이미지를 만들어 함께 전달하기도 합니다. 팀 내 최신 기술 동향에 대한 요약이나 관련 자료를 공유할 때는 퍼플렉시티(Perplexity)를 활용합니다.

또, 영어회화를 공부할 때는 그록(Grok)을 씁니다. 참고로 그록은 다른 AI 도구들과 달리, 대화 내용을 실시간으로 스크립트 형태로 보여주는 기능이 있어 언어 학습 용도로는 가장 효과적인 도구라고 생각합니다.

마치며

이처럼 업무에서 AI를 활용하는 능력은 더 이상 선택이 아닌 필수가 되었습니다. AI 활용 능력은 앞으로 나의 역량을 더욱 강화할 하나의 중요한 스킬셋이 될 것입니다. AI 전환은 이미 역행할 수 없는 새로운 흐름이기에 회사 역시 직원들이 AI를 효과적으로 활용할 수 있도록 준비해야 합니다.

이미 많은 사람이 AI 기술의 가능성과 확장성을 경험하며 업무에 적용하고 있습니다. 여러분 역시 회사 내에서 가장 효율적인 AI 활용 방안을 모색하며, 그와 함께 나의 개인 역량을 키우려는 노력을 시작하는 것은 어떨까요?

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.