숨겨진 AI 비서 글래스(Glass), 진짜 비서가 될 수 있을까?

최근 실리콘밸리의 AI 스타트업 피클(Pickle)이 ‘글래스(Glass)’라는 AI 비서 애플리케이션을 오픈소스로 공개했습니다. 글래스는 사용자의 PC 화면과 오디오를 인식하여, AI를 기반으로 의사 결정을 할 수 있게 도와주는 도구입니다. 피클의 창업자 Daniel Park은 X를 통해 “클루리(Cluely)의 서비스와 동일한 기능을 하는 앱을 단 4일 만에 무료로 만들었다”라는 점을 강조하며 글래스를 소개했습니다.

여기서 말하는 클루리는 몇 달 전 아마존과 메타의 코딩 테스트를 통과한 ‘치팅 AI’로 화제가 됐던 곳입니다. 이번 글에서는 ‘디지털 마인드 익스텐션(Digital Mind Extension)’을 내세운 글래스가 어떤 기능을 제공하는지 살펴보고, 이어서 피클과 클루리를 둘러싼 이슈도 함께 다뤄보겠습니다.

*참고로 이번 글에서 소개하는 피클과 클루리는 비슷한 서비스 구조와 한국인 창업자, 대형 투자자(a16z, YC), 그리고 각종 논란 등 공통점이 많아 혼동할 수 있지만, 서로 다른 기업입니다.

글래스 사용기

먼저 글래스는 깃허브에 오픈소스로 공개되어 있어, 누구나 설치와 실행, 그리고 프로젝트에 기여할 수 있습니다.

글래스를 사용하는 방법은 다음과 같습니다. 하나는 깃허브(GitHub) 리포지토리를 클론해 로컬 PC에 직접 설치하고 실행하는 방식이고, 다른 하나는 별도의 설치 과정을 거치지 않고 설치 파일을 다운로드해 애플리케이션을 실행하는 방식입니다. 두 방법 모두 기능상 차이는 없으며, dmg 설치 파일에서도 업데이트를 지원하기 때문에 일반 사용자라면 설치 파일을 받아 실행하는 것이 더 편리합니다. (이 글을 작성하는 시점 기준으로는 아직 맥OS에서만 사용할 수 있었습니다.)

앞서 소개했듯, 글래스는 사용자의 PC 화면과 오디오를 인식하여, AI 기반 의사 결정을 내릴 수 있게 도와주는데요. AI를 사용하는 만큼 애플리케이션을 실행하고 나면, AI 모델을 사용하기 위해 AI API 키를 등록해야 합니다. 개발 초기에는 글래스에서 OpenAI(ChatGPT)의 API 키만 지원했지만, 최근 업데이트를 통해 구글의 제미나이와 앤트로픽의 클로드도 지원하여, 사용하는 목적에 따라 API 키를 사용해 보는 것도 좋습니다. 추가로 피클에 계정을 생성하면, 자체적으로 무료 API 키를 제공하므로, 이를 사용해도 됩니다.

이제 글래스를 실행하면, PC의 화면 중앙에 타원형 UI가 나타납니다.

Listen

먼저 왼쪽의 Listen 버튼은 클릭으로 활성화하여 PC에서 나오는 오디오를 AI가 인식하고, 이를 AI의 STT(Speech to Text) 모델을 사용해 텍스트 스크립트로 만드는 역할을 합니다. 만들어둔 스크립트는 AI가 스크립트 내용을 요약하거나, 이를 바탕으로 사용자의 이후 액션 등을 제시하는 데 쓰입니다.

이 오디오 기반 활동을 테스트하기 위해 유튜브에서 글래스의 가이드 비디오를 재생하고, Listen 버튼을 사용해 봤습니다. 그러자, 글래스는 유튜브에서 재생되는 음성을 인식하고 스크립트와 스크립트의 내용을 기반으로 한 ‘인사이트’를 생성합니다. 글래스의 동작 과정에서 스크립트는 거의 실시간으로 생성되지만, 인사이트는 충분한 양의 스크립트가 생성될 때까지 나타나지 않습니다. (참고로 글래스가 사용하는 가이드 비디오는 피클이 아닌 클루리에서 만든 자료입니다.)

아래 이미지는 ‘인사이트’ 화면에서 제공되는 내용을 따로 분리한 모습인데요. 여기에는 지금까지의 스크립트 요약, 주요 주제, 사용자가 취할 수 있는 액션이 포함되어 있습니다. 추가로 앞서 소개한 액션(Actions) 중 하나를 클릭했을 때 나타나는 화면 예시도 함께 볼 수 있습니다.

Ask

두 번째 기능인 Ask는 현재 사용자의 PC에서 보이는 화면과 오디오를 인식하고, 이에 대해 사용자가 ‘자연어 프롬프트’로 질문을 했을 때 답변합니다.

글래스는 사실 클루리의 ‘인터뷰 코더’라는 프로그램에서 기원한 것인데요. 이를 테스트하기 위해 ‘백준’이라는 코딩 테스트 연습 플랫폼에서 글래스의 Ask 기능을 사용해 봤습니다.

글래스는 PC 화면을 이미지로 인식하여 작동하는 만큼, 사용자의 화면 및 모니터의 크기에 큰 영향을 받습니다. 만약 화면이 작아 모든 내용이 화면에 포함되지 않는다면, AI에게 컨텍스트가 제대로 전달되지 않을 수 있습니다. 이러한 상황에서는 글래스가 의도대로 제대로 작동할 수 없기 때문에, 보여지는 화면의 크기를 축소해서 모든 내용을 포함하게 조절하여, Ask 기능을 사용했습니다. 그 결과 많은 코딩 테스트 문제를 테스트하지 않았지만, 큰 문제 없이 문제의 솔루션을 설명하면서 잘 작동하는 것을 확인할 수 있었습니다.

설정

UI 오른쪽 끝의 점 세 개 아이콘은 설정 버튼입니다. 여기에서 AI 모델 사용을 위한 API 키를 등록하거나, 글래스의 단축키를 설정할 수 있습니다. 또한 글래스를 화면에 기록할지 여부를 선택할 수 있고, 이전 사용 기록을 확인하는 사용자 대시보드 페이지로도 이동할 수 있습니다.

만약 [Enable Invisibility] 버튼을 사용해 글래스의 화면 기록을 비활성화하면, 다른 사람과의 미팅 화면이나 PC 스크린샷을 기록할 때 글래스가 실행 중이더라도, UI가 전혀 노출되지 않는 것을 확인할 수 있습니다.

또한 로컬 PC에서 실행할 수 있는 대시보드에서는 글래스를 사용했던 기록(Activity)을 확인하는 등 부가 기능도 제공합니다.

Show/Hide

마지막으로 Show/Hide 기능은 단축키를 통해 글래스 애플리케이션을 PC 화면에서 숨기거나, 다시 표시할 수 있습니다. 이처럼 글래스는 사용자의 화면과 오디오 등 모든 ‘순간’을 실시간으로 인식해 맥락을 파악하고, 회의 요약, 액션 아이템 추출, Q&A 제공 등으로 업무 생산성을 높여줍니다. 이를 통해 글래스는 ‘디지털 마인드 익스텐션(Digital Mind Extension)’, 나아가 ‘투명한 AI 비서’로서의 모습을 잘 보여주고 있습니다.

글래스는 왜 논란이 됐을까? (feat. 클루리, 치팅대디)

글래스는 클루리의 이전 프로젝트였던 ‘인터뷰 코더(치팅 AI)’처럼 여러 논란 속에서 등장했습니다. 애플리케이션으로서 글래스는 아직 초기 단계의 한계를 드러내고 있으며, 특히 비교 대상인 클루리와 견줬을 때 아쉬운 점들도 눈에 띕니다.

예를 들어, 깃허브에서 소개했던 리퀴드 글래스 디자인은 아직 구현되지 않았고, 스크립트 기반 검색이 제대로 작동하지 않거나, 언어 인식에서 오류가 발생하기도 합니다. 이외에도 개발과 UX 측면에서 크고 작은 문제들이 발생해, 실제로 활용되기까지는 많은 개선이 필요해 보입니다.

특히 언어 인식 문제는 엄밀히 글래스 자체의 한계라기보다는, 글래스가 API 키를 통해 사용하는 AI 모델의 성능에 기인한다고도 볼 수 있습니다. 다만 다른 AI 응용 서비스 중에는 단순한 ‘AI wrapper’ 수준을 넘어, 서비스 특화형 AI 모델을 자체적으로 제공하는 경우도 있다는 점을 고려하면, 이는 글래스가 장기적으로 해결해야 할 과제죠.

사실 애플리케이션의 문제는 시간이 지나면 개선될 수 있는 부분이지만, 더 큰 문제는 다른 곳에 있었습니다. 바로 글래스 애플리케이션의 코드가 또 다른 오픈소스 프로젝트인 ‘Cheating Daddy’(이하 치팅대디)의 주석을 포함한 채 그대로 차용됐고, 나아가 라이선스까지 원래의‘GPLv3’에서 ‘Apache 2.0’으로 임의 변경했다는 점입니다.

문제가 되는 이유는 GPLv3은 전체 소스 코드를 반드시 공개해야 하지만, 아파치 2.0은 공개 의무가 없다는 점에서 차이가 있습니다. 따라서 글래스는 GPLv3 코드를 사용하면서도 아파치 2.0으로 배포해 라이선스 계약을 위반했고, 이는 법적 책임으로 이어질 수 있습니다. 심지어 이러한 논란이 생기고 나서야, 원 프로젝트를 뒤늦게 언급한 점도 또 다른 논란의 여지가 있었죠.

‘치팅대디’가 뭔데요?

그렇다면 글래스의 시작점이 된 치팅대디는 어떤 서비스일까요? 치팅대디는 사용자의 모든 입력(Input), 즉 화면과 음성을 기반으로, AI 모델의 응답(Response)을 생성하는 서비스입니다. 또한 화면 공유 중에도 애플리케이션이 노출되지 않도록 하는 기능을 제공하는데, 이는 글래스가 내세우는 핵심 기능과 동일합니다.

디자인을 제외하면 두 서비스는 거의 유사하지만, 일부 차이점도 있습니다. 치팅대디는 맥OS뿐 아니라 윈도우와 리눅스에서도 사용할 수 있고, 지원하는 AI 모델은 제미나이(Gemini) API 하나에 국한된다는 점입니다.

피클이 “글래스를 단 4일 만에 만들었다”라고 공개하자, 치팅대디의 개발자 Soham Bharambe는 트위터에서 이를 인용하며, 강한 불쾌감을 드러냈습니다. 심지어 피클에 투자했던 Y Combinator를 직접 멘션하면서 말이죠.

이후 논란이 커지자, 피클에서는 뒤늦게 글래스 프로젝트의 리포지토리에 글래스가 치팅대디의 포크 프로젝트임을 표기했습니다.

글래스 리포지토리에 추가된 치팅대디 <출처: 글래스 리포지토리, 작가 캡처>

여기서 흥미로운 점은, 치팅대디(CheatingDaddy) 역시 클루리(Cluely)를 참고해 만들어졌다는 사실입니다. 클루리가 제공하던 기능들을 그대로 따라한 프로그램이라는 것이죠. 결국 정리하면, 글래스는 인터뷰 코더를 개량한 클루리 → 이를 모방한 치팅대디 → 그리고 다시 이를 참고한 글래스로 이어지는 셈입니다.

그래서 ‘인터뷰 코더’는 뭔데요?

이렇게 서로가 서로를 따라 하는 과정의 출발점이 된 프로그램이 바로 앞서 언급된 ‘인터뷰 코더(Interview Coder)’입니다. 이는 클루리(Cluely)를 창업한 Roy Lee가 학생 시절에 만든 프로젝트로, 이후 클루리는 a16z로부터 1,500만 달러의 투자를 성공적으로 유치하기도 했습니다.

인터뷰 코더는 리트코드(LeetCode)와 같은 코딩 인터뷰 플랫폼 화면을 실시간으로 인식해, AI가 사용자에게 문제의 해법과 설명을 제공하는 도구입니다. 문제는 Roy가 이 프로그램을 실제로 아마존, 메타, 바이트댄스 등 빅테크 기업의 면접 과정에서 사용했고, 결국 면접관에게 전혀 들키지 않은 채 기술 면접을 통과했다는 점입니다.

이후 Roy는 인터뷰 코더를 사용한 과정을 SNS에 공개했고, 그 결과 합격이 철회되고 대학에서 정학 처분을 받았습니다(일각에서는 퇴학이라는 이야기도 있었습니다). 물론 Roy는 이미 리트코드를 마스터할 만큼 뛰어난 실력자였기에, 인터뷰 코더 사용 여부가 실제 면접 통과에 결정적 영향을 주지 않았을 것이라는 시각도 있습니다. 하지만 그가 면접관의 화면을 포함해 면접 과정을 그대로 공개하면서, AI 시대에 코딩 면접이 과연 얼마나 유효한지, 혁신과 윤리의 경계는 어디에 있는지에 대한 논란을 불러일으켰습니다.

한편 클루리로 인해 새로운 대응 기술도 탄생했는데요. Validia에선 클루리 같은 치팅 AI 프로그램을 탐지할 수 있는 ‘Truly’라는 컴플라이언스 툴을 출시하기도 했습니다.

마치며: 치팅과 비서, 윤리와 혁신의 사이

이러한 배경 속에서 등장한 글래스는 곧바로 뜨거운 논쟁을 불러왔습니다. 특히 그 원형이라 할 수 있는 클루리의 치팅 AI가 다시 주목을 받았죠. 불과 두 달 전 클루리가 출범하며 공개했던 소개 영상의 부제는 바로 “Cheating Tool for Literally Everything”, 말 그대로 ‘모든 것을 속이는 도구’였습니다.

이 영상에서는 사용자가 착용한 AI 안경이 소개팅 상대에 대한 정보를 파악하고, 사용자의 데이터를 기반으로 이후 대화와 행동을 제안하는 가상의 시나리오가 등장합니다. 사실 정보 비대칭이나 정보 격차를 활용해, 더 큰 이익을 얻는 것은 이미 경제와 비즈니스 영역에서도 흔히 나타나는 현상이며, 본질적으로 잘못된 것이라고 보기는 어렵습니다. 저 역시 학부 시절 들었던 한 과목에서 ‘Cheat Sheet’ 제도가 있었는데, 시험 전에 A4 용지 한 장 분량의 내용을 미리 작성해 시험 중 참고할 수 있도록 허용한 제도였습니다.

그러나 클루리가 공개한 영상에 대해 사람들은 ‘Fraud as a Service(사기 서비스)’라는 표현까지 쓰며 비판했습니다. 단순히 AI의 보조를 받는 수준이 아니라, 상대방이 ‘AI가 사용되고 있다는 사실조차 인지하지 못하는 상황’에서 거짓말을 가능하게 한다는 점이 문제라는 겁니다. 실제로 상대방의 동의 없이 화면과 음성을 기록하는 것은 법적·윤리적 논란의 소지가 있습니다. 그래서 Zoom이나 Otter.ai 같은 AI 미팅 서비스에서도 반드시 ‘기록 중임’을 알리도록 하고 있죠.

클루리가 제시한 AI 기반 판단과 의사 결정을 넘어 AI가 생성한 영상, AI가 작성한 글, AI가 생성한 음악 등 다양한 범위에서 AI의 ‘몰래’ 보조를 막기 위해 위 예시의 ‘변경되었거나 합성된 콘텐츠’ 문구와 같이 AI 사용 여부를 공개하도록 하는 규칙들이 점점 정해지는 중이긴 하지만 이는 클루리와 글래스, 치팅대디를 포함해 수많은 생성형 AI 기반 서비스와 사용자가 앞으로 고민해야 할 주제이기도 합니다.

또한 이제는 AI가 만든 영상·글·음악 등 다양한 영역에서 ‘몰래 보조’를 막기 위한 규칙들이 마련되고 있습니다. 예를 들어, 유튜브는 AI 제작 콘텐츠에 ‘변경되었거나 합성된 콘텐츠’라는 문구를 넣어, AI 사용 여부를 반드시 공개하도록 하는 가이드라인을 세웠습니다.

그러나 단순히 가이드라인 마련에서 그칠 것이 아니라, 앞으로 클루리, 글래스, 치팅대디를 포함해, 수많은 생성형 AI 서비스와 사용자들이 함께 풀어가야 할 중요한 과제이기도 합니다. 이번 글을 통해 AI의 가능성과 한계, 그리고 우리가 준비해야 할 것이 무엇인지 다시 한번 생각해 봐도 좋겠습니다.