집으로 찾아온 챗GPT, 이런 것까지 된다고?

지난 6월, 네덜란드의 스마트홈 플랫폼 홈 어시스턴트(Home Assistant, 이하 HA)에서 챗GPT 플러그인을 공개했습니다. 여기서 스마트홈 플랫폼이란, 가전제품이나 조명 등 집 안의 스마트 기기를 연결해 원격으로 제어하거나 자동화할 수 있는 서비스 플랫폼을 말합니다.

최근에 삼성이나 LG 가전을 구매할 일이 있었다면 판매 직원이 스마트폰으로 기기를 켜고 끌 수 있는 모바일 앱을 보여준 기억이 있을 겁니다. 아니면 안드로이드 폰이나 아이폰을 구매했을 때 기본으로 설치되어 있던 ‘Home’ 앱을 떠올릴 수도 있죠. 이 친숙한 앱이 모두 스마트홈 플랫폼입니다.

반면 HA는 우리에게 친숙한 플랫폼은 아닙니다. 삼성전자의 스마트홈 플랫폼인 ‘SmartThings’의 회원 수가 약 3억 5천만 명이라는 것을 고려할 때, 약 100만 명의 사용자를 보유한 HA는 비교적 작은 플랫폼입니다.

하지만 HA는 빅테크 기업인 구글과 애플, 제조 기업인 삼성과 LG가 아직 하지 못한 생성형 AI의 도입과 상용화를 누구보다 빠르게 해냈습니다. 플랫폼에 통합 모듈(integration)을 연결하는 것만으로 가전 시장에서도 자연어의 맥락과 멀티 턴을 인식하는 ‘진짜 사람’ 같은 어시스턴트를 사용하게 만든 것이죠. 과연 HA는 어떻게 이러한 성과를 만들어 낼 수 있었을까요? HA의 AI는 무엇까지 할 수 있을까요?

고급 사용자를 위한 스마트홈 플랫폼, HA

HA는 창립자인 파울루스 슈우젠(Paulus Schoutsen)이 2013년 처음 출시한 스마트홈 플랫폼입니다. 대중적인 플랫폼과 다른 두 가지 특징이 있는데요, 하나는 로컬 기반이라는 것이고, 다른 하나는 오픈 소스 플랫폼이라는 것입니다.

첫 번째 특징, 로컬

보통 우리가 스마트홈 플랫폼에 기기를 연결한다고 하면 떠올리는 방법은 다음과 같습니다.

1. 기기를 페어링 모드로 만든다.
2. 스마트홈 앱에서 기기를 페어링한다.
3. 연결 완료!

기기 연결이 이렇게 간단한 이유는 대부분의 스마트홈 플랫폼이 클라우드 기반이기 때문입니다. 플랫폼이 보유한 클라우드 서버에서 모든 처리 과정을 대신해 주므로 사용자는 다른 것을 신경 쓰지 않고, 그저 앱에서 버튼만 누르면 됩니다. 사용자가 버튼을 누르는 순간 플랫폼의 클라우드 서버에 버튼을 눌렀다는 신호가 전달됩니다. 곧 클라우드에서 그 신호를 처리하며 기기가 동작하는 것입니다. 혹자는 이 과정이 사람이 생각하는 것과 유사하다고 하여 클라우드 서버가 ‘두뇌’의 역할을 한다고 말하기도 합니다. 스마트홈 밖에 위치한 ‘두뇌’로 신호가 왔다 갔다 하는 것입니다.

반면 HA는 두뇌(서버)를 집 안(로컬)에 두는 방식입니다. 사용자가 앱에서 버튼을 누르면 집 안에 물리적으로 설치된 서버에서 신호를 처리합니다. 그런데 이 방식에는 큰 단점이 있습니다. 연결이 그리 간단하지 않다는 것이죠. 노트북 컴퓨터와 같은 ‘두뇌’ 역할을 하는 별도의 장치가 필요하기 때문입니다. 이런 장치를 구매하기 위해 하드웨어에 대한 지식이 있어야 할 뿐만 아니라 네트워크 설정을 직접 하는 등 별도 구축 과정을 거쳐야 한다는 어려움이 있습니다.

클라우드 방식과 로컬 방식의 차이는 간단합니다. 인터넷이 끊겼을 때 기기 제어도 함께 끊기면 클라우드 방식, 인터넷이 끊겨도 기기 제어가 가능하다면 로컬 방식입니다.

이 외에도 두 가지 방식에는 주요한 차이가 있습니다. 클라우드 방식은 서버를 업데이트하는 것만으로 오류를 수정하거나 새로운 기능을 추가할 수 있어 유지 보수가 쉽지만, 안정성과 속도 측면에서는 아쉬운 점이 많습니다. 흔히 말하듯 서버가 터지거나 갑자기 인터넷이 끊기면 작동이 멈출 수 있고, 매번 인터넷을 거쳐야 하므로 비교적 속도가 느리기도 합니다.

한편 로컬 방식은 일단 구축하기만 하면 외부 서버에 의존할 필요가 없어 안정적이고, 속도가 빠릅니다. 하지만 유지 보수 역시 전적으로 개인의 몫이 되죠.

구글 Home과 삼성 SmartThings 같이 대중적인 플랫폼은 클라우드 방식을 채택해 입문 사용자까지 포용하는 플랫폼으로 성장했습니다. 반면 HA는 스마트홈에 관심이 많은 일부 고급 사용자들 사이에서 핵심 플랫폼으로 자리 잡았습니다. 물론 주요 작동 방식이 무엇인지와는 무관하게 SmartThings도 일부 로컬 기기 제어를 제공하고 HA도 클라우드 방식의 기기 연결을 제공하고 있습니다. 실제로는 두 방식이 상호보완적으로 사용되는 것입니다.

두 번째 특징, 오픈 소스 플랫폼

HA의 두 번째 특징은 바로 ‘오픈 소스 플랫폼’이라는 점입니다. HA 홈페이지에서는 현재 3,000개가량의 통합 모듈을 지원하며, 각 모듈에는 모두 소유자(Integration Owner)가 따로 있습니다. 마치 깃허브(GitHub)처럼 필요한 기능을 만들고 공유할 수 있도록 만들어졌기 때문입니다.

HA 사용자는 이 통합 모듈을 활용해 앞서 언급한 구글 Home이나 SmartThings를 HA에 연결하는 것은 물론, 전 세계 다양한 사업자의 기기와 플랫폼을 연동할 수 있습니다. 기본적인 소프트웨어 지식이 있어야 한다는 진입장벽이 있지만, 일단 사용법만 깨우친다면 어떤 플랫폼보다 강력한 커스터마이징이 가능합니다. HA가 고급 사용자에게 사랑받는 또 다른 이유입니다.

물론 삼성 SmartThings도 삼성 기기 외 다른 제품군을 연결할 수 있는 오픈 플랫폼입니다. 앱만으로 구현할 수 없는 고도화된 자동화를 플랫폼에서 직접 만들 수도 있죠. 하지만 HA처럼 오픈 소스 자체가 그 정체성이라기보다는 부가적으로 제공하는 기능에 가깝습니다. 깃허브 레포지토리까지 따로 보유한 HA보다는 사용자 커뮤니티가 활성화되어 있지 않고, 기능도 제한적입니다. 폐쇄형 플랫폼으로 출발한 애플 Home과 구글 Home, LG ThinQ도 현재는 타사 기기의 연결을 지원하고 있지만 역시 제한적이죠.

대기업이나 빅테크에서 오픈 소스를 적극 도입하지 않는 것은 사용자에게 어렵다는 이유도 있겠지만 안정성을 확보하기 위함이 아닐까 싶습니다. 처음 통합 모듈을 배포한 소유자가 지속적으로 업데이트를 해줄지 알 수 없는 데다, 많은 사람이 플랫폼에 오픈 소스로 접근하다 보면 고객 관리 및 응대의 책임 소재도 불분명해질 수밖에 없기 때문입니다.

HA가 생성형 AI를 빨리 도입할 수 있었던 이유

대기업과 빅테크가 이런 한계로 주춤거리는 사이, HA에서는 통합 모듈 OpenAI Conversation을 공개했습니다. 소유자는 파울루스 슈우젠, HA의 창립자입니다.

이 모듈로 사용자는 오픈AI의 API 키를 HA에 연동할 수 있습니다. 기본적으로는 GPT-3.5로 연동이 가능하고, 만약 사용자가 구독하고 있는 모델이 있다면 해당 모델을 불러와 사용할 수도 있습니다. 답변의 길이를 결정하는 최대 토큰 수(Maximum Tokens to Return in Response)와 응답의 창의성과 자유도를 결정하는 온도(Temperature) 역시 사용 옵션으로 선택할 수 있습니다. 또, API를 가져다 쓰는 것인 만큼 GPT의 성능이 높아지면 연동한 HA 내의 성능도 좋아집니다. 모두 HA가 오픈 소스 플랫폼이기 때문에 가능한 일입니다.

그뿐만 아니라 HA가 로컬 기반 플랫폼이라는 점도 AI 도입에 한몫했습니다. 로컬 플랫폼이 상대적으로 보안에 강하기 때문이죠. 보안 문제는 스마트 스피커를 포함한 스마트홈 분야에서 생성형 AI가 활발히 쓰이지 못하는 가장 큰 이유 중 하나입니다.

처음 생성형 AI가 나왔을 때, 많은 사람이 영화 ‘그녀(Her)’의 사만다나 ‘아이언맨’의 자비스처럼 대화를 주고받을 수 있는 진짜 비서를 기대했습니다. 그러나 이런 꿈은 지금까지 실현되지 못했죠. 여러 가지 이유가 있겠지만, 분명한 점은 성능만의 문제는 아니라는 것입니다. 그중 보안 문제가 아주 큰 비중을 차지하고 있고요. 생성형 AI는 사람들과 상호작용하고, 그 데이터를 다시 학습해 다른 정보를 제공합니다. 만약 비서 역할을 맡기기 위해 사용자가 모든 개인 정보와 민감 정보를 넘겨주면, 그 정보가 다시 학습 데이터로 쓰이며 다른 사람들에게 유출될지 모릅니다.

그래서 최근에는 서버나 인터넷 연결 없이도 기기 내에서 자체적으로 분석할 수 있는 온디바이스 AI 개념이 급부상하고 있습니다. 이를 스마트홈에 적용할 때 로컬 환경, 즉, 인터넷 연결 없이도 작동하도록 구축할 수밖에 없는 HA는 온디바이스 AI를 구현하기 가장 좋은 환경에 있다고 볼 수 있습니다.

HA와 로컬 LLM

HA도 이 기회를 놓치지 않고 로컬 LLM에 심혈을 기울이고 있습니다. 앞서 소개한 오픈AI 통합 모듈은 API 방식으로 아무리 HA에 기기를 로컬로 연결했더라도 외부와 데이터를 주고받게 됩니다. 결국 개인정보에 대한 우려가 발생할 수밖에 없습니다.

이런 단점을 막기 위해 HA는 엔비디아의 젯슨 AI 리서치 그룹(Jetson AI Lab Research Group)과 협력해 모델을 고도화하고 있습니다. 당장 성능은 조금 부족하더라도 장기적으로는 더 효율적이고 보안상 문제가 없는 로컬 AI를 제공하기 위함입니다. 그 결과, 아직 실험적인 단계라고는 하지만 현재도 로컬 LLM인 Ollama 통합 모듈을 제공하고 있습니다. 최근에는 로컬 Llama 3 모델로 기기를 제어하는 프로토타입을 공개하며 진전을 보이고 있습니다.

이처럼 앞으로의 스마트홈은 보안과 안정성을 위해 로컬 환경에서 기기를 제어하며, 생성형 AI까지 활용할 수 있는 플랫폼으로 전환되어야 할 것입니다. 클라우드 기반의 플랫폼은 로컬 AI를 도입하려면 로컬 프로세싱이 구동될 수 있는 기기부터 배포해야 하기에 현실적으로 빠르게 도입하기는 쉽지 않습니다. 하지만 이미 로컬 서버를 보유한 HA 사용자의 경우, HA에서 로컬 기반의 LLM 모델을 공개하면 대부분의 사용자가 곧바로 써볼 수 있습니다. 진입장벽이 높은 대신 모든 사용자가 로컬 서버를 가지고 있는 HA가 AI 시대의 스마트홈 플랫폼으로서는 유리한 고지를 점하고 있는 셈이죠. 또, 이것이 HA가 로컬 AI에 집중할 수 있는 이유입니다.

정리해 보겠습니다. HA는 로컬 서버라는 안정적인 시스템 기반 위에 다양한 오픈 소스 커스터마이징을 지원합니다. 그 덕분에 AI 기능을 빠르게 서빙할 수 있었고, 자체적으로 로컬 AI 기술을 개발하여 향후 스마트홈 시장의 생성형 AI를 선점하고 있습니다. 다만, 높은 진입장벽을 어떻게 허물 수 있을지는 여전한 HA의 과제입니다.

스마트홈에 들어간 챗GPT는 무엇을 할 수 있을까?

현재 HA에서 통합할 수 있는 API 기반의 LLM 모듈은 오픈AI와 구글의 AI입니다. 처음 LLM 모듈이 공개되었을 때는 HA의 챗봇 어시스턴트인 ‘Assist’에 적용하여 대화하는 정도만 가능했으며, 대화로 집에 있는 기기를 직접 제어하지는 못했습니다. 그러나 올해 6월, 릴리즈 파티에서 기기 제어까지 가능한 LLM 데모가 공개되며 사용자들의 큰 호응을 얻었습니다.

데모를 리뷰하며 발견한 세 가지 특징을 정리했습니다. 그와 함께 스마트홈 어시스턴트로서의 챗GPT가 어떤 모습일지, 그 가능성에 대해 이야기 해보겠습니다.

1. 대화를 기억하는 멀티 턴 제어

데모 시연에는 OpenAI Conversation이 적용된 HA Assist가 활용되었습니다. 우선 세션 진행자는 챗봇에 불을 켜달라고 요청합니다. 곧이어 다시 꺼달라고도 요청합니다. 이때, 처음에는 ‘거실 불(living room lights)’을 켜달라고 목적어를 정확히 지칭하지만, 그다음에는 ‘그것들(them)’을 꺼달라고 대명사로 요청합니다.

그럼에도 챗봇은 헷갈리지 않고 바로 거실 불을 꺼 줍니다. LLM 하면 가장 먼저 떠오르는 기능인 ‘멀티 턴 대화’가 스마트홈 제어에서도 가능한 것입니다. 당연하고도 간단한 상호작용이지만, 그동안 스마트홈 스피커와 대화할 때 느꼈던 답답함을 해소할 밑바탕이 될 중요한 변화라고 할 수 있습니다.

2. 맥락을 파악하는 솔루션 제안

이번에는 진행자가 단순히 ‘조명을 켜줘’, ‘꺼줘’와 같은 직접적인 표현 대신 상황 설명만 써 간접적으로 표현해 봅니다. “내가 스트리밍을 하고 있는데, 사람들이 내 얼굴이 잘 안 보인다고 하네. 네가 뭔가를 좀 해줘 봐." 이렇게 말이죠.

그 말을 들은 Assist는 즉시 웹캠 조명을 켜 주었습니다. 기존의 스마트홈에서는 없었던 경험입니다.

물론 이 영상은 데모이기 때문에 가장 잘 적용되는 케이스를 예로 든 것입니다. 이렇게 작동되려면 몇 가지 조건이 갖추어져야 합니다.

우선, 기기의 이름을 예측할 수 있게 설정해야 합니다. 이를테면 영상에서는 조명의 이름이 ‘Webcam’이라고 되어 있었습니다. 만약 조명의 이름이 기기의 모델명으로 되어 있었다면, 아마 예시와 같은 추론은 불가능했을 것입니다.

또한 기기의 위치도 정확하게 할당해 두어야 합니다. 보통 스마트홈 플랫폼에서는 기기를 등록할 때, 기기의 이름뿐만 아니라 그 기기가 어떤 방에 위치해 있는지를 설정하게 합니다. 위치를 설정하지 않고 모호하게 둔다면 전혀 다른 공간에 있는 기기가 작동할 수도 있기 때문입니다.

마지막으로, 사용자가 집 안 어디에 있는지 파악할 수 있어야 합니다. 영상 속 예시에서 만약 ‘Webcam’이라는 이름의 조명과 스트리밍을 할 수 있는 컴퓨터가 여러 대 있었다면, 어떤 기기를 켜야 할지 Assist가 파악할 수 없었을 것입니다. 이를 파악하려면 컴퓨터와 연결해 사용자가 어떤 기기로 스트리밍을 하는지 알 수 있거나, 재실 센서 등으로 사람이 어떤 방에 있는지 감지할 수 있어야 합니다.

이런 조건이 필요한 것은 사람이 눈으로 보는 것처럼 직접 현재 상황을 파악하는 것이 아닌, 들어온 데이터를 기준으로 상호작용을 하기 때문입니다. 이런 한계에도 가능한 많은 기기를 연결하며 초기 설정을 잘해 둔다면, 충분히 일상에서도 활용할 수 있어 보였습니다.

3. 주어진 조건을 분석하는 정보 제공

마지막으로, 일상적인 질문에 답하기 위해 주어진 조건을 스스로 분석하는 모습도 볼 수 있었습니다. 예시로 사용된 질문은 “내 자동차로 얼마나 멀리 갈 수 있지?”, “낭트(Nantes)까지 갈 수 있나?”였습니다. 곧 Assist는 연결된 테슬라의 충전 정보를 기반으로 정보를 제공했습니다. 충전 차량의 주행 가능 거리와 함께 현재 위치에서부터 해당 지역까지의 거리를 검색해 가능 여부를 알려주는 데는 몇 초도 걸리지 않았습니다.

다른 예시로 나온 “엠파이어 스테이트 빌딩이 50m보다 높으면 불을 켜줘"라는 요청에도 “엠파이어 스테이트 빌딩은 381m로 50m보다 높기 때문에 불을 켤게요"라는 답변을 주며 불을 켜주기도 했습니다. 자동차 충전 상태처럼 기기의 정보를 기반으로 답변을 제공하는 것은 물론, 주어진 조건에 대한 외부 정보를 검색하는 것도 가능한 것입니다.

영화 속 진정한 비서의 꿈, 스마트홈

HA의 데모 영상에서 세션 진행자는 자신의 Assist 챗봇을 ‘JarvisGPT’라고 칭했습니다. 영화 ‘아이언맨’ 속 토니 스타크의 음성 비서 ‘자비스’에서 따온 이름이자, 생성형 AI를 통해 모두가 꾸는 꿈이기도 하죠.

그러나 지금처럼 AI가 생산성 도구로써 웹 서비스 안에만 존재한다면, 진정한 의미의 자비스는 실현되기 어려울 것입니다. 결국 이들 AI가 개인의 모든 정보와 맥락을 파악하며 일상과 밀접한 곳에 존재해야만 하겠죠. 그 중심에는 스마트폰과 스마트홈이 있을 것이며, 온디바이스와 로컬 AI 기반의 보안이 더욱 중요해질 것입니다. 최근 애플이 애플 인텔리전스를 발표하면서 보안을 강조한 것도 같은 맥락입니다.

다만 현실에서는 시간이 필요해 보입니다. 지난 8월, 구글 홈이 제미나이(Gemini)를 적용해 홈캠에 찍힌 영상을 요약해 주고, 홈 자동화 생성 기능을 제공하겠다는 계획을 밝힌 바 있습니다. 그러나 이는 생성형 AI가 직접 기기를 제어하거나 자비스처럼 도움을 주는 개념은 아니었습니다. 집 안의 기기까지 AI로 제어하기에는 아직 기능적으로나 보안적으로나 플랫폼에서 가져야 할 책임감이 막중하다는 판단이 아닐까 싶습니다.

그런 관점에서 HA를 주목할 수 있습니다. HA는 오픈 소스 기반의 커스터마이징 방식으로 AI를 제공하기 때문에 플랫폼에서 하나의 기능을 탑재해 제공하는 방식보다는 책임 소재를 피할 수 있습니다. 그뿐만 아니라 로컬 기반이라는 장점 덕분에 장기적으로는 보안에 대한 우려도 해결할 수 있습니다. 그런 만큼 빠르게 생성형 AI 기반의 어시스턴트를 도입할 수 있었습니다.

물론 구글 Home이나 애플 Home, 삼성 SmartThings 같은 클라우드 기반의 플랫폼 역시 AI를 그대로 두지 않을 겁니다. 이들이 어떻게 생성형 AI를 도입해 나갈지도 주목해야 할 관전 포인트입니다. 이 글을 읽는 독자분들도 스마트홈이라는 새로운 관점에서 흥미롭게 생성형 AI의 변화를 지켜볼 수 있기를 바랍니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.