버추얼 아이돌은 ‘진짜’ 아이돌을 어디까지 재현할까?

버추얼 아이돌의 탄생과 달라진 팬덤 문화

아이돌 가수와 팬이 만나려면 어떻게 해야 할까요? 당연히 같은 시간, 같은 장소에 모여야 합니다. 특히 아이돌 가수의 팬들은 한 번이라도 더 좋아하는 가수를 보기 위해 시간, 노력, 자본을 아끼지 않는데요. 콘서트장, 팬미팅장은 물론 음악 방송 사전 녹화장, 페스티벌 무대, 심지어 공항 입출국장이나 출퇴근길을 찾는 경우도 많습니다. (저도 한때 아이돌을 좋아했기 때문에 충분히 공감하는 부분입니다.)

멀지 않은 과거에만 해도 ‘무대’가 팬덤의 중심지였다면, 2024년의 팬덤은 디지털 공간으로 계속 옮겨가는 중입니다. 특히 2020년대 들어 급부상하고 있는 ‘버추얼 아이돌’의 팬덤은 언제 어디서든 좋아하는 아티스트를 만날 수 있길 원하죠. 이처럼 버추얼 아이돌은 IT 신기술과 팬덤 문화의 결합이 빚어내는 소용돌이의 중심에 있습니다.

버추얼 아이돌(Virtual Idol)이란 디지털 기술로 만들어져 음악, 소통, 공연 등 실제 아이돌처럼 활동하는 가상 캐릭터입니다. 현재 버추얼 아이돌은 막연한 미래 기술이 아니라, 구체적인 현실이 되었습니다. 3D 모델링, 리깅, 페이셜 트래킹 등 다양한 기술이 결합되어 만들어진 버추얼 아이돌은 현재 전 세계적인 팬덤을 형성하며, 아이돌 산업에서 새로운 가능성을 보여주고 있습니다.

이에 대한 사례로 SM엔터테인먼트, 카카오엔터테인먼트, 넷마블의 자회사 메타버스엔터테인먼트와 같은 대기업부터 스트리머 우왁굳, 버추얼 IP 스타트업 블래스트 등의 다양한 프로덕션까지 버추얼 아이돌의 기획 및 제작에 뛰어들고 있습니다.

미디어 전문 연구소 다이렉트미디어랩에 따르면, 버추얼 프로덕션 시장은 2023년 약 29억 8,000만 달러에서 2024년 약 33억 8,000만 달러로 성장세를 보일 것이라고 하는데요. 앞으로 엔터테인먼트 산업에서 버추얼 콘텐츠의 수요가 높아지며, 시장 규모는 지속 확대될 것으로 예상됩니다. 이미 멜론 TOP100 차트나, 유명 기업의 광고 지면에서도 버추얼 아이돌을 쉽게 찾아볼 수 있습니다.

이번 글에서는 이러한 버추얼 아이돌 제작에 활용되는 주요 IT 기술과 성공 사례를 살펴보고, 블래스트에서 기획한 버추얼 아이돌 보이그룹 ‘플레이브’의 사례를 중심으로, 버추얼 아이돌의 확장 가능성까지 함께 다뤄보겠습니다.

버추얼 아이돌 제작에 활용되는 IT 기술

버추얼 아이돌과 같은 버추얼 콘텐츠 제작에는 다양한 IT 기술이 활용됩니다. 그중에서도 3D 모델링 및 애니메이션, 모션 캡처, 실시간 렌더링은 버추얼 콘텐츠 속 인물(캐릭터)을 살아 숨 쉬게 하는 데 핵심적인 역할을 하는데요. 실제 버추얼 아이돌의 사례를 들어 각 기술에 대해 좀 더 자세히 살펴보도록 하겠습니다.

3D 모델링 및 애니메이션

버추얼 아이돌의 첫걸음은 정교한 3D 모델링에서 시작됩니다. 실제 사람과 같은 표현력과 움직임이 있어야 팬들과의 실시간 소통, 궁극적으로는 감성적인 교감이 가능하기 때문입니다. 캐릭터의 외형, 표정, 움직임 등을 세밀하게 설계해야, 더욱 현실감 있는 모습을 구현할 수 있습니다.

이때 블렌더, 마야, 언리얼 엔진 등 전문 3D 소프트웨어를 사용할 수도 있지만, 버추얼 유튜버(이하 버튜버)에 관심 있는 일반인도 Vroid Studio와 같은 무료 3D 모델링 툴을 활용해 활동을 시작해 볼 수도 있습니다. 전문가가 제작한 모델을 구매할 수도 있고, 원한다면 맞춤 제작을 맡길 수도 있죠. 한편, 유튜브, 트위치, 치지직 등 스트리밍 플랫폼에서 게임, 토크 방송  위주의 활동을 하는 버추얼 유튜버들의 경우, 3D가 아닌 2D 캐릭터를 선호하기도 합니다.

이때 2D 이미지로도 실제 사람과 같은 자연스러움을 주기 위해 다층 구조와 애니메이션을 구현하는 소프트웨어를 사용하고는 하는데요. 2D 그래픽을 3D처럼 보이도록 만드는 데는 정적인 이미지에 움직임을 주는 디폼(Deform) 및 모핑(Morphing) 기술이 쓰입니다.

디폼이란 정적인 이미지를 여러 조각(Parts)으로 나눈 다음, 각 이미지 조각에 확대, 축소, 회전 등의 변형을 주어 눈 깜빡임, 입 모양 움직임 등을 표현하는 기술인데요. 모핑의 경우, 서로 다른 형태의 이미지를 보간하여 부드러운 전환을 만드는 데 쓰입니다. 예컨대 입술이 닫혀 있는 상태에서 열리는 상태로 변환될 때, 중간 단계의 모양을 자동으로 생성합니다. 여기서 보간(Interpolation)은 컴퓨터 비전에서 쓰이는 개념이며, 기존 데이터를 바탕으로 새로운 값을 생성하는 과정을 뜻합니다. 저화질 이미지의 화질을 개선해 주는 사진 어플의 기능을 떠올려보면 쉽습니다.

3D 모델링을 사용할 경우에는 버추얼 아바타를 활용한 보다 다양한 콘텐츠 제작이 가능합니다. 360도 시점 전환이 가능하고, 복잡한 움직임을 구현할 수 있으며, 조명, 텍스처, 그림자 등을 활용한 현실감 있는 비주얼을 구현할 수 있습니다. 3D 모델링된 버추얼 아바타들을 AR/VR 콘텐츠로 제작할 수 있다는 점 또한 장점입니다. 한 예시로 유튜버 우왁굳이 기획한 버추얼 아이돌 그룹 ‘이세계 아이돌’은 VR 챗 속 가상공간에서 개최한 오디션을 통해 6명이 선발되기도 했습니다.

현재 활동 중인 버추얼 유튜버들의 3D 아바타에는 최소 5-6만 개 이상의 폴리곤이 사용되는데요. 폴리곤의 수에 따라 캐릭터의 디테일과 자연스러운 표현이 크게 향상됩니다. 머리카락, 옷, 악세사리 등 물리적 움직임을 더 사실적으로 표현할 수도 있고요. (폴리곤은 3D 그래픽에서 객체의 표면을 구성하는 가장 기본적인 단위로, 3D 모델의 모양을 만드는 작은 조각이라고 볼 수 있습니다.)

특히 복잡한 안무, 스트리밍 콘텐츠, 실시간 콘서트 등 규모 있는 콘텐츠를 선보이는 버추얼 아이돌의 경우, 개인으로 활동하는 버추얼 유튜버보다 이와 같은 사실적인 비주얼에 더욱 많은 자본과 노력을 투자할 수밖에 없습니다.

이처럼 3D 모델링은 기획자가 의도한 방향대로 아이돌의 외관부터 스타일까지 설정할 수 있게 해줍니다. 방송 중에 클릭 한 번으로 1초 만에 옷을 갈아입을 수도 있고, 얼굴 위에 반짝이나 하트 등 특수 효과를 씌울 수도 있습니다. 실제 사람이 활동하는 아이돌 그룹에서는 상상하기 어려운 지점이기도 합니다.

딥마인드의 3인조 버추얼 아이돌 ‘핑크버스’는 2024년 5월 데뷔 당시, 멤버들의 실력과 노래는 좋으나, 3D 모델링이 이를 뒷받쳐주지 못한다는 평가를 받았는데요. 이러한 피드백을 받아들여, 한 달 뒤 얼굴형, 체형 등 부자연스러운 부분을 수정하는 비주얼 업데이트를 진행했습니다. 핑크버스의 사례처럼 팬덤의 반응에 따라 외관을 리뉴얼하는 것 역시 버추얼 아이돌의 세계에서만 일어날 수 있는 일이죠.

모션 캡처 & 실시간 렌더링

하지만 버추얼 아이돌 이전부터 대중은 이미 완성도 높은 3D 모델링에 익숙해져 있었습니다. 애니메이션, 게임 등 시각 매체를 통해서였죠. 버추얼 아이돌의 팬덤은 왜 더더욱 세밀하고 화려하게 제작된 기존의 3D 영상보다, 비교적 간단한 모델링으로 제작되었음에도 버추얼 아이돌에 더 열광하는 것일까요?

실제 제 주변의 버추얼 아이돌 팬에게 그 이유를 묻자, “외관도 중요하지만, 버추얼 아이돌의 진정한 매력은 팬덤과 실시간으로 호흡하고 소통할 수 있다는 것이다.”라고 대답했습니다. 실제로 팬들이 실시간 채팅과 스트리밍을 통해 자신이 좋아하는 캐릭터와 대화하거나, 반응을 끌어낼 수 있는 환경은 현실 아이돌과는 또 다른 차원의 몰입감을 제공합니다. 

버추얼 유튜버의 시초 격이라 할 수 있는 일본의 ‘키즈나 아이’는 2016년 첫 유튜브 영상 게시 이후, 점차 라이브 스트리밍을 도입하며 팬들과 직접 소통했는데요. 이로 인해 300만 명 이상의 유튜브 구독자를 확보했습니다. 이는 단순히 영상을 소비하는 것을 넘어 쌍방향 소통이 주는 특별한 경험이 매력적으로 작용한 사례로 볼 수 있습니다.

이러한 실시간 상호작용은 첨단 기술, 특히 모션 캡처와 실시간 렌더링 덕분에 가능해졌습니다. 모션 캡처는 실제 사람의 움직임을 디지털 데이터로 변환해 가상 캐릭터에 적용하는 기술로, 버추얼 아이돌의 자연스러운 퍼포먼스를 가능하게 했습니다. 실시간 렌더링으로 캡처된 데이터를 빠르게 처리해, 현실과 구분이 어려울 정도로 자연스러운 화면을 만들어냈는데요. 버추얼 아이돌 기획사는 이를 자체 콘텐츠(스트리밍, 콘서트, 영상통화 팬미팅 등)에 적극적으로 활용했습니다.

위 사진의 버추얼 유튜버 ‘코드미코’는 언리얼 엔진과 전신 모션 트래킹 기술을 활용해, 뛰어난 그래픽과 실시간 인터랙션을 선보이는 버추얼 유튜버이자 트위치 스트리머입니다. 코드미코로 활동하는 유나 강은 3D 아티스트로, 방송에서 자신이 사용하는 모션 캡처 및 실시간 렌더링 기술에 대해 방송에서 소개했는데요.

약 2,000달러에 달하는 수트, 헬멧, 핸드 트레커 등 트레킹 장비를 보여주며, 52개의 블렌드 쉐입을 통해 실시간으로 모션 캡처를 구현하는 과정을 설명했습니다. 장비를 통한 움직임은 모션 캡처 소프트웨어를 사용하여 트레킹되는데요. 이와 같은 모션 캡처 및 실시간 렌더링 기술이 뒷받침해 준 덕분에 코드미코는 실시간으로 송출되는 스트리밍 영상에서도 머리카락, 눈동자, 얼굴 근육 등의 움직임에 있어 극도의 현실감을 표현할 수 있었습니다.

국내에 본격적으로 버추얼 아이돌 문화를 정착시킨 ‘이세계 아이돌’의 콘서트는 버추얼 아이돌의 콘텐츠에서 모션 캡처와 실시간 렌더링 기술이 동시에 활용된 대표적인 사례입니다. 멤버들은 콘서트장 내 디스플레이로 송출되는 형태로 콘서트장에 모인 팬덤 앞에 모습을 드러냈는데요. 이때 실시간 렌더링 기술을 통해 실제 공간에서 실제 사람이 춤을 추는 것처럼 자연스러운 동작, 이동, 표정이 구현되었습니다. 팬들과 즉각적으로 반응을 주고받으며 마치 한 공간에 있듯 호흡하는 것이 가능해졌고요.

실제 버추얼 아이돌의 콘서트를 진행하려면 하드웨어뿐만 아니라, 실시간 렌더링을 위한 고성능 컴퓨터와 소프트웨어 라이선스 등 수천만 원 대의 금액이 발생하는데요. 이와 같은 버추얼 아이돌의 콘서트가 개최될 수 있었던 데는 ROI(투자 수익률), 즉 팬덤의 충분한 관심도와 구매력이 사전에 검증되었기 때문이라고 생각합니다. 

버추얼 아이돌의 성공 전략

플레이브(PLAVE)의 성공 사례

그럼 지금부터는 충성도 높은 팬덤을 효과적으로 모으는 데 성공한 버추얼 아이돌의 성공 사례를 살펴보려고 합니다. 블래스트에서 기획한 5인조 보이그룹, 플레이브에 대해 소개하고자 하는데요. 이들은 2023년 데뷔 이후 스트리밍, 콘서트, 팬미팅 등 다양한 활동을 아우르며, 최근에는 마마 어워즈, 멜론 뮤직 어워드 등 연말 시상식 무대에도 오르는 등 적극적으로 팬덤과 소통하고 있습니다.

플레이브는 2023년 데뷔 후 1년 만에 2024년 1월 기준 공식 팬카페 가입자 수가 7만 7천 명을 기록하고, 2024년 3월 개최한 첫 콘서트 전석 매진을 달성하기도 했는데요. 앞서 소개된 모션 캡처 기술을 활용해 멤버 각각의 개성을 반영한 퍼포먼스를 구현했고, 실시간 스트리밍 기술을 접목해 팬들과의 상호작용을 극대화했습니다.

플레이브를 탄생시킨 블래스트는 MBC 사내 벤처 기업으로 시작되었으며, 초기에는 언리얼 엔진을 활용한 시네마틱과 라이브 파이프라인의 구축을 핵심 아이디어로 삼았습니다. 이후 3D 기술을 활용한 시네마틱 영상 등 높은 퀄리티의 콘텐츠를 제작하며 자체 IP의 밑바탕을 다졌습니다.

블래스트는 만화 스타일의 IP가 소비자에게 더 매력적으로 다가올 것이라는 확신을 바탕으로 플레이브의 3D 모델링을 기획했습니다. 실사 스타일을 택하지 않은 이유에 대해 블래스트의 이현우 CTO는 <언리얼 페스트 2023 서울> 강연에서 ‘불쾌한 골짜기’를 언급하기도 했는데요. 실제 인물과의 유사성을 비교하는 대신 고유한 매력을 느낄 수 있도록 만화풍으로 3D 모델링을 디자인하였으며, 이를 통해 기존의 아이돌과 경쟁하는 대신 자기들만의 영역을 구축하여 대중에게 어필하게 되었다고 합니다.

팬덤과의 소통: 스트리밍부터 오프라인까지

버추얼 아이돌에게 있어 ‘기술이 얼마나 정교하게 적용되었느냐’라는 팬들이 자연스럽게 관심을 두고 몰입하게 만드는 기준점이라고 볼 수 있습니다. 이때 플레이브는 ‘얼마나 실제 아이돌의 모습을 사실적으로 모방했느냐’가 아니라, ‘실제 아이돌이 줄 수 있는 가치를 얼마나 정교하게 구현했느냐’에 방점을 맞춰 기획된 것이죠.

실제로 플레이브는 실시간 스트리밍 중 위 사진처럼 비현실적인 효과를 통해 안무를 돋보이게 하거나, 토크에 생동감을 더하는 등의 기술적 시도를 하고 있습니다. 플레이브 세계관에서 멤버 각각이 갖고 있는 ‘특수 능력’으로 설명되는데요. 이와 같은 시각 효과 하나까지도 곧 플레이브라는 그룹의 서사와 긴밀하게 연결된다는 점에서 팬덤은 깊이 몰입하게 됩니다. 

위와 같이 실시간 스트리밍에서의 다양한 시도를 가능케 하는 모션 캡처 기술에는 최근 많은 발전이 있었습니다. 다만 실시간 렌더링의 경우, 아직 기술적으로 해결해야 할 지점이 많습니다. 판타지 장르의 영화 등에서 활발히 사용되었던 기존의 모션 캡처의 경우에는 녹화 형태로 제작됩니다. 이에 따라 후가공 처리를 통한 보정 및 조정이 가능했습니다. 어색한 부분이 있다면 다듬고 손볼 수 있었죠.

그러나 실시간 스트리밍 환경에서는 이러한 후가공이 불가합니다. 이러한 한계를 극복하기 위해서는 사용자의 동작 데이터를 실시간으로 받아 즉각적으로 캐릭터 모델에 정교하게 반영할 수 있는 기술, 즉 고차원의 실시간 리타게팅 기술이 필요합니다. 그러나 실시간 리타게팅 기술은 현재 발전 과정에 있는 기술이라, 신체 간섭 문제, 신체 비율 차이 등의 다양한 오류가 발생할 여지가 있습니다.

실제로 플레이브가 데뷔 초반 관심을 받았던 이유 중 하나도 이와 같은 리타게팅 오류 때문이었는데요. 멤버들이 실시간 스트리밍을 하는 와중에 신체 부위가 뒤틀리거나, 캐릭터가 갑자기 사라지는 등 돌발 상황이 발생하는 경우가 흔했습니다. 하지만 이는 곧 플레이브 팬덤만의 고유한 문화이자 밈으로 자리 잡게 됐고, 이러한 사람들의 흥미는 곧 플레이브라는 그룹 자체에 대한 관심으로 옮겨갔습니다. 누군가에겐 오류일 수 있지만, 팬덤에겐 오히려 버추얼 아이돌만이 선보일 수 있는 재미 요소로 작용한 것이 특징입니다.

버추얼 아이돌의 확장 가능성

지난 11월에 열린 2024 마마 어워즈에서는 플레이브가 디스플레이를 통해 무대에 서서 래퍼 이영지와의 콜라보레이션 무대를 선보였습니다. 실제 가수와 실시간으로 호흡을 주고받으며, 무대를 꾸밀 수 있다는 점에 저 역시 많이 놀랐는데요. 버추얼 아이돌이 단순한 미래 기술의 아이콘을 넘어, 대중문화의 한 축으로 자리 잡게 되었다는 생각이 들었습니다.

제 주변에는 플레이브에 입덕하는 지인들이 점차 늘어가는 만큼, 저 또한 버추얼 아이돌 문화에 지속적으로 주목할 것 같습니다. 이제 버추얼 아이돌은 IT 기술의 발전과 팬덤 문화의 변화를 상징하는 사례가 되었는데요. 이 글을 읽는 분들도 IT 기술이 엔터테인먼트 산업에 가져온 혁신과, 버추얼 아이돌이라는 새로운 가능성을 발견하셨길 바랍니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.