AI는 어떻게 ‘기술적으로’ 콘텐츠를 망치고 있는가?

얼마 전, 챗GPT가 만들어 낸 지브리 화풍의 애니메이션 그림이 폭발적인 인기를 끌었습니다. SNS 프로필 사진 어디에서나 지브리풍 이미지를 어렵지 않게 찾아볼 수 있었죠.

오픈AI의 생성형 AI 모델은 사용자가 본인의 사진만 올리면, 마치 만화 속 세상에서 곧바로 튀어나온 것처럼 생생한 이미지를 뚝딱 만들어 줍니다. 이렇게 AI가 그려 준 내 모습은 정말 신선하고 색다르게 다가옵니다. 누가 보더라도 스튜디오 지브리 작품에서 방금 튀어나온 듯한 느낌입니다. 부드럽고 따뜻한 색감, 디테일한 배경과 감성 어린 눈빛까지, 퀄리티도 수준급입니다.

하지만, 이렇게 AI가 생성해 낸 이미지에 대해 거부감을 느끼는 사람들 역시 적지 않습니다. 생성형 AI 이미지가 아무리 뛰어나도 어딘가 모르게 기묘한 느낌을 주거나 혹은 너무 완벽히 다듬어져 오히려 가짜 특유의 어색함을 풍기기 때문입니다. 언뜻 보기엔 훌륭하게 느껴지지만, 자세히 보면 세부 묘사가 부족한 데다 어디선가 한 번쯤 본 듯한 인공적인 분위기를 드러내기도 합니다. 결국, 이런 요소들은 어딘지 모르게 부자연스럽다고 느껴지게 만드는 이유입니다.

생성형 AI 모델의 성능이 날로 발전하며 점점 더 많은 사람이 글쓰기나 이미지, 영상 제작 같은 콘텐츠 창작에 AI를 활용하기 시작했습니다. 이제 우리 주변에서 AI가 만들어낸 콘텐츠를 찾는 일은 전혀 어렵지 않은 일이 되었습니다. 특히 온라인 공간에서 생성형 AI는 단순 도구를 넘어 창작의 주체로 자리를 잡고 있습니다.

하지만 이것이 마냥 좋은 현상만은 아닙니다. 인간이 오랜 기간 쌓아 올린 방대한 데이터를 단순히 모방하는 수준을 넘어, 이제 AI는 점차 ‘인간 사회의 데이터’ 그 자체에 큰 영향을 미치는 존재로 변모하고 있기 때문입니다.

생성형 AI의 활용이 늘어남에 따라, 온라인의 콘텐츠들이 점점 더 ‘엿 같아짐’을 뜻하는 ‘enshitification’이라는 신조어마저 등장했습니다. 원래 이 말은 코리 닥터로우라는 캐나다 출신 블로거가 플랫폼 경제의 붕괴 과정을 비판하며 만든 용어였습니다. 그런데 이제는 이 단어가 생성형 AI로 만든 콘텐츠에까지 폭넓게 쓰이기 시작한 것입니다. 처음 사람들에게 신선한 충격을 주며 등장한 생성형 AI는 점차 수익 극대화를 위한 알고리즘에 얽히고 꼬이면서 결국 사용자 경험을 망치고, 콘텐츠 품질까지 엉망으로 만들어버린다는 비판의 목소리가 계속 높아지고 있습니다.

이번 시간에는 AI 엔지니어의 시선에서 지브리풍 AI 이미지 같은 생성형 AI 콘텐츠들이 온라인 콘텐츠의 전반적인 품질을 ‘기술적으로’ 어떻게 떨어뜨릴 수 있는지, 그 원리와 위험성에 대해 함께 살펴보겠습니다. 콘텐츠 생성뿐 아니라 데이터 훈련, 평가 및 개선의 과정에 이르기까지, 생성형 AI가 모든 단계에 고루 관여하며 나타날 수 있는 문제점도 함께 짚어보겠습니다. 장기적으로 이러한 현상이 우리 인간의 창작 활동에 어떤 영향을 끼칠지 심도 있게 고민해 볼 기회가 되었으면 합니다.

생성형 AI는 어떻게 ‘기술적’으로 온라인 콘텐츠의 품질을 저하시킬까?

생성형 AI는 기본적으로 사전학습(pretraining)된 대규모 언어나 이미지 모델을 토대로 작동합니다. 이 사전학습 단계에서 모델은 인간이 만든 방대한 양의 텍스트와 이미지, 코드 등 데이터로 일반적인 언어 구조나 시각적 패턴, 문맥, 스타일 등을 학습합니다. 그리고 이후 특정 목적에 맞춘 파인튜닝(fine-tuning)을 거치면서 실제 활용에 적합한 생성형 시스템이 되는 것이죠.

문제는 바로 이 파인튜닝, 혹은 모델 재학습(retraining) 단계에 쓰이는 데이터가 점점 더 AI가 만든 콘텐츠로 채워지고 있다는 점입니다. 이는 흔히 ‘데이터 오염(data contamination)’이라고 부르는 현상을 낳습니다.

인간이 손으로 정제한 고품질 데이터에 비해 AI가 생산한 2차, 3차 콘텐츠들은 겉으로 보기엔 꽤 정교해 보일지 몰라도, 실제 정보 밀도나 창의성, 다양성 측면에서는 품질이 현저히 떨어집니다. 이 과정에서 미묘한 표현의 뉘앙스라든지, 문화적 맥락, 혹은 비주류 스타일 같은 요소들이 쉽게 소실되고 맙니다.

이처럼 AI가 생성한 콘텐츠들이 모델의 훈련 데이터 파이프라인에 다시 흘러 들어가면, 모델은 결국 자기 자신이 만든 데이터를 계속해서 다시 학습하는 일종의 강화학습(reinforcement learning) 구조에 빠지고 맙니다. 이렇게 되면 처음에는 나름대로 신선하고 그럴듯한 콘텐츠를 만들던 모델조차 시간이 흐를수록 점점 더 예측 가능하고, 클리셰로 가득한, 개성 없는 콘텐츠만 반복 생산하게 되는 것입니다.

AI가 생성하는 결과물들은 결국 모델이 학습한 데이터들의 ‘평균값’을 기반으로 만들어진 것이기에, 어딘가에서 이미 본 듯한 요소들이 섞여 나옵니다. 이런 콘텐츠가 다시 반복하면 결국 식상해지고 맙니다. 예를 들어, AI 이미지를 검색해 보면 비슷한 얼굴, 같은 포즈, 유사한 배경이 계속 눈에 들어옵니다. 결국 창의성과 신선함보다는, ‘클릭이 잘 나오는’ 요소들만 복사 붙여넣기 한 듯한 느낌을 주며 개성과 감정은 점점 더 희미해지는 것입니다. 그저 그런 ‘콘텐츠 생산 기계’로 전락하는 기분마저 들게 됩니다.

데이터 생성, 훈련, 평가 사이클에 모두 관여하는 생성형 AI

생성형 AI가 콘텐츠 생태계에 미치는 영향은 단순히 AI가 만든 결과물에만 그치지 않습니다. 진짜 문제는 생성형 AI가 데이터 생성 → 모델 훈련 → 아웃풋 평가 및 개선에 이르기까지 전 과정에 걸쳐 개입하게 되었다는 점입니다. 이처럼 데이터를 수집하고, 생성형 AI 모델을 훈련시키고 배포한 뒤, 아웃풋을 평가하여 다시 모델을 개선하는 일련의 과정을 LLMOps(LLM Operations)라고 합니다. 다시 말해, AI는 더 이상 인간의 단순한 도구가 아니라, LLMOps 전반에 걸쳐 데이터 공급의 주체이자 학습 대상이며, 결과물 품질을 판단하는 평가 기준으로까지 자리 잡고 있는 것이죠.

우리가 AI 모델 훈련 파이프라인을 설계할 때 가장 먼저 고민하는 점은 역시 데이터의 품질(quality)입니다. 하지만 생성형 AI가 스스로 만들어낸 데이터를 또 다른 모델 학습에 활용하거나, 사용자 맞춤화를 위한 파인튜닝 데이터로 재활용하는 경우가 증가하면서 품질 기준 자체가 점점 흐려지고 있습니다. 이런 상황이 계속되면 훈련 데이터셋은 ‘AI가 만들어낸 데이터로만 채워진 세계’로 왜곡될 위험이 커지고, 이는 결과적으로 훈련을 통해 나타나는 콘텐츠의 다양성과 창의성을 급속도로 잠식해 나갑니다.

게다가 최근 들어서는 모델의 평가 지표마저 생성형 AI의 결과물끼리 비교하거나, AI가 자동으로 계산한 품질 점수(AutoEval 등)에 의존하는 경우가 많아졌습니다. 이는 인간의 피드백 없이도 모델을 자동으로 최적화하려는 시도이지만, 그 과정에서 정작 인간의 인지적 판단이나 감성적 가치가 평가 기준에서 빠지는 구조가 만들어집니다. 즉, “AI가 만들어낸 데이터를 가지고 AI가 다시 학습하고, AI가 스스로 평가를 진행하며, 결국 다시 AI가 콘텐츠를 생산하는” 자가 증식적 사이클이 형성되는 것입니다.

이런 구조에서는 콘텐츠가 점점 인간의 창의성에서 멀어지게 됩니다. 예를 들어 이미지 생성의 경우, 과거에는 ‘사람이 만들어내기 힘든 스타일이다’라고 느낄 정도로 놀라운 결과물이 나오기도 했지만, 이제는 오히려 ‘너무 AI스럽다’고 느껴져 피로감을 먼저 느끼곤 합니다. 글쓰기 역시 마찬가지입니다. LLM이 만들어낸 텍스트는 점점 더 매끄러워지고 논리적으로 말이 되는 것처럼 보이지만, 인간적인 이야기의 깊이나 독창성은 점차 사라지고 있습니다. 자꾸만 “이거 어디서 본 것 같은데?”라는 느낌을 받는 것도 바로 이 반복된 학습 구조 때문입니다.

더 큰 문제는, 이렇게 생성형 AI가 데이터 생태계를 장악해버린 환경에서는 인간 창작자들이 개입할 여지가 점점 좁아진다는 점입니다. 우리가 새로운 스타일을 제안하거나 실험적인 콘텐츠를 만들고 싶어도, 모델은 과거에 ‘잘 먹혔던’ 스타일만 계속 강화하는 방향으로 최적화되기 때문에 결국 실험의 가치를 인정하지 않게 됩니다. 이는 기술적 관점에서 보았을 때, 모델이 특정 데이터에만 지나치게 최적화되는 과적합(overfitting)과 매우 유사한 현상입니다. 데이터의 다양성은 줄어들고, 평가 기준은 편향되어, 창작의 가능성은 급속히 위축되는 상황으로 이어지는 것입니다.

또한, 대부분의 생성형 AI 시스템은 사용자 피드백이나 클릭률 등 각종 정량적 지표를 성능 개선에 적극적으로 활용합니다. 다만 이 경우, 정량적 지표로만 ‘좋은 콘텐츠’를 정의하게 되기 때문에 내용의 진실성, 윤리성, 맥락의 깊이와 풍부함 같은 요소들은 평가 과정에서 배제되기도 합니다. 결국 모델은 ‘잘 먹히는 콘텐츠’만을 만들어내도록 유도되고, 이는 콘텐츠의 전반적 품질 저하로 직결될 수밖에 없습니다.

이처럼 AI가 개입하는 콘텐츠 제작 과정은 얼핏 기술적인 진보처럼 보일 수도 있지만, 실제로는 데이터의 관점에서 일어나는 퇴행이라고 할 수 있습니다. 데이터가 자기 복제를 반복하며 점점 더 축소된 세계관을 모델에 학습시키고, 이는 다시 훈련 데이터를 오염시키며 전체 콘텐츠 생태계를 피로하게 만드는 것이죠. 결국 우리는 더 비슷한 이미지와 구문, 이야기 구조만을 반복해서 접하게 됩니다. 장기적으로 볼 때, 이는 ‘창작’이라는 본래의 가치 자체에 대한 근본적인 회의로 이어집니다.

창작의 영역에서 점차 통제력을 잃어가는 인간

생성형 AI가 콘텐츠 제작 과정 전체에 깊숙이 개입하면, 앞으로 인간은 창작의 중심에서 밀려날 확률이 높습니다. 더 정확히 말하면, 인간이 콘텐츠 창작 과정에 대해 가지고 있는 실질적인 ‘통제력’을 점차 잃어가는 것입니다. 겉으로 보면 여전히 인간이 프롬프트(prompt)를 입력하고, 결과를 선택하고, 필요할 때 약간의 수정도 하는 것 같지만, 사실 이 모든 작업은 이미 AI가 설정해 놓은 규칙과 한계 안에서만 이루어진다는 점에서 근본적으로 제한적입니다.

우선, 콘텐츠 생성의 출발점인 데이터가 인간의 의도에 따라 만들어지는 게 아니라 모델이 이미 학습한 콘텐츠들의 평균값을 기반으로 재구성된다는 점부터가 창작 주도권의 전복을 의미합니다. 사용자가 지브리풍 이미지를 만들기 위해 “지브리 스타일의 배경, 따뜻한 색감, 부드러운 빛”이라는 프롬프트를 입력하는 순간, 창작의 결과물은 이미 모델의 데이터 분포 위에 고정됩니다. 사용자는 다양한 옵션 중에서 고르는 것처럼 느끼지만, 실제로는 모델이 미리 허용해 놓은 ‘스타일 슬롯’ 안에서 제한된 선택만 하고 있는 셈입니다.

더 나아가, 이와 같은 선택조차도 플랫폼의 알고리즘이나 모델의 편향(bias)에 따라 제약됩니다. 생성형 AI는 일반적으로 정형화되고 전형적인 데이터를 선호합니다. 따라서 창작자의 독특한 의도나 실험적인 스타일은 종종 ‘비효율적’이거나 ‘비정상적’으로 간주되어, 결과물에서 필터링되거나 왜곡됩니다. 예를 들어, 특정 감정 표현이나 정치적 맥락, 문화적으로 민감한 요소들은 모델이 “불쾌할 수 있는 콘텐츠” 또는 “정책 위반”이라는 이유로 자동 삭제하거나 수정하는 경우가 다반사입니다. 창작자는 창작 도중 이러한 필터가 작동했는지조차 알지 못한 채 그저 ‘불가능한 프롬프트’라는 이유로 다른 방향을 강요당하는 것입니다.

여기서 중요한 점은 AI가 실제로 인간의 창작물을 직접 검열하지는 않지만, 구조적인 차원에서 사실상 검열이 발생한다는 사실입니다. 이 구조 속에서는 인간은 콘텐츠를 ‘설계’하거나 ‘연출’하는 존재가 아니라, 그저 모델이 제공하는 틀 내에서 가장 그럴듯한 결과를 선택하는 콘텐츠 큐레이터 또는 편집자로 전락하고 맙니다.

또 하나의 큰 전환은 피드백의 소멸입니다. 본래 인간은 창작을 통해 자기 자신을 표현하고, 피드백을 받으며 성장합니다. 그런데 생성형 AI 환경에서는 이 피드백 과정마저 알고리즘으로 필터링됩니다. 콘텐츠가 성공했는지 실패했는지의 판단 역시 점점 더 플랫폼의 노출 지표(클릭률, 좋아요 수, 댓글 수 등)로 자동화됩니다. 인간 창작자가 자신의 결과물을 깊이 고민하고, 잘된 점과 부족한 이유를 되짚어보며 꾸준히 발전시키는 ‘피드백 → 개선 → 성숙’의 과정은 AI 중심의 콘텐츠 시장에서 점차 사라지고 있습니다. 결국 인간은 창작의 주체가 아니라, AI가 학습할 소비 데이터를 생산하는 존재로 떨어집니다. 그리고 AI는 바로 그 데이터를 먹고 다시 더 많은 ‘그럴듯한 콘텐츠’를 만들어내는 순환 구조를 강화하는 셈입니다.

이 모든 변화는 근본적인 창작의 철학 자체를 바꿔놓고 있습니다. 인간은 이제 자신이 왜 이 콘텐츠를 만들었는지 설명하지 않으며, 어떻게 만들었는지도 점점 의미를 잃어갑니다. 오로지 ‘무엇을 만들어야 클릭률이 높을까?’ 하는 고민만 남게 됩니다. 창작자가 통제력을 잃는다는 것은 곧 창작의 핵심 요소라 할 수 있는 의도, 맥락, 그리고 판단력이 시스템 안에서 무력화되는 과정을 의미하는 것입니다.

마치며

생성형 AI는 분명히 강력한 도구입니다. 창작에 대한 접근성을 높여주고, 시간과 비용을 줄여주며, 다양한 표현의 가능성을 열어줍니다. 하지만 그만큼 강력한 도구는 언제나 사용 방식과 통제 여부에 따라 파괴적인 부작용을 낳을 수도 있습니다. 지금 우리가 목격하는 상황은 단지 기술 혁신의 차원을 넘어, 콘텐츠의 생산 구조 자체가 재편되는 과정이며, 인간의 창작 권한과 정체성이 시스템 안으로 잠식되어 가는 현상이라는 시선도 있습니다.

그러나 모든 새로운 기술이 나타날 때 그랬던 것처럼, 이 모든 현상은 단순히 기술 자체의 책임은 아닙니다. 문제는 이 기술이 어떻게 쓰이고 있는지, 그리고 우리가 얼마나 쉽게 창작의 주도권을 포기하고 있는지에 있습니다. AI 모델은 그 자체로는 창작자가 아닙니다. 모델은 그저 학습한 데이터를 기반으로 결과를 ‘예측’할 뿐이지, 의도를 갖고 새로운 의미를 창출하지는 못합니다. 만약 우리가 무분별하게 AI를 창작 과정 전체에서 남용한다면, 장기적으로 우리 콘텐츠 생태계는 점차 인간이 AI가 만들어낸 결과물을 전제로 작업하고, 그 안에서만 선택지를 고르며, 마치 그것이 진정한 창작인 것처럼 받아들일지도 모릅니다.

결국 지금 우리가 되찾아야 하는 것은 단순히 콘텐츠의 ‘퀄리티’가 아니라 창작의 주도권과 판단력, 그리고 의도와 맥락을 설계할 수 있는 권리입니다. 인간은 데이터를 다루는 단순한 기술자에 그치지 않는, 그 위에 의미를 부여하는 존재여야 합니다.

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.