AI는 왜 잘못된 답변을 할까? AI 할루시네이션과 해결책

인공지능(AI) 기술이 급속도로 발전하면서, 우리 일상 곳곳에 AI가 활용되고 있습니다. 하지만 이러한 발전과 더불어, ‘AI 할루시네이션(환각 현상)’이라는 새로운 문제가 대두되고 있죠. AI 할루시네이션이란 AI 시스템이 현실과 동떨어진 정보를 생성하거나, 없는 사실을 마치 있는 것처럼 표현하는 현상을 뜻합니다. AI 할루시네이션은 단순한 기술적 오류를 넘어 사회적, 윤리적 문제로 확대될 수 있는 중요한 문제입니다.

특히 의료, 법률, 금융 등 중요한 의사결정이 필요한 분야에 AI가 활용될 때, AI 할루시네이션은 치명적인 결과를 낳을 수 있는데요. 예를 들어, 의료 진단을 돕는 AI가 잘못된 진단을 내리거나, 법률 자문 AI가 부정확한 법적 조언을 제공하는 상황이 생길 수도 있습니다. 만약 AI가 제공하는 결과에 전적으로 의존한다면, 그로 인한 결과는 돌이킬 수 없는 피해로 이어질 수도 있죠.

이처럼 우리 사회가 AI와 함께 발전해 나가려면, AI 할루시네이션 문제를 더욱 심각하게 받아들이고 해결책을 마련해야 합니다. 이번 글에서는 AI 할루시네이션의 원인과 영향, 해결 방법에 대해 알아보겠습니다.

AI 할루시네이션의 원인은?

우선 ChatGPT와 같은 대규모 언어 모델(LLM, Large Language Model)의 동작 방식을 간단히 살펴보며, AI 할루시네이션의 주요 원인을 알아보겠습니다.

LLM은 대량의 텍스트 데이터에서 통계적 패턴을 학습합니다. 이 과정에서 모델은 단어와 문장의 순서, 문맥 등을 확률적으로 이해합니다. 하지만 이는 실제 세계의 사실관계나 논리를 완벽히 이해하는 것과는 다릅니다. 따라서 AI 모델의 정확성은 훈련 데이터에 크게 의존하는데, 이 데이터가 불완전하거나 편향되어 있으면 AI도 그러한 한계를 그대로 반영하게 됩니다.

예를 들어, “사과는 빨간색이다”라는 문장이 훈련 데이터에 자주 등장했다면, LLM은 ‘사과’와 ‘빨간색’을 강하게 연관 짓습니다. 그런데 훈련 데이터에 초록색 사과에 관한 내용이 없다면, AI는 실제로 초록색 사과도 존재한다는 사실을 정확히 이해하지 못할 수 있습니다. 이렇게 학습된 내용을 바탕으로, LLM은 주어진 문맥에서 다음에 올 가능성이 가장 높은 단어*를 예측하는 방식으로 작동합니다. 이 과정에서 때론 문맥상으로는 그럴듯해 보이지만, 사실과 다른 정보를 생성할 수 있습니다.

*좀 더 정확히는 토큰이라는 표현을 쓰는데, 토큰은 텍스트가 나누어진 단위를 의미하며, 단어나 일부 단어의 조합이 될 수 있습니다.

예를 들어, “아인슈타인은 20세기의 위대한 물리학자로, 그의 가장 유명한 업적은…”이라는 문장이 주어졌을 때, LLM은 ‘상대성 이론’이라고 정확히 예측할 수 있습니다. 하지만 이어서 “그는 또한 양자역학의 창시자로 알려져 있다”와 같은 잘못된 정보를 생성할 수도 있습니다. 이는 모델이 아인슈타인, 물리학, 유명한 업적 등의 키워드를 바탕으로 가장 그럴듯해 보이는 내용을 생성했기 때문입니다.

이와 관련해 직접 테스트해 본 예시를 살펴보겠습니다.

ChatGPT에 소설 ‘얼음과 불의 노래’와 드라마 ‘왕좌의 게임’(참고: ‘왕좌의 게임’은 소설 얼음과 불의 노래의 1부 제목)의 주인공인 ‘존 스노우’를 실제 나라인 영국과 결합하여 질문했습니다. 그러자 보기에는 그럴듯해도, 부정확한 답변을 내놓는 걸 볼 수 있었습니다.

또 다른 예시로 할루시네이션 사례 중 가장 유명했던 ‘세종대왕 맥북프로 사건’이 있습니다. 조선왕조실록에 기록된 세종대왕의 맥북프로 던짐 사건에 대해 알려달라고 하자, “세종대왕이 훈민정음의 초고를 작성하던 중 어떤 일로 문서 작성이 중단되었고, 이에 세종대왕이 담당자에게 분노하여 맥북프로와 함께 그를 방으로 던졌다”라는 답변이 생성된 것이죠.

현재 ChatGPT에 동일한 질문을 해보면, 위와 같은 답변을 내놓지 않고 패치된 것을 확인할 수 있습니다. 인공지능이 제대로 된 내용을 학습하면, 할루시네이션 현상이 줄어드는 것이죠.

LLM의 확률적 동작 방식으로 인한 원인 외에도, LLM이 주어진 맥락을 이해하는 것이 제한적이라 할루시네이션이 발생할 수도 있습니다. LLM은 주어진 맥락을 이해하긴 하지만 그 이해의 깊이와 폭은 제한적인데요. 컨텍스트 윈도우(맥락 창) 크기에 따라 기억할 수 있는 단어 수에 제한되어 있기 때문입니다. 특히 장기적인 맥락 유지나 복잡한 논리적 추론이 필요할 때 오류를 범할 수 있습니다.

위와 같이 GPT는 모델별로 기억할 수 있는 토큰 수가 정해져 있습니다. 대화가 길어지거나 복잡한 이야기를 하면, 초반에 언급된 정보를 AI가 후반부에서는 잊어버리거나 왜곡할 수 있습니다. 예를 들어, 소설을 요약하는 과정에서 초반에 나온 인물의 특성을 후반부에서 다르게 묘사하는 식의 오류가 발생하는 것이죠.

AI 할루시네이션의 영향과 위험성

현재 AI가 인간처럼 깊이 있는 이해로 결과를 내는 것이 아니라, 통계적 패턴과 확률에 기반해 작동한다는 것을 알아봤는데요. 따라서 AI를 활용할 땐 이러한 한계를 인식하고, 중요한 정보에 대해선 추가로 검증하는 과정이 필요합니다.

할루시네이션은 기술적 문제를 넘어, 여러 사회적 영향을 미칠 수 있기 때문입니다. 할루시네이션 현상은 기본적으로 잘못된 정보를 생성하는 것이므로, 잘못된 정보가 사용, 전파되어 사회적 혼란을 야기할 수 있습니다. 특히 AI가 생성한 허위 정보가 소셜 미디어를 통해 빠르게 퍼지면 혼란이 커질 겁니다.

그럼 할루시네이션으로 야기될 수 있는 사회적 문제에는 어떤 것들이 있을까요? 여러 분야의 사례를 통해 살펴보겠습니다.

과학 분야 사례

2022년 메타 AI 연구팀이 갤럭티카(Galactica)라는 AI 챗봇을 개발했습니다. 이 모델은 과학 논문 및 교과서 등 4,800만 개 이상의 과학 관련 텍스트로 훈련됐습니다. 목적은 과학 지식을 요약하고, 수학 방정식을 풀고, 과학적 코드를 작성하는 등 과학 분야에 특화된 AI 어시스턴트를 만드는 것이었죠.

그러나 이를 악용하여 실제로 존재하지 않는 “The Benefits of Eating Crushed Glass(부서진 유리를 먹는 것의 이점)”라는 제목의 논문이 위키 사이트에 게재되기도 했는데요. 이는 AI를 통해 그럴듯한 허위 정보가 인터넷을 통해 쉽게 전파될 수 있음을 보여줬습니다. 결국 갤럭티카는 부정확한 답변 등으로 윤리적인 비판을 받은 후, 출시한 지 3일 만에 페이지를 폐쇄했습니다.

법률 분야 사례

법률 분야에서는 AI가 법률 조문을 제대로 해석하지 못해, 잘못된 법적 조언을 제공할 가능성이 있습니다. 미국의 두낫페이(DoNotPay)는 2023년 실제 법정에서 AI 변호사 챗봇을 사용해, 피고인 변론을 최초로 시도하려는 계획을 발표했습니다. 이 계획은 스마트폰에서 실행되는 AI가 법정에서 변론을 듣고, 실시간으로 이어폰을 통해 피고인에게 법률 조언을 제공하는 것이었는데요. 그러나 많은 법률 전문가가 제대로 자격을 갖추지 않은 AI가 변론하는 것에 대해 위법성을 제시했고, 결국 이 시도는 무산되었습니다.

또한 이보다 훨씬 전인 2016년에도 ‘COMPAS’라는 AI 도구가 한 연구에서 뉴욕주와 캘리포니아주에서의 재범 가능성을 예측하며, “흑인이 백인에 비해 더 리스크가 높다.”라고 인종차별적인 판단을 내리기도 했습니다. 이처럼 AI의 결과를 무조건 수용한다면, 누군가에게는 공정하지 못한 상황이 발생할 수 있습니다.

의료 분야 사례

의료 오진으로 인한 결과는 인간의 생명에 직접적인 영향을 줄 수 있기 때문에 치명적인데요. 개인정보 보호 등의 문제로 실제 피해 사례는 찾기 어려웠지만, 이미 코로나바이러스 진단부터 피부암 진단 등 의료 분야에서 AI를 활용하는 논문은 쉽게 찾아볼 수 있었습니다. 그러나 여전히 AI의 정확성이 100%가 아니라는 점을 감안하면, 언제든 의료 사고 피해가 발생할 수 있는데요. 따라서 의료 분야에서 AI 성능과 할루시네이션 문제는 더욱 철저하게 고려되어야 할 것입니다.

AI 할루시네이션 해결을 위한 기술적 접근 방법은?

지금까지 할루시네이션의 위험성을 살펴보았는데요. 이러한 문제를 해결하고자 다양한 접근 방법이 연구되고 있습니다. 먼저 기술적으로 할루시네이션을 해결하는 방법과 사례를 살펴보겠습니다.

모델 아키텍처 개선

인공지능 모델 아키텍처는 인공신경망 구조와 설계를 의미합니다. 더 복잡한 아키텍처는 일반적으로 더 많은 매개변수를 가지며, 그로 인해 일반적으로(매개변수가 너무 많으면 오히려 품질을 떨어뜨릴 수도 있어서 적절한 조정이 필요함) 더 정확한 결과를 생성할 수 있습니다.

OpenAI의 최신 모델 GPT-4는 이전 GPT-3보다 더 큰 규모의 모델로, 할루시네이션 문제가 상대적으로 적게 발생합니다.

허깅페이스 사이트에서는 각 인공지능 모델별 성능을 확인할 수 있는데요. 오픈소스 LLM인 Meta-LLama의 경우를 보더라도, 70B(매개변수 700억 개) 모델이 8B(80억 개) 모델보다 성능이 높은 것을 알 수 있습니다.

데이터 품질 향상 및 강화 학습

정확하고 검증된 정보로 구성된 데이터 셋으로 인공지능 모델을 학습시키고, 데이터 정제 기술 수준을 높일 수 있습니다. 또한 학습 데이터에서 오류와 편향을 제거한다면, 더 정확한 결과를 생성시킬 수 있습니다. 이에 더해 인간의 피드백을 통한 강화 학습(Reinforcement learning from human feedback, RLHF)을 사용하여, 더 정확한 결과를 생성할 수 있게 만듭니다.

외부 데이터 학습 및 지식베이스 연결

2022년 ChatGPT가 처음 출시되었을 때, 그 당시 모델인 GPT 3.5는 2021년까지의 내용만 학습하여, 그 이후의 정보에 대한 답변은 제대로 생성하지 못했습니다. 이렇게 최종적으로 학습된 정보의 날짜를 컷오프 날짜라고도 하는데요.

현재 2024년 8월 기준(아래 그림 참조), ChatGPT의 최신 GPT-4o 모델의 컷오프 날짜는 2023년 8월입니다. 즉, 그 이후 날짜에 대한 정보를 물어보면, 할루시네이션이 생성될 수 있는 확률이 높아집니다. 이를 해결하기 위해서는 외부 데이터를 추가로 학습하거나, 외부 문서나 데이터베이스 등 지식베이스를 연결하기도 합니다.

프롬프트 엔지니어링(Prompt Engineering)

프롬프트 엔지니어링은 앞으로 언급할 파인튜닝이나 RAG와는 다르게 사전 훈련된 범용 AI 모델을 그대로 사용하며, 프롬프트(입력하는 지시문)만을 변경하여 사용자가 원하는 결과를 얻는 기법입니다. 이를 활용해 좀 더 정확한 답변을 얻고, 할루시네이션 가능성을 낮출 수 있습니다.

• 명확한 지시: AI에 “사실만을 알려주세요” 또는 “확실하지 않은 정보는 ‘모르겠다’라고 대답하세요”와 같이 명확히 지시하면, 부정확한 정보를 창의적으로 생성하는 것이 줄어듭니다.
• 예시 및 맥락 제공: “사과 3개의 가격이 만 원이라면, 사과 9개의 가격은 얼마인가요?”처럼 예시나 관련 정보를 프롬프트에 제공하여, AI가 더 정확한 맥락에서 응답하도록 만들 수 있습니다.
• 단계별 접근: “단계별로 설명해 주세요”와 같은 프롬프트를 입력하여, 복잡한 질문을 여러 단계로 나눠, AI가 각 단계를 차례로 처리하게 합니다. 이 경우 AI의 추론 성능이 높아져 부정확한 답변을 생성할 가능성을 낮출 수 있습니다.
• 자체 검증 요청: “답변을 생성할 때 검증해 주세요”와 같이 AI에 자신의 응답을 검토하고, 확실하지 않은 부분을 표시하도록 요청하면 좀 더 정확한 답변을 얻을 수 있습니다.

파인튜닝(Fine-tuning)

파인튜닝은 ChatGPT나 그 외 사전 훈련된 대규모 범용 언어 모델을, 특정 작업이나 도메인에 맞게 관련 내용을 추가로 학습시키는 기술입니다. 예를 들면, 과학 AI, 법률 AI, 의료 AI 등 특정 주제에 특화된 지식을 추가로 학습시켜 특정 분야에 전문화된 AI를 개발하는 것이죠. 해당 주제에 관해 더 정확한 답변을 얻을 수 있도록 하는 것입니다.

이는 새로운 인공지능 모델을 만드는 것이므로, 앞서 살펴본 모델 아키텍처, 데이터 품질, 강화 학습 등 모든 부분이 고려되어야 합니다. 또 경우에 따라서는 오히려 원본 모델의 성능 저하 가능성이 생길 수도 있어, 더 많은 노력이 필요합니다. 기본적으로는 양질의 데이터 셋이 필수적이기 때문에, 캐글 같은 사이트에서는 상금을 걸고 자원자를 모아 경쟁을 유도하기도 합니다.

RAG(Retrieval-Augmented Generation, 검색 증강 생성)

RAG는 사전 훈련된 AI 모델을 그대로 쓰면서, AI가 응답을 생성할 때 외부 데이터베이스에서 관련 정보를 미리 검색해 이를 AI에 컨텍스트로 제공하는 방식입니다. 간단히 설명하면 프롬프트 입력 시, 질문에 관련된 내용을 더해서 답변의 정확성을 높이는 방법입니다. 최신 정보를 포함한 신뢰할 수 있는 데이터베이스에서 관련 정보를 검색하여, AI에 실시간으로 정보를 주입할 수 있습니다. 또한 검색된 정보의 출처를 함께 제공할 수 있어, 사용자가 정보의 신뢰성을 판단할 수 있게 도와줍니다.

위에서 컷오프 날짜에 대해 언급했는데, RAG는 이러한 문제를 해결해 줄 수 있습니다. 예를 들어, 컷오프 날짜가 2023년 8월인 ChatGPT 모델에 RAG를 적용한다면, 현재 실시간 최신 뉴스 데이터베이스에서 관련 정보를 검색하여, 정확하고 최신의 정보를 제공할 수 있습니다. 퍼플렉시티(Perplexity)와 같은 실시간 검색 AI 서비스가 RAG를 활용한 주요 서비스인데요. ChatGPT를 만든 OpenAI에서도 문서를 업로드하여, 추가 정보를 검색하게 하는 기능을 계속해서 추가하고 있습니다.

단점은 RAG의 성능이 검색 시스템의 품질에 크게 의존한다는 점인데요. 따라서 신뢰할 수 있는 데이터를 확보하는 것이 중요합니다. 또한 대규모 데이터베이스 관리에 따른 비용과 노력이 증가하고, 전체적인 서비스 아키텍처의 복잡성이 증가하게 됩니다. 또한 컨텍스트 윈도우 크기 제한으로, 무한하게 데이터를 주입하는 것이 불가능해 편향된 결과를 초래할 수도 있습니다.

프롬프트 엔지니어링 vs. 파인튜닝 vs. RAG

프롬프트 엔지니어링, 파인튜닝, RAG의 기술을 다음과 같이 비교할 수 있습니다.

간단히 정리하면 프롬프트 엔지니어링은 빠르게 적용할 수 있지만, 복잡한 문제 해결에는 한계가 있습니다. 파인튜닝은 특정 도메인에 대해 높은 성능을 보이지만, 구현이 어렵고 새로운 정보 반영이 어렵습니다. RAG는 실시간 정보 업데이트와 높은 설명 가능성이 장점이지만, 검색 결과의 품질에 따라 성능이 달라질 수 있습니다. 

각 기술의 장단점이 있는 만큼, 실제 응용에서는 이들을 조합하여 사용하는 것이 효과적일 수 있습니다. 예를 들어, RAG를 기본으로 하되 프롬프트 엔지니어링을 통해 검색 품질을 개선하고, 특정 도메인에 대해서는 파인튜닝을 추가로 적용하는 방식입니다.

종종 파인튜닝과 RAG를 특정 문제를 푸는 시험에서 클로즈북 시험과 오픈북 시험에 빗대어 비교하기도 합니다. 그러나 오픈북 시험이더라도 미리 관련 지식을 알고 있으면 더 시험을 잘 볼 수 있는 원리와 같이, 각 상황과 요구사항에 따라 적절한 방법과 조합을 선택해야 합니다.

성능 평가, 모니터링 등 엔지니어링 기술 발전

이외에도 성능 평가, 테스트, 그리고 지속적 모니터링을 통해 점진적으로 인공지능의 성능을 올려간다면, 할루시네이션 문제를 해결할 수 있습니다. AI 모델이 자신의 예측에 대한 확신도를 함께 제공하도록 하여, 사용자가 정보의 신뢰성을 판단할 수 있게 하는 것이죠. 또한 AI 시스템 출력 결과를 지속적으로 모니터링하고 평가하여, 할루시네이션을 조기 탐지하고 수정하는 방법 등도 중요하게 다뤄져야 할 것입니다.

AI 할루시네이션 해결을 위한 제도적 접근 방법

할루시네이션 문제를 해결하기 위해서는 제도적인 접근 방법도 함께 고려해야 합니다. 적절한 가이드라인과 법적 규제를 마련해 책임성을 강화하며, AI 시스템에 대한 인증 제도를 시행해야 합니다. 또한 전 세계적인 표준을 만들어 국제적인 협력을 하는 것도 할루시네이션 문제를 해결하는 데 도움이 될 수 있습니다. 이 밖에도 허위 논문을 작성하는 등 AI의 무분별한 악용을 막기 위해, 국민들에게 인공지능 관련 교육을 제공하는 것도 필요합니다. AI로 인한 사회적 영향도를 평가하는 시스템을 개발하는 것도 도움이 될 수 있고요. 실제 사례를 통해 자세히 살펴보겠습니다.

윤리 가이드라인 수립 및 인공지능법 사례

EU는 2019년 세계 최초로 국제기구 차원에서 ‘신뢰할 수 있는 AI를 위한 윤리 가이드라인’을 발표했습니다. 이 가이드라인에는 AI 개발 시의 네 가지 윤리 원칙과 함께,  7가지의 신뢰할 수 있는 AI 시스템의 요구사항을 정의하고 있습니다. 이후 EU는 2024년 5월 인공지능에 관한 세계 최초의 포괄적인 법안인 “인공지능법(the Artificial Intelligence Act)”을 승인했고, 2026년 6월부터 전면 시행될 예정이라고 합니다.

EU 인공지능 법은 잠재적인 위험 및 영향 수준에 따라 인공지능 시스템을 (1) 금지된 인공지능 시스템(Prohibited AI Systems), (2) 고위험 인공지능 시스템(High-risk AI Systems), (3) 범용 AI (General purpose AI, GPAI) 모델, (4) 최소 위험 인공지능 시스템 (Minimal Risk AI Systems)로 분류하고, 각 시스템에 따라 위험관리 시스템 구축, 모델에 대한 기술문서 작성, 투명성과 추적성 확보를 위한 로그 기록, 사이버 보안 지침 등 요구사항을 점검할 것을 의무화하고 있습니다.

투명성 및 설명 가능성 요구 사례

AI 할루시네이션 문제를 해결하기 어려운 이유 중 하나는 인공지능 내부가 블랙박스 형태로 되어 있어, 어떤 답변이 나오거나, 결정이 내려졌을 때 왜 이러한 결과가 나왔는지 100% 설명하기 어렵기 때문입니다.

이와 같은 문제를 해결하고자, 미국 방위고등연구계획국(DARPA)에서는 XAI(eXplainable AI, 설명 가능한 AI) 프로젝트를 시작했습니다. 이 프로젝트는 AI의 의사결정 과정을 인간이 이해할 수 있는 형태로 설명하는 기술 개발을 지원하고 있습니다. 예를 들면, 의료 진단 AI가 왜 특정 진단을 내렸는지 의사와 환자에게 설명하는 것을 목표로 하고 있죠. 사용자가 결과를 이해하고 믿을 수 있게 되면, 할루시네이션 문제를 적극적으로 해결할 수 있을 겁니다.

2024년 앤트로픽과 OpenAI는 AI 블랙박스의 실체를 규명하는 데 노력하고 있습니다. AI의 내부 동작 방식을 파악하고, 동작 방식의 설명을 지원하고 제도화한다면 앞으로 신뢰할 수 있는 인공지능을 만들어나갈 수 있습니다.

AI 및 자동화 시스템의 영향력 평가 도구 사례

캐나다에서는 알고리즘 영향력 평가 ‘Algorithmic Impact Assessment (AIA)’ 도구를 개발했는데요. 정부 기관이 자동화된 의사결정 시스템을 도입할 때, 잠재적 영향을 평가하기 위한 도구입니다. AI나 알고리즘 시스템의 위험을 식별하고 완화하기 위한 목적인데요. 인권, 프라이버시, 윤리, 공정성 등 다양한 영역을 평가합니다.

다양한 질문을 통해 자동화 시스템의 영향력을 평가하고, 그 수준에 따라 필요한 완화 조치를 결정하게 됩니다. 프로세스 중에는 법률 서비스 자문을 구해야 하며, 평가 결과를 대중에 공개하여 투명성을 확보하기도 합니다. 이와 같이 영향력과 위험도를 평가하는 시스템을 정부 차원에서 구축하여 할루시네이션 문제를 해결해 나가는 것도 필요합니다.

국내에서는 국가인공지능위원회의 설치 및 운영에 관한 규정(2024.8.6 시행) 법령을 만들고, 과학기술정보통신부에서 대한민국 초거대 인공지능(AI) 도약 방안을 발표하기도 했습니다.

마치며

AI 기술의 급속한 발전은 우리 사회에 많은 혜택을 주고 있지만, 동시에 AI 할루시네이션이라는 새로운 도전 과제를 던졌습니다. 할루시네이션 문제 해결은 다각도에서 접근이 필요합니다. 기술적 개선과 더불어 AI 시스템의 투명성과 설명 가능성을 높이는 것이 중요하며, 책임 있는 AI 사용에 대한 지속적인 논의가 이루어져야 합니다.

이를 위해 각 산업계와 학계가 협력하고, 정책 입안자들은 적절한 규제와 가이드라인을 마련해야 하죠. 또한 일반 사용자도 AI의 한계를 인식하고, 비판적 사고를 통해 AI가 제공하는 정보를 평가할 수 있어야 합니다. 더 나은 일상 속 AI를 위해 우리 모두의 노력과 관심이 필요한 때입니다.

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.