지난 2023년 11월 30일은 ChatGPT가 출시된 지 1년이 되는 날이었습니다. 빠르게 변화하는 기술 트렌드 속에서도 ChatGPT를 중심으로 하는 생성형 AI 기술은 꾸준히 인기를 유지하며 트렌드의 중심에 서 있습니다. 특히 많은 조사 기관에서 예측하길, 내년에도 이러한 추세가 지속될 것이란 전망을 하고 있는데요. 과거 메타버스나 NFT가 보여줬던 것처럼 반짝인기에 머물지 않고 지속적인 영향력을 발휘할 것으로 보입니다.

회원가입을 하면 원하는 문장을
저장할 수 있어요!

생성형 AI 시대를 이해하기 위한 필수 용어 사전

이재훈

13분

2023.12.12.

1. 대형 언어 모델(LLM, Large Language Model)

대형 언어 모델은 생성형 AI를 설명할 때 가장 먼저 이해해야 하는 개념입니다. 대형 언어 모델이란, 말 그대로 광범위한 양의 텍스트 데이터를 학습한 모델을 뜻하는데요. 이 개념은 인간의 언어 능력 성장 과정을 생각하면 이해하기 쉽습니다.

어렸을 때는 언어에 대한 학습량이 적어 제한된 단어와 짧은 문장 위주의 대화만 가능하지만, 이후 교육 과정, 일상생활 속에서의 대화, 독서, 인터넷 등 학습을 통해 언어 능력이 자연스럽게 성장합니다. 이 과정에서 이해력과 추론 능력도 함께 높아지며, 대화 수준과 답변의 정확도가 향상됩니다.

대형 언어 모델도 이와 유사하게 방대한 양의 언어 데이터를 학습하면서, 기본적인 지식을 습득하게 됩니다. 인간의 글과 대화 방식을 받아들이며 더욱 정교하고 자연스러운 대화 능력을 갖춰갑니다. 오늘날 대부분의 텍스트 기반 생성형 AI 서비스는 이 대형 언어 모델을 기반으로 작동합니다.

2. GPT(Generative Pre-trained Transformer)

앞에서 대형 언어 모델이 거대한 양의 언어 데이터를 학습한 모델이라고 말씀드렸는데요. 단순하게 많은 양의 데이터를 학습했다고 해서 인간과 유사하게 대화할 수는 없습니다. 이 개념 역시 인간의 학습 과정으로 예를 들어보도록 하겠습니다.

인간의 경우 언어 학습을 많이 할수록 작문 능력도 동시에 향상될 수 있지만, 항상 비례하는 것은 아닙니다. 지식을 쌓는 일과 작문 능력은 또 다른 능력이기 때문입니다. 인간이 작문 실력을 키우기 위해 별도의 훈련을 하듯, 대형 언어 모델도 단순한 학습을 넘어 인간처럼 말하기 위한 전문적인 훈련이 필요로 하는데요. 이를 잘 수행한 모델이 바로 미국의 인공지능 연구소 OpenAI에서 만든 ‘ChatGPT’입니다.

ChatGPT는 채팅을 뜻하는 ‘Chat’과 ‘GPT’를 결합한 용어로, 여기에서 말하는 ‘GPT’는 대형 언어 모델의 대표적인 예시이자, 인간처럼 말할 수 있도록 잘 훈련된 모델입니다. GPT는 이름에서 알 수 있듯 ‘트랜스포머(Transformer)’라는 아키텍처를 기반으로 하며, 이는 인간의 언어 처리 방식을 모방한 자연어 처리 분야의 심층 신경망 구조를 말합니다.

3. 매개변수(Parameter)

앞서 설명한 ChatGPT를 시작으로 생성형 AI의 시대가 열리자, 경쟁 기업에서는 뒤처지지 않기 위해 저마다 자체 개발한 대형 언어 모델을 하나둘씩 발표하기 시작합니다. 이때 가장 많이 주목받았던 용어 중 하나가 ‘매개변수(파라미터)’인데요.

ChatGPT와 같은 서비스의 핵심 경쟁력은 사용자가 원하는 최적의 답을 제공하는 데에 있는데요. 질문에 관한 최적의 답변을 산출하기 위해서는 정밀하게 설계된 함수가 필요로 합니다. 그리고 이 함수는 결괏값에 영향을 미치는 ‘매개변수’로 이루어져 있습니다. 매개변수는 요리의 레시피라고 생각하면 쉽게 이해할 수 있습니다.

예를 들어, 김치찌개를 끓인다고 할 때 가장 먼저 재료를 선택해야 합니다. 단순히 물에 김치를 넣어 끓이는 것보다는 육수와 조미료, 파, 양파 등의 부재료가 들어갈 때 훨씬 더 깊고 풍부한 맛을 낼 수 있죠. 음식에 들어가는 부재료가 바로 매개변수에 해당합니다. 새롭게 출시되는 대형 언어 모델들이 파라미터 수를 강조했던 이유도 매개변수가 많아질수록 보다 정교한 답을 생성할 수 있기 때문입니다.

그러나 단순히 재료가 많다고 해서 맛이 보장되는 것은 아닙니다. 물의 양이 많으면 맛이 싱거워질 수 있고, 김치보다 부재료가 많아진다면 김치찌개 본연의 맛이 변질될 수도 있죠. 즉, 재료의 양과 조리 시간에 따라 맛이 천차만별로 바뀔 수 있다는 뜻인데요.

매개변수도 답변의 정확도를 높이기 위해서는 각 변수의 가중치를 적절히 조정해야 하며, 어떤 변수들은 입력 데이터에 의존하지 않고 고정된 값을 가지도록 편향시키기도 합니다. 어떤 김치찌개를 끓이더라도 물의 양은 일정 수준 이상 필요한 것처럼 말이죠.

일반적으로 매개변수의 양이 많을수록 정답에 가까운 답을 도출할 수 있지만, 오히려 너무 많으면 과적합(Overfitting) 문제가 발생할 수 있습니다. 과적합이란, 모델이 훈련 데이터에 지나치게 적응해 버려 새로운 데이터나 일반적인 상황에 대해서는 오히려 성능이 떨어지는 현상을 말합니다.

4. 프롬프트 엔지니어링(Prompt Engineering)

생성형 AI 시대가 도래하면서 영어가 가장 중요한 역량이 될 것이라는 의견도 있었는데요. 이는 생성형 AI 서비스의 작동 방식에 기인한 것입니다. 생성형 AI 서비스는 사용자의 특별한 행위 없이 오로지 질문과 요청에 의해 원하는 결과를 제공하고, 초기 모델의 경우 영어 기반의 학습 데이터 비중이 높기 때문입니다. 특히 영어로 대화했을 때 가장 효과적인 답변을 받을 수 있었고요. 이때 AI에 주어지는 입력, 즉 질문이나 명령을 ‘프롬프트(Prompt)’라 부릅니다.

즉, 어떻게 질문을 하느냐에 따라 결과가 크게 달라질 수 있는데요. 많은 기업이 이를 효과적으로 활용하여 업무 생산성을 높이기 위해 ‘프롬프트 엔지니어’라는 직업이 탄생하기도 했습니다. 프롬프트 엔지니어는 최적의 결괏값을 얻어낼 수 있도록 효과적인 프롬프트 값을 입력하는 업무를 담당하며, 이 과정에서 사용되는 기술을 ‘프롬프트 엔지니어링’이라고 부릅니다.

프롬프트 엔지니어링에 관한 간단한 예시를 들어보겠습니다.

효과적이지 못한 질문: “이탈리아 여행 계획을 세워주세요.”
= 이 질문은 목적지만 명시되어 있을 뿐, 여행 기간, 선호하는 활동, 방문하고 싶은 도시 등에 대한 정보가 없기 때문에, AI는 사용자의 선호도와 관심사에 대해 추측해야 합니다. 따라서 불분명하거나 사용자의 기대에 부합하지 않는 계획을 제안할 확률이 높습니다.
효과적인 질문: “이탈리아 여행을 위한 7일 일정 계획을 세워주세요. 저는 로마, 피렌체, 베니스를 꼭 방문하고 싶으며, 역사적인 장소와 현지 음식을 경험하고 싶습니다. 계획표는 표 형태로 작성해 주세요.”
= 이 질문은 여행 목적지, 기간, 관심사 등 구체적인 정보를 포함하고 있기 때문에, AI는 이 정보를 바탕으로 구체적인 여행 계획을 제안할 수 있습니다. 또한 표 형태로 출력을 요청하여 별도의 정리 없이 바로 출력할 수 있습니다.

5. 토큰(Token)

토큰은 대형 언어 모델의 핵심 구성 요소 중 하나로 언어 데이터를 처리하는 기본 단위를 말하며, 일반적으로 단어, 문자, 또는 문장의 일부를 포함합니다. 여기까지 보고 ‘형태소’를 떠올리시는 분들이 계실 것 같은데요. 형태소의 개념과는 명확한 차이가 있습니다.

‘Unbelievably’라는 단어를 예시로 두 개념의 차이를 설명해 보겠습니다. ‘Unbelievably’를 형태소로 구분하면 다음과 같으며, 각 형태소는 단어에 명확한 의미가 부여됩니다.

Un- : 부정을 의미하는 접두사
believe : 믿다라는 동사
-able : 가능함을 의미하는 접미사
-ly : 부사를 만드는 접미사

반면, AI 모델에서는 ‘Unbelievably’를 다양한 토큰으로 나눌 수 있으며, 이는 모델의 토큰화 방식에 따라 달라집니다. 예를 들어, 형태소와 마찬가지로 “Un-”, “believe”, -able”, “-ly”와 같이 나눌 수도 있지만, “Unb”, “elie”, “vably”와 같이 전혀 다른 형태로 나눌 수도 있다는 의미입니다.

이처럼 토큰은 반드시 명확한 의미를 내포하지 않을 수 있다는 점에서 형태소와 차이점이 있습니다. 또한 토큰을 구분하는 방식은 모델의 설계와 목적에 따라 달라지기 때문에, 그 명확한 기준을 알기 쉽지 않습니다.

우리가 토큰에 대해 알아야 하는 이유 중 하나는 돈과 연관되어 있다는 점인데요. ChatGPT의 API를 사용할 때 토큰을 기준으로 사용량을 측정합니다. 또한 같은 의미의 내용을 영어로 작성할 때 사용되는 토큰보다, 한글로 작성할 때 더 많은 토큰이 사용된다는 특징이 있는데요. 이를 바꿔 말하면, 한글로 입/출력을 할 때 상대적으로 더 많은 비용이 발생할 수 있다는 것을 의미합니다. 이러한 가격 정책은 우리가 자체적으로 한글에 특화된 대형 언어 모델을 만들어야 하는 이유로 꼽히기도 합니다.

6. 플러그인(Plugins)

플러그인은 기본적으로 기존의 소프트웨어나 시스템에 추가적인 기능을 제공하는 소프트웨어 컴포넌트를 말합니다. 웹 브라우저에 설치되어 특정 기능을 확장하는 확장 프로그램이 플러그인의 좋은 예시인데요. 플러그인 자체로는 이미 오래된 개념이지만, ChatGPT가 인기를 끌면서 재조명 받고 있는 개념이기도 합니다.

2023년 12월 초까지 출시된 ChatGPT 플러그인 개수는 약 940여개에 달하며, 계속해서 증가하고 있습니다. OpenAI에서 대표적으로 설명하는 플러그인은 다음과 같습니다.

익스피디아(Expedia)

익스피디아가 보유하고 있는 데이터를 기반으로 숙박시설 찾기, 관광 명소, 즐길거리 탐색과 같은 여행 관련 정보를 제공합니다. 이를 통해 사용자들은 여행 계획 등을 세울 수 있습니다.

웹 브라우저(Web Browser)

ChatGPT는 사전에 학습된 날짜 이후의 정보는 알지 못합니다. 따라서 최신의 정보를 확인하기 위해서는 인터넷 검색이 필요한데요. 이때 웹 브라우저 플러그인을 통해 ChatGPT가 인터넷을 검색할 수 있게 됩니다.

코드 인터프리터(Code Interpreter)

이 플러그인은 ChatGPT에게 파이썬 코딩 기능을 추가합니다. 파일 업로드 및 다운로드를 지원하며, 실행된 코드는 보안이 강화된 환경에서 처리됩니다. 이를 통해 ChatGPT는 수학 문제 해결, 데이터 분석 및 시각화, 파일 형식 변환과 같은 다양한 코딩 작업을 수행할 수 있습니다.

7. GPU(Graphics processing unit)

최근 펼쳐지고 있는 생성형 AI 전쟁에서 최후의 승자는 누가 이기든 돈을 버는 엔비디아가 될 것이라는 이야기가 있습니다. 본래 엔비디아는 컴퓨터 그래픽 카드로 유명한 회사였는데, 어쩌다가 이렇게 각광받는 회사가 되었을까요?

엔비디아의 GPU는 기본적으로 컴퓨터 화면에 이미지를 표시하는 데에 사용됐습니다. 그리고 게임 산업이 발전하면서 점차 고사양 그래픽 게임에 대한 수요가 증가했고, 엔비디아는 이를 효과적으로 지원하기 위해 복잡한 그래픽 연산을 빠르게 처리할 수 있는 그래픽 카드를 개발했습니다.

때마침 AI 기업에서 모델을 학습시키는 데에 복잡한 수학적 연산과 데이터를 빠르게 처리할 수 있는 기술이 필요했고, 엔비디아의 GPU는 AI 모델 학습에 이상적인 도구로 부상하게 되었습니다. 몇 년 전 비트코인 채굴 열풍 당시 엔비디아의 GPU 수요가 증가했던 것도 이러한 맥락에서 이해할 수 있습니다.

GPU의 강점은 ‘병렬 처리 능력’에 있습니다. 전통적인 CPU의 경우 강력한 연산 능력을 가지고 있지만, 주로 한 번에 하나의 작업을 처리하는 데에 최적화되어 있다면, GPU는 수백 또는 수천 개의 작은 코어를 가지고 있어 많은 양의 연산을 동시에 처리할 수 있다는 특징이 있습니다.

‘1+2+3+4+5+6+7+8+9’라는 더하기 연산을 예로 들어보겠습니다.

CPU

1. CPU는 1+2, 그다음 3, 그다음 4, … 9까지 순차적으로 더합니다.

2. 이 과정에서 총 8번의 연산을 수행해야 최종 결과를 도출할 수 있습니다.

GPU

1. 세 그룹으로 나눠 (1+2+3) (4+5+6), (7+8+9)의 연산을 동시에 수행합니다.

2. 각 그룹의 연산이 완료된 후, 그 세 결과를 더 하는 최종 연산을 수행합니다.

3. 결과적으로 2단계에 걸쳐 최종 결과를 얻을 수 있습니다.

이처럼 단일 연산에서는 CPU의 속도가 더 빠를 수 있지만, 대량의 계산이 필요할 때는 GPU의 병렬 처리 능력으로 인해 전체적인 시간을 줄이는 데에 크게 기여할 수 있습니다.

다만 위 예시는 이해를 돕기 위해 단순화한 모델이며, 현대의 CPU는 여러 코어를 가지고 있어 동시에 다양한 작업을 처리할 수 있습니다. 또한 실제 컴퓨터 작동은 더 많은 변수와 기술적 복잡성을 포함하고 있음을 참고해 주시면 좋겠습니다.

8. 환각(Hallucinate)

생성형 AI란 이름에서도 알 수 있듯 무언가를 ‘생성’한다는 것에 큰 의미를 둡니다. 그러나 이 과정에서 때때로 실제 데이터나 사실을 반영하지 않고, 비현실적이거나 오류를 포함한 내용을 만들어내는 경우가 있는데요. 이를 ‘환각’, ‘할루시네이션(Hallucination)’이라 부릅니다.

환각 현상의 대표적인 사례인 ‘세종대왕 맥북프로 던짐 사건’ <출처: 인터넷 커뮤니티>

이와 관련된 대표적인 예시는 다음과 같습니다.

비현실적인 내용

“사과의 씨를 심으면 배가 자랍니다”와 같이 실제 존재하지 않는 현상이나 사물에 대한 설명을 생성하는 경우

정보의 오류

“세종대왕님은 맥북을 활용하여 한글을 창제했습니다.”와 같이 역사적 사실의 오류나 상식의 오류를 생성하는 경우

상황의 오류

여행 계획을 짜달라고 요청했을 때, “여행은 참 좋은 것입니다”와 같이 질문과 무관한 답변을 생성하는 경우

이러한 현상은 신뢰성 저하 및 의사결정 오류, 윤리적/법적 문제 등을 유발할 수 있기 때문에 생성형 AI의 치명적 결함으로 꼽히고 있는데요. 이 문제를 완벽하게 해결하는 기업이 차세대 생성형 AI 시장에서 주도적인 위치를 차지할 가능성이 높다고 예상되지만, 아직은 해결책이 묘연한 상황입니다.

9. 일반 인공 지능(Artificial General Intelligence, AGI)

현재 널리 사용되는 AI의 경우 정확하게는 ‘좁은 의미의 인공지능’을 말하는데요. 이는 특정 작업이나 기능에 최적화된 인공지능을 의미하며, 예를 들어 언어 번역, 이미지 인식, 게임 등 특정 영역에서만 인간을 능가하는 성능을 보입니다. 이세돌을 바둑에서 이긴 알파고가 실생활에 사용될 수 없는 것과 같은 논리입니다.

일반 인공 지능은 특정 분야에만 특화되어 있는 것이 아닌, 기본적으로 인간과 유사한 지능 수준을 가진 인공 지능을 말합니다. 예를 들어, 평범하게 교육 과정을 밟아 온 성인이 회사에서 새로운 업무를 맡게 됐을 때, 그동안 쌓은 기본적인 지식과 경험을 바탕으로 약간의 교육을 통해 업무를 수행할 수 있는 것과 같습니다.

이와 유사하게 AGI도 기본적인 이해 능력, 추론, 문제 해결, 창의적 사고 등을 갖춘 상태로, 새로운 상황에서 약간의 교육만으로도 적응할 수 있는 유연성을 갖추고 있습니다. 이에 따라 단일 모델로도 다양한 작업을 수행할 수 있다는 특징이 있습니다. 또한 경험과 학습이 축적되면 이를 기반으로 자연스럽게 능력이 향상될 수 있습니다.

ChatGPT를 개발한 OpenAI의 궁극적인 목표도 일반 인공 지능을 개발하는 데에 있습니다. OpenAI는 일반 인공 지능이 인류에게 도움을 줄 수 있다는 믿음으로 기술을 개발하고 있으며, ChatGPT는 이러한 목표의 중간 단계라고 볼 수 있죠.

참고로 슈퍼 인공 지능 (Artificial Super Intelligence, ASI)은 일반 인공 지능보다 한 단계 발전한 개념으로 인간보다 더 똑똑한 인공지능을 말합니다.

10. 멀티 모달(Multi-Modality)

최초의 ChatGPT는 텍스트 기반의 대화에만 국한되어 있었습니다. 사용자가 텍스트로만 질문할 수 있었고, 답변도 오직 텍스트로만 받을 수 있었다는 의미인데요. 지금의 ChatGPT는 텍스트로 특정 이미지를 생성해달라고 하면 이미지를 생성해 주고, 텍스트가 아닌 음성으로 질문을 하더라도 텍스트 나 이미지로 답변을 받을 수 있습니다. 이때 텍스트, 음성, 이미지 등을 모달리티(Modality)라 부르며, 다양한 형태의 모달리티를 입력 및 출력에 제한 없이 활용하는 방식을 ‘멀티 모달(리티)’라고 합니다.

이 역시 일반 인공 지능으로 가는 중간 단계라고 할 수 있는데요. 인간이 눈과 귀를 통해 정보를 습득(인풋)하고, 취득한 정보를 기반으로 뇌를 활용하여 생각하며, 입으로 말하거나 손과 발로 작업(아웃풋)을 수행하는 것처럼 AI 역시 다양한 감각 기관을 갖추는 과정이라 이해할 수 있습니다.

더불어 AI 관련 내용을 공부하다 보면, STT, TTS와 같은 용어를 많이 보셨을 텐데요. 이러한 용어들은 멀티 모달 기술과 일부 연관이 있어 함께 소개하겠습니다.

먼저 STT는 Speech To Text의 줄임말로 음성을 텍스트로 변환해 주는 기술을 말하며, TTS는 Text To Speech의 줄임말로 텍스트를 음성으로 변환해 주는 기술을 말합니다. 즉, 입력 형태와 출력 형태가 다른 경우에 사용되는 용어라고 이해하시면 됩니다. 최근에는 기술의 발전으로 인해 Text To Image, Speech To Video 등과 같이 다양하게 활용되고 있습니다.

11. 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)

AI를 훈련시키는 방법 가운데 ‘강화학습’에 대해 들어보셨나요? 강화학습이란 쉽게 말해 AI 모델이 특정 환경에서 시행착오를 통해 최적의 행동 방식을 학습하는 과정을 말하는데요. 이는 보상(Reward)이라는 개념을 기반으로 합니다.

게임을 예로 들면, 긍정적인 결과(죽지 않고 높은 점수를 얻는 등)를 얻는 행동(Action)을 했을 때 보상을 주면 그 행동을 반복하게 되고, 부정적인 결과(게임에서 죽거나 점수를 잃는 등)를 얻는 행동을 했을 때 보상을 주지 않으면 그 행동을 피하게 됩니다. 이러한 방식으로 AI는 죽지 않고 높은 점수를 얻는 행동을 하도록 학습하게 됩니다.

인간 피드백 기반 강화학습은 이러한 강화학습의 일반적인 프로세스에 인간의 피드백이 추가된 접근 방식입니다. 이 방식에서는 AI가 특정 작업을 수행한 후, 인간 평가자로부터 직접적인 피드백을 받습니다. 피드백에는 AI가 취한 행동이 얼마나 적절했는지, 더 나은 행동은 무엇이었을지에 대해 정보를 제공합니다. 이를 통해 AI는 단순히 자동화된 보상 시스템을 통해 학습하는 것이 아니라, 인간의 판단과 가치관을 반영하여 보다 정교하고 인간적인 반응을 학습할 수 있게 됩니다.

이러한 방식은 안전한 AI 개발을 위해 이는 필수적으로 여겨지고 있는데요. 인간과 직접적으로 상호작용을 하는 서비스로, 정치적 이슈, 윤리적 문제, 문화적 특성에 대해 부도덕한 사고를 학습했을 때 심각한 사회적 문제와 갈등을 초래할 수 있기 때문이죠. RLHF 학습 방식은 앞으로도 중요한 요소로 자리 잡을 것으로 예상합니다.

마치며

지금까지 생성형 AI 시대를 이해하기 위한 필수 용어 11가지를 살펴보았습니다. 최대한 이해하기 쉽도록 예시를 들어 작성해 보았는데, 생성형 AI에 익숙하지 않았던 분들에게 도움이 되길 바랍니다. 오늘 다룬 11가지 용어 외에도 평소에 궁금했거나, 이해하기 어려웠던 용어가 있다면 댓글로 남겨주시면 좋겠습니다.