이 글을 읽기 전에 이전 글 〈10분 만에 AI 에이전트 이해하기〉를 먼저 읽고 오시면 이해에 큰 도움이 됩니다.
제가 파리라는 도시에 살면서 누리는 특혜 중 하나는, 마음만 먹으면 주말에 루브르나 오르세 같은 미술관을 산책하듯 다녀오는 사치를 부릴 수 있다는 겁니다. 그런데 미술관에 갈 때마다 재미있는 장면이 하나 있습니다. 어떤 분은 작품 옆 설명표(작품 라벨/레이블이나 명제표라고도 부릅니다)만 슬쩍 읽고 지나가고, 어떤 분은 오디오 가이드를 귀에 꽂고 작품 번호만 따라다니고, 또 어떤 분은 작품 설명을 해 주시는 도슨트 뒤에 딱 붙어서 작품과 작품 사이를 잇는 이야기를 듣습니다.
같은 미술관, 같은 작품인데 세 사람이 얻어가는 건 완전히 다릅니다.
이 장면이 요즘 데이터 업계에서 사람들이 가장 헷갈려하는 세 단어와 완전히 똑같습니다. 바로 어노테이션(Annotation), 시맨틱 레이어(Semantic Layer), 그리고 온톨로지(Ontology)가 그 세 형제입니다. 요즘 특히 온톨로지라는 단어가 여기저기서 부쩍 들립니다. 팔란티어(Palantir)라는 회사가 이 개념을 하나의 상품 카테고리로 만들어 무섭게 몸값을 올리면서, 너도나도 온톨로지를 입에 올리기 시작했거든요. 그런데 정작 벤더들은 이 셋을 자꾸 한 단어로 뭉뚱그려 팝니다. 그래서 유행은 유행대로 타는데, 정확히 뭐가 뭔지는 더 헷갈립니다. 헷갈리는 게 정상입니다. 파는 사람이 섞어 쓰는데 안 헷갈리는 게 이상하죠.
그런데 요즘 이 셋을 구분 못 하면 진짜 사고가 납니다. 왜냐고요? AI 에이전트가 등장했기 때문입니다. 사람이라면 애매할 때 옆자리 동료에게 “이 매출, 부가세 포함이야, 아니야?”라고 물어봅니다. 하지만 에이전트는 물어보러 가지 않습니다. 그냥 에이전트 본인이 처음 찾은 정의로 답을 만들어 버리죠. 그래서 이 세 층을 데이터 위에 제대로 깔아두지 않으면, 에이전트는 아주 자신 있게 틀린 숫자를 리포트에 박아 넣거나 오답을 자신 있게 이야기합니다.
오늘 여러분이 이 글을 끝까지 읽으신다면, 온톨로지·시맨틱 레이어·어노테이션 이 세 형제를 두 번 다시 헷갈리지 않으실 겁니다. 자, 들어가 보시죠.
미술관 작품 옆에는 작은 라벨이 붙어 있습니다. 제 책 〈AI 프로덕트 매니지먼트〉에서 화두로 잡았던 마티스의 〈달팽이〉 작품 설명표를 보겠습니다.

이게 바로 어노테이션입니다.
어노테이션은 번역하면 ‘주석’ 혹은 ‘설명’입니다. 낱개 데이터 조각, 오브젝트 하나에 붙이는 설명 꼬리표죠. “이 컬럼은 월 반복 매출을 뜻한다”, “이 필드는 달러화로 표시하라”, “이 작품은 마티스가 그렸다.” 이렇게 데이터 오브젝트 하나하나에 ‘이게 뭔지’를 적어두는 겁니다.
마이크로소프트 엑셀을 다루시는 분이라면 사실 어노테이션은 이미 너무 흔하게 쓰고 계십니다. 아래 이미지처럼 셀이나 컬럼에 코멘트나 노트를 붙여서 부가 설명을 하는 것이죠. 그러니 여러분은 오늘의 이 세 형제 중 첫째와는 이미 구면입니다.

다시 돌아와서요, 그런데 작품 설명표만 붙어 있으면 뭘 알 수 있고, 뭘 모를까요? 작품 한 점이 뭔지는 압니다. 하지만 이 미술관에 야수파나 인상주의 작품이 도대체 몇 점 걸려 있는지는, 설명표를 아무리 들여다봐도 알 수 없습니다. 이 표는 작품들을 서로 연결해주지도, 무언가를 계산해주지도 않으니까요.
어노테이션은 라벨입니다. 낱개에 붙은 설명일 뿐, 연결도 계산도 하지 않습니다.
자, 그럼 미술관의 큐레이터가 관장에게서 이런 질문을 받았다고 해봅시다. “우리 미술관에 야수파 작품이 몇 점이나 됩니까?” 간단해 보이죠?
그런데 같은 질문을 큐레이터 세 명에게 따로 하면 세 개의 답이 돌아옵니다. 한 명은 마티스의 초기 작품을 인상주의에 넣어 계산하고, 다른 큐레이터는 야수파에 넣습니다. 한 명은 다른 미술관에 대여 중인 작품을 세고, 한 명은 뺍니다. 같은 ‘야수파 소장품 수’인데 숫자가 각각 다른 세 개가 됩니다.
이런 모습은 매우 낯익은 장면 아닌가요? 회사에서 매일 벌어지는 일입니다. 재무팀에서는 매출이 10.2억 원이라는데, 마케팅 부서는 10.4억 원, 슬랙에 붙여둔 AI 어시스턴트는 9.8억 원이라고 답합니다. 예전엔 이게 사람 문제였고, 10분짜리 “모두 모여!” 회의로 정리가 됐습니다.
그런데 앞서 말씀드렸듯 에이전트는 회의에 부르지 않아도 자기 혼자 답을 냅니다. 예를 들어 “rev_ttm_adj_v2” 같은 컬럼을 만나면, 그냥 눈에 처음 띈 정의를 집어다 씁니다.
이 문제를 푸는 게 시맨틱 레이어입니다.
시맨틱 레이어는 지표를 한 곳에서 딱 한 번 정의해서, 모든 팀과 모든 도구가 똑같이 계산하게 만드는 층입니다.
“야수파 = 이 목록의 작가, 대여 중은 제외” 이렇게 한번 정해두면 누가 세도 같은 숫자가 나옵니다. “매출 = 이 테이블들을 이렇게 조인하고 이 필터를 걸어 이렇게 집계한다.” 재무팀이 묻든 마케팅 부서가 묻든 에이전트가 묻든, 답은 동일한 하나입니다.
비즈니스 애플리케이션 세계에서는 분석 모델이나 비즈니스 레이어에서 이 역할을 합니다. 흩어진 원천 데이터 위에 ‘비즈니스 언어’를 한 겹 덮어서, 모두가 같은 정의를 읽게 하는 거죠.

그런데 여기서 딱 하나, 시맨틱 레이어가 절대 못 하는 게 있습니다.
시맨틱 레이어는 여러분이 미리 정의해둔 계산만 실행합니다. “야수파나 인상주의 작품이 몇 점”은 완벽하게 셉니다. 하지만 “이 신인 작가의 그림 스타일은 인상주의인가 후기 인상주의인가?”처럼, 누구도 미리 정의해두지 않은 사실은 절대 스스로 만들어내지 못합니다. 계산기는 계산만 하지, 없던 결론을 도출하진 않으니까요.
시맨틱 레이어는 계산의 일관성입니다. 정해준 것은 정확히 계산하지만, 안 알려준 사실은 만들지 못합니다.
이제 이 글의 주인공, 온톨로지입니다.
미술관에서 작품을 설명해 주시는 도슨트를 따라가 본 적 있으신가요? 좋은 도슨트는 작품 하나하나를 설명하는 데서 그치지 않습니다. “모네는 인상주의고, 인상주의는 빛과 순간을 좇았고, 그래서 세잔의 후기 인상주의로 넘어가면 이렇게 형태가 달라집니다.” 작품과 작품, 사조와 사조를 관계로 엮어서 이야기합니다.
더 놀라운 건, 이 도슨트에게 처음 보는 작품 한 점을 보여줘도 “아, 이건 붓터치와 색감으로 봐서 후기 인상주의군요. 저 방에 걸려야겠네요”라고 스스로 추론한다는 겁니다. 누가 일일이 “이 작품은 저 방”이라고 안 알려줘도 말이죠.
이게 바로 온톨로지입니다.
교과서적 정의는 “공유된 개념화의 명시적이고 형식적인 규격”이라는 좀 무시무시한 문장인데, 쪼개보면 이렇게 세 조각입니다.
핵심은 세 번째입니다. 온톨로지는 RDF(자원 기술 프레임워크), OWL(웹 온톨로지 언어)같은 표준 규격으로 기술되기 때문에, 기계가 그냥 읽는 게 아니라 그 위에서 추론(reasoning)을 합니다. 온톨로지에 “플래티넘 고객 = 연매출 100만 달러 초과”라는 규칙이 있고, 사실 데이터에 “HYBE의 연매출 = 200만 달러”가 있으면, 엔진은 누가 if-else 한 줄 안 짜도 “HYBE는 플래티넘”이라고 스스로 결론을 냅니다.

시맨틱 레이어가 죽어도 못 하는 게 바로 이겁니다. 이 층은 여러분이 미리 정의한 계산을 실행할 뿐, 여러분이 정의하지 않은 사실을 도출하진 못합니다. 온톨로지는 도출합니다.
온톨로지의 또 다른 강력함은 언어가 다른 시스템들을 통합하는 것입니다. CRM은 ‘Customer’, ERP는 ‘Client’, 재무는 ‘Account’라고 부르지만, 온톨로지는 이 셋이 같은 비즈니스 대상을 가리킨다고 못 박아줍니다. 그래서 온톨로지에 발을 딛고 선 에이전트는, 관계없는 테이블 더미 속을 헤매며 찍는 대신, 연결된 그래프 위를 걸어 다니며 답을 찾습니다.
같은 개념을 시스템마다 다르게 부르더라도, 규제기관 앞에서는 하나로 말해야 합니다. 그래서 규제 산업에서는 형식 온톨로지가 이제 사실상 기본입니다.
온톨로지는 관계와 추론입니다. 안 알려준 사실도 스스로 만들어냅니다.
여기서 많은 조직이 실수합니다. 셋 중 하나만 만들어 놓고 다 된 줄 아는 거죠.
시맨틱 레이어만 있으면? 정확하지만 얕습니다. “지난달 GMV(총거래액)가 가장 높은 채널은?”에는 딱 떨어지게 답하지만, “왜 그 채널이 꺾였지? 예산을 더 넣어야 하나?”에는 침묵합니다. 채널과 예산과 고객이 어떻게 얽히는지에 대한 모델이 없거든요. 예전엔 데이터 사이언티스트가 붙어야 겨우 답하던 영역이죠.
온톨로지만 있으면? 개념엔 유창한데 숫자엔 젬병입니다. “HYBE가 플래티넘인가?”는 완벽하게 추론하지만, “HYBE의 지난달 매출은?”엔 다시 세 가지 답이 나옵니다. 어느 테이블을 어떻게 집계할지 아무도 안 알려줬으니까요.
빈말이 아닙니다. 가트너는 2027년 말까지 에이전틱 AI 프로젝트의 40% 이상이 취소될 것으로 봤습니다. 이유는 비용, 불분명한 가치, 그리고 부실한 통제입니다. 실제로 데이터 관리 리더 중 63%가 “AI를 뒷받침할 데이터 관리 역량이 없다”고 답했고요.
대부분의 실패는 모델을 잘못 골라서가 아닙니다. 모델 밑에 깔린 데이터에 의미의 지반이 없어서입니다.
그런데 문제는, 온톨로지 구축이 무겁다는 겁니다. 팔란티어가 이걸 하나의 카테고리로 만들었지만, 전달 방식이 까다롭죠. FDE라고 하는 현장 파견 엔지니어, 수작업 모델링, 6~18개월, 그리고 구하기도 힘든 형식논리 전문가. 그 외의 조직은 데이터 레이크 위에 온톨로지를 맨땅에서 쌓아 올려야 합니다. 비용이요? 천문학적이죠.
그래서 현실적인 순서는 이렇습니다. 먼저 시맨틱 레이어로 핵심 지표부터 한 곳에 모으고, 온톨로지는 처음엔 가볍게(거창한 OWL 모델링이 아니라 비즈니스 용어집 수준으로) 시작해서, 도메인 하나씩 키워가는 겁니다. 한 번에 다 지으려다 6개월, 18개월씩 잡아먹고 좌초하는 것보다, 용어집에서 시작해 온톨로지로 키우는 길이 훨씬 현실적입니다.
세 개를 다 외우실 필요 없습니다. 딱 이 질문 하나면 정리됩니다.
“이 시스템은 내가 직접 입력하지 않은 결론을, 규칙과 사실을 엮어 스스로 꺼내올 수 있는가?”
“HYBE 매출은 200만 달러”라는 사실과 “매출 100만 달러 넘으면 플래티넘”이라는 규칙만 넣었을 때, 아무도 “HYBE는 플래티넘”이라고 적어주지 않았는데도 시스템이 그 결론을 스스로 내놓는가? 이걸 해내면 온톨로지, 못 하면 그 아래 두 형제입니다.

라벨에서 계산으로, 계산에서 추론으로. 데이터에 의미가 한 겹씩 두꺼워지는 세 개의 층이죠.
다만 오해는 마세요. 모든 조직이 당장 온톨로지까지 필요한 건 아닙니다. 잘 정의된 지표 몇 개만 있으면 되는 상황이라면 무거운 온톨로지는 오히려 짐입니다.
제품 카탈로그나 PII 태깅(개인정보 항목 표시)처럼 계층 분류만 있으면 되는 곳은 택소노미(taxonomy, 온톨로지에서 계층 분류만 남긴 가벼운 버전) 수준에서 멈춰도 충분하고요. 도슨트가 필요 없는 전시라면 설명표만으로도 관람은 됩니다. 중요한 건 우리 에이전트가 지금 어느 층까지 밟고 서 있어야 하는가를 정확히 아는 겁니다.
AI 에이전트는 이제 막 데이터 위를 걷기 시작했습니다. 그 발밑에 설명표만 깔아줄지, 집계 기준까지 깔아줄지, 도슨트의 머릿속까지 심어줄지, 그 설계가 여러분의 에이전트가 얼마나 똑똑해질지를 결정합니다.
<원문>
ⓒ요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.