AI 제품의 예기치 못한 피해를 줄이는 방법

AI 프로덕트 프라이싱 시리즈

① AI 프로덕트의 가격은 어떻게 정해지는가?

② 이미지 만드는 AI 기능에는 돈이 얼마나 들까?

③ AI 제품의 예기치 못한 피해를 줄이는 방법

AI 제품을 개발하고, 이에 대한 가격 정책을 정할 때는 전통적인 방법처럼 단순하게 소요된 시간과 비용 또는 투자한 비용만 고려하지 않습니다. 이전 시리즈에서 다룬 대로 AI의 기능과 모델 학습에 따라 달라지고 편차가 생기는 비용도 고려해야 하며, 시스템을 관리하고 유지하는 데에 필요한 다양한 조건과 변수도 살펴야 합니다.

이번 글에서는 그러한 변수의 하나인 AI 모델의 호스팅과 보안, 저작권 등 다양한 리스크를 알아보고, 여기서 발생하는 비용에 대해 살펴보려 합니다. 모든 비용 발생 요소를 고려하여 AI 제품의 프라이싱 전략을 세울 수 있기를 바랍니다.

AI 모델 호스팅 AI 모델을 호스팅하고 배포하는 일은 쉽지 않습니다. 이러한 이유들 때문입니다.

1. 환경 간의 차이

실험/연구/개발 환경과 프로덕션 환경에 적합한 하드웨어, 하이퍼파라미터 등이 다릅니다. 이 차이는 지연 시간과 처리량 문제로 이어지며 모델의 성능이 기대에 부합하지 않을 수 있습니다.

2. 데이터의 차이

훈련 데이터와 실제 데이터가 상당히 다를 수 있다는 점입니다. 이는 마찬가지로 모델의 성능에 영향을 미칠 수 있습니다.

3. 규정 준수 문제

데이터 출처와 모델, 저장 장소가 규제 또는 규정 준수 문제로 인해 주권 문제(data sovereignty)에 휘말릴 수 있습니다. 이를테면 챗GPT 또는 클로드와 같은 제품에 신기능이 추가될 때마다 유럽 출시는 다른 국가보다 늦어지는데, 이는 EU의 데이터 보호 및 GDPR 규정 준수를 위한 조치에 시간이 걸리기 때문입니다. 실제로 챗GPT의 고급 음성 모드를 영국에서는 출시했지만, EU에서는 출시를 보류하기도 했습니다.

따라서 모든 기능을 완성한 후 일괄 배포하기보다는 점진적이고 반복적인 개발·배포 전략이 더 효과적입니다. 예를 들어 지연 시간이 문제라면 훈련 시 더 작은 모델을 사용하거나, 최적화 기술 개발에 집중하며 사전에 고성능 하드웨어로 실험을 진행할 수 있습니다. 또한 모델 개발과 배포는 팀 간의 협업과 피드백을 바탕으로 한 순환적인 과정이어야 합니다.

그렇게 AI 모델이 준비되면 직접 호스팅할지 외부에 위탁할지를 결정해야 합니다. 이는 모델을 직접 개발할지 구매할지를 판단하는 초기 단계와 유사합니다. 기술 역량, 보안 요건, 유지관리 효율성 등 여러 요소를 종합적으로 고려해야 합니다.

기업이 ‘직접 호스팅’ 한다는 것은 자체 데이터 센터에서 모든 인프라를 운영하며, 하드웨어를 직접 구매하고 관리하겠다는 의미입니다. 보다 유연한 방식으로는 클라우드 IaaS 기반 관리형 하드웨어를 사용하는 방법이 있습니다. 만약 더 높은 수준의 관리 서비스를 원할 경우, 외부 플랫폼에 모델을 위탁해 호스팅하는 방식도 있습니다.

그림 1. AI 모델의 호스팅 단계

다양한 호스팅 옵션이 존재하는 상황에서 무엇을 선택할지는 전략적 판단이 필요합니다. 대부분의 경우 모델을 얼마나 빠르게 시장에 출시할 수 있는지가 핵심 기준이 됩니다. 따라서 초기에는 자체 관리보다 높은 수준의 관리형 서비스를 활용하는 것이 유리할 수 있지만, 시간이 지남에 따라 다음과 같은 고민으로 자체 구축을 고려하고는 합니다.

이 고민을 불러오는 중요한 질문은 이렇습니다. “AI 모델 호스팅은 우리 조직의 핵심 역량인가요, 아니면 비즈니스 가치를 실현하기 위한 비용인가요?”

또, 중요한 고려 사항은 데이터 전략과의 정합성입니다. 예를 들어, 데이터가 온프레미스에 있고 컴퓨팅 리소스는 클라우드에 있는 경우, 운영 복잡성과 성능 저하 문제가 발생할 수 있습니다. 반대의 경우도 마찬가지이므로 AI 전략과 데이터 전략을 일관되게 정렬하는 것이 중요합니다.

하드웨어 사용 비용 계산 호스팅 전략을 정했다면, 서비스/기능에 알맞은 하드웨어를 골라야 합니다. 적합한 하드웨어 사양을 선택하기 위해서는 고려할 세 가지 중요한 사항이 있습니다.

1. 지연 시간(Latency)

지연 시간에 대한 요구사항은 서비스 특성과 사용자 기대에 따라 다릅니다. 실시간 응답이 중요한 경우는 밀리초 수준의 응답이 필요하지만, 내부 비즈니스 프로세스의 경우 더 긴 지연도 허용됩니다.

2. 처리량(Throughput)

처리량은 AI 모델이 단위 시간당 처리할 수 있는 요청 또는 토큰의 수를 의미합니다. 처리량이 높을수록 같은 시간 안에 더 많은 요청을 처리할 수 있고 단가가 낮아집니다.

3. 모델 위치(Location)

모델이 호스팅되는 지역은 비용에 직접적인 영향을 줍니다. 미국과 서울의 엔비디아 P100 GPU 호스팅 비용을 비교하면 10%에 가까운 차이가 발생합니다. 또한 지역별로 규제 요건이 상이할 수 있으며, 네트워크 제약이 있는 경우 가장 가까운 엣지(Edge)에 배포해야 할 수도 있습니다.

이러한 변수를 이해한 상태로, 적합한 장비를 선택하는 예시를 살피려고 합니다.

1만 개의 문서에서 엔티티를 추출하는 작업을 가정해 보겠습니다. 이 과정에는 이름 등 민감한 정보를 삭제하거나 라벨링하고 핵심 정보를 식별하여 추출하는 작업이 포함됩니다. 이때 사용할 모델은 BERT 기반의 자연어 처리 모델이며, 문서는 총 1,000만 개의 청크로 분할된 상태입니다.

*청크: 엔티티 추출을 위해 모델에 입력되는 정보 단위를 의미합니다.

하드웨어별 처리 성능을 비교해보면 각 장치의 초당 처리 가능한 청크 수는 다음과 같습니다: CPU는 약 200개, T4 GPU는 약 6,000개, A100 GPU는 약 60,000개입니다. (다만, 실제 성능은 모델 아키텍처나 파라미터 설정에 따라 차이가 있을 수 있습니다.)

표 1. 장치별 초당 처리할 수 있는 청크의 수

총 청크 수가 1,000만 개인 경우, 예상 처리 시간은 CPU 약 13.9시간, T4 GPU 약 28분, A100 GPU 약 2.8분입니다. 시간당 비용까지 고려하면 A100 GPU가 가장 높은 처리량 대비 비용 효율을 제공 합니다. 특히 이 엔티티 추출 모델을 배포할 때는 민감한 정보를 다루므로, 지역별 분산 배포 전략이 필요할 수 있습니다.

한편 챗봇에 필요한 하드웨어를 탐색하는 경우는 다릅니다. 만약 챗봇이 초당 약 5건의 요청을 처리한다고 가정하면, 지연 시간이 핵심 고려 요소입니다. 평균 사용자 반응 시간인 약 200ms 기준으로 볼 때, CPU(20ms/건), T4 GPU(2ms/건), A100 GPU(1ms/건) 모두 성능 요건을 충족합니다. 다만 챗봇은 상시 운영되므로 시간당 비용을 고려해야 하며, 따라서 지연 시간이 허용 범위 내에 있다면 CPU가 가장 비용 효율적인 선택이 될 수 있습니다.

마지막으로, 동일한 모델을 세 지역에 분산 배포할 경우, 고가용성을 위해 각 지역에서의 안정적인 접근성과 자동 장애 조치가 가능한 인프라 구성이 필요합니다.

표 2. 엔비디아 P100 GPU 1대의 구글 클라우드 가격 책정 구글클라우드 참고>

AI 위험 회피 비용

AI 보안 위험 최근 들어 AI 모델의 배포가 확대됨에 따라 AI 보안 관리의 중요성도 함께 커지고 있습니다. AI 시스템을 공격하는 주요 방법은 크게 네 가지입니다.

첫째, 입력 데이터에 포함된 취약점을 악용합니다.

둘째, 훈련 데이터를 조작하거나 독성화하여 모델의 성능을 저하시킵니다.

셋째, 프롬프트 주입을 통해 의도치 않은 응답을 유도합니다.

넷째는 데이터 추출로, 모델로부터 민감한 정보를 유출하려는 시도입니다.

많은 AI 시스템은 특정 입력 패턴에 민감하게 반응하기에 이를 통해 예기치 않은 결과가 유도될 수 있습니다. 예를 들어, 미세한 이미지 노이즈를 추가한 판다 이미지를 AI가 기대와 전혀 다르게—예컨대 긴팔원숭이로—분류하는 사례가 있는데, 이때 노이즈가 낀 이미지 자체는 육안으로 봤을 때 거의 변하지 않습니다.

그림 2. 이미지 노이즈 추가로 AI 인식 방해 arxiv >

이러한 AI 보안 위협은 실질적인 비즈니스 피해로 이어질 수 있습니다. 만약 공격자가 자율주행 차량 시스템에 빨간 신호등 대신 녹색 신호등 이미지를 인식시키거나, 횡단보도를 올바르게 식별하지 못하도록 조작한다면 어떨까요? 심각한 사회적 피해로 이어질 수 있습니다.

다행히 이러한 위협에 대응하기 위한 보다 견고한 모델 개발이 활발히 이루어지고 있다지만, 견고하게 만든 시스템을 피해 훈련 데이터에 접근이 가능하다면 공격자는 모델을 보다 쉽게 손상시킬 수 있습니다. 예를 들어, ‘나이트쉐이드(Nightshade)’ 공격은 특정 훈련 데이터와 프롬프트를 조합해 정지 표지판과 같은 이미지를 왜곡된 형태로 학습시킬 수 있습니다.

그림 3. 프롬프트 조정을 통한 정보 오류 조성 arxiv >

따라서 모델 출시 전, 내부 적대적 테스트를 통해 발생 가능한 보안 취약점을 사전에 식별하는 것이 중요합니다.

대표적으로 메타는 레드팀과 블루팀이 함께 테스트할 수 있는 퍼플 라마(Purple LLaMa) 이니셔티브를 발표한 바 있습니다. 레드팀은 시스템의 취약점을 찾고, 블루팀은 이에 대응하여 방어 전략을 수립하는 방식입니다.

LLM 애플리케이션이 넘어야 할 2가지 위협 LLM 애플리케이션의 주요 위험은 두 가지입니다. 하나는 민감 정보 유출, 다른 하나는 의도하지 않은 작업 실행입니다.

최근 문서 자동 접근 기능이 일반화되면서 정확한 권한 제어가 필수로 떠올랐습니다. 예를 들어, 아마존의 Q 챗봇은 출시 초기 프롬프트를 통해 기밀 정보가 노출되는 문제가 발생한 바 있습니다. *

*Platformer, Amazon’s Q has ‘severe hallucinations’ and leaks confidential data in public preview, employees warn , Dec 1, 2023

또한 최근에는 보안팀조차 탐지하기 어려운 고도화된 공격도 등장하고 있습니다. 2023년 구글 바드(Bard, 현재 제미나이)에 적용된 공격 기법이 있습니다. 공격자는 마크다운 이미지를 통해 사용자의 구글 독스(Google Docs) 정보를 노출시켰습니다.

그림 4. 구글 바드의 보안 취약점을 강조하기 위한 프롬프트 인젝션 사례 wunderwuzzi 블로그 >

이는 간접 프롬프트 인젝션 공격 사례로, 악성 문서를 열람하는 것만으로도 원치 않는 명령이 실행될 수 있습니다. 대형 LLM 제공업체는 이러한 취약점을 빠르게 수정할 수 있지만, 자체 모델을 구축하는 팀은 더욱 철저한 보안 점검이 필요합니다.

이러한 피해를 완화하려면 적절한 가드레일을 갖추는 것이 중요합니다.

첫째, 훈련 데이터와 입력 데이터를 모두 검증해야 하며, 데이터의 출처와 사용 방식에 대한 명확한 이해가 보안의 기본입니다.

둘째, 최소 권한(Least Privilege) 원칙을 적용해 접근자별로 시스템 운영에 필요한 최소한의 권한만 부여함으로써, 불필요한 데이터 접근을 제한하고 공격 표면을 줄일 수 있습니다.

셋째, 다양한 시나리오 기반의 테스트를 통해 실제 운영 환경에서 발생할 수 있는 위협을 사전에 식별하고 대응 방안을 마련해야 합니다.

이처럼 보안은 일회성 조치가 아니라 반복적이고 지속적인 검증 과정을 필요로 합니다.

특히 서비스에 금융 처리 관련 내용이 있다면 더 깊은 주의가 필요합니다. 대다수 공격자는 주로 민감 정보 접근을 노리며, 자동화된 금융 사기 역시 주요 위협입니다. 자동화 시스템이 금융 처리를 수행할 경우, 제품팀은 AI뿐 아니라 전달되는 수치의 정확성과 법적 책임까지 확인해야 합니다. 예를 들어, 미국 웰스파고(Wells Fargo) 은행은 AI가 기존 데이터의 편향을 학습해 특정 인종이나 소득 계층에 불리한 결과를 초래하면서 소송에 휘말린 사례가 있습니다. * 이처럼 AI 보안은 복잡하고 민감한 분야이므로 보안 전문가와의 협업을 통해 애플리케이션을 면밀히 점검하는 것이 필요합니다.

*National Mortgage News, Wells Fargo explains origination tech in lawsuit defense , Jul 31, 2024

AI 저작권과 법적 위험 비용 AI의 저작권 및 법적 리스크에서 가장 핵심적인 쟁점은 모델 학습에 쓰이는 데이터의 출처입니다. 생성형 AI의 경우 학습 데이터 대부분을 인터넷에서 수집하며 그중 상당수가 여전히 저작권 보호 대상입니다. 2023년 12월, 뉴욕 타임스는 챗GPT가 유료 콘텐츠를 재생산할 수 있다는 이유로 OpenAI와 마이크로소프트를 저작권 침해로 제소했습니다. OpenAI는 공정 사용을 주장했지만, 논란은 계속되고 있습니다.

또한 2022년 11월에는 마이크로소프트의 코파일럿이 코드 저작권을 침해한다는 이유로 개발자이자 변호사인 매튜 버터릭이 소송을 제기했습니다. 이러한 소송은 기업의 평판에 악영향을 미칠 수 있으며, 잠재 고객의 사용 회피로도 이어질 수 있습니다. 한편 이러한 소송들에 대응해 구글과 마이크로소프트는 2023년, 생성형 AI 관련 저작권 소송에 대한 법적 비용을 고객 대신 부담하겠다고 발표하기도 했습니다.

또한, AI가 특정 집단에 불리한 결과를 낳는 사례도 있습니다. 2024년 11월, 미국 럿거스대(Rutgers University)는 진단용 AI가 흑인 및 라틴계 환자에 대해 정확하지 않은 결과를 제공한다는 연구 결과를 발표했습니다. * 이는 모델이 백인 환자 데이터를 중심으로 학습된 데 따른 편향으로 AI 기반 의료 시스템의 리스크를 보여줍니다.

*Rutgers, AI Algorithms Used in Healthcare Can Perpetuate Bias , Nov 14, 2024

*The Washington Post, Air Canada chatbot promised a discount. Now the airline has to pay it , Feb 18, 2024

마치며 AI 제품의 프라이싱에는 단순한 개발 비용을 넘어, 호스팅 및 리스크 대응에 대한 종합적인 고려가 필요합니다. 성공적인 전략 수립을 위해서는 다음과 같은 요소들을 균형 있게 판단해야 합니다.

먼저, AI 모델 호스팅이 기업의 핵심 역량인지, 아니면 단순한 비용 요소인지 명확히 해야 합니다. 출시 속도가 중요하다면 관리형 서비스를 활용하는 것이 효과적이지만, 장기적으로는 규제 준수 및 데이터 전략과의 연계를 고려해 자체 호스팅을 검토할 수 있습니다. 하드웨어 선택 시에는 지연 시간, 처리량, 모델 위치 등을 기준으로 성능과 비용 간의 균형을 맞추고 사용 사례에 맞는 최적 구성을 도출해야 합니다.

또한, 보안 및 법적 리스크 대응 비용도 주요 고려 요소입니다. 모델 입력 취약점, 프롬프트 인젝션, 정보 유출과 같은 보안 위협뿐 아니라, 훈련 데이터의 출처, 모델 편향, 출력에 따른 법적 책임 등도 사전 대응이 필요합니다. 이를 위해 데이터 검증, 최소 권한 원칙 적용, 시나리오 기반 테스트 등을 포함한 체계적인 보안·법률 대응 체계를 마련해야 합니다.

결론적으로, AI를 도입할 때는 개발·운영 비용뿐 아니라 장기적인 리스크 대응 비용을 포함한 총체적인 관점에서의 접근이 필요합니다. 그래야만 예기치 못한 피해를 최소화하고 지속 가능한 AI 시스템을 운영할 수 있습니다.

다음 글에서는 AI 모델을 공급하는 주요 벤더사의 가격 모델을 분석하며 어떤 모델을 선택해야 가장 비즈니스에 적합할지, 어떤 우려사항이 있고 어떻게 해결할 수 있을지 알아보겠습니다.