본문은 요즘IT와 번역가 Yuna가 함께 ‘데이비드 세로(David Serrault)’의 글 <Things Every Designer Should Know Before Designing an AI Agent>를 번역한 글입니다. 필자는 대규모 조직에서 사용자 경험을 중심으로 디자인 조직과 프로세스를 발전시켜 온 디자인 리더이며, 다양한 산업에서 축적한 경험을 바탕으로, AI가 디자인 실무와 협업 방식에 가져올 변화에 주목하고 있습니다.

이 글은 AI를 쓰는 방법이 아니라, AI에게 무엇을 맡길지 결정하는 문제를 다룹니다. AI가 정보를 돕는 단계부터 스스로 행동하는 단계까지 어떻게 달라지는지 살펴보며, 디자이너가 그 경계를 어떻게 정해야 하는지를 이야기합니다.

필자에게 허락을 받고 번역했으며, 글에 포함된 링크는 원문에 따라 표시했습니다.

미리 요점만 콕 집어보면?
AI를 어떻게 쓰는지가 아니라, 디자이너가 AI에게 무엇을 맡기고 어디까지 자율성을 줄지 결정해야 하는 역할을 다룹니다.
스케일링 법칙과 ‘공짜 점심은 없다’ 원칙을 통해, 더 나은 AI 성능에는 비용과 트레이드오프가 따른다는 현실을 설명합니다.
AI 에이전트의 지식·행동·자율성 단계에 따라, 디자이너의 역할은 인터페이스 설계를 넘어 책임·윤리·거버넌스 설계로 확장됩니다.

이 글은 제가 AI 관련 프로젝트를 주도하며 쌓아온 실무 경험, 그리고 디자인과 인공지능의 관계를 개인적으로 연구해 온 과정을 바탕으로 하고 있습니다. 이 가운데 저는 AI가 디자인 실무에 미치는 영향 중에서도, AI로 구동되는 시스템을 설계하는 방식이 어떻게 달라지고 있는지에 초점을 맞추고자 합니다.

AI는 디자인 실무에 여러 가지 중요한 변화를 불러왔습니다. 먼저 새로운 세대의 도구를 통해, 디자이너의 일상적인 작업 흐름을 확장했습니다. 동시에 AI는 고유한 속성과 제약, 그리고 가능성을 지닌 완전히 새로운 디자인 재료를 등장시켰죠.

도구와 재료의 관계는 고정되어 있지 않습니다. 새로운 도구가 새로운 재료를 만들어내고, 그 재료는 다시 이를 다루기 위한 새로운 지식과 설계 방식을 요구합니다. 인공지능 역시 마찬가지입니다. AI라는 새로운 재료를 효과적으로 활용하려면, 기존과는 다른 사고방식과 프로세스를 함께 설계해야 합니다.

AI 설계의 현실을 보여주는 두 가지 법칙

1) 스케일링 법칙

스케일링 법칙은 AI 모델이 얼마나 잘 작동하는지가 무엇에 의해 결정되는지를 설명하는 개념입니다. 학습 데이터의 양, 사용할 수 있는 연산 자원, 그리고 모델의 크기가 커질수록 성능은 함께 좋아진다는 이야기인데요. 다만 이 성능 향상은 무한히 이어지지는 않습니다. 초반에는 비교적 눈에 띄는 개선이 나타나지만, 모델이 커질수록 같은 수준의 개선을 얻기 위해 훨씬 더 많은 비용이 필요해지죠. 예를 들어 오류율을 조금 낮추는 것만으로도, 학습 데이터의 양이나 품질을 몇 배씩 늘려야 하는 상황이 생깁니다.

예를 들어, 오류율이 20%인 에이전틱 시스템이 있다고 가정해보겠습니다. 이를 10% 수준으로 낮추려면 학습 데이터가 네 배 정도 더 필요할 수 있는데요. 만약 2%까지 줄이고 싶다면, 데이터가 100배 이상 필요해질 수도 있습니다.

이 지점에서 스케일링 법칙은 디자이너에게 중요한 메시지를 던집니다. ‘더 나은 AI’에는 항상 비용이 따른다는 사실이죠. 정확도나 반응성을 조금이라도 개선하려면, 더 많은 에너지와 데이터, 그리고 더 긴 처리 시간을 감수해야 합니다.

2) ‘공짜 점심은 없다’의 법칙

‘공짜 점심은 없다(No Free Lunch)’라는 원칙은, 어떤 알고리즘도 모든 문제를 동시에 잘 해결할 수는 없다는 의미입니다. 한 작업에서 뛰어난 성능을 보이는 시스템은 다른 작업에서는 필연적으로 성능이 떨어질 수밖에 없죠. 특정 작업에 최적화될수록 범용성은 희생되기 마련입니다.

이 원칙은 디자이너가 AI 에이전트의 역할과 범위를 어떻게 설정해야 하는지를 다시 생각하게 만듭니다. 특히 대규모 조직일수록 하나의 시스템으로 다양한 사용 사례를 모두 처리하자는 욕심이 생기기 쉬운데요. 하지만 이런 접근은 개별 작업에서의 효율성과 정확도를 오히려 낮추는 결과로 이어지기 쉽습니다.

이 지점에서 앞서 살펴본 스케일링 법칙과 이 원칙은 자연스럽게 연결됩니다. 정확도도 높고, 활용 범위도 넓은 시스템을 설계하려 할수록 필요한 자원은 급격히 늘어납니다. 실제로 GPT 수준의 모델을 학습시키는 데에는, 인프라와 에너지 비용만으로도수조 원에 달하는 비용이 필요하다고 추정되기도 합니다.

결국 디자이너는 프로젝트 초반부터 이 시스템이 무엇을 잘해야 하는지를 명확히 정의해야 합니다. 그리고 정확도와 성능, 사용 가능한 자원 사이에서 어디까지를 감당할 수 있는지에 대한 현실적인 기준을 함께 세워야 합니다.

AI 에이전트의 지식 활용 3단계

이 세분화는 「Re-examining Whether, Why, and How Human-AI Interaction Is Uniquely Difficult to Design」 논문에서 영감을 받아 구성함

1단계

준결정적 에이전트(Semi-deterministic agents)는 사용자와 데이터 소스가 미리 정해진, 비교적 통제된 환경에서 작동합니다. 분류나 검색(RAG)과 같은 AI 기능이 여기에 해당하는데요. 주로 조직 내부의 전문가나, 충분한 교육을 받은 협업자를 대상으로 활용됩니다. 입력과 출력이 어느 정도 예측 가능하기 때문에, 이런 에이전트는 결과를 신뢰하기 쉽고 이후에 추적하거나 검증하기도 수월합니다.

그래서 이 단계의 시스템은 기존의 디자인 방식과도 잘 맞습니다. 사용자 니즈와 작업 흐름을 중심으로 설계하고, 사용자 테스트를 통해 검증하는 접근이 여전히 효과적으로 작동합니다.

2단계

확률적 에이전트(Probabilistic agents)는 사용자 행동이 훨씬 예측하기 어려운 환경에서 작동합니다. 데이터 자체는 관리되고 있지만, 사용자는 각자 다른 방식으로 질문하고, 의도를 명확히 드러내지 않는 경우도 많죠. 예를 들어, 열린 마켓플레이스에서 다양한 표현으로 질문을 던지는 고객들이 여기에 해당합니다. 이런 에이전트는 사용자의 의도를 확정하기보다는, 가장 가능성이 높은 해석을 바탕으로 응답합니다. 그 과정에서 모호함을 감수해야 하고, 상황에 따라 응답을 조정해야 하죠.

그래서 이 단계에서의 디자인 핵심은 불확실성을 숨기지 않고, 신뢰를 어떻게 유지하느냐입니다. AI가 확신할 때와 그렇지 않을 때를 구분해 보여주고, 필요하면 다시 묻거나 설명을 덧붙이도록 설계해야 합니다.

이 지점부터 디자이너의 역할은 화면을 만드는 데서 그치지 않고, AI가 헷갈릴 때 어떻게 행동해야 하는지까지 정하는 일로 확장됩니다.

3단계

적응형 에이전트(Adaptive agents)는 가장 예측하기 어려운 형태의 에이전틱 AI입니다. 사용자별 데이터를 바탕으로, 상호작용을 거치며 스스로 변화하는 시스템입니다. 사용자의 선택과 반응을 학습하면서 판단 기준과 행동 방식이 계속 달라지기 때문에, 같은 시스템이라도 사용자마다 전혀 다른 경험을 하게 됩니다.

이 단계에서는 기술적인 문제를 넘어, 윤리와 책임의 문제가 함께 등장합니다. 디자이너는 개인화의 이점과 프라이버시, 그리고 투명성 사이에서 균형을 잡아야 합니다. AI가 왜 이런 행동을 했는지 설명할 수 있어야 하고, 그 결과에 누가 책임을 지는지도 분명해야 하죠.

적응형 에이전트를 설계한다는 것은 더 이상 하나의 인터페이스를 만드는 일이 아닙니다. 시간이 흐르면서 변하는 인간과 그에 반응해 스스로 바뀌는 시스템 사이의 관계를 설계하는 일이며, 디자이너는 그 관계를 조율하는 역할을 맡게 됩니다.

AI 에이전트의 주도적 행동 3단계

앞에서 살펴본 세 가지 유형의 에이전트는 하나의 흐름 안에서 이해할 수 있습니다. AI는 처음에는 정보를 해석하고 정리하는 역할에 머물다가, 점차 행동에 개입하고, 나아가 스스로 판단하고 실행하는 단계로 확장되어 갑니다.

지식

가장 기본이 되는 단계에서 정보 중심 에이전트는 행동을 수행하기보다는, 정보를 인식하고 해석하는 역할에 집중합니다. 데이터를 수집하고 정리해서 사람이 더 나은 판단을 내릴 수 있도록 정보를 제공하는 역할을 맡죠.

준결정적 에이전트: 맥락이 명확하고 데이터가 통제된 환경에서 작동합니다.
확률적 에이전트: 구조화된 데이터를 기반으로 하지만, 사용자와의 상호작용은 열려 있습니다.
적응형 에이전트: 사용자 요청과 개인 데이터, 맥락에 따라 결과를 다르게 구성합니다.

행동

이 단계부터 AI는 단순히 정보를 제공하는 데서 나아가, 직접 행동을 수행하기 시작합니다. 사건이 발생했을 때 반응하기도 하고, 미래를 예측해 미리 움직이기도 하죠.

능동적 반응형 에이전트는 감지된 이벤트나 이상 징후를 사용자에게 전달합니다.
능동적 예측형 에이전트는 미래 상황을 예측해, 사전에 알림이나 경고를 제공합니다.
저영향 실행 에이전트는 되돌릴 수 있는 작업을 직접 수행합니다.
고영향 실행 에이전트는 사용자 동의를 전제로, 중요한 작업이나 되돌릴 수 없는 작업을 수행합니다.

이 단계의 AI는 실제 행동을 수행하기 때문에, 사용자는 AI가 무엇을 하려는지, 그리고 그 결과가 어떤 영향을 미치는지를 미리 알 수 있어야 합니다. 실행 여부를 직접 확인할 수 있어야 하고, 이후에 어떤 일이 있었는지도 다시 확인할 수 있는 구조가 필요하죠.

자율성

마지막으로 자율 에이전트가 등장합니다. 이들은 예측과 실행 능력을 바탕으로, 여러 단계를 거치는 계획을 스스로 정의하고 우선순위를 정해 실행할 수 있습니다. 이 단계의 시스템은 외부 신호에 반응하는 데서 그치지 않고, 스스로 행동을 시작하고 상황에 맞게 전략을 조정합니다. 경우에 따라서는 사람의 개입 없이도 판단과 실행이 이어질 수 있죠.

자율 에이전트는 위험이나 기회를 감지하고, 그 원인을 분석한 뒤 정해진 기준에 따라 대응합니다.
자율 계획 에이전트는 한 번의 판단으로 끝나는 것이 아니라, 여러 단계를 거쳐야 하는 일을 스스로 계획하고 순서대로 실행합니다.

자율성을 설계하는 일은 더 이상 인터페이스를 다듬는 문제에 머물지 않습니다. 초점은 거버넌스 설계로 옮겨갑니다. 신뢰와 감독, 책임, 그리고 윤리적 경계를 어떻게 설정할 것인지가 중요해지며, 자율성이 인간의 판단을 대체하는 것이 아니라 보완하도록 만드는 것이 핵심 과제가 됩니다.

마치며: 인간 중심 AI를 향한 디자인의 역할

자율적인 시스템을 만들겠다는 목표에는 단번에 도달할 수 없는 복잡한 역량의 스펙트럼이 존재합니다. 이 역량들은 단계별로 하나씩 다뤄나가야 할 대상이죠.

디자이너는 엔지니어와 데이터 사이언티스트, 비즈니스 리더와의 지속적인 논의를 통해 방향을 조율합니다. 이 과정에서 기대 수준과 기술적 현실을 맞추고, 윤리적 책임까지 함께 고려할 수 있죠. 이러한 역할을 통해 디자이너는 고도화되는 AI 시스템을 인간 중심으로 설계하는 데 중요한 역할을 맡게 됩니다.

<원문>

hings Every Designer Should Know Before Designing an AI Agent