아무 데나 AI 에이전트 붙이지 마세요

“모든 일에 AI 에이전트를 만들지 마세요” by 앤트로픽 Barry Zhang 응용 AI 엔지니어

AI 에이전트를 어떻게 잘 만들 수 있을까?

요즘 AI에이전트에 대한 관심이 뜨겁죠. 어떤 에이전트를 구축하면 좋을지 고민하는 조직이 많은데요. 그 가운데 최근 뉴욕에서 열린 AI Engineer Summit에서 클로드(Claude) 개발사 앤트로픽(Anthropic)의 베리 장(Barry Zhang)이 "모든 일에 에이전트(agent)를 만들지 말라"고 강조한 내용이 있어, AI에이전트 구축을 고민하는 분들께 소개하려고 합니다.

앤트로픽의 응용AI(Applied AI) 팀 소속 베리는AI Engineer Summit에서 “효과적인 에이전트 개발법”이라는 주제로 발표했습니다.

그는 워크플로우(workflow)와 에이전트의 차이를 설명하며, 각각 효과적으로 작동하는 조건이 다르다고 이야기합니다. 워크플로우를 최적화하는 게 좋을 때와 에이전트를 구축하는 게 좋은 때가 다르다는 건데요.

워크플로우는 사전에 정의된 경로에 따라 여러 모델의 호출을 조율하는 방식이지만, 에이전트는 직접 스스로의 경로를 결정하고 피드백에 따라 독립적으로 작동할 수 있다는 것입니다. 즉 모든 일에 에이전트가 효율적인 것은 아니라는 설명입니다.

이런 관점을 바탕으로, 그는 효과적인 에이전트를 만드는 데 중요한 핵심 아이디어로 세 가지를 강조했습니다.

• 모든 일에 에이전트를 만들지 마세요
• 단순하게 유지하세요
• 에이전트처럼 생각하세요

1. 모든 문제에 에이전트를 적용하지 마세요

베리는 “에이전트는 모든 문제에 대한 마법 같은 해결책이 아니다”라고 강조했습니다. 복잡하고 모호한 상황에서는 유용할 수 있지만, 대부분의 일반적인 작업에는 기존의 ‘워크플로우’ 방식이 더 비용 효율적이고 신뢰할 수 있다고 설명했죠.

“시스템에 더 많은 에이전트를 부여할수록 더 유용하고 더 많은 기능을 제공하지만, 결과적으로 비용, 지연 시간, 오류로 인한 결과도 증가한다”는 것입니다.

그는 AI를 적용할 때 아래 체크 리스트를 확인해 보라고 조언합니다.

문제가 모호하고 복잡한가?

AI에이전트는 애매모호한 문제를 해결하는 데 강점을 보이기 때문에, 문제가 모호하고 복잡하다면 에이전트를 고려할 수 있습니다. “만약 의사 결정 과정을 쉽게 그려낼 수 있다면, 명시적인 워크플로우를 구축하고 각 노드를 최적화하는 것이 효율적이며 제어 측면에서도 유리하다”고 베리는 설명합니다.

비용을 감수할 만큼 가치 있는가?

AI에이전트가 정보를 탐색하는 데는 상당한 비용이 듭니다. 그래서 그만큼 가치를 뽑아낼 수 있는 작업일 경우에 AI에이전트 구축을 고려해야 합니다.

작업의 모든 부분을 수행할 수 있는가?

에이전트의 궤적에 심각한 병목 현상이 없는지 확인하고 중요한 기능의 위험을 제거해야 합니다. 에이전트가 코딩을 할 때는 좋은 코드를 작성할 수 있고 디버깅할 수 있으며 오류를 복구할 수 있는지 확인해야 합니다. 병목 현상이 발생하더라도 치명적이지는 않지만 비용과 지연 시간이 증가하므로 일반적으로 범위를 줄이고 작업을 단순화한 다음 다시 시도해야 한다고 설명합니다.

오류 발생 시 감당할 수 있는가?

에러가 발생했을 때 발생할 수 있는 위험을 감당할 수 있는지를 꼼꼼히 따져봐야 합니다. 만약” 에러가 발생했을 때 감당해야 할 위험 부담이 크고, 발견하기도 어렵다면 에이전트에게 많은 자율성을 주기는 어려울 수 있다”고 베리리는 설명합니다.

그는 특히 코딩을 좋은 예로 들었습니다. 코딩은 ‘디자인 문서에서 PR까지 가는 과정은 모호하고, 코드의 품질은 가치가 높으며, 결과도 테스트로 검증 가능하다’는 것입니다. 따라서 코딩은 에이전트가 활약하기에 이상적인 영역이라는 것이죠.

2. 최대한 단순하게 유지하라

이제 어떤 문제에 에이전트를 적용할지 결정했다면, “최대한 단순하게 유지해야 한다”고 그는 강조합니다. 특히 그는 에이전트를 “루프에서 도구를 사용하는 모델”로 정의하고, 세 가지 핵심 구성 요소에 집중해야 한다고 말합니다.

• 환경(Environment): 에이전트가 작동할 시스템
• 도구(Tools): 액션을 취할 수 있게 해주는 인터페이스
• 시스템 프롬프트(Prompt): 목표, 제약조건, 이상적인 행동 정의

그는 “초기 단계에서 복잡성을 추가하면 반복 속도가 저하되므로, 이 세 가지 기본 구성 요소를 먼저 구축하고 동작 방식이 명확해진 후에 최적화를 진행하는 것이 가장 높은 투자 수익률을 가져다준다”고 조언했습니다.

3. 에이전트처럼 생각하라

에이전트를 제대로 이해하려면, 인간의 관점이 아닌 에이전트의 관점에서 생각해야 한다는 것이 베리의 마지막 조언입니다. 그는 이를 위해 "에이전트가 되어보는 연습"을 권합니다. 

그는 “에이전트는 똑똑해보이지만 실제로는 순간적으로 주어진 정보, 그러니까 에이전트가 알고 있는 1만~2만 토큰 분량의 정보만 가지고 판단할 뿐”이기 때문에 굉장히 제한적인 상태라고 말합니다. 이 정보만을 갖고 얼마나 일관성 있게 판단하는지, 실제로 충분한 정보였는지 생각해보는 게 중요하다는 것이죠. 

베리는 에이전트에게 정보가 얼마나 제한된 상태인지를 예시를 통해 설명합니다.

“우리가 컴퓨터를 쓰는 AI 에이전트라고 상상해보죠. 그런데 우리가 받은 정보는 정지된 스크린 샷 하나와 설명 하나뿐이에요. 그것도 엉성한 설명이죠. (중략)그래서 우리는 “클릭하기” 같은 행동을 시도해요. 그런데 무슨 일이 벌어지고 있는지는 안 보여요. 눈 감고 3~5초 동안 컴퓨터를 조작하는 것과 같죠. 그리고 다시 눈을 떴을 때 나오는 또 다른 스크린샷을 보고, 내가 뭘 했는지 추측해요. 성공했을 수도 있고 실수를 해서 컴퓨터를 꺼버렸을 수도 있죠. 이게 바로 AI 에이전트의 행동 사이클이에요.”

이렇게 우리가 에이전트의 문맥 창(context window)에 들어가본다면, “화면 해상도” 같은 추가 정보나 “도구의 한계” 같은 제약 조건이 필요한지 등 에이전트에 정확히 어떤 정보를 제공해야 하는지 감을 잡을 수 있습니다. 

또 인간의 언어를 이해할 수 있는 클로드와 같은 모델에게 시스템 프롬프트나 도구 설명을 이해하는지, 필요한 파라미터는 무엇인지 등을 질문하고, 전체 에이전트의 실행 과정을 분석하여 개선점을 찾는 방법도 제시했습니다.

AI 엔지니어로서의 3가지 단상

강연 말미에 그는 AI 엔지니어로서 개인적으로 주의 깊게 생각하는 주제 세 가지를 공유했습니다.

1. 예산 인식(Budget awareness)
   베리는 에이전트는 “비용과 지연(latency)에 대한 제어가 어려운 구조”이기에 “명확한 예산 제어 방식이 필요합니다”고 말합니다.
2. 자기 진화형 도구(Self-evolving tools)
   그는 에이전트가 스스로 자신에게 맞는 도구를 설계·개선하는 능력이 필요하다고 생각하며, 그렇게 될 경우 좀 더 보편적인 목적으로 에이전트를 사용할 수 있을 것이라고 봅니다.
3. 멀티 에이전트 협업(Multi-agent collaboration)
   여러 에이전트가 비동기적으로 소통하고 역할을 분담하는 구조가 앞으로 중요해질 것이라고 봅니다.

실용적인 AI가 세상을 바꾼다

마지막으로 그는 ‘실제로 세상에 도움이 되는 AI’를 만들고 싶었던 자신의 포부를 소개하며, 다시 한번 세 가지를 강조했습니다.

“기억해야 할 세 가지는 이겁니다. 에이전트를 남용하지 말 것. 최대한 단순하게 만들 것. 그리고, 에이전트처럼 생각할 것.”

그리고 덧붙였습니다. “여러분과 계속 대화를 이어가고 싶습니다. 특히 위에 언급한 미해결 문제들에 관심 있다면 꼭 연락 주세요.”

<원문>

How We Build Effective Agents: Barry Zhang, Anthropic

*AI와 함께 제작한 콘텐츠입니다.

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.