오픈소스 컴퓨터 유즈 cua-driver 써보니: GUI 시나리오 5개 막힌 곳과 우회법

AI 에이전트가 코드를 짜주는 시대는 이제 익숙합니다. 그런데 에이전트가 내 컴퓨터를 직접 만지기 시작하면 어떨지 궁금했습니다. 브라우저를 열고 앱을 실행하고 마우스를 클릭하고 키보드로 입력하는 일까지 에이전트에 맡기는 것입니다. 이를 컴퓨터 사용(Computer Use)이라고 부릅니다.

cua-driver는 이런 컴퓨터 사용을 가능하게 해주는 오픈소스 드라이버입니다. trycua/cua 프로젝트의 일부로, MIT 라이선스로 공개돼 있습니다. macOS·윈도우·리눅스에서 네이티브 앱과 브라우저를 조작할 수 있죠. 클로드 코드(Claude Code)나 코덱스(Codex) 같은 AI 코딩 에이전트와 MCP(모델 컨텍스트 프로토콜)로 연결하면, 에이전트가 데스크톱을 손발처럼 쓰게 됩니다. MCP는 AI와 외부 도구를 잇는 연결 규격입니다.

cua-driver 공식 문서는 친절합니다. 설치 방법도, 도구 목록도 잘 정리되어 있습니다. 하지만 실제로 써 보면 어디서 막히는지, 에이전트의 “했습니다”라는 말을 어디까지 믿을 수 있는지는 문서에 없습니다. 그래서 직접 해 봤습니다. 다섯 가지 데스크톱 조작 시나리오에서 막힌 지점과 우회 경로를 따라가고, 번외로 컴퓨터 조작에 특화된 초소형 모델의 한국어 성적도 살펴봅니다.

1. cua-driver를 선택한 이유

컴퓨터 사용 기능 자체는 새로운 것이 아닙니다. 앤트로픽이 2024년 클로드에 도입했고 오픈AI도 오퍼레이터(Operator)로 선보였습니다.

그런데 이들은 모두 특정 벤더의 모델·플랫폼에 종속됩니다. 반면 cua-driver는 드라이버일 뿐입니다. 모델을 고르지도, 에이전트 루프를 돌리지도 않습니다. 클로드 코드든 코덱스든, 쓰는 에이전트 아래에 붙는 도구 계층입니다. MIT 라이선스 오픈소스라 누구나 뜯어 볼 수 있습니다. 컴퓨터 사용이라는 개념을 벤더 종속 없이 실험해 보고 싶다면 지금 가장 만만한 출발점입니다.

2. 테스트 환경과 방법

테스트는 제 맥북 프로(MacBook Pro, M5 Pro·통합 메모리 48GB)에서 진행했습니다. cua-driver 0.21.0이 이미 설치되어 있었고 데몬도 실행 중이었습니다. 그래서 재설치는 하지 않고 기존 설치본의 상태를 확인하는 것부터 시작했습니다.

여기서 재미있는 일이 생겼습니다. 데몬(백그라운드에서 계속 실행되는 프로그램)의 권한 모드는 standard였습니다. 접근성(Accessibility)과 화면 기록(Screen Recording) 권한도 정상적으로 true를 반환했습니다. 그런데 permissions status 조회에서는 daemon_running=false 혹은 unknown이 떴습니다. status 명령은 실행 중이라고 했습니다. 두 상태 조회가 서로 다른 말을 한 셈입니다.

원인은 확정하지 못했습니다. 어쨌든 실제 화면 캡처는 성공했으니 데몬 자체는 살아 있었습니다.

MCP 연결은 현재 테스트 폴더의 .mcp.json에 바이너리 절대 경로와 mcp 인자를 등록하는 방식으로 검증했습니다. MCP 프로세스를 직접 실행해 initialize 응답까지 받았습니다. MCP 서버는 cua-driver 0.21.0, 프로토콜 버전은 2025-06-18이었습니다. 초기화 응답까지는 5.283초가 걸렸습니다. 다만 실제 테스트 시나리오는 CLI로 순차 실행했습니다.

테스트는 AI 에이전트가 수행했습니다. 저는 테스트 조건을 정하고 막힌 지점에서 재실험을 요청하고 나온 수치와 해석을 실행 로그와 공식 자료에 대조해 검토했습니다. 이 글에 나오는 모든 수치는 그렇게 확인했습니다.

3. 다섯 가지 시나리오, 결과는 제각각

소요 시간은 명령 시작부터 응답까지의 실측값입니다. 단회 측정이므로 평균이나 순수 GUI 반응 속도로 해석하면 안 됩니다.

최초 실행의 14개 CLI 호출 합계는 84.154초였습니다. 호출 사이 판단 시간을 포함한 경과 시간은 약 131초였으며 이후 텍스트 편집기 재시험은 별도로 측정했습니다.

숫자를 늘어놓고 보니 드는 생각이 있습니다. 6초짜리 작업도 있고 24초짜리도 있는데 이 편차를 그대로 실무 자동화에 얹으면 느린 응답이 작업 실패로 번질 수 있습니다. 컴퓨터 사용 에이전트를 실무에 쓰려면 평균 속도보다 최악의 경우를 먼저 설계해야 합니다.

시나리오 2가 흥미로웠습니다. 이 버전에서 screenshot은 지원하지 않아 호출이 거부됐습니다. 대신 get_desktop_state로 3456×2234 PNG를 생성하는 데 성공했습니다. 막힌 도구 대신 다른 경로를 쓸 수 있다는 것을 처음 확인했습니다.

시나리오 5에서는 실행 중에 활성 앱이 코덱스에서 카카오톡으로 바뀌어 있었습니다. 이전 코덱스 창은 빈 접근성 트리(UI 요소 목록)를 반환했고 새 활성 앱의 창을 다시 선택해 조회해야 했습니다. 포커스는 조회 사이에도 바뀔 수 있습니다. 원인은 이 실험으로 확정하지 못했습니다.

4. 백그라운드에서 열리지 않는 텍스트 편집기 창

시나리오 4는 처음부터 삐걱거렸습니다. 텍스트 편집기 프로세스는 실행됐는데 window_ready=false였고 창 목록은 비어 있었습니다. 백그라운드 Cmd+N 호출도 window_target_not_found로 거부됐습니다. 문서 생성 단계에서 막혀 입력도, 닫기도 시도조차 못 했습니다.

백그라운드 제약(전경 조작 금지)을 풀고 다시 시도했습니다. 전경 Cmd+N으로 새 문서가 생기는 것을 확인했고 이번에는 입력 단계까지 갔습니다. 그런데 여기서 두 번째 사건이 터졌습니다.

5. 한글 입력 깨짐 사건

전경 type_text로 “cua-driver 테스트 성공”을 입력했는데 12.213초 뒤에 들어간 문자열은 “다cu-driver 테스트 성공식도”였습니다. 요청과 달랐습니다. 입력기 문제인지 포커스 간섭인지, 그때는 확정할 수 없었습니다.

접근성 경로로 우회했습니다. set_value로 값을 직접 설정하니 8.113초 만에 정확한 문구가 들어갔고 후속 조회에서도 일치함을 확인했습니다. 입력 자체는 성공한 셈입니다. 하지만 찝찝함이 남았습니다. 도대체 왜 깨졌는지 알고 싶었습니다.

그래서 조건을 바꿔 재시험했습니다. 제가 포커스를 바꾸지 않겠다고 약속한 상태에서 다시 실행했습니다. 결과는 놀라웠습니다. 전경 type_text가 첫 시도에 성공했고 “cua-driver 테스트 성공”이 정확히 입력됐습니다. 10.719초가 걸렸습니다. set_value는 필요 없었습니다.

앞선 깨짐은 사용자인 제 포커스 간섭 때문일 가능성이 커졌습니다. 에이전트가 타이핑하는 동안 제가 뭔가를 건드렸을 수 있습니다. 다만 원인을 확정하지는 못했습니다. 입력기 문제일 가능성도 완전히 배제할 수 없습니다. 전경 키보드 입력을 시험할 때는 사용자의 조작을 멈추고 조건을 통제할 필요가 있었습니다.

6. 아직 풀리지 않은 Cmd+W 미스터리

그런데 같은 재시험에서 다른 하나는 재현됐습니다. 전경 Cmd+W로 문서를 닫으려 했는데 닫기 확인 시트가 나타나지 않았습니다. 포커스 간섭이 없는 상태에서도 실패했습니다. 앞선 모든 문제를 사용자 간섭 탓으로 단정할 수 없다는 증거죠.

대신 메뉴 경로로 우회했습니다. invoke_menu로 파일 → 닫기를 호출하니 5.937초 만에 저장 확인 시트가 나타났습니다. 시트의 ‘삭제’(미저장 문서 폐기) 버튼은 전경 접근성 클릭으로 눌렀습니다. 시트가 사라지고 문서 창이 닫힌 것까지 확인했습니다. 원래 요청이 “저장하지 않고 닫기”였으므로 저장 버튼은 누르지 않았습니다.

Cmd+W가 왜 안 되는지는 아직 모릅니다. 드라이버의 문제인지, 텍스트 편집기의 문제인지, 타이밍의 문제인지 확인하지 못했습니다. 이 글의 숙제로 남겨 둡니다. 모든 실패에 원인을 붙일 수 있는 것은 아니라는 점도 실측의 일부입니다.

7. 70만 파라미터 모델의 한국어 성적표 (번외)

cua 팀은 드라이버에 이어 컴퓨터 조작에 특화된 초소형 모델 CUA-S1-FORMS도 공개했습니다. 파라미터 706,048개, 체크포인트 용량 2.8MB입니다. 텍스트를 생성하는 대신 UI 요소 하나와 선택지 목록을 받아 한 번의 계산으로 선택지별 확률만 돌려주는 판단 전용 모델입니다. 공개된 평가 수치는 합성 테스트에서 top-1 정확도 99.95%입니다.

직접 돌려 봤습니다. 실험은 같은 맥북 프로의 CPU 단일 스레드로, 오프라인 상태에서 진행했습니다. 모델은 CUA-S1-FORMS(cua-ai/cua-s1-forms, 리비전 4a7a9f4·모델 버전 식별자)를 썼습니다.

입력도 제출도 없이 선택지만 평가했습니다. 평가 사례는 영어 합성 폼 10개, 한국어 실제 웹 폼 10개, 모호한 사례 5개입니다. 한국어 폼은 공개 사이트의 원본 HTML에서 라벨과 입력 타입을 추출해 정규화했습니다. 비교용으로 범용 모델인 클로드에도 같은 문제를 냈습니다.

이번 영어 합성 10개에서는 100%가 나왔습니다. 공개된 99.95%와는 표본과 평가 조건이 달라 직접 비교할 수 없습니다. 그런데 한국어 실제 폼에서는 0점이었죠. 그것도 평균 99.99%의 확률로 자신만만하게 틀렸습니다. 10개 모두 ‘skip’을 골랐습니다.

처음에는 언어 문제인가 싶었습니다. 그래서 같은 한국어 사례를 영어로 번역해 다시 테스트했습니다. 결과는 1/10에 그쳤습니다. 같은 항목을 영어로 번역해도 비밀번호 확인이나 전화번호 분할 입력처럼 이번에 선택한 항목·표현에는 취약했습니다. 언어와 항목 구성의 영향을 이 실험만으로 완전히 분리할 수는 없습니다.

CUA-S1-FORMS 모델 카드도 “바이트 레벨 인코더에 영어 중심 라벨 어휘”라고 한계를 스스로 밝히고 있습니다. 이번 실험에서 그 한계가 실제로 드러났습니다.

속도는 압도적이었습니다. 같은 35개 사례를 일괄 처리하는 데 S1은 평균 45.47ms가 걸렸습니다. 35개 사례를 묶어 보낸 클로드 요청 1회는 6.07초였습니다. 클로드는 claude -p --model sonnet --effort low로 호출했고, Claude CLI 응답에 기록된 모델 식별자는 claude-sonnet-5-5였습니다.

사례당 단순 환산하면 S1은 약 1.30ms, 클로드는 약 173ms지만 개별 요청의 응답 시간은 아닙니다. 클로드 측정에는 CLI 시작·네트워크·응답 생성이 포함됐습니다. 참고로 35개 사례를 묶은 클로드 요청 1회의 토큰 비용은 정가 환산 약 3센트(한화 약 40원)였습니다.

높은 확률이 정확한 판단을 보장하지는 않았습니다. 작은 모델은 빨랐지만 낯선 분포 앞에서는 빠르고 자신 있게 틀렸습니다. 이 두 가지를 숫자로 확인했으니 번외 실험을 해 볼 값어치는 있었습니다.

그래서 이 모델의 용도는 명확해 보입니다. 영어 폼 분류처럼 분포가 좁고 정해진 용도에는 빠르고 싸게 쓸 수 있습니다. 반면 한국어 실서비스처럼 분포가 넓은 곳에 그대로 얹으면 빠르고 자신 있게 틀리는 직원을 고용한 셈입니다. 작은 모델은 만능이 아니며 용도가 좁을수록 강한 도구라는 것을 이번 실험에서 수치로 확인했습니다.

마치며

AI가 작업을 실행했다는 응답과 실제로 작업이 끝났다는 증거 사이에는 차이가 있었습니다. 이 글의 모든 장면이 그 차이를 확인하는 과정이었습니다. 도구가 거부되면 돌아가고, 입력이 깨지면 원인을 추적하고, 닫기가 안 되면 메뉴로 우회했습니다. 에이전트는 유능하게 작업하지만 믿고 맡기려면 아직 검증이 필요합니다.

컴퓨터 사용 에이전트는 정해진 도구가 있는 정돈된 작업에서는 꽤 믿을 수 있습니다. 그러나 화면처럼 비정형인 환경에서는 사람의 눈으로 한 번 더 확인하는 과정이 아직 필수입니다. 지금은 그 확인 과정 자체가 가장 재미있는 일입니다.

그래서 저는 이걸 반복 작업의 “첫 손”에 써 볼 생각입니다. 사람이 하기 귀찮은 정돈된 작업을 에이전트에 먼저 맡기고 저는 검증만 하는 식입니다. 완전히 맡기지는 않고 작업을 돕는 용도로 쓰려는 것입니다.

이 글의 실험은 모두 제한된 조건에서 이뤄졌습니다. GUI 작업은 단회 실행과 제한된 재시험으로 측정했고 S1 추론 속도는 워밍업 후 30회 반복해 평균을 냈습니다. 정확도 평가 표본은 작아 결과를 일반화할 수 없습니다. 파일 저장·메시지 전송·실제 웹 폼 제출은 제외했습니다.

그래도 직접 해 보니 문서에서는 알 수 없는 것들을 건졌습니다. 권한 상태 조회의 불일치, 도구 거부의 우회 경로, 한글 입력과 포커스의 관계, 자신만만하게 틀리는 소형 모델까지. 컴퓨터 사용은 현재 생각보다 훨씬 더 직접 만져 볼 만한 상태입니다.

이 글은 AI의 도움을 받아 작성했습니다.

ⓒ요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.