국내 IT 기업은 한국을 넘어 세계를 무대로 할 정도로 뛰어난 기술과 아이디어를 자랑합니다. 이들은 기업 블로그를 통해 이러한 정보를 공개하고 있습니다. 요즘IT는 각 기업의 특색 있고 유익한 콘텐츠를 소개하는 시리즈를 준비했습니다. 이들은 어떻게 사고하고, 어떤 방식으로 일하고 있을까요?

이번 글에서는 글로벌 알람 앱 ‘알라미’를 서비스하는 딜라이트룸이 2개의 스쿼드를 각각 주니어 AI에게 맡긴 과정에 대해 소개합니다.

올해 들어 제품 내에서 살펴야 할 피처의 넓이와 깊이가 모두 깊어졌고, 인수한 제품의 특성상 우리가 아직 모르는 동작도 훨씬 많아졌습니다. 그 와중에 2개의 스쿼드의 PO 역할을 담당하려다 보니, 물리적으로 혼자 감당할 수 있는 범위를 이미 넘어선 상황이었죠. 그래서 두 주니어 AI를 통해 빈자리를 단단하게 채워보려고 했습니다. 그 과정을 지금부터 소개하겠습니다.

Devin은 코드베이스를 꿰뚫는 주니어 Dev입니다.
Claude는 제품 로드맵 구축부터 백로그 배포 이후의 후속 기획까지 함께 뛰는 주니어 PO입니다.

Devin: 코드 및 데이터베이스를 꿰뚫는 주니어 Dev

Devin에게 부여하는 역할은 크게 네 가지입니다.

1) Reader

“이 기능 지금 어떻게 동작해?” 하고 물으면 코드를 읽고 플로우를 정리해 주고, 관련 수치까지 뽑아줍니다. 복잡한 코드를 대신 읽고 구조화해 주기 때문에, 기획 단계에서 많은 리소스를 아낄 수 있습니다. 인수한 제품이라 우리가 모르는 동작이 훨씬 많은 환경에서는 특히 유용합니다.

2) Debugger

문제가 터졌을 때 원인을 함께 디깅 합니다. 영향을 줄 수 있는 코드 내 다양한 변인을 같이 검토해 주고, 과거 커밋 히스토리까지 알고 있기 때문에 “이전에는 어떻게 동작했는지”도 추적할 수 있습니다.

3) Developer

간단한 코드 수정은 직접 해주기도 합니다. 물론 더 대단한 개발도 해주기야 하겠지만, 아직은 그 결과물을 온전히 신뢰하기 어려운 단계입니다. (그가 책임을 지지는 못하기 때문에…) 운영상의 불편함을 한 번의 코딩으로 갈음해 주는 역할도 해주곤 합니다. 사실 이 역할을 더 많이 활용해야 하는데, 이번 분기에는 미진했네요. 다음 분기를 기약해 봅니다. 아무래도 백로그가 잔뜩 쌓여있을 때 더 빛을 발할 것 같네요.

4) DA

예상 임팩트 계산, 코호트 분석, 교차 분석도 수행합니다. 매출 데이터만 해도 웹 결제냐 앱 결제냐에 따라 참고해야 할 소스가 다르고, 유저 액티비티 값 역시 서버값과 클라이언트값을 잘 교차해서 써야 합니다. Devin은 AMP, Stripe, Qonversion 등 여러 데이터 소스를 넘나들며 이걸 해주고, taxonomy도 이미 파악하고 있어서 매번 설명할 필요가 없습니다.

또한 때로는 무의미해 보일 수 있을 정도로 세세한 데이터 분석을 해보고 싶을 때가 있는데, (간혹 그 속에서 좋은 시드를 찾을 때가 있긴 하니까) 그럴 때도 데빈이는 묵묵히, 또 빠르게 결과 값을 가져다주어 속 시원함을 제공해 주기도 합니다.

Claude: 제품 전략부터 기획까지 함께하는 주니어 PO

Claude가 맡은 메인 역할은 세 가지입니다.

1) Discussion Partner

가장 많이 쓰는 역할입니다. 문제 정의가 틀어졌을 때, 더 나은 대안이 있을 때, 논리에 구멍이 있을 때, 리스크를 놓쳤을 때, 대화를 통해 잡아냅니다. 실제로 백로그 검토 및 쟁점 정리, 온보딩 이후 문제 정의와 솔루션 기획, 스쿼드 회고 정리, 온보딩 플로우 재구성 등 다양한 국면에서 이 역할을 활용했습니다.

2) Document Editor

저는 맥락을 최대한 주기 위해 raw data를 통째로 던지는 편입니다. 두서없이 적어 내려간 사고 흐름, 유저 인터뷰 원문, 서베이 응답 같은 날것의 데이터를 문서 목적에 맞게 정리해 줍니다. 대부분의 PRD와 분석 문서 등 주요 문서들은 클로드가 작성해 주죠. 특히 이번 분기는 영어권 국가 유저 인터뷰를 진행하느라 영어 <> 한국어 간 넘나듦이 문서상에서도 빈번했는데, 알아서 어련히 깔끔하게 잘해주니 이보다 든든할 수 없었죠.

3) DA

주어진 데이터와 기획 의도, 맥락을 기반으로 가설을 검증하고 후속 액션 아이템을 뽑아줍니다. 데빈이가 실제 코드 베이스와 데이터베이스를 넘나들 수 있는 역량이 있다면, 클로드는 그걸 읽고 해석하는 두뇌가 더 명석합니다. 둘의 합작으로 유의미한 분석 결과들을 내주고 있습니다.

데빈이가 필요한 데이터 뽑아주고, 클로드가 전체 맥락에서 정리해 줍니다.

이보다 마이너한 활용도 있습니다.

Visualizer로서 그래프, 다이어그램, 발표 자료 같은 것들을 빠르게 만들어주고, Copywriter로서 완벽한 카피는 아니더라도 시드를 발산하는 데 도움을 줍니다. 반면, Researcher로는 거의 쓰지 않습니다. 그 이유는 보통 레퍼런스 리서치를 할 때는 실제 그 앱들을 직접 만져보며, 화면과 플로우를 확인해야 제대로 알 수 있는 영역이라, AI가 대체하기 어렵습니다.

마치며: 주니어를 다루듯이

여기까지 읽으면 “딸깍” 한 번이면 AI가 다 해주는 것처럼 들릴 수 있습니다. 하지만 이 둘은 결국 주니어입니다. 그것도 성향이 좀 다른 주니어들입니다. 그래서 기대치를 어느 정도 낮추고, 적절하게 위임해야 합니다.

Devin은 부지런하지만 좀 덜렁거리는 타입입니다.

참고해야 할 코드베이스나 데이터 소스를 착각하는 경우가 종종 있어서, 결과물은 반드시 크로스 체크해야 합니다. 또한 조사해야 할 영역을 명확히 좁혀주지 않으면, 꽤 멀리 엄한 곳까지 헤매다 돌아오기도 합니다. 그래서 스코프를 잘 잡아주는 게 중요합니다.

Claude는 더 똑똑하지만, 다른 종류의 주의가 필요합니다.

전체 맥락을 다 품지 못하기 때문에 우선순위를 혼자 잘못짚을 때가 있고, 불필요한 내용을 과하게 담아서 오히려 가독성을 떨어뜨리기도 합니다. 없어도 전체 이해에 지장 없는 건 과감히 쳐내는 게 좋습니다. 임팩트 추정에서는 여러 변수에 가정치를 넣는 경우가 있는데요. 그 가정치가 적절한지는 PO의 직관으로 반드시 검증해야 합니다. 정리된 결과물의 직접 검수하는 건 필수입니다.

둘 다 결국 같은 원칙이 적용됩니다.맥락을 나보다는 잘 알 수가 없습니다. 가장 상위에서의 머리 역할은 제가 수행해줘야 합니다.

다만, 주니어를 다루듯이 대한다는 건 한계만 인식하라는 뜻은 아닙니다.맥락을 잘 넘겨주고, 역할을 명확히 정의하고 피드백을 주면, 똑똑한 주니어답게 점점 더 일의 합이 잘 맞습니다. 가르쳐주면 가르쳐줄수록 일을 더 잘하는 친구들이니까요.

AI 기술이 워낙 빠르게 발전하고 있으니, 다음 분기에는 아마도 이 둘의 직급을 올려줄 수 있지 않을까 기대하고 있습니다. 그리고 느낌상 둘이 직접 소통할 수 있게 해 두면 더 수월할 것 같은데, 그건 다음 분기에 다뤄보겠습니다. 읽어주셔서 감사합니다!

<원문>

AI와 함께 이끌어온 2개의 스쿼드