내가 일부러 AI에게 맡기지 않은 것들

자율주행, 법률, 헬스케어 AI 서비스를 만들며 배운 선 긋는 법

AI에 선을 긋는 이유

제가 만든 AI 법률 분석 서비스는 승소를 약속하는 문장을 쓰지 않습니다. 법률 서비스를 찾아오는 분들이 가장 듣고 싶어 하는 말이 바로 그것인데도요. 일부러 쓰지 않기로 했습니다. 이 글은 그 ‘일부러’에 대한 이야기입니다.

요즘에는 AI 기능 하나 안 붙은 서비스 찾기가 어렵습니다. 기획서마다 “AI가 추천”, “AI가 요약”, “AI가 분석”이 들어가고, 우리는 매번 AI로 무엇을 더 할 수 있을지를 고민하죠.

그런데 저는 실무에서 정반대의 고민이 훨씬 자주 발목을 잡는다는 걸 배웠습니다. AI에 무엇을 맡기지 않아야 하는가. 이 질문에 제대로 답해두지 않으면, AI가 틀리는 순간 사용자와 제품이 함께 무너집니다. 그래서 저는 AI가 틀려도 되는 부분이 어디까지인지 먼저 선을 긋습니다. AI가 무엇까지 판단해도 되는지, 사람은 언제 개입해야 하는지를요.

돌아보면 저는 자율주행 UX 연구, AI 법률 서비스, 헬스케어 서비스를 만들며 세 종류의 선을 그어왔습니다. 1) 운전자의 주의를 지키는 인지적 경계, 2) AI가 말해선 안 되는 것을 정하는 언어적·책임적 경계, 그리고 3) 사용자의 마음이 다치지 않게 하는 심리적 경계입니다.

이 글에서는 그 세 개의 선을 어디에, 왜 그었는지 실제 경험과 함께 풀어보려고 합니다. 물론 여러분의 도메인에서는 다른 위치에 선이 그어질 수도 있을 겁니다. 제 경험이 여러분 스스로 내 서비스 어디에 선을 그어야 할지 고민하는 데 도움이 되길 바랍니다.

인지적 경계: 시선을 빼앗지 않는 공간

첫 번째 선은 자율주행 UX를 연구하던 대학원 시절에 그었습니다. 당시 저는 운전 중 스마트워치로 입력 명령을 인식하는 인터페이스를 연구했죠. 문제의식은 단순했습니다. 차 안에 화면과 버튼을 추가할수록 운전자의 시선은 도로 밖으로 끌려 나갑니다. 인터랙션을 확장하고 싶다면, 시각적 주의를 빼앗지 않는 공간을 찾아야 했어요.

저희가 찾은 답은 운전자의 무릎이었습니다. 무릎은 거의 평평해서 터치패드처럼 쓸 수 있거든요. 무릎 위에서 손가락을 두드리고, 접고, 펴는 열 가지 제스처를 정의하고, 스마트워치의 모션 신호를 머신러닝으로 학습시켰습니다. 인식 정확도는 94%였고, 이 연구는 국제 학술지 IEEE Transactions on Intelligent Vehicles에 실렸습니다.

그런데 시간이 지나 제게 남은 건 94%라는 숫자나 논문의 성과가 아니었습니다. 이 연구가 처음부터 끝까지 붙들고 있던 전제였어요.

‘주행은 인간의 책임 영역이고, 기술은 그 영역의 인지 자원을 침범해서는 안 된다.’

새 기능을 더하는 일조차, 인간이 지고 있는 책임의 경계를 건드리지 않는 방식이어야 합니다. 기술이 무엇을 할 수 있느냐보다, 기술이 어디까지 들어와도 되느냐가 먼저인 거죠. 이 전제는 몇 년 뒤 제가 훨씬 위험한 영역의 서비스를 만들 때 다시 소환됐습니다.

언어적·책임적 경계: AI가 말할 수 없는 것

로윈은 제가 만든 판례 기반 AI 법률 분석 서비스입니다. 사용자가 사연을 입력하면 유사한 실제 판례를 찾아 쟁점과 대응 전략을 짚어주죠. 이혼·재산분할, 해고·노동, 상간소송처럼 검색창에 치기도 막막한 문제를 안고 오시는 분들이 씁니다.

법률 AI에서 가장 위험한 것은 오답이 아니라 ‘헛된 희망’과 ‘잘못된 확신’입니다. 분쟁 한가운데 있는 사용자는 절박하고, 절박한 사람은 AI의 문장을 분석이 아니라 판결처럼 받아들이거든요. 그래서 로윈에는 여러 겹의 선이 있습니다.

‘승소’라는 단어의 용법을 제한하기

‘승소’라는 단어는 법정에서 많이 등장하며, 사용자가 가장 듣고 싶어 하는 단어입니다. 그래서 저는 단어 자체가 아니라 용법에 선을 그었습니다. AI가 결과를 단정하거나 확률로 약속하는 말, 예를 들어 “승소 확률 80%” 같은 표현은 쓰지 않습니다. 대신 ‘승소 전략 정리표’처럼, 사용자가 준비해야 할 전략을 가리킬 때 씁니다. AI가 결과를 예언하는 순간 사용자의 판단은 사라지고, 그 문장에 기대어 인생을 바꿀 결정이 내려지거든요.

그래서 리포트가 보여주는 지표도 승소 확률이 아니라 쟁점별 판단 근거입니다. 지표마다 근거가 된 대법원 판례와 법조문을 함께 인용하고, 리포트 상단에는 “참고용 분석, 법적 효력 없음”을 발급일 옆에 넣습니다. 화면 하단의 고지 “본 서비스는 법률 정보 제공 목적이며 법률 상담이 아닙니다”는 면책 문구이기 전에 서비스의 정체성 선언입니다.

단계가 올라갈수록 사람에게 가까워지는 구조

로윈의 리포트는 3단계로 나갑니다. 기본 리포트는 핵심 쟁점과 대응 전략을, 판례 리포트는 유사 판례 분석과 전략 비교표를, 심층 리포트는 예상 시나리오 분석과 변호사 선택 가이드, 전문가 연계 신청을 담습니다.

이 구조에서 제가 가장 공들인 건 방향입니다. 단계가 올라갈수록 AI가 더 많이 판단해주는 게 아니라, 단계가 올라갈수록 사람에게 가까워집니다. 사용자가 가장 많은 돈을 내는 마지막 단계의 마지막 버튼은 더 똑똑한 AI가 아니라 변호사 연결입니다. 중간 산출물에 변호사 상담 준비용 리포트를 담은 것도 같은 이유고요. AI의 역할은 전문가의 대체가 아니라, 사연을 정돈하고 판례를 매칭해 전문가를 만날 준비를 시키는 것입니다. 사용자는 쟁점이 정리된 상태로, 무엇을 물어야 할지 아는 상태로 변호사 앞에 앉게 되죠. AI가 잘할수록 인간 전문가와의 만남이 더 밀도 있어지는 구조, 그게 제가 생각한 신뢰의 형태였습니다.

입력 즉시 폐기하는 데이터의 경계

로윈의 입력창 아래에는 이렇게 적혀 있습니다. “입력 내용은 분석 후 즉시 폐기 · 저장·공유 없음.” 법률 사연은 한 사람의 가장 취약한 기록입니다. 이혼 사유, 재산 내역, 상대방과의 갈등. 이런 데이터를 서비스 개선이라는 명목으로 쌓기 시작하면 경계는 이미 무너진 겁니다. 사용자의 이야기는 분석되는 순간까지만 우리 것이고, 그 이후는 다시 사용자의 것이어야 해요.

이 선들의 위치를 정한 기준은 하나입니다. ‘AI가 틀렸을 때 사람이 되돌릴 수 있는 지점까지만 AI에 맡긴다.’ 쟁점 정리는 틀려도 변호사 상담에서 교정됩니다. 그러니 AI의 몫입니다. 소송 여부의 결정은 틀리면 되돌리기 어렵습니다. 그러니 끝까지 사람의 몫으로 남깁니다.

심리적 경계: 거부감과 공포를 낮추는 디테일

경계를 설계할 때, 늘 막는 방향으로만 확장하는 것은 아닙니다. 헬스케어 서비스들을 만들며 제가 배운 건 오히려 반대였습니다.

서울대병원이 주최한 ‘적외선 수면 동영상 인공지능 챌린지’에서 수상한 적이 있습니다. 수면 동영상으로 수면의 질 패턴을 파악하는 과제였는데, 여기서도 역할의 구도는 같았습니다. AI가 잘하는 건 사람이 밤새 지켜볼 수 없는 것을 지치지 않고 관찰해 패턴을 찾는 일이고, 그 패턴이 무엇을 의미하는지 진단하는 일은 의사의 영역입니다.

더 어렸을 때는 과민성대장증후군 환자를 위한 서비스를 기획했습니다. 이 서비스의 핵심 과제는 놀랍게도 기술이 아니라 심리였는데요. 환자는 자신의 배변 상태를 꾸준히 기록해야 하는데, 이건 누구에게도 말하고 싶지 않은 주제입니다. 그래서 대변의 분류를 거리감 없는 일러스트로 표현했습니다. 민망한 의학 사진 대신, 친근하게 그려진 그림 중에 고르게 한 거죠. 질환 데이터와 사용자 사이의 심리적 거리감을 캐릭터 레이어 하나로 낮추는 설계였습니다.

위험한 영역에서 AI와 사람 사이의 경계는 명확히 세워야 하지만, 동시에 서비스와 사용자 사이의 심리적 경계는 집요하게 낮춰야 합니다. 경계를 설계한다는 건 어디를 막을지와 어디를 열지를 함께 정하는 일입니다.

선의 굵기와 오류 비용

물론 모든 서비스에 같은 굵기의 선이 필요한 건 아닙니다. 저는 직장 생존 유형을 진단해 주는 김사수 같은 저위험 B2C 서비스도 만들고 있습니다. 결과의 정확성보다 공감이 더 중요한, 사용자가 웃고 넘기는 영역에서는 AI에 넓은 무대를 주고 몰입의 UX를 실험해요.

오류의 비용이 낮은 곳에서는 경계를 열고, 오류의 비용이 인생 단위인 곳에서는 가드레일을 세웁니다. 경계선의 위치를 결정하는 건 AI의 성능이 아니라 오류의 비용입니다.

마치며

AI 업계에서는 모델 바깥에서 AI의 동작 범위와 규칙을 설계하는 일을 ‘하네스 엔지니어링(harness engineering)’이라고 부릅니다. 좋은 프롬프트와 풍부한 맥락만으로는 신뢰할 수 있는 AI 제품이 완성되지 않는다는 뜻이 담긴 말인데요.

‘승소를 약속하는 문장’을 금지한 어휘 규칙, 마지막 버튼을 변호사로 둔 리포트 구조, 입력 즉시 폐기하는 데이터 정책, 무릎 위로 옮긴 인터랙션, 그리고 대변 일러스트까지. 전부 AI의 능력이 아니라 AI가 멈춰야 할 자리를 정하는 설계였습니다. AI 시대의 디자이너는 화면 설계자를 넘어, AI의 환각과 과신을 통제하는 하네스 설계자여야 한다고 생각합니다.

좋은 AX(AI eXperience)란 AI의 능력을 포장하는 것이 아니라, 인간이 개입할 자리를 명확히 정의하고 남겨두는 것이라고 믿습니다. 신뢰는 AI가 잘하는 것을 보여줄 때가 아니라, 멈춰야 할 곳에서 멈추는 것을 보여줄 때 생깁니다. 자기 한계를 아는 상대만이 신뢰의 대상이 되니까요.

경계는 제한이 아닙니다. 경계는 통제권이 여전히 사람에게 있다는 약속이고, 신뢰가 자리 잡는 형태 그 자체입니다. 그 선을 어디에 그을지 정하는 일. 그것이 지금 AI 시대에 디자이너가 해야 할 가장 중요한 설계라고 생각합니다.

여러분은 지금 만들고 있는 서비스에서, AI에 일부러 무엇을 맡기지 않고 있나요?

ⓒ요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.