AI 챗봇 이루다의 문제점 파헤치기

10분

2021.03.05.

6.5K

최근 AI 챗봇 이루다가 논란이었습니다. 이루다가 나눈 대화는 놀랄 만큼 자연스러웠습니다. "캐주얼한 챗봇" 하면 아직도 "심심이"와 "라마마"와 같이 rule-based 채팅만을 떠올리는 저에겐 엄청난 수준의 발전으로 보였습니다. 안타깝게도 AI 챗봇 이루다는 성소수자를 향한 혐오 표현을 보이고 성희롱의 목적으로 남용되며 서비스가 중단되었습니다. 이루다가 몇 가지 원칙을 지켜 개발되었다면 오랫동안 쓰일 수 있는 좋은 서비스였을 것입니다.

| 성능이 높은 기술과 좋은 기술은 다르다.

하지만 아무리 높은 성능을 보이는 기술도 1) 기술 자체가 비윤리적이거나 2) 기술을 비윤리적으로 사용할 가능성이 높다면 좋은 기술이라고 할 수 없습니다.

기술을 사용하는 주체는 사람이기 때문에 기술이 사람에게 위해를 가한다면 범죄를 저지르는 것과 마찬가지입니다. 하지만 새로운 기술을 규제하기 위한 법은 한 발 늦게 제정됩니다. 규제가 없는 틈을 타 일부는 그들의 범죄 욕구를 인터넷 상에서 구현합니다. 인터넷에선 익명으로 활동할 수 있으며 플랫폼을 통해 범죄를 저지르기 때문에 범죄가 아니라고 생각하거나, 걸리지 않을 것이라 생각합니다. 그렇게 수면 위로 떠오른 문제가 바로 "N번 방" 사건이었죠.

AI의 경우, 사람들은 기술의 사용자인 동시에 제공자가 됩니다. 내가 남긴 데이터가 AI를 만들고 있으니 말이죠. 따라서 AI 기술은 "사용자"와 "제공자" 두 지점을 모두 고려해야 합니다. 이젠 데이터를 수집하고 알고리즘을 개발하는 단계에서도 윤리적인 이슈는 없는지 알아야 하는 것입니다.

똑같은 문제를 되풀이하지 않기 위해선 개발자와 기획자가 "내가 만든 기술이 어떤 문제를 일으킬 수 있을지 미리 고민하고, 그렇게 되지 않도록 예방"해야 합니다. 이를 쉽게 할 수 있는 방법은 내가 가는 길을 먼저 본 사람이 세운 원칙을 따르는 것입니다.

AI 챗봇 이루다의 문제를 분석하고 개선 방향을 도출하기 위해 AI 선진 기업 구글이 생각하는 윤리적인 AI 원칙을 알아보려고 합니다. 이 중 이루다가 지키지 못한 원칙이 무엇이고 왜 문제가 되는지 생각해볼 것입니다.

구글 AI 적용 원칙을 번역하고 이에 따라 이루다 서비스의 문제점을 분석했습니다.

구글의 AI : 우리의 원칙

구글은 중요한 문제를 해결하는 기술을 만들고, 사람들의 일상생활에 도움을 주길 바랍니다. 우리는 AI의 엄청난 잠재력을 믿고, 다른 선진 기술들이 사람들에게 힘을 부여해줄 것이며, 현재와 미래 세대를 널리 이롭게 하고, 공익을 위해 작동할 것이라고 믿습니다.

우리는 이러한 기술이 혁신을 촉발하고, 세상의 정보를 정리하고자 하는 우리의 미션을 발전시키고, 기술을 보편적으로 사용할 수 있으며 유용하게 만들 것이라고 믿습니다.

하지만 똑같은 기술이 우리가 명확하게, 사려 깊게, 그리고 단호하게 해결해야 하는 심각한 문제를 일으킬 수도 있습니다. 이 원칙들은 기술을 책임감 있게 개발하고 특정 응용 분야는 추구하지 않겠다는 약속입니다.

| AI 적용의 목표

우리는 AI 적용을 아래 목표의 관점에서 평가할 것입니다. 우리는 AI가 이래야 한다고 믿습니다:

1. 사회적으로 유익해야 합니다.

Be socially beneficial

새로운 기술의 확장된 범위는 점점 더 사회 전체에 영향을 미치고 있습니다. AI의 발전은 의료, 보안, 에너지, 운송, 제조 및 엔터테인먼트를 포함한 다양한 분야에서 변화의 바람의 불러일으킬 것입니다. AI 기술의 잠재적인 개발 및 사용을 고려할 때 광범위한 사회적 및 경제적 요인에 관심을 기울이고 전반적인 이익이 위험과 단점을 초과한다고 믿을 때 진행할 것입니다.

AI는 또한 대규모의 내용을 이해하는 능력을 향상합니다. 우리는 AI를 사용하여 고품질의 정확한 정보를 쉽게 사용할 수 있도록 노력하는 한편, 우리가 서비스를 운영하는 국가의 문화적, 사회적, 법적 규범을 계속해서 존중할 것입니다. 그리고 우리는 언제 우리의 기술을 비영리적으로 사용할 수 있을지 신중하게 평가할 것입니다.

이루다가 서비스 초기 단계였기 때문에 사회적 유익함까지는 고려하지 못했을 것입니다. 하지만 서비스 로드맵을 수립할 때, 이루다가 앞으로 사회에 어떻게 긍정적인 영향을 미칠 것인지 계획했다면 지금보다는 나은 서비스를 제공했을 것입니다.

스캐터랩은 이루다를 개발하기 위해 "연애의 과학"이라는 앱을 통해 수집한 연인과의 메신저 대화를 학습시켰습니다. 연인같이 대화할 수 있는 서비스를 기획한 것이죠. 연애 채팅 이상의 사회적 가치까지 고려했다면 지금과 같은 문제는 일어나지 않았을 것입니다.

2. 불공정한 편견을 만들거나 강화하는 것을 피해야 합니다.

Avoid creating or reinforcing unfair bias

AI 알고리즘 및 데이터 세트는 불공정한 편견을 반영, 강화 또는 줄일 수 있습니다. 우리는 공정한 편견과 불공정한 편견을 구별하는 것이 간단한 것은 아니며 문화와 사회에 따라 다르다는 것을 알고 있습니다. 우리는 사람들, 특히 인종, 민족, 성별, 국적, 소득, 성적 지향, 능력, 정치적 또는 종교적 신념과 같은 민감한 특성과 관련된 사람들에게 부당한 영향을 미치지 않도록 노력할 것입니다.

이루다에겐 소수를 향한 편견을 드러내는 대화 기록이 있습니다. 학습 데이터로 사용한 대화 내용에 그런 내용이 있었겠죠. 혐오/차별과 관련된 데이터는 전처리시 제외하거나, 개발 후 서비스단에서 필터링하는 규칙을 만들었어야 합니다. 베타 테스트 당시, 혐오 표현 필터링 기능을 적용했다고 하나 충분치 않았던 것으로 보입니다.

특히, 연인 간의 대화를 학습시킨 AI가 성적인 표현을 하거나 반응하리라는 것은 충분히 예상 가능합니다. AI 챗봇이 성범죄의 타겟이 되지 않도록 전처리시 일부 대화를 제외하거나, 챗봇의 표현을 제한했어야 합니다. 이루다가 실제 사람이 아닌 AI라 하더라도 20대 여성의 페르소나를 가지고 있는 한 그 집단을 대표하는 존재입니다. 이루다를 향한 성범죄는 법에 의해 처벌받지 않겠지만, 그럼에도 조심해야 하는 이유입니다.

AI 기술은 성별에 따른 차별과 편견을 강화하지 않기 위해 노력해야 합니다. 그리고 이러한 문제는 AI 챗봇 기술이 고도화될수록 더 조심해야 합니다. 기계와 대화를 나누는 게 아니라 실제 사람과 나누는 것 같아지니, "N번 방" 사건과 비슷하게 잠재된 범죄 욕구를 기술을 통해 만만한 대상에게 시도해 볼 수 있기 때문입니다.

3. 안전을 위해 만들어지고 실험되어야 합니다.

Be built and tested for safety.

우리는 의도치 않게 위험을 초래하지 않고자 강력한 안전 및 보안 관행을 계속해서 개발하고 적용할 것입니다. 우리는 AI 시스템을 적절히 신중하게 설계하고 AI 안전 연구의 모범 사례에 따라 개발하려고 합니다. 적절한 경우, 제한된 환경에서 AI 기술을 테스트하고 배포 후 작동을 모니터링할 것입니다.

스캐터랩에서 오픈소스로 깃허브에 공개한 코드에 테스트 샘플 데이터가 포함되어 있었습니다. 사용자의 대화 샘플 데이터 중 이름과 숫자 일부가 비식별화되지 않고 그대로 업로드되었습니다.

사용자의 대화 기록과 같이 민감한 데이터를 테스트하고 배포할 때에는 애초에 샘플 데이터 (100개 세션, 1,700개 문장)가 오픈소스에 함께 업로드되지 않았어야 합니다. 스캐터랩에서 업로드한 대화 데이터로 개인을 특정하긴 어렵다고 하지만 개인 정보 보호가 제대로 이루어지지 않는다면 사용자의 안전이 위협받을 수 있습니다.

4. 사람들이 신뢰할 수 있어야 합니다.

Be accountable to people.

피드백, 관련 설명 및 이의 제기를 할 수 있는 기회를 제공하는 AI 시스템을 설계합니다. 우리의 AI 기술은 인간의 적절한 지시와 통제 하에 놓일 것입니다.

스캐터랩에서 두 차례에 걸쳐 논란을 해명하고, 서비스까지 폐쇄하는 등 사용자의 피드백을 반영하고자 노력했습니다. 지금과 같이 이슈가 불거지기 전에 서비스에 사용자가 문제가 있는 대화를 직접 신고하는 기능을 넣었다면 AI 추가 학습과 필터링을 효율적으로 할 수 있었을 것입니다. 또한, 사용자가 직접 신고하며 AI에 대한 통제권을 느낄 수 있었을 것입니다. 사용자가 신고한 로그가 실제 서비스에 언제 어떻게 반영될 것인지까지 알려주면 가장 좋겠죠.

5. 개인 정보 보호 설계 원칙을 포함합니다.

Incorporate privacy design principles.

우리는 AI 기술의 개발 및 사용에 개인 정보 보호 원칙을 포함할 것입니다. 우리는 고지 및 동의 기회를 제공하고, 개인 정보 보호가 있는 아키텍처를 장려하며, 데이터 사용에 대한 적절한 투명성과 통제를 제공합니다.

스캐터랩은 "연애의 과학" 앱 사용자들이 개인 정보 취급 방침에 동의했으며 메신저 대화를 직접 업로드했기 때문에 법적 이슈가 없다고 판단했습니다. 개인 정보 취급 방침에 사용자의 데이터를 신규 서비스 개발에 사용할 수 있다는 조항이 있었다고 합니다. 하지만 현실적으로 서비스를 가입하는 사람 중 몇 퍼센트나 개인 정보 취급 방침을 제대로 읽을까요.

스캐터랩은 데이터 사용 투명성을 위해,

1) 사용자의 데이터를 다른 AI 서비스를 개발할 때 사용할 것이며,
2) 메신저 대화 이력을 업로드할 경우, AI 학습 데이터로 사용할 수 있다는 것을

명확하게 고지했어야 합니다.

가입할 때뿐만이 아니라 메신저 대화 이력을 업로드할 때에도 동의를 받았어야 합니다. 생체 데이터, 개인적인 메신저 기록 등 개인 정보 보호가 필수인 민감한 데이터를 다룰 때에는 동의 절차가 까다로울 필요가 있습니다.

6. 높은 수준의 과학적 우수성을 유지합니다.

Uphold high standards of scientific excellence.

기술 혁신은 과학적 방법과 열린 탐구, 지적 엄격함, 무결성 및 협력에 기반합니다. AI 도구는 생물학, 화학, 의학 및 환경 과학과 같은 중요한 영역에서 과학 연구와 지식의 새로운 영역을 열 수 있는 잠재력을 가지고 있습니다. 우리는 AI 개발을 진행하기 위해 노력하면서 높은 수준의 과학적 우수성을 목표합니다.

우리는 과학적으로 엄격하고 다학문적인 접근 방식으로 이 분야에서 사려 깊은 리더십을 장려하기 위해 다양한 이해 관계자와 협력할 것입니다. 또한 더 많은 사람들이 유용한 AI 서비스(application)를 개발할 수 있도록 교육 자료, 모범 사례 및 연구를 알려 AI 지식을 책임감 있게 공유할 것입니다.

7. 이러한 원칙에 부합하는 용도로 사용할 수 있어야 합니다.

Be made available for uses that accord with these principles.

많은 기술이 여러 가지 용도로 사용됩니다. 우리는 잠재적으로 유해하거나 악의적인 사용을 제한하기 위해 노력할 것입니다. AI 기술을 개발하고 배포할 때 다음 요소를 고려하여 앞으로의 사용을 평가할 것입니다:

주요 목적 및 사용: 솔루션이 유해한 사용과 얼마나 밀접하게 관련되어 있는지 혹은 적용될 수 있는지를 포함한 기술 및 응용 프로그램의 주요 목적
성격과 독특함: 독특한 기술 vs. 일반적으로 사용 가능한 기술을 제공하는지 여부
규모: 이 기술의 사용이 중대한 영향을 미칠지의 여부
Google 참여의 특성: 범용 도구를 제공하는지, 고객을 위한 도구를 만드는지, 또는 고객 맞춤 솔루션을 개발하는지 여부

| 우리가 추구하지 않을 AI

위 목표에 더해 우리는 아래와 같은 응용 분야에 AI를 설계하거나 적용하지 않겠습니다.

1. 전반적인 피해를 유발하거나 유발할 가능성이 있는 기술. 중대한 위해 가능성이 있는 경우, 우리는 이익이 위험보다 훨씬 크다고 생각하는 경우에만 진행하고 적절한 안전 규제를 포함할 것입니다.

2. 사람에게 상해를 유발 혹은 촉진하는 것이 주된 목적인 무기 또는 기타 기술.

3. 국제적으로 인정되는 규범을 위반하는 감시를 위해 정보를 수집하거나 사용하는 기술.

4. 목적이 널리 인정되는 국제법 및 인권 원칙에 위배되는 기술.

이 분야의 경험이 심화될수록 이 리스트는 진화할 수 있습니다.

| 결론

우리는 이러한 원칙이 우리 회사와 향후 AI 개발을 위한 올바른 기반이라고 믿습니다. 우리는이 영역이 역동적이고 진화하고 있음을 알고 있으며, 겸손, 내부 및 외부 참여에 대한 헌신, 시간이 지나 더 많이 배울수록 우리의 접근 방식을 조정하려는 의지를 가지고 일할 것입니다.

좋은 AI 기술을 위해

AI 기술은 끊임없이 발전하고 있습니다. AI 챗봇 이루다의 대화 실력도 놀랄 만큼 뛰어났죠. 기술력만큼이나 중요한 것이 사람에게 좋은 기술이 되는 것입니다. 앞으로 AI 윤리 원칙을 구체화하고 개발자/기획자가 준수한다면 사용자에게 유익한, 좋은 AI 기술이 만들어질 것입니다.

로그인하고 자유롭게 의견을 남겨주세요.