고객 중심 프로덕트 개선에 ‘A/B 테스트’ 왜 필수일까?

온라인 통제 실험(online controlled experiments)은 우리에겐 ‘A/B 테스트’로 익히 알려져 있는데요. 제품의 기능(feature)이나 서비스에 작은 변화를 주어, 지속적으로 테스트하며 제품을 개선해 나가는 방법론입니다. 특히 고객 중심으로 프로덕트를 개선하고자 하는 온라인 서비스 기업에 매우 중요한 방법론이라고 할 수 있죠.

마이크로소프트, 구글, 아마존, 넷플릭스, 에어비앤비 등 해외 빅테크 기업에서 이뤄낸 혁신적인 제품 개선 사항 중 일부는 이러한 온라인 통제 실험이 없었다면, 세상 밖으로 나오지 못했을 아이디어였을 겁니다. 그들은 온라인 통제 실험이라는 영역을 더욱 신뢰할 수 있는 형태로, 더 높은 빈도로 수행하기 위해 지금까지도 해당 영역을 끊임없이 연구하고 있습니다. 그리고 그 내용을 논문이나 아티클로 공유하고 있죠. 이 글을 다 읽고 나시면, 그들이 왜 이토록 실험에 진심인지 이해할 수 있을 겁니다.

모든 도구가 그렇듯 온라인 통제 실험(A/B 테스트)도 잘 다루는 것이 중요합니다. 온라인 통제 실험을 잘 모르거나, 혹은 잘 안다고 착각하면 안 하느니만 못한 잘못된 의사결정을 내릴 수도 있습니다. 그 의사결정이 잘못된 결정이라는 것조차 모른 채로 말이죠. 앞으로 잘못된 의사결정을 방지하고, 신뢰도 높은 실험 결과를 제공하기 위한 방법들을 차차 다뤄볼 예정입니다. 오늘은 첫 번째로 ‘온라인 통제 실험’이 무엇이고, 왜 필요한지에 관해 살펴보겠습니다.

온라인 통제 실험이란?

먼저 온라인 통제 실험의 가장 간단한 형태인 A/B 테스트를 중심으로, 온라인 통제 실험에 관해 가볍게 설명해 보려고 합니다.

먼저 우리 제품을 사용하는 고객분들을 무작위(random)로 추출하여 두 그룹에 배치합니다. 두 그룹 각각은 실험군(treatment group), 대조군(control group)이라 칭하며, 특별한 이유가 없는 한 실험군과 대조군을 균등 비율인 5:5 비율로 나눠주게 됩니다. 여기서 두 군을 5:5로 나누는 이유는 실험 결과가 얼마나 믿을만한가에 대해 통계 분석할 때, 이 결과의 믿음의 정도를 보장해 주는 ‘검정력 분석’과 관련이 있습니다. (검정력 분석에 대해선 추후 다른 글에서 다룰 예정인데, 그때 한 번 더 짚어보겠습니다.)

두 번째로 우리 제품에 관한 도메인 지식, 그 이전의 고객 분석 결과, 실험 결과 등을 바탕으로 가설을 세우고, 이 가설에 기반한 실험적 기능(feature)을 제품에 반영합니다. 실험군에는 이것이 반영된 새로운 시스템을, 대조군에는 기존 시스템을 보여주는 것이죠. 여기서 실험적 기능은 UI(user interface)에 관한 변화일 수도 있고, 추천 시스템 또는 랭킹 시스템과 같은 백엔드 알고리즘에 의한 UX(User eXperience)의 변화일 수도 있습니다. 

그리고 사전에 정해둔 실험 기간 동안 각 군의 고객들의 행동, 거래 데이터를 모읍니다. 마지막으로 실험 기간이 종료되면 적재해 둔 데이터를 바탕으로, 실험군과 대조군 각각이 경험한 두 시스템 중 어떤 시스템이 고객들에게 더 나은 경험을 제공했는지 실험 분석을 수행합니다.

여기서 A/B 테스트의 중요한 포인트는 ‘고객이 어떤 시스템을 경험할지’에 대해 온전히 우리가 통제할 수 있다는 것입니다.

온라인 통제 실험의 등장 배경

이번엔 온라인 통제 실험의 등장 배경을 살펴보겠습니다. 2000년 중반부터 일어난 해외 테크 기업들의 문화적 혁신은 온라인 통제 실험을 근간으로 일어났다고 볼 수 있는데요. 그러나 이 방법론을 2000년대에 이르러, 월드와이드웹(world-wide-web)과 웹서비스의 성장에서 개발된 새로운 방법론으로 보긴 어렵습니다. 온라인 통제 실험, A/B 테스트의 등장 배경을 이해하기 위해서는 먼저 RCT(randomized controlled trial)라는 방법론을 알아볼 필요가 있는데요. RCT는 이름에서 드러나듯 말 그대로 무작위 통제 실험을 의미합니다.

RCT는 1920년대 통제 실험, 실험 계획법의 이론을 정립한 통계학의 대가 로널드 피셔에 의해 발전된 실험 방법론인데요.

RCT는 1920년대 농업 분야, 1940년대 의학 분야, 그 이후 제조업에서까지 번영을 이루어냈습니다. 그리고 2000년대에 이르러 오프라인 공간에서 이루어지는 농업, 의학, 제조업을 넘어서 온라인이라는 새로운 공간이 생겨났는데요. 이쪽으로도 RCT가 확장되어 지금의 온라인 통제 실험이라고 하는 영역이 만들어졌습니다.

고객 중심 프로덕트 개선에서 A/B 테스트가 최적 표준인 이유

이렇게 온라인이라는 새 공간이 생겨나고, 그곳에 구글, 마이크로소프트, 아마존과 같은 온라인 비즈니스 기업들이 속속 등장했죠. 그 결과, RCT가 온라인으로 확장되는 것은 자연스러운 현상이었습니다. 그렇다면 왜 온라인 영역까지 확장될 수밖에 없었을까요? 온라인 서비스를 운영하는 기업의 최대 관심은 결국 ‘고객이 진정으로 원하는 것은 무엇인가?’를 알아내는 것이기 때문입니다.

이때 A/B 테스트(온라인 통제 실험)는 고객이 진정으로 원하는 것을 찾기 위해 고려해 볼 수 있는 최선의 방법이라 할 수 있는데요. 온라인 통제 실험을 통해 우리 제품에 준 변화(실험적 기능)에 따라, 대규모 고객 반응을 지표화하고 분석하여 고객이 진정 원하는 것을 찾아나갈 수 있습니다.

단, 여기서 온라인 통제 실험이 최적 표준(Gold Standard)이 될 수 있는 이유는 고객 반응의 변화가 오로지 ‘우리가 제품에 준 변화에 의해 발생한 부분만 측정’되어야 하기 때문입니다. 이것이 테크 기업에서 고객 중심으로 제품을 개선해 나가기 위해, A/B 테스트를 활용하는 가장 큰 이유라고 볼 수 있습니다.

이렇게 우리가 준 변화 또는 특정 정책이나, 프로모션 등에 의해 발생하는 순수한 효과를 측정하기 위한 여러 방법론을 연구하는 영역을 ‘인과추론(Causal Inference)’이라고 하는데요. 사실 무작위 통제 실험(RCT)은 인과추론 영역에서 단일 분석으로 최고 수준의 인과적 효과를 추론해 낼 수 있는 방법론에 해당합니다.

위 그림 3은 인과추론에서 연구되는 방법론들을 인과추론 수준에 따라 피라미드 형태로 나타낸 것인데요. 위쪽에 위치할수록 인과추론 수준이 높다고 할 수 있습니다. 즉, 위쪽에 위치할수록, 어떤 결과가 발생한 것에 대한 원인의 효과를 정확하게 측정해낼 수 있는 방법론이죠.

단, 여기서 최상단에 위치한 ‘메타분석(meta-analysis)’ 기법은 인과추론 방법론에 의해 나온 연구 결과 여러 개를 종합하는 방법론입니다. 따라서 그 아래 위치한 RCT가 단일 방법론으로서는 최고의 인과추론 수준을 지니고 있습니다.

정리하면 모든 기업의 최대 관심은 결국 ‘고객이 진정으로 원하는 것’을 찾는 것인데요. 이때 온라인 서비스를 운영하는 기업은 이 목적을 위해 탄생한 ‘RCT’의 일종인 A/B 테스트를 통해 고객 경험과 수익을 개선을 해나갈 수 있습니다.  기업에서 데이터 기반 의사 결정을 할 때, 온라인 통제 실험을 가장 최우선적으로 고려하는 이유이기도 하죠.

마치며

오늘은 A/B 테스트라 불리는 온라인 통제 실험의 개념과 등장 배경, 이 방법론이 왜 중요한지에 대해 살펴봤습니다. 저는 온라인 통제 실험이 갖는 가치를 다음과 같이 요약하고 싶은데요.

“고객이 원하는 방향으로 제품을 개선해나가기 위한 최고의 도구”

또한 이 글에서 다루지 않았지만, 온라인 통제 실험에서 가장 최우선적으로 고려해야 할 요소에 ‘신뢰성(Trustworthiness)’이 있습니다. 우리가 수행한 이 실험의 계획, 과정, 결과에 있어 모든 부분에서 신뢰할 수 있냐는 것인데요. 다음 글부터는 실험에서의 신뢰성을 보장하기 위해 어떤 것들이 필요한지, 하나하나씩 풀어가 볼 예정입니다.

마지막으로 제품 실험과 관련해 몇 가지 주의 사항을 전달드리며 글을 마칩니다.

• 실험의 목적은 배움(learn)이지, 확인(confirm)이 아니다.
• 실험을 반복하며 제품을 개선해 나가는 과정은 고객이 원하는 것을 발견하는/찾아나가는 과정이다.
• 실험에 맹목적으로 기대어 초기 제품(MVP, minimum viable product) 개발을 소홀히 해서는 안 된다.
• 신뢰할 수 있는 온라인 통제 실험을 설계, 측정, 분석하는 일은 굉장히 어렵다.
• 실험 결과의 정확한 측정을 위해서는 실험 사전, 사후에 정교한 통계 분석이 필요하다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.