앞서 A/A 테스트의 목적과 필요성, 실험 전 편향에 대해 다루었습니다. 이번에는 이러한 실험 전 편향을 A/A 테스트로 어떻게 극복할 수 있는지, 구체적으로 이야기해 보려고 합니다. 여기서 무작위화란, 실험군과 대조군에 고객들을 무작위로 할당하는 것을 말합니다. 이번 글의 예시를 통해 무작위화가 갖는 강력한 힘을 느낄 수 있을 텐데요. 고객이 어떤 시스템을 경험할지 온전히 통제할 수 있는 온라인 실험의 가치는 곧 무작위 할당의 마법과도 직결되기 때문입니다.

앞서 1편을 통해 신뢰할 수 있는 A/B 테스트를 만들기 위해 실험 전 단계에서 고려해야 할 사항을 알아보았습니다. 가설 설정 및 성공 지표 설정, 그리고 실험 설계가 실험 전 단계의 큰 두 개의 축을 이룬다고 할 수 있는데요. 지난번 글을 마치며 이야기했듯, 더욱 성공적인 실험을 진행하기 위해 하나의 관문을 더 거칠 필요가 있습니다. 바로 A/A 테스트입니다. A/A 테스트는 대조군과 실험군 모두에게 정확히 같은 시스템을 경험하게 만드는 실험을 말합니다. 굳이 두 변형군(variants, 실험에 참여하는 모든 그룹인 대조군과 실험군을 통칭함)에게 같은 시스템을 경험하게 해서 얻을 수 있는 점은 무엇일까요?

신뢰도 높은 실험 결과를 제공하기 위해서는, 가설 검정을 수행하는 실험 후 분석 단계뿐만 아니라, 실험의 전 과정에서 여러 요소를 신경 써야 합니다. 이번 글에서는 A/B 실험의 라이프사이클을 정의한 뒤, 각 실험의 단계에서는 어떤 것들을 고려해야 하는지에 살펴보고, 실험 전 단계(Pre-Experiment stage)에 대해 자세히 알아보겠습니다.

온라인 통제 실험(online controlled experiments)은 우리에겐 ‘A/B 테스트’로 익히 알려져 있는데요. 제품의 기능이나 서비스에 작은 변화를 주어, 지속적으로 테스트하며 제품을 개선해 나가는 방법론입니다. 특히 고객 중심으로 프로덕트를 개선하고자 하는 온라인 서비스 기업에 매우 중요한 방법론입니다. 마이크로소프트, 구글, 아마존, 넷플릭스, 에어비앤비 등 해외 빅테크 기업에서 이뤄낸 혁신적인 제품 개선 사항 중 일부는 이러한 온라인 통제 실험이 없었다면, 세상 밖으로 나오지 못했을 아이디어였을 겁니다.