정밀한 실험 효과를 감지하는 것의 필요성은 시험 점수로 이야기해 볼 수 있는데요. 60점에서 90점으로 가는 것은 비교적 쉽지만, 90점에서 100점을 향해 가는 것은 상대적으로 더욱 어렵습니다. 즉, 이에 따라 우리 프로덕트가 90점쯤 왔을 때는 점진적으로

<출처: AB Testguide> 왜냐하면 우리가 이런 숫자를 두고 생각하는 방식은 '100,000명 중에서 차이가 고작 0.2%p 수준'이지만, 통계적으로는 '0.2%p 차이밖에 없더라도 표본이 100,000명이나 되니 이 정도면 충분하기에 우연이

그러나 이는 정도의 차이이므로 AB 테스트를 진행하는 조직 구성원끼리 합의를 통해 결정하면 될 일입니다. 35% 구매율이 우연히 관측될 확률이 0.421%라는데, 깐깐하게 보는 것도 좋지만 비즈니스의 필요에 따라 유연하게 채택할 필요가 있습니다. 유사한 지표로