샘플 수는 많을수록 좋다. 하지만, ‘뱀의 꼬리가 길면 밟힌다.’라는 말이 있듯이 하나의 실험만 너무 오래 진행하는 건 비효율적이다. 그 시간에 또 다른 실험을 새로 하는 게 효율적이다. 따라서, 통계적 유의성을 가질 정도의 샘플 수

실험이 가벼워야 한다고 생각하는 분들은 부디 조금만 더 무겁게 생각해 주시길 바랍니다. 빠른 실험을 해서는 안 된다는 말을 하려는 것은 아닙니다. 다만 실험을 '가볍게만' 생각해서 '날림'으로 하지는 말자는 말을 하고자 합니다. 가볍게 빠르게 한 번 실험해 보

그러나 이는 정도의 차이이므로 AB 테스트를 진행하는 조직 구성원끼리 합의를 통해 결정하면 될 일입니다. 35% 구매율이 우연히 관측될 확률이 0.421%라는데, 깐깐하게 보는 것도 좋지만 비즈니스의 필요에 따라 유연하게 채택할 필요가 있습니다. 유사한 지표로