그러나 이는 정도의 차이이므로 AB 테스트를 진행하는 조직 구성원끼리 합의를 통해 결정하면 될 일입니다. 35% 구매율이 우연히 관측될 확률이 0.421%라는데, 깐깐하게 보는 것도 좋지만 비즈니스의 필요에 따라 유연하게 채택할 필요가 있습니다. 유사한 지표로

때문에 임계값은 충분히 낮은 수치로 정해져야 합니다.  정리빈도주의 통계적 가설 검정은 AB 테스트 결과 분석으로 활용하는데 2가지 한계가 있습니다.데이터 편향으로 일찍 결론을 내리는 오류 가능성비직관적이고 유연하지 않은 분석 결과 베이지안

이렇게 생긴 차이를 ‘표준 오차’라고 한다. 신뢰 구간실험 결과가 실제로 포함될 것으로 예측하는 범위를 ‘신뢰 구간’이라고 한다. 예를 들어 ‘전환율이 40%일 것 같은데, 오차가 3% 정도 되니까 얼추 37~43% 사이’라는 구간이다. 여기에 앞서 설명한 '