실험 조직으로 거듭나기: ④ 실험에서 학습하는 법

[실험 조직으로 거듭나기] 시리즈 보러 가기 ▼

실험 조직으로 거듭나기: ① 실험 툴 도입하기

실험 조직으로 거듭나기: ② 검증할 ‘만’한 가설은?

실험 조직으로 거듭나기: ③ 체계적으로 실험하기

이런 분들께 이 글을 추천합니다. 그로스(Growth)와 실험 문화를 팀에 도입하고 싶은 분, 데이터로 가설을 검증하는 방법을 모르는 분, 실험을 어떻게 마무리해야 할지 모르겠는 분. 이 중 하나라도 해당된다면 재밌게 읽을 수 있습니다. 오늘은 실험 조직으로 거듭나기 마지막 편으로, 실험을 분석하는 방법을 살펴보겠습니다.

가설을 구체적으로 설정하고 실험 환경도 만들었다. 이제 실험을 진행하고 데이터로 가설을 판단, 검증하는 일만 남았다. 가설 검증 과정에서 이 단계가 가장 중요한데, 가설을 잘 설정하고 데이터를 완벽하게 수집했어도 마지막에 판단을 잘못하면 다 헛수고이기 때문이다.

(1) 검증할 가설을 선택한다.

(2) 가설 검증 방식을 결정한다.

(3) 검증 지표와 목표 수치를 결정한다.

(4) 실험 기간을 결정한다.

(5) 기존 실험 환경을 튜닝해 최적의 실험 환경을 만든다.

(6) 실험을 진행하고, 검증 데이터를 모은다.

(7) 데이터를 분석해 가설을 검증한다.

(8) 학습한다.

모든 변수는 통제돼야 한다.

가설 설정을 끝냈고 데이터를 수집하는 환경도 만들었다면 이제 가설을 검증할 데이터를 수집하는 '실험'을 진행한다. AB 테스트를 진행하거나 기능을 배포하고 고객 반응을 살펴본다.

가설의 올바른 검증을 위해선 실험이 적절한 방식으로 진행돼야만 한다. 데이터를 가지고 가설을 검증할 때, '수집한 데이터는 사실이다.'를 전제로 한다. 즉, 데이터의 옳고 그름 그 자체를 의심하지 않는다. 하지만, 실험을 적절하게 진행하지 못한다면, 아예 잘못된 정보를 담은 데이터를 수집할 수 있다. 결과적으로, 이 잘못된 데이터를 '사실'로 믿고 잘못된 결론에 도달할 수 있다. 예를 들어, '참'인 가설을 '거짓'으로 잘못 판단할 수도 있다.

'적절한 실험'이란 '검증하고자 한 가설 변수 외를 모두 통제하는 상태에서 진행되는 실험'을 뜻한다. 가설 변수에 직접적 영향을 받는 핵심 지표로 가설의 참과 거짓을 판단한다. 가설 검증은 '가설 변수'와 '핵심 지표' 사이의 관계를 알아내는 것이다. 근데, 가설 외 변수가 적절하게 통제되지 않는다면 핵심 지표에 영향을 끼치게 된다. 즉, 가설 변수와 핵심 지표 사이의 관계가 불명확해진다. 따라서, 가설 이외의 변수를 적절히 통제해야 가설 변수와 핵심 지표 사이의 관계를 더 명확히 할 수 있고 올바른 가설 검증이 가능하다.

비교가 아닌, 해석이 필요하다

실험이 끝나면 그동안 수집한 데이터를 가지고 가설 검증을 진행한다. 처음에 설정한 핵심 지표의 목표 수치와 실험을 통한 실제 수치를 비교해서 가설의 참과 거짓을 판단한다. 실제 수치가 목표 수치보다 크다면 가설을 참으로, 그렇지 못한 경우엔 거짓으로 볼 수 있다. 근데, 실제 수치와 목표 수치의 대소 비교만으로 가설의 참, 거짓을 판단하기 충분할까?

단순 대소 비교만으로 가설 검증을 진행하면 특이 케이스를 담아낼 수 없다. 가령, 가설 설정 단계에서 목표 수치를 너무 낮게 잡아서 쉽게 도달했을 수도 있다. 혹은, 목표 수치를 비현실적으로 높게 설정해서 애초에 도달 불가능했을 수도 있다. 즉, 목표 수치와 실제 수치를 '단순 비교'하는 것이 아닌 '해석'을 해야 한다는 것이다. 처음에 설정한 목표 수치가 적절한지 평가한 후, 수치를 비교 분석해야 한다.

우리만의 실험 노트 만들기

린 스타트업에서 가설 검증은 학습의 일환이다. 한 가지 가설을 검증해서 새로운 것을 배우고 이를 다음 번 가설에 다시 활용한다.이번에 검증한 가설이 거짓이라면 다음에 완전히 다른 방향에서 가설을 세울 수 있다. 반면, 가설이 참이라면 이를 기반으로 더 날카롭게 다음 가설을 설정할 수 있다.

지금까지 진행한 가설 검증과 실험을 잘 정리한다면, 새로운 인사이트의 원천이 될 수 있다. 따라서 실험 노트를 만들고 체계적으로 정리하면 좋다. 나 같은 경우 노션을 활용해 실험 노트를 작성 및 관리한다.

실험 노트는 크게 아래와 같이 구성되었다. 실험을 진행하기 전에 목표, 실험 가설과 실험 기간을 적는다. 실험이 끝나면 결과와 학습한 점을 적는다. 노션의 템플릿 기능을 활용하면 가설 검증을 할 때마다 동일한 형식으로 기록할 수 있다.

그럼에도 가장 중요한 건?

누구나 새로운 것을 시도하는 데 걱정과 주저함이 있을 수밖에 없다. 하지만, 가장 빠르게 배우는 방법은 일단 해보는 것이고 이는 실험도 마찬가지다. 실험 조직이 되려고 한다면 일단 실험을 무작정 해보는 자세가 가장 중요하지 않을까 싶다. 나도 처음에는 실험이 익숙하지 않지만, 개인 프로젝트에서 의도적으로 실험을 하도록 노력했다. [실험 조직으로 거듭나기] 시리즈가 실험하기를 주저하는 분들에게 약간의 도움이 되길 바란다.

<참고 자료>

http://www.yes24.com/Product/Goods/89553345