앞선 두 편의 글에서, ‘실제 A/B 테스트를 설계할 때 우리가 진짜 궁금한 질문’과 ‘A/B 테스트 실험 결과의 유의미한 방안’, 그리고 ‘이를 바탕으로 A/B 테스트의 설계 및 해석에 필요한 기초 통계 지식에 관해 살펴보았다. 이번 글에서는 여러 이론적 개념을 참고하되, 과학 연구 실험이 아닌 '비즈니스'의 실험이라는 가설 아래 A/B 테스트의 설계, 수행, 해석에 관한 참고 사항에 대해 자세히 알아보고자 한다.

앞선 글에서 A/B 테스트를 설계하거나 수행할 때 ‘목표를 달성하기 위한 방안으로 A와 B 중 어느 게 더 나은가?’ 뒤에 숨은 진짜 질문에 관해 살펴보았다. 이번 글에서는 이러한 우리의 진짜 질문에 관한 답을 얻기 위한 A/B 테스트를 설계하고, 그 결과를 해석하는 데 필요한 기초 통계의 개념을 설명하고자 한다.

이전 글에서 기초 통계 지식을 바탕으로 A/B 테스트 계산기의 세팅 방법과 해석에 관한 내용을 살펴보았다. 이때 해석 내용 중 계산기에서 ‘결과가 유의미하지 않다(Not Significant)’라고 했을 때 여러 변수가 생길 수 있다고 강조했다. 그래서 이번 글에서는 기획자와 PM, 마케터를 위해 ‘유의미하지 않은 결과’가 어떤 이유로 나온 것인지, 특히 ‘애초에 표본 사이즈와 유의미한 결과가 무슨 상관인지’를 알아보고자 한다.

지금까지 ‘A/B 테스트 제대로 이해하기’ 시리즈를 통해 A/B 테스트의 기본 정보와 가설, 세팅 방법, 그리고 분석 결과 등 여러 정보를 정리했다. 시리즈의 마지막인 이번 글에서는 기획자, PM, 마케터 등이 고민하는 ‘대체 실험 트래픽은 얼마나 모아야 하는 건가?’에 관해 알아보고, 이를 잘 실행하는 노하우와 주의할 점에 관해 살펴보고자 한다.

서비스 기획, PM, 그리고 그로스 해킹과 관련한 부트캠프나 신입 교육 과정을 살펴보면, A/B 테스트에 관한 이야기가 많다. 아마도 서비스를 개선하는 실험 방안 중 하나로 A/B 테스트가 가장 유명(?)하기 때문일 것이다. 그런데, A/B 테스트는 정말 A와 B안(또는 경우에 따라 C, D, E안....)을 가져와 균등한 트래픽으로 나누어 동시간대에 진행하기만 하면 되는 걸까? A/B 테스트를 통해 우리가 알고 싶은 건 정말 ‘목표를 달성하기 위한 방안으로 A안과 B안 중 어느 게 더 효과가 좋은가?’가 끝인 걸까?

테스트 코드는 작성한 코드가 의도대로 잘 동작하고 예상치 못한 문제가 없는지 확인할 목적으로 작성하는 코드입니다. 보통 테스트 코드 관련 공부는 본 개발 공부를 하느라 미루는 경우가 많습니다. 하지만 테스트 코드는 유지 보수에도 매우 좋고, 코드 수정 시 기존 기능이 제대로 작동하지 않을까봐 걱정하지 않아도 된다는 장점이 있기 때문에 공부해 보시길 추천합니다.

보통 개발자들에게 좋은 설계라고 했을 때 TDD, DDD, SOLID, 변경에 열린 구조, 순수 함수 등 기술적인 토픽들에 대해서 이야기하는 사람들은 굉장히 많지만 비즈니스에 대한 이야기를 하는 사람은 많지 않다. 개발자가 단순히 프로그래밍만 하는 사람이 아니라 프로그래밍을 이용한 비즈니스를 하는 사람들이라는 사실을 생각해보면 조금은 이상한 상황이라는 생각이 들었다. 이번 글에서는 개발자와 멀고도 가까운 주제인 비즈니스에 대해서 이야기 해보려고 한다.

프론트엔드에서의 테스트 코드는 백엔드 영역과 달리, 팀의 개발 문화로 자리 잡거나 개인이 익숙해질 정도의 단계는 아닌 것 같은데요. 그러다 보니 테스트 코드를 저마다의 스타일로 작성하는 경우가 많습니다. 그러나 테스트 코드도 가독성이 중요한 만큼, 이번 글에서는 테스트 코드를 어떻게 작성해야 가독성을 높일 수 있을지 테스트 코드 작성 팁에 관해 살펴보고자 합니다.

프로덕트 팀에 합류 후, 가장 먼저 한 일 중 하나는 QA를 위한 Test Case 도입이었다. 그러나 이직 후 합류한 조직에서는 개발자, 디자이너 분들이 있었음에도 별다른 QA 시스템이 없었다. 이에 팀 합류 후 Test Case의 작성과 QA 가이드를 세팅해 공유했는데, 프로젝트 회고에서 팀의 만장일치로 좋은 평을 받은 부분이라 공유하고자 한다.

개발자, 디자이너, 기획자, HR, 오퍼레이션 등 대부분의 직무에서 우리가 일하기 전 예상했던 업무와 실제 업무에는 차이점이 존재합니다. 비즈니스는 빠르게 변화하기 때문에, 학생 때 배운 교과서적인 내용은 실무에 활용되지 않는 경우가 더 많습니다. 실제로 데이터 분석가(Data Analyst)가 되어 일하다 보니, 중요하게 생각하는 것들도 많이 바뀌었습니다. 이번 글에서는 개인적인 경험에 기반해, 데이터 분석가가 되어보니 중요한 것들에 대해 소개하겠습니다.