DHM 모델로 제품 전략에서 AB 테스트까지

* 시리즈로 구성된 글입니다.저번 글에서는 DHM 모델의 개념과 구성에 대해 다루었습니다. 이번에는 DHM 모델로 수립된 제품 전략이 실무 레벨까지 단계적으로 구체화되는 과정을 알아봅니다.

무엇이 고객에게 만족을 주는가(Delight Customers), 무엇이 제품을 복제하기 어렵게 만드는가(Hard to Copy), 그리고 무엇이 수익성을 개선하는가(Margin Enhancing). 이전 편에서 설명했듯이 DHM 모델은 위 3가지 질문을 바탕으로 제품 전략을 짜는 방법론입니다. DHM 모델은 제품 전략을 수립하고 평가할 때 핵심적인 부분에 초점을 맞추도록 도와줍니다. DHM 모델은 제품을 발전적인 방향으로 바로 세웁니다.

그러나 제품 전략을 수립하고 평가하는 것으로 모든 일이 끝나지는 않습니다. 오히려 그만큼 중요한 과정이 남아 있습니다. 수립된 제품 전략을 실무 단계까지 끌어내리는 일입니다. 이 과정이 제대로 수행되지 않는다면 아무리 좋은 제품 전략이라도 힘쓰지 못하고 흐지부지 무너질 것입니다.

• 그렇다면 제품 전략에서 실무 단계까지는 어떤 과정이 있을까요?
• 이 과정에서 필요한 지표는 어떤 특징을 가지고 있을까요?
• 실제 제품에서 활용된 사례는 어떤 게 있을까요?

제품 전략에서 실험까지

제품 전략이 실무 단계로 확장되는 단계는 아래와 같이 구분할 수 있습니다.

1. 제품 전략

2. 연관 지표(Proxy Metric)

3. 세부 전술

4. 실험

제품 전략에 가까울수록 추상적이고 광범위한 특성을 가지며, 실험 쪽에 가까울수록 구체적이고 협소합니다. 이제부터 각 단계에서 무엇을 해야 하는지 알아보겠습니다.

제품 전략 → 연관 지표(Proxy Metric)

연관 지표는 제품 전략을 따라 성과를 내고 그것을 평가하는데 활용되는 목표 성격의 지표입니다. 제품 전략은 큰 단위의 방향성이라는 한계를 갖기 때문에 조직 구성원마다 같은 말이라도 통하는 뜻이 다를 수 있습니다. 연관 지표는 제품 전략의 방향성을 전사적으로 통용되는 의미로 다듬습니다. 깁슨이 설명하는 2005년 넷플릭스의 주요 제품 전략과 연관 지표[1]를 참고하면 이해가 쉬울 것입니다.

‘개인화’, ‘쉽고 단순한 제품’,’ 소셜 기능’, ‘영화 탐색 기능’과 같은 모호한 제품 전략이 ‘6주 이내에 영화를 평가한 고객 비율’, ‘1 세션 만에 3개 이상의 타이틀을 추가한 고객 비율’, ‘최소 1명의 고객과 연결된 고객 비율’, ‘1달간 미리보기를 통해 1개 이상의 타이틀을 추가한 고객 비율’과 같은 연관 지표로 재정의되는 것을 볼 수 있습니다. 이처럼 연관 지표는 제품 전략의 애매성을 지우고 제품 전략을 공유한 조직 구성원끼리 명확한 소통이 가능하도록 만듭니다.

연관 지표를 수립할 때는 크게 6가지를 유의[2]해야 합니다.

1. 측정·분석이 가능해야 합니다.

연관 지표는 조직 내에서 사용되는 언어입니다. 명료한 의미가 있고 누구나 쓸 수 있어야 합니다. 추적·수집·측정·분석할 수 있어 AB 테스트 등의 데이터 기반 의사결정에 활용되는 정량적 데이터 형태가 이상적입니다.

2. 제품 개발 행위가 제어할 수 있어야 합니다.

연관 지표는 제품 전략에서 파생된 개발 행위의 성과를 측정합니다. 이러한 제품 경험의 수정이 최대한 반영되도록 지표를 설정해야 합니다. 씽씽, 디어 같은 공유 킥보드 서비스는 장마철이나 겨울철에 이용률이 떨어집니다. 이 경우 단순 이용률 추세라는 지표에서 제품 개발 행위가 차지하는 지분은 얼마 되지 않을 겁니다. 제품 개발 행위보다 제어할 수 없는 변수의 영향이 더 큰 매출 추세는 연관 지표로 부적절합니다.

3. 평균의 함정에 빠지지 않도록 주의합니다.

언뜻 들으면 평균은 모든 변수를 균등하게 반영하는 수치입니다. 하지만 잘못 측정한 평균은 소수 고객으로도 얼마든지 그 결과가 흐려질 수 있습니다. A, B, C 고객군을 대상으로 한 실험에서 A, B 고객군의 전환율이 떨어졌다고 가정합시다. 이때 C 고객군의 전환율이 극적으로 상승해 A, B, C 전체 고객군의 평균 전환율이 높아진다면, 이 실험은 전체 고객을 대상으로 한 개선이라고 볼 수 없습니다.

4. 해당 제품 전략, 나아가 그 상위 목표와 관련이 있어야 합니다.

연관 지표는 의사소통 도구이므로 해당한 제품 전략과 무관한 지표가 설정되어서는 안 됩니다. 여기서 나아가 좋은 연관 지표는 제품 전략 상위의 큰 목표를 달성하는 데 도움이 되어야 합니다. 이러한 큰 단위의 목표는 DHM 모델로 제품 전략을 수립한 경우라면 고객 만족, 복제 어려움, 수익성 개선이 될 것입니다.

5. 신규 고객에게 집중합니다.

그렇다고 기존 고객을 무시하라는 이야기는 아닙니다. 시장의 특성에 따라 다르겠지만 일반적으로 한번 들어온 고객을 유지하는 비용보다 신규 고객을 획득하는 비용이 더 큽니다. 신규 고객 유치에 비중을 두어 제품의 규모를 계속해서 키우는 방향은 이전 글에서 설명했던 아마존 플라이휠(Amazon Flywheel)[3]의 핵심이기도 합니다. 더 큰 제품, 더 많은 고객은 더 많은 공급자를 불러오고 여기서 발생한 가격 경쟁은 고객에게 더 저렴한 상품을 공급하게 되는 결과를 낳습니다. 이는 다시 더 많은 고객을 유치하는 데 도움을 줍니다. 쿠팡이츠가 신규 배달 파트너를 위해 제품 경험을 개선한 일[4]이 대표적인 예시입니다. 비전문 인력이 선택할 수 있도록 가벼운 목표를 제공하는 게이미피케이션 온보딩, 경험이 적은 배달원을 위해 주문 밀집 지역과 지역별 평균 수입을 표기한 UI, 처음 가는 매장·배달지를 잘 찾아가고 문제없이 주차할 수 있도록 제공하는 팁 요소처럼, 배달을 시작하기까지의 전 과정을 세심하게 설계했습니다.

6. 제품 경험을 훼손해서는 안 됩니다.

깁슨은 고객 지원 쪽을 맡은 한 PM의 예시를 소개합니다. 그의 목표는 혼자 쓸 수 있는 고객 지원 리소스를 확충하여 고객에게서 오는 전화 상담을 줄이는 것이었습니다. 이 목표를 위해 ‘고객 1천 명 당 전화 상담 수’가 연관 지표로 정해졌습니다. 그런데 이 연관 지표는 단순히 랜딩 페이지에서 상담 전화번호를 지우는 것만으로도 개선할 수 있습니다. 이렇게 되면 전화 상담 수는 줄겠지만, 고객은 적절한 고객 지원을 받지 못해 이탈할 것입니다. 결국 이 연관 지표는 ‘2 클릭 만에 상담 전화번호에 접근할 수 있는 상황에서 1천 명 당 전화 상담 수’로 수정되었습니다.

연관 지표 → 세부 전술

제품 전략, 연관 지표까지는 달성해야 하는 목적이라는 성격이 강합니다. 연관 지표에 대한 세부 전술부터 본격적으로 목표를 이루기 위해 어떻게 할지 생각하는 수단의 단계로 들어섭니다. 세부 전술은 연관 지표를 제품 전략에 맞는 쪽으로 움직이기 위해 설계된 제품 기능, 실험 가설 등의 총칭입니다.

위에서 설명한 넷플릭스 주요 제품 전략에 대한 연관 지표에 이어, 연관 지표에 대한 세부 전술을 나열하자면 다음과 같습니다.

‘1달간 미리보기를 통해 1개 이상의 타이틀을 추가한 고객 비율’을 높이기 위해 ‘개인화된 미리보기’, ‘영화 개요에 미리보기 노출’이라는 세부 전술이 고안되었습니다. 이처럼 세부 전술은 제품에 직접 영향을 주기 위해 고안된 복수의 방법입니다.

세부 전술 → 실험

실험 단계에서 세부 전술은 제품에 직접 작용하는 형식으로 조직화됩니다. AB 테스트 3단계 가이드[5]에서 설명했듯이 실험은 가설 수립, 실험 진행, 결과 분석의 순서로 이뤄집니다. 전 단계에서 세웠던 세부 전술은 가설의 형태가 되어 실험 진행에 활용됩니다. 연관 지표의 변동에 따라 실험 결과를 분석·평가합니다. 여기까지 마친다면 제품 전략이 연관 지표, 세부 전술, 그리고 실험을 통해 제품에 실제로 적용된 모습을 볼 수 있습니다.

정리

DHM 모델로 수립·평가한 제품 전략이 실무 과정을 통해 제품에 적용되는 과정은 4단계입니다.

1. 제품 전략

2. 연관 지표

3. 세부 전술

4. 실험

제품 전략은 연관 지표로 재정의되는 과정에서 조직의 목표이자 언어가 됩니다. 이때 주의해야 할 것은 6가지입니다.

1. 측정·분석이 가능해야 합니다.

2. 제품 개발 행위가 영향을 미칠 수 있어야 합니다.

3. 평균의 함정에 빠지지 않도록 주의합니다.

4. 해당 제품 전략, 나아가 그 상위 목표와 관련이 있어야 합니다.

5. 신규 고객에게 집중합니다.

6. 제품 경험을 훼손해서는 안 됩니다.

다음 단계에서는 연관 지표를 개선하기 위한 여러 세부 전술을 고안합니다. 세부 전술은 실험 단계에 이르러 구체적인 가설의 형태가 됩니다. 실험 결과에 따라 제품에 세부 전술이 적용됩니다. 여기까지가 제품 전략이 연관 지표, 세부 전술, 실험으로 모습을 바꿔 제품에 영향을 주는 과정입니다. 전 과정을 워터폴 방식으로 명령하고 수행하는 것보다는 조직 구성원 모두가 과정에 대해 이해하고 각자의 역할에 임한다면 더없이 이상적일 것입니다.

[1] Gibson Biddle, 2019 - #3 The Strategy/Metric/Tactic Lockup

[2] Gibson Biddle, 2019 - #4 Proxy Metrics

[3] Ryan Faist(Channel Key), 2021 - Amazon Flywheel: The Secret to Success for Earth’s Most Customer-Centric Company

[4] Coupang Design, 2021 - 보이지 않는 문제를 찾아 움직이는 쿠팡이츠 디자이너

[5] 매거진 입맛 - 매출 만드는 AB 테스트, 시작이 막막한가요? 3단계 가이드

©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.