‘데이터’로 프로덕트 문제 탐구하는 방법

Product Manager(이하 ’PM’)는 프로덕트 성장을 위해 끊임없이 고민합니다. 특히 고객과 사업 측면에서 모두 충족할 만한 가치를 고민하는데요. 이때 데이터를 활용해 문제를 추정하고 해결책을 찾기도 합니다. 이번 글에서는 프로덕트의 문제를 탐구할 때, 데이터를 어떻게 활용할 수 있을지 제 경험에 빗대어 이야기해 보려 합니다.

‘문제’를 해결한다는 것

프로덕트 조직 구성원에게 문제 해결 능력은 중요합니다. 특히 PM 직무에서 강조되는 역량으로, 채용 공고에도 자주 등장합니다. PM은 프로덕트 조직 구성원을 문제 해결 방향으로 이끌 책임이 있기 때문입니다.

그렇다면 ‘문제를 해결한다’는 것은 무슨 의미일까요? 사전적 정의에 따르면, ‘문제’란 해답을 요구하는 물음, 해결하기 어렵거나 난처한 대상 또는 그런 일을 의미하는데요. 여기에서 우리는 ‘문제’란 ‘해답’을 요구하는 것임을 알 수 있습니다. 그럼 프로덕트 조직에게 ‘해답’이란 뭘까요? 바로 고객과 사업적 가치를 함께 충족하는 프로덕트를 만드는 것입니다. 

그리고 이 해답은 문제를 통해 발견됩니다. 그래서 문제를 정의한다는 것은 곧 고객과 사업적 가치를 함께 충족할 해답을 가진 문제를 발견해야 함을 의미합니다. 다시 말해, ‘무엇’을 문제로 정의했느냐에 따라, 창출되는 가치의 영향력이 다를 텐데요. 임팩트 있는 해답을 얻기 위해선 문제를 어떻게 정의할지 고민해야 합니다.

문제 정의

문제를 정의할 때는 직관적인 분석과 객관적인 분석이 모두 필요합니다. 먼저 직관적인 분석에서는 산업 흐름과 프로덕트 현황을 통해 문제와 해결 방안을 생각해야 합니다. 다만 편향에 주의해, 현재 프로덕트 상태를 객관적으로 파악하는 것도 중요하죠. 

‘우리 프로덕트의 문제가 뭘까?’라고 했을 때, 프로덕트에 대해 늘 고민하는 PM이라면 여러 문제점을 바로 인지하고 있을 겁니다. 그러나 단순히 이러한 생각으로 문제를 정의하면, 자신만의 관점이 개입될 수 있습니다. 중요한 것은 프로덕트의 성장을 이끌 ‘진짜 문제’를 발견하는 것인데 말이죠. 그래서 의도적으로 새로운 관점을 설정해, 프로덕트를 객관적으로 분석하고자 노력해야 합니다. 저는 두 가지 방향을 두고 관점을 설계하는데요. 첫 번째는 프로덕트 구성 요소로 접근하는 것이며, 두 번째는 이상적인 시나리오 작성하는 것입니다.

1) 프로덕트 구성 요소로 접근하기

한 상황을 예시로 들어보겠습니다. 여러분은 이커머스 프로덕트를 만드는 PM입니다. 그런데 최근 재구매 고객 비율이 감소하는 현황이 발견됐고, 프로덕트에 어떤 문제가 있을지 파악해야 합니다. 이때 자신의 주관보다 먼저 이커머스 프로덕트의 구성 요소를 나열합니다.

다음으로 현재 상황(재구매 고객 비율 감소)에서 위 구성 요소의 어떤 데이터를 봐야 할지 세분화합니다. 우리는 재구매 고객 비율이 감소하는 상황에 대한 문제를 알아야 하기에, 재구매 혹은 구매와 연관된 요소로 세분화할 수 있습니다. 

상품 요소에는 상품 카테고리(예: 상의, 하의, 아우터, 뷰티 등), 상품 클릭률, 가격, 판매자 등으로, 고객 요소에는 구매 고객과 판매 고객, 구매 고객의 나이, 가입 시점, 구매 고객군(예: 충성고객, 잠재고객, 신규고객 등)으로, 화면별 사용성 요소에는 구매에 영향을 미치는 화면에서 고객의 주된 행동과 UX 의도 비교하기 등으로, 주요 플로우 요소에는 상품 상세 페이지에서 구매 완료까지 플로우의 퍼널 전환율, 홈 화면에서 상품 상세 페이지에 진입하는 플로우의 퍼널별 전환율 등으로 프로덕트 분석 관점을 설정할 수 있습니다.

그리고 이 관점에서 데이터를 살펴보는 것이죠. 이러면 우리가 생각했던 것과는 달리, 프로덕트 현황을 객관적으로 분석할 수 있습니다.

2) 이상적인 시나리오로 접근하기

두 번째는 프로덕트에서 이상적으로 바라는 상황을 시나리오로 작성하고, 이 시나리오를 관점으로 실제 프로덕트 데이터를 확인하는 방법입니다. 재구매율이 감소하고 있는 현 상황에서 아래와 같이 이상적인 시나리오를 만들어 보겠습니다.

이제 이 시나리오를 과정별로 세분화하여, 현재 프로덕트의 현황에 대한 관점을 설정할 수 있습니다. 먼저 시나리오를 과정별로 세분화하겠습니다. 첫째, 고객이 구매한 상품에 만족합니다. 둘째, 또 구매를 하기 위해 프로덕트에 다시 접속합니다. 셋째, 재구매를 완료합니다. 다음으로 이 세 개의 관점에서 현황을 파악할 만한 프로덕트 데이터를 설정합니다.

이제 위에 나열된 내용이 실제 프로덕트에 어떻게 나타나고 있는지 데이터로 확인해 봅니다. 그리고 데이터를 살펴보다가 우리가 이상적으로 생각하는 시나리오보다 데이터 수치가 낮거나 혹은 높게 나타나는 지점을 발견하게 된다면, 의문을 품게 될 것입니다. 여기에서부터 문제 탐구를 시작할 수 있죠.

이렇게 우리는 몇 가지 의문점을 발견하고, 문제를 탐구할 수 있습니다. 다음은 데이터로 문제를 탐구하는 과정을 살펴보겠습니다.

데이터 읽기

위의 예시를 이어 이야기해 보겠습니다. 재구매한 고객과 재구매하지 않은 고객의 상품탐색 플로우를 비교•분석하던 중, 상품 *필터 기능을 사용할수록 상품 클릭률과 구매 전환율이 높게 나타나고 있음을 알게 됐습니다. (*필터 기능이란, 이커머스 앱 서비스에서 자주 제공하는 기능으로, 상품 색상, 디자인, 가격 등의 값으로 상품을 필터링하는 기능) 그런데 이 기능이 정말 상품 클릭과 구매 전환에 영향을 미치는 걸까요? 이 문제를 탐구하기 위해 데이터를 해석할 때는 몇 가지 주의할 점이 있습니다.

1) 인과관계인가? 연관관계인가?

데이터를 해석할 때 인과관계인지 연관관계인지 염두에 둬야 합니다. 위의 예시처럼 필터를 사용한 고객의 상품 클릭률이 높다면, 필터를 사용함으로써 상품 클릭률이 높아진 것으로 생각할 수 있습니다. 하지만 정말 필터를 사용한 것이 높은 상품 클릭률을 만든 원인일까요? 고객 입장에서 보면, 필터를 활성화한다는 것은 상품을 찾고 싶다는 동기를 가지고 있는 상태에 더 가까울 것입니다.

즉, 필터를 활성화 한 고객은 필터를 활성화하지 않은 고객보다 상품 클릭 동기가 강할 것이기에 상품 클릭률이 높게 나타날 수 있다는 것입니다. 이것은 필터로 인해 상품 클릭을 하게 된 ‘인과관계’가 아닌, 상품을 클릭하기 앞서 필터를 클릭하는 ‘연관관계’라 볼 수 있는 것이죠.

필터 기능의 진짜 영향력을 확인하고 싶다면, 필터 클릭이 원인으로 작용하여 그 결과로 영향을 끼친 행동을 발견하는 것이 중요합니다. 만약 재구매한 고객이 첫 구매와 재구매 시 상품 필터를 재사용하는 비율이 높게 나타나고 있다면 어떨까요? 이때라면 필터가 구매 전환을 촉진하는 인과관계라 추정해 가며, 또다시 그 근거 데이터를 더 확인할 수 있을 것입니다.

2) 유사 상황(혹은 반대 상황)을 통한 크로스 체크

위에서 필터 이용 경험이 구매 전환을 촉진하는 영향력을 추정하게 되었다고 해봅시다. 다음으로는 추정하는 상황을 입체적으로 납득할 만한 근거를 살펴봐야 합니다. 이때 유사한 상황이나 혹은 반대 상황을 통해 크로스 체크할 수 있는데요. 필터 이용 구매 고객의 재구매율이 높다면, 반대로 필터를 이용하지 않은 구매 고객의 재구매율은 낮게 나타나고 있을지 그 차이를 확인하는 것입니다. 

여기에서 필터를 이용하지 않은 구매 고객의 재구매 비율이 낮게 나타난다면, 그 원인은 무엇일지, 클릭하는 상품 수가 적어서인지 혹은 상품 클릭을 아예 시도하지 않는 것인지 등을 봐야 합니다. 필터 이용 유무에 따라 어떤 영향으로 구매 전환에 차이가 생겼는지, 그 정황을 구체화할 수 있습니다. 이렇게 구체화한 정황이 다시 반대 상황으로, 필터 이용 구매 고객에게 나타나고 있는지 크로스 체크하여 문제를 구체적으로 탐구할 수 있습니다.

3) 숫자의 함정을 조심하자

먼저 %(퍼센트)의 함정을 조심해야 합니다. 우리는 데이터를 볼 때 %로 수치화된 것을 보는데요. 주의할 점은 %는 비율을 가리키는 것으로, 같은 % 라 하더라도 모수에 따라 그 의미가 달라질 수 있음을 인지하는 것입니다. 한 예시로 50%는 18명 중 9명을 의미하기도, 10,000명 중 5,000명을 의미할 수 있는데요. 어떤 액션을 수행한 고객이 50%인데 그 모수가 18명이라면, 프로덕트가 해결해야 할 임팩트 있는 문제라 보기 힘들 것입니다. 

즉, %가 크다고 판단할 때는 그 모수가 얼마이며, 우리 프로덕트 성장에 임팩트를 줄 수 있을지 프로덕트 전체 고객 관점에서 측정해야 합니다. 예를 들어, DAU가 100,000명인 프로덕트에서 어떤 지표가 50%를 가리키는데, 그 모수가 18명 중 9명이라면 9/100,000(DAU 수치)로 전체 고객 대비 임팩트를(=0.00009%) 계산하고, 만약 50%를 가리키는 모수가 10,000명 중 5,000명일 때 5,000/100,000(DAU 수치)로 임팩트를(=5%) 추정해야 합니다.

두 번째로 시간 흐름을 같이 살펴보아야 합니다. 데이터 수치를 볼 때, 1개월, 3개월 혹은 분기별 등 프로덕트 상황에 따라 과거 데이터를 함께 보며, 수치가 비슷한 양상을 보이고 있는지 확인해야 합니다. 이를 통해 혹시 특정 기간에 급상승했거나 급감했던 때는 없었는지, 그로 인해 현재 영향을 준 요인은 없었는지 확인하며, 데이터를 잘못 해석하지 않도록 주의해야 합니다.

세 번째로 고객 특성을 고려해야 합니다. 위의 예시에서 필터를 이용하는 고객의 재구매율이 높다는 정황을 여러 데이터를 통해 추정했다고 해봅시다. 그런데 이때 필터를 활성화한 고객을 충성고객, 신규고객, 잠재고객으로 분류해 보니, 유독 신규 고객이 높은 비율을 차지하고 있다면 어떨까요? 신규 고객 비율이 높고 기존 고객이 낮은 비율이라면 신규 고객에게 매력적인 기능일 수 있으나, 지속적인 사용성은 떨어진다고 추정할 수 있습니다. 이에 따라 프로덕트 전략 방향도 함께 고려해야 하고요.

마지막으로 프로덕트 지표에 영향을 끼칠만한 외부 요인이 있었는지 확인해야 합니다. 마케팅팀, 상품기획팀, 비즈니스팀 등 여러 팀에서 특정 이벤트를 진행함으로써 지표에 변화가 생긴 것은 아닐지 말이죠. 혹은 급속도로 주목받은 사회적 트렌드가 우리 프로덕트의 지표에 영향을 미친것은 아닌지 확인하며, 데이터를 제대로 해석하고자 주의를 기울여야 합니다.

마치며

결국 중요한 점은 데이터를 ‘어떻게’ 해석하느냐에 따라, 문제의 방향성이 달라질 수 있다는 것입니다. 그래서 눈앞에 보이는 데이터에 계속 의구심을 품고 반론을 제기하며, 데이터의 객관성을 확보해야 합니다. 만약 본인의 데이터 해석을 타인과 공유할 수 있는 환경이라면, 함께 관점을 공유하는 것도 좋습니다. 더욱 비판적으로 데이터를 분석해 진짜 문제를 발견할 수 있을 것입니다.

혹시 데이터를 활용해 프로덕트를 개선한 경험이 있다면 댓글로 공유해 주세요. 다양한 사례를 참고해, 데이터로 ‘진짜 문제’를 발견하고 해결할 수 있는 힘을 기를 수 있길 바랍니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.