제품 관리자가 가져야 하는 데이터 문해력이란?

제품 관리자는 제품을 만들고 운영하는 과정에서 많은 사람을 이해하고 설득해야 합니다. 새로운 제품을 기획하기 위해 고객을 이해해야 하고, 개발 과정에서는 담당하는 제품을 꼼꼼하게 파악하고 있어야 함은 물론, 해당 제품을 함께 만들어 가는 엔지니어와 디자이너, 회사의 여러 리더들을 설득해야 하는 일도 빈번합니다. 멀고도 끝없는 이해와 설득의 과정을 잘 헤쳐가기 위해 꼭 필요한 한 가지 무기가 바로 데이터 문해력입니다.

문해력이란 ‘읽고 쓸 수 있는 능력’을 말합니다. 그렇다면 데이터를 읽고 쓸 수 있는 능력이란 무엇을 의미할까요? 데이터 문해력이란 데이터에 기반하여 문제를 발굴하고, 필요한 데이터를 정의 또는 새롭게 생성하며, 문제 해결 과정에 데이터를 활용, 소통하는 역량을 의미합니다. 

특히 제품 관리자는 사용자에 대한 이해와 회사의 전략을 바탕으로, 제품에 대한 가설을 만들고 검증하는 역할을 합니다. 때문에 데이터에 대한 이해도와 데이터를 어떻게 활용할지 기획하는 역량이 중요합니다. 이번 글에서는 문제 해결의 각 단계에서 제품 관리자가 가져야 하는 데이터 문해력과 해당 역량을 개발하기 위해 필요한 학습 주제를 함께 소개하겠습니다.

문제 정의 단계에서 정량적인 근거 확보하기

제품 개발의 첫 단계는 여기저기 널려 있는 문제 중 어떤 것을 먼저 해결할지 의사결정하는 일입니다. 우선순위 설정할 때는 기본적으로 영향력(Impact)과 신뢰도(Confidence)를 고려해야 합니다. (우선순위 설정 프레임워크에 대해 좀 더 구체적으로 이해하고 싶다면 이 글을 추천합니다.)

• 영향력(Impact): 풀고자 하는 문제를 해결했을 때, 얼마나 큰 가치를 만들어 낼 수 있는지
• 신뢰도(Confidence): 그 문제와 해결 방안에 얼마나 확신이 있는지

이 과정에서 데이터를 활용하면 문제의 영향 범위와 신뢰도를 보다 명확하게 정의할 수 있고, 다른 사람에게도 쉽게 설명할 수 있습니다. 예를 들어, 어떤 커머스 서비스를 만들고 운영하는 제품 팀에서 다음 세 가지 가설에 대한 우선순위를 정하고 있다고 가정해 보겠습니다.

• (가설 a) 메인 페이지에 노출되는 프로모션/카테고리 구성을 변경하면, 상품 탐색 전환율이 개선될 것이다.
• (가설 b) 상품 상세 페이지에 상품에 대한 정보를 추가적으로 제공하면, 장바구니 담기 또는 결제 전환율이 개선될 것이다.
• (가설 c) 결제 페이지에서 사용자가 입력해야 하는 정보의 개수를 줄이면, 결제 전환율이 개선될 것이다.

사용자 유입이 가장 많은 메인 페이지, 상품 구매 의사결정이 일어나는 상품 상세 페이지, 그리고 매출 발생을 바로 앞두고 있는 결제 페이지 모두 중요하다고요? 하지만 팀의 자원은 제한적이고, 제품 관리자는 우선순위에 따라 지금 할 일과 나중에 할 일, 해야 할 일과 하지 않아도 되는 일을 구분해야 합니다. 심지어 이 우선순위를 팀과 리더들에게 설명할 수 있어야 합니다. 바로 데이터가 필요한 순간입니다.

먼저 정의한 가설과 관련된 사용자 행동 데이터를 분석합니다. 기본적으로 (1) 일정 기간 동안 해당 기능/페이지를 방문 또는 사용한 이용자 규모는 얼마인지, 그리고 (2) 다음 단계로 전환되는 비율은 얼마나 되는지 확인합니다. 만약 메인 페이지처럼 사용자가 다음 단계로 넘어갈 수 있는 경로가 여러 개라면, 각 경로별 전환율을 종합적으로 확인합니다. 이때 기능 또는 페이지의 유입량도 중요하지만, 이탈률에 좀 더 주의를 기울여야 합니다. 또한 개선하고자 하는 제품 개발 내용이 사용자의 행동에 어느 정도까지 영향을 줄 수 있는지도 중요한 판단 기준이 됩니다.

현실 문제보다 훨씬 단순화된 사례이긴 하지만, 아래 이미지와 같이 단계별 유입량과 전환율 변동에 따라 최종 구매 단계에 얼마나 영향을 미치는지 시뮬레이션해 보는 과정도 도움이 됩니다. 의사결정 과정에서 고려 사항을 보다 날카롭게 정의할 수 있기 때문인데요. 주변 이해관계자와 논의를 진행하는 과정에서도 서로 가지고 있는 생각과 가정이 무엇인지 정확하게 확인할 수 있으며, 이 과정에서 제품 관리자뿐 아니라 팀 전체의 신뢰도가 개선됩니다.

추가로 현재 상태를 확인하는 것만큼 보다 긴 기간 동안 서비스 관련 지표에 어떻게 변하고 있는지 추이를 확인하는 것 또한 중요합니다. 상대적으로 지표가 개선되고 있는 기능보다는 악화되고 있는 기능 또는 단계에 보다 집중하고, 어떤 이유로 고객들이 이탈하고 있는지 원인을 분석해야 할 것입니다.

데이터 기반의 문제 정의를 잘하기 위한 학습 주제: 

이 단계에서는 데이터를 다루는 하드 스킬을 배우기에 앞서, 좋은 질문을 찾고, 문제를 구조화하는 소프트 스킬을 키우는 것이 중요합니다. 회사에서 요구하지 않더라도, 제품 관련 의사결정을 내릴 때 해당 의사결정에 대한 기준이 무엇이었는지, 그리고 내가 내린 의사결정이 해당 기준을 얼마나 충족했는지 최대한 정량적으로 표현하는 연습을 해보세요. 단순히 머릿속으로 생각하는 것을 넘어, 글 또는 그림/도표로 작성하는 과정에서 분명히 생각이 날카로워지는 것을 경험할 수 있습니다.

또한 담당 제품의 고객 데이터에는 어떤 종류가 있고, 관련 데이터가 어느 시점에, 어떤 방식으로 기록되는지, 기록된 데이터를 어떻게 확인할 수 있는지 정확하게 확인해 보면 좋습니다. 만약 회사에서 고객/제품 데이터 분석을 위해 Amplitude, Mixpanel, GA와 같은 별도의 툴을 사용하고 있다면, 해당 툴 사용법을 학습하는 것도 좋습니다. 

목표 설정 단계에서 지표의 조작적 정의 이해하기

제품 팀이 집중해서 풀고자 하는 문제가 무엇인지 정했다면, 다음은 가설을 다듬고 이 가설에 대한 정량적 목표를 설정할 차례입니다. 목표를 설정할 때는 조작적 정의를 이해하는 것이 중요합니다. 목표 설정의 맥락에서 조작적 정의란, 목표 지표를 객관적으로 확인하기 위해 필요한 과정과 조건을 상세하게 기술한 명세를 의미합니다. 

아주 단순한 지표도 조작적 정의에 따라 그 값이 달라질 수 있습니다. 회사에서 마케팅팀이 정리한 주간 방문자 수와 제품팀에서 발표한 주간 방문자 수가 다른 경우, 또는 데이터 출처에 따라 집계된 매출이 다른 경우 등을 경험해 보셨나요? 모두 지표에 대한 조작적 정의가 달라 발생하는 현상입니다. 커머스 회사의 거래액을 예로 들어보면, 주문일과 배송일 중 어느 일자를 기준으로 집계할 것인지, 결제 또는 배송 상태에 따라 거래액에 포함되지 않는 항목이 있는지, 결제 완료 후 환불/반품/교환 등 클레임이 발생한 경우는 거래액에 포함할 것인지 등 생각보다 아주 다양한 요소를 고려해야 합니다.

조작적 정의를 이해하는 것은 숫자의 정합성을 위해서도 중요하지만, 제품 관리자가 목표 달성에 영향을 주는 요소가 무엇인지 이해할 수 있다는 점에서도 아주 중요합니다. 제품 출시 후 지표 증감의 원인을 확인할 때도 지표를 구성하고 있는 개별 항목에 따라 성과를 쪼개어 확인할 수 있기 때문에, 결과 지표를 올바르게 해석하는 데에 도움이 됩니다. 

예를 들어 특정 기능 개선을 통해 거래액이 증가했다면, 거래 사용자 수가 늘었는지, 사용자 당 거래 금액이 늘었는지를 구분해서 생각하고, 이에 따라 다음 액션 플랜을 더욱 구체적으로 생각할 수 있습니다.

데이터 기반의 목표 설정을 잘하기 위한 학습 주제: 

위에서 설명한 조작적 정의를 구체화하다 보면, 자연스럽게 서비스에서 데이터를 어떤 방식으로 기록하는지, 기록되는 데이터의 범위는 얼마나 되는지를 파악할 수 있습니다. 데이터 분석가 또는 엔지니어만큼 데이터 구조를 정확히 이해할 필요는 없지만, 제품 관리자로서 담당하는 제품 도메인 내에 어떤 데이터가 있는지, 그 데이터를 활용해서 알아볼 수 있는 인사이트는 무엇인지 이해하고 생각하는 연습이 중요합니다. 말하자면 데이터와 비즈니스 또는 데이터와 제품을 연결하는 것이죠.

특정 기술을 익히는 데에 관심이 있다면, SQL 학습을 추천합니다. 단순히 SQL 문법 전체를 익히기 위해 애쓰는 것보다, SELECT, WHERE, LIMIT 등 기초 문법만 학습한 뒤에, 회사에서 자주 사용하는 지표를 직접 코드로 구성해 보면 빠르게 SQL을 익힐 수 있습니다. 만약 이 과정이 어렵다면, 팀 내에 데이터 분석가 또는 백엔드 엔지니어에게 도움을 요청해 보세요. 다른 사람이 작성한 코드를 보고 구조를 이해하는 과정도 많은 도움이 됩니다.

문제 해결 단계에서 데이터 확보하고, 측정한 데이터 분석하기

가설을 검증을 위해 필요한 데이터를 정의했지만, 아직 서비스에서 해당 데이터를 기록하고 있지 않을 수도 있습니다. 이 경우에는 제품 개발 과정에서 필요한 항목을 정의하고, 데이터 적재를 시작해야 합니다. 제품 관리자는 데이터 엔지니어링 방법을 정확하게 이해하고 제안하기 보다, 비즈니스 또는 제품의 관점에서 필요한 값이 무엇인지를 정확하게 정의하는 것이 중요합니다. 특히 새로운 기능을 개발하는 경우, 성과 측정과 앞으로 기능 개선을 위해 기록을 시작해야 하는 데이터가 무엇인지 고민하고, 정의하는 과정을 꼭 가지도록 합니다.

다음으로 측정한 지표를 분석하는 과정은 앞 단계에서 목표 설정을 촘촘히 수행할수록 수월하게 진행할 수 있습니다. 가설 검증을 위해 어떤 데이터를 중점적으로 분석해야 하는지 정하고, 목표 지표를 구성하는 요소들마다 어떤 세부 지표가 얼마나 변화했는지 확인합니다. 이러면 단순히 집계된 전체 값만 보는 것보다 원인을 명확하게 파악할 수 있습니다. 제품 개선의 내용에 따라 데이터 분석 방법이 다양하게 나누어질 수 있지만, 큰 틀에서는 아래 두 가지 관점의 데이터를 집계하고 확인합니다.

사용자 그룹을 나누어 비교하기

1. 제품 개선이 전체 서비스에 적용된 것이 아니라면, 개선 사항이 적용된 부분과 적용되지 않은 부분을 나누어 비교할 수 있습니다.
2. 또는 특정 서비스 내에서 액션을 수행한 사용자와 수행하지 않은 사용자의 전환율을 나누어 비교할 수 있습니다. 예를 들어, 상품 상세페이지에 새로운 정보를 추가했다면, 해당 정보를 조회한 사용자와 조회하지 않은 사용자의 결제 전환율에 차이가 있는지 확인해 보는 것입니다.

시간 전후를 나누어 비교하기

1. 제품 개선 사항이 반영되기 전과 반영 후의 지표 변화를 비교합니다.

두 가지 접근 방법 모두 그룹 간에 구조적인 차이가 있음을 인지하고 확인하는 과정이 중요합니다. 비교 그룹 간에 구조적인 차이가 있다면, 두 집단의 수치를 직접적으로 비교하는 것이 통계적으로 무의미하기 때문입니다. 예를 들어, 특정 기능 적용 전과 후의 기능을 비교하는데, 기능 적용 이후 기간부터 서비스 내에서 대대적인 쿠폰 이벤트를 적용하고 있다면, 기능 적용 전과 후의 성과 지표를 비교하는 것이 의미가 없습니다. 

해당 성과 지표에는 기능 개선의 영향과 쿠폰 이벤트 시행의 영향이 모두 혼재되어 있기 때문입니다. 따라서, 결과 수치를 비교 또는 해석할 때는 서비스 내/외부에 큰 변동 사항이 없었는지, 비교하고자 하는 사용자 집단 간 구성(사용자 상태, 유입 경로, 인구통계 정보 등)에 큰 차이는 없는지를 먼저 점검해야 합니다.

데이터 기반의 문제 해결을 잘하기 위한 학습 주제:

확인된 결과를 해석하는 것은 생각보다 까다로운 일입니다. 데이터에 영향을 미치는 변수가 아주 다양하기도 하고, 많은 경우 결괏값이 생각만큼 극적으로 변화하지 않기 때문입니다. 데이터를 통해 올바른 인사이트를 얻고자 하는 제품 관리자라면 기초 통계 지식을 공부해 보는 것을 추천합니다. 원하는 정보를 얻기 위해서 데이터를 어떻게 요약하고 시각화해야 하는지, 가설을 검증하기 위해 어떤 방식으로 자료를 수집하고, 수집된 결과를 해석해야 하는지 배울 수 있습니다.

마치며

스스로 데이터 분석 역량을 개발해야겠다고 느끼는 제품 관리자라면, 어떤 기술 또는 어떤 도구를 학습할지에 대한 고민보다는 제품 개발의 각 단계에서 필요한 데이터 문해력 중 나에게 부족한 부분은 무엇인지 체크해야 합니다. 그리고 내가 속한 조직과 관리하는 제품이 어떤 데이터 플랫폼에 기반하여 구성되어 있는지를 먼저 정리해 보기를 추천합니다.

이렇듯 데이터 문해력을 키움으로써 제품 관리자가 직접 고객을 대변하거나, 지난 회사의 경험을 그대로 대입하거나, 단순히 다른 유명 서비스를 참조하는 일은 지양해야 합니다. 특히 회사의 탑다운(Top-Down) 방식의 의사결정을 핑계 삼지 말고, 데이터에 기반해 고객을 이해하며 함께 일하는 구성원을 설득해 갈 수 있기를 바랍니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.