갑자기 지표가 하락했을 땐 어떻게 해야 하나요?
담당자님! 지표가 전 주 대비 10% 하락했네요! 이유가 뭔가요?
제품 기획부터 탄생까지 모든 여정을 책임지는 PM/PO에게는 수많은 자질이 요구된다. 그중 하나는 프로덕트에 문제가 발생했을 때 빠르게 원인을 파악하고 대처하는 능력이다. 우리는 제품의 개선과 안전을 책임지기 위해 정량적 잣대인 ‘지표(Metric)’를 설정하고 이를 개선하기 위해 OKR(Objective & Key Results), KPI(Key Performance Indicator)등을 설정한다. 하지만 지표라는 것이 마치 드라마처럼 상승 곡선만 그리며 성공하는 것이 아니다. 안타깝게도 제품이 운영되고 고도화되는 과정에서 예기치 못한 이슈가 발생하고, 이를 측정하는 지표가 갑작스럽게 하락하는 경우가 자주 발생한다.
물론 제품 탄생 초기에는 지표 하락 이유가 비교적 자명하고 원인 파악에 큰 시간이 소요되지 않는다. 그러나 제품이 고도화되고 측정하는 지표가 많아질수록, 예기치 못한 하락에 원인 규정이 보다 어려워지며 혼동이 올 수 있다. 필자 또한 현업에서 수많은 지표를 담당했고 수차례 하락 이슈를 경험했다. 그 과정에서 많은 배움을 얻고 대처 방법을 터득했기에, 그 내용을 현직 PM/PO와 예비 종사자에게 전해보고자 한다.
지표(Metric)란 무엇인가?
좋은 제품을 만들기 위해서는 데이터가 필요하다. 직감에 의존하지 않고 객관적이고 유의미한 의사결정을 위해서는 데이터를 활용해야 한다. 우리는 이를 위해 프로덕트 내부에 사용자를 이해하고, 사용자들의 행동 패턴을 정량화할 수 있는 수치를 ‘지표’라고 이야기한다.
우리는 지표를 왜 보는가?
대표적인 예시로 유저가 제품에 들어와 가입을 시작하고 완료하는 퍼널 전환율을 담당하고 있다면, 우리는 가입 시작부터 완료까지의 전환율(CVR)을 모니터링하고 이를 개선하기 위해 노력할 것이다. 하지만 만약 제품에 일부 문제가 생겨 가입 전환율에 급격한 하락이 생긴다면, 제품을 이용하는 고객이 버그를 경험하게 된다. 그럼 제품을 정상적으로 이용할 수 없게 되고 이는 제품 전체에 부정적 영향울 주어 이탈을 초래할 수도 있다.
지표가 하락했을 때
실제 현업에서 지표가 하락했을 때 어떻게 대처해야 할까? 명확하게 인지하고 있는 원인이나 외부 이슈가 있다면 대응하기 수월하겠지만, 현재 원인을 파악하지 못한 상태에서 급격하게 핵심 지표가 하락한다면 담당자로서 매우 당혹스러울 수 있다.
그렇다면 통용되는 방법은 아니지만 하락 이슈가 발생했을 때, 어떠한 질문을 던져 현상을 분석해야 하는지 다음과 같이 제안하고 싶다.
1) 하락 지표 분석
Key Question
- 정확히 언제 하락이 있었는가?
- 정확히 얼마큼 하락이 발생했는가? (ex. 전 주 대비 n% 하락 발생)
- 점진적 하락인가 급진적 하락인가?
모든 일이 그렇듯 우선 문제가 발생하면 정확한 시점과 문제 현황 파악이 중요하다. 지표도 똑같이 문제가 발생하면 정확한 시점과 하락한 수치 파악이 필요하다. 이를 위해 지표를 일별 기준으로 최근 3개월간 데이터를 전부 출력한 뒤, WoW(Week on Week) 기준으로 비교하여 정확한 하락 시점과 하락 정도를 찾아내는 것이 중요하다.
ex) 2023-09-18 전 주 대비(WoW) -18% 하락
해당 데이터를 보게 된다면 마지막 질문인 ‘점진적 하락인가 급진적 하락인가?’에 대한 답변도 나오게 된다. 만약 점진적 하락이라면 하락이 시작되는 일자를 찾아 규정하면 될 것이다.
2) 어디서 어떻게 하락했는가?
Key Question
- 특정 플랫폼(Web or App)에 영향인가?
- 영향을 받는 그룹이 존재하는가?
정확히 언제 & 얼마큼 하락이 발생했는지 규정됐다면 이제는 어디서 발생했는지를 찾아야 한다. 웹과 앱을 전부 제공하는 서비스라면 정확히 어떤 플랫폼에서 발생했는지를 찾아야 할 것이고, 앱 서비스만 제공하는 곳이라면 iOS/AOS 중 차이는 없는지 살펴보는 것을 권장한다. 더 디테일하게는 앱에서 특정 버전에서만 발생하는 이슈인지 찾을 수 있다면 보다 빠르게 원인 파악이 가능할 것이다.
ex) Only Web에서 2023-09-18 기준 전 주 대비(WoW) -18% 하락
사실 플랫폼별 차이가 있다면 기술적 문제로 인해 제품 이상이 생긴 경우가 많다. 이 경우 담당 엔지니어에게 요청하여 현황을 공유하고, 문제점을 같이 찾아 나서는 게 오히려 효율적일 수 있다. 하지만 플랫폼별 차이가 없고 특정 그룹에서도 차이가 보이지 않는다면, 다음 단계로 넘어가야 할 것이다.
3) 원인은 무엇인가?
Key Question
- 하락 시기에 전/후에 배포된 기능이 있는가?
- 데이터 파이프라인(Data Pipeline) 점검
- 트렌드 변화가 있었는가? (ex. 산업 이슈, 규제 이슈)
지표가 하락하는 이유는 워낙 다양하다. 다만 경험상 모든 지표는 아무 이유 없이 하락하지 않는다는 것이다. 즉, 항상 원인은 존재하기에 담당자로서 제품 유형에 따라 높은 가능성을 가진 원인부터 점검하는 것을 권장한다.
“하락 시기에 전/후에 배포된 기능이 있는가?”
언제 & 어디서 하락했는지 규정된 상황이라면, 영향을 줄 만한 배포 기능을 더욱 효율적으로 빠르게 살펴볼 수 있을 것이다. 언제 어디서 하락했는지 규정되지 않은 상황에서 배포된 기능부터 점검하는 것은 너무 많은 영역을 살펴봐야 하기에 리소스 낭비가 될 수 있다.
앞서 설명한 것처럼 지표 하락이 급진적이라면 특정 기능 배포로 인해 제품에 영향을 주었을 가능성이 매우 높다. 그렇다면 하락 시점 기준으로 배포된 기능을 살펴보고 예상되는 기능을 찾아 규정하는 것이 효율적일 것이다.
“데이터 파이프라인(Data Pipeline) 점검”
데이터 파이프라인은 말 그대로 언제든지 필요한 데이터를 가져와 꺼내 쓸 수 있도록 데이터를 계속 쌓아두는 파이프라고 할 수 있다. 즉, 내가 보고 있는 데이터 자체가 기술적 이슈로 인해 정확하지 않은 값을 보고 있는 걸 수도 있기에, 앞서 파악한 현상만으로도 원인 규정이 어렵다면 한번 점검해 보는 것을 권장한다.
사실 높은 가능성으로 파이프라인 이슈는 지표가 급진적으로 하락하는 경우가 많고, 담당 지표가 생애 본 적 없는 수치로 보이는 경우가 많기에 현상에 따라 점검 우선순위를 조정하는 것을 권장한다.
“트렌드 변화가 있었는가? (ex. 산업 이슈, 규제 이슈)”
사실 가장 낮은 가능성이고 이미 사전에 인지하고 있을 가능성이 높은 원인이다. 서비스 유형에 따라 정부 정책, 사건, 기사에 예민하게 반응하는 제품이 존재한다. 이로 인해 브랜드 이미지가 훼손되어 트래픽이 감소하거나, 반대로 특정 기사화로 인해 트래픽이 폭증하는 경우가 존재한다. 이는 기사나 정부 정책 등을 살펴보며 하락 이슈와 연관이 있는지 제품 유형에 따라 검토해 보는 것을 권장한다.
지표 이해도 높이기
담당자라면 담당 지표가 문제가 생겼을 경우 빠르게 해결하는 것도 중요하지만, 더 나아가 근본적으로 담당하는 지표가 무엇이고 어떤 구조로 되어있는지 파악하는 게 중요할 것이다. 매번 문제가 생겼을 때마다 단발적으로 원인을 파악하는 데는 분명 한계가 있다. 근본적으로 담당 지표가 어떠한 성질로 이뤄져 있으며, 무엇에 영향을 받는 것인지 깊게 이해하는 것이 도움 될 것이다.
제품 성장에 따른 상호 지표별 연관성
제품이 고도화되고 성장할수록 다양한 기능이 출시되며 이에 따라 측정하는 지표가 많아진다. 하지만 다양해지는 지표 속에서 다른 지표 간 상호 연관성이 존재할 가능성이 높아진다. 쉽게 설명하면 A와 B 지표를 별도 관리하고 있지만, 사실 해당 지표는 서로 음의 상관관계를 가지고 있는 경우다.
별도 관리되고 있는 두 지표는 서로 독립적으로 지표를 높이기 위해 고군분투하지만 사실 서로에게 악영향을 주는 관계가 되는 것이다. 물론 초기 설계부터 상호 연관성을 고려하여 지표를 설계한다면 발생하지 않을 수 있다. 그러나 초기 스타트업에서 제품이 급격히 고도화되는 과정에서 종종 발생할 수 있다. 이를 위해 담당자는 본인 지표가 정확히 어떤 지표에 영향을 받으며, 더 나아가 어떤 지표에 어떠한 영향을 주는지 알고 있다면 해석과 대처에 큰 도움이 될 것이다.
마치며
지표는 제품이 성공하기 위한 방향키와 같다. 그렇기에 PM/PO에게 지표란 제품 성공을 책임지는 중요한 잣대가 될 것이다. 이를 위해서는 지표에 발생하는 문제에 대해 빠르게 원인을 파악하고, 다양한 이해관계자와 원활한 커뮤니케이션을 통해 문제를 해결해 나가는 것이 중요한 역량일 것이다. 필자는 PM/PO로서 문제 과정에서 당황하지 않고, 위와 같은 질문을 상기하며 답을 찾아나가는 경험이 정말 큰 도움이 되었다. 비슷한 문제를 겪고 있다면 참고해 보면 좋겠다. 이러한 과정을 통해 문제를 대하는 태도가 점차 능숙해질 테니 말이다.
<원문>
©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.
