사용자 ‘리텐션’을 측정하는 5가지 지표

[프로덕트 지표 설정 프레임워크] ⑤ 리텐션(Retention) 지표

이번 글에서는 프로덕트를 보는 다섯 가지 렌즈 중 리텐션(Retention) 관련 지표들을 소개합니다. 리텐션 관련 개념들은 처음 접할 때는 조금 어려울 수 있는데요. 차근차근 내용을 따라오실 수 있도록 노력해 보겠습니다.

리텐션을 지표로 측정하는 데는 크게 이렇게 다섯 가지 방법이 있습니다.

1. 코호트 리텐션 가장 처음 소개할 개념은 코호트 리텐션입니다.

코호트라는 것은 어떤 동질적인 특성을 공유하는 사람들의 집합을 가리키는 말인데요. 보통 그로스에서는 같은 시기에 가입한 사람들을 가리킬 때 코호트라는 용어를 씁니다. 예를 들면 이런 식입니다.

1월 1일에 가입한 사람들은 1월 1일 가입 코호트 1월 첫째 주에 가입한 사람들은 1월 첫째 주 가입 코호트 1월에 가입한 사람들은 1월 가입 코호트

물론 코호트가 가장 흔하게 쓰이는 게 가입 시기일 뿐이지, 다른 특성들, 예를 들면 성별 나이 지역 등 인구통계학적인 특성, 혹은 프로덕트에서 특정한 행동을 했는지 등 행동적 특성에서도 코호트를 구분할 수 있습니다.

그럼 코호트 리텐션이란 무엇일까요? 특정 코호트 유저들이 시간이 경과함에 따라 유지되는 비율을 뜻합니다. 바로 예시를 들어서 설명을 드릴게요.

프로덕트 분석 툴에서 볼 수 있는 차트 예시를 하나 보여 드리겠습니다. (믹스패널Mixpanel이라는 프로덕트 데이터 분석 툴에서 제공하는 샘플 데이터를 활용했습니다. 샘플 데이터라서 현실성은 조금 떨어질 수 있지만, 개념을 이해하시는 데는 큰 무리가 없을 겁니다.) 편의상, 넷플릭스 같은 비디오 콘텐츠 구독 서비스이고, 회원가입한 사람들이 1주, 2주, 3주 시간이 지나면서 비디오를 플레이했는지에 관해 리텐션을 측정했다고 해 보겠습니다. 기간 내에 비디오를 플레이하면 사용자가 유지된 것이고, 기간 내에 비디오를 플레이하지 않으면 유지되지 않은 것으로 간주하는 거죠.

위 차트의 경우에는 1주일 단위로 코호트를 구분했는데요. 빨간색 네모를 표시한 줄을 보면 2019년 12월 30일 주간에 가입한 사용자들이 22,881명이고, 이 사람들 중 Week 1, 즉 1주 뒤에는 68.99%가 서비스를 이용하고, 2주 뒤에는 36.32%가 서비스를 이용하고, 3주 뒤에는 51.5%가 서비스를 이용합니다.

이 데이터를 말할 때는 “2019년 12월 30일 주간에 가입한 유저 코호트의 Week 1 리텐션율은 68.99%이다. Week 2 리텐션은 36.32퍼센트이다”라고 합니다.

마찬가지로 “2020년 1월 6일 주간에 가입한 유저 코호트, 총 21,267명의 Week 1 리텐션율은 55.24퍼센트 Week2 리텐션은 51.39퍼센트이다”라고 할 수 있겠죠.

맨 윗줄을 보면 Average Retention(평균 전환율)이 나오는데, 이는 이 차트에 나오는 코호트들, 즉 2019년 12월 30일 주간부터 2020년 3월 9일 주간까지 가입한 사람들의 평균적인 리텐션율이라고 할 수 있습니다.

이런 식으로 사용자들을 가입 기간에 따른 코호트로 나눠서, 각 코호트의 리텐션율을 측정할 수 있습니다. 이게 코호트 리텐션입니다.

이렇게 가입 시점을 기준으로 하는 코호트 리텐션이 자주 쓰이는 이유는, 시간이 경과함에 따라 리텐션율이 어떻게 변화하는지, 어떻게 오르락내리락 하는지 알고 대응하기 위해서입니다.

여기서 빨간 네모를 친 것처럼 Week 1, 다시 말해 가입 후 그다음 주 리텐션율이 어떻게 변화하는지 추이를 볼 수 있습니다.

보다 보면 1월 20일 주에 가입한 코호트에서 가입 다음 주 리텐션율이 뚝 떨어지는 것을 볼 수 있죠. 이런 걸 발견했을 때, ‘어? 왜 이때 가입한 사람들은 이렇게 둘째 주 리텐션이 낮지? 이때 무슨 일이 있었나?’ 하면서 더 깊이 분석해서 원인을 찾아내고, 같은 문제가 나중에 반복되지 않게 하는 거죠.

혹은 코호트 리텐션이 점점 악화되는 추이라고 하면,’ 지금 우리 프로덕트에 뭔가 문제가 있다. 리텐션이 계속 나빠지고 있는데, 원인을 찾아내자.’ 하면서 행동에 나설 수 있게 되고요.

2. 리텐션 커브 다음으로는 리텐션 커브(retention curve)를 소개하겠습니다. 리텐션 커브는 앞에서 봤던 코호트 리텐션 차트를 시각적으로 표현한 것입니다. 숫자로 보여주느냐 그림으로 보여주느냐 차이인 거죠.

리텐션 커브를 그리면, 시간이 경과함에 따라 얼마나 남는지(retained) 직관적으로 볼 수 있습니다.

Cohort 1은 시간이 경과하면서 사용자들이 얼마만큼 남는지 보여주는 차트입니다. 시간이 지나면서 사용자들이 이탈하다가, 한 40% 정도는 쭉 남아있는 그림입니다.

Cohort 2는 Cohort1에 비해 좀 더 많은 사용자들이 이탈해서, 장기적으로 적은 사용자들이 남은 것을 보여줍니다.

Cohort 3은 Cohor1과 Cohort2에 비해서 더 많은 사용자들이 이탈해서, 장기적으로 적은 사용자들이 남아있게 된 모습을 나타내죠.

Cohort 4도 이런 식으로 리텐션 커브를 그려볼 수 있고요.

여러 코호트의 평균 리텐션 커브를 이렇게 그려 볼 수도 있습니다.

이런 식으로 리텐션율을 숫자로 보는 것도 물론 좋은 방법이지만,

이렇게 리텐션 커브를 그려서 보면, 조금 더 직관적으로 ‘리텐션율이 얼마나 되는구나’ 하는 것을 시각적으로 볼 수 있다는 장점이 있습니다.

실제로 데이터 분석 툴에서 이런 식으로 리텐션 커브를 볼 수 있습니다. 위 화면도 데이터 분석 툴 믹스패널에서 제공하는 샘플 데이터 화면인데요, 이런 식으로 시간이 지나면서 사용자들이 얼마나 이탈하고 얼마나 남아있는지를 모니터링할 수 있었습니다.

이 샘플 데이터는, 사용자들이 이용을 시작한 뒤에 1주 뒤에는 52.04 퍼센트가 남고

2주 뒤에는 47.99%가 남고

4주 뒤에는 34.49퍼센트가 남는, 그런 리텐션 커브 차트입니다.

3. 데이 N 리텐션(Day N Retention) 다음으로 소개해 드릴 개념은 Day N Retention입니다.

모바일 게임을 예로 들어서 설명해보겠습니다. 1월 1일에 어떤 모바일 게임을 플레이하기 시작한 사람이 100명 있는데, 그 100명 중 7일 뒤인 1월 8일에도 게임을 플레이한 사람이 30명이라고 하면, 1월 1일 가입자의 Day 7 리텐션은 30퍼센트입니다. (이 글에서는 0부터 숫자를 셉니다. 그래서 첫 날인 1월 1일은 Day 1이 아니라 Day 0입니다.)

이런 리텐션을 Day N 리텐션, 또는 N Day 리텐션이라고 하는데요, 해당 코호트 유저들 중에서 딱 N일째 되는 날에 서비스를 이용한 사람의 비율을 보는 겁니다.

그림을 통해 예를 들어서 설명해 보겠습니다.

1월 1일에 플레이를 시작한 사용자 코호트 100명의 리텐션을 이런 식으로 볼 수 있습니다.

1월 2일에는 해당 코호트 100명 중 80명이 게임을 플레이하고 1월 3일에는 해당 코호트 100명 중 65명이 게임을 플레이하고 1월 4일에는 55명, 5일에는 45명, 6일에는 35명, 7일에는 30명, 8일에는 35명이 플레이했습니다.

그러면 이 코호트의 Day 1 리텐션은 80/100 = 80퍼센트, Day 2 리텐션은 65/100 = 65퍼센트, Day 3 리텐션은 55/100 = 55퍼센트… 이런 식으로 계산합니다.

Day N 리텐션은 보통 모바일 게임에서 많이 쓰이는 지표라고 합니다. 모바일 게임은 특히 초반에 사용자들을 붙잡아 두는 게 중요하기 때문에, 일 단위로 얼마나 유저들이 이탈하고 남는지 리텐션을 측정하고 개선하는 것이죠.

헷갈리지 마셔야 할 것이, 이 경우 ‘게임 출시 후 초반 며칠’ 동안 사용자들을 붙잡아두는 것이 아니라, ‘사용자가 플레이를 시작한 뒤 초반 며칠 동안’ 붙잡아 두는 것입니다. 두 가지 개념을 헷갈리지 마시길 바랍니다.

4. 브래킷 리텐션(Bracket Retention) 다음으로 소개해 드릴 개념은 Bracket Retention(브래킷 리텐션, 혹은 바운디드 리텐션Bounded Retention)입니다.

브래킷 리텐션에서 브래킷(Bracket)은 ‘괄호’라는 뜻인데요. Day N 리텐션이 딱 며칠째 어느 ‘날짜’에 유지된 사용자 비율을 뜻한다면, 브래킷 리텐션은 특정 코호트 유저들 중 어떤 기간 중에 이용한 유저 비율을 뜻합니다.

브래킷 리텐션을 볼 때는 보통 주 단위, 월 단위로 기간을 설정하는데요. 아래 차트(앞에서도 보여드린)에서는 주 단위로 브래킷을 설정한 겁니다.

예를 들어 맨 윗줄을 보면 2019년 12월 30일 주간, 즉 12월 30일부터 2020년 1월 5일 사이에 첫 사용을 시작한 유저 코호트가 22,881명이죠. 편의상 넷플릭스 같은 미디어 스트리밍 서비스라고 해 볼게요. ‘회원가입’ 이벤트가 일어났을 때를 첫 사용이라고 정의하고, ‘리텐션이 되었는지’의 기준은 동영상을 플레이하는 이벤트가 일어났는지를 기준으로 측정한다고 생각해 볼게요.

그럼 이 유저 코호트 중 86.64퍼센트는 가입하고 첫 7일 이내에 한 번 이상 동영상을 플레이했고, 68.99퍼센트는 가입하고 두 번째 주, 즉 8일째부터 14일 이내에 한 번 이상 동영상을 플레이했다는 뜻입니다.

만약 앞에서 얘기한 Day N 리텐션, 예를 들어 Day 7 리텐션을 측정한다고 하면, 가입하고 딱 7일째에 동영상을 플레이한 사람 수만 카운트해서 리텐션율을 계산했겠지만, 이 경우에는 가입한 당일, 둘째 날, 셋째 날, 넷째 날, 다섯째 날, 여섯째 날, 일곱째 날까지 총 1주일 사이에 동영상을 플레이한 사람 수를 모두 카운트해서 리텐션율을 계산하는 겁니다.

브래킷 리텐션은 뒤에서 설명할 언바운디드(Unbounded) 리텐션과 대비되는 개념에서 바운디드 리텐션(Bounded Retention) 이라고 부르기도 합니다.

5. 언바운디드 리텐션(Unbounded Retention) 다음으로 소개해 드릴 개념은 언바운디드 리텐션, 혹은 온 앤 애프터 리텐션(On and After Retention)입니다. 언바운디드 리텐션은 활용도가 낮은 개념이긴 하지만, 하지만 믹스패널이나 앰플리튜드와 같은 프로덕트 데이터 분석 툴을 보면 꼭 언바운디드 리텐션이 있어서 언급만 간단히 하겠습니다.

언바운디드 리텐션 개념을 이해하려면 앞에서 소개한 데이 N 리텐션, 그리고 브래킷 리텐션과 비교해서 보는 게 도움이 됩니다.

데이 N 리텐션과 언바운디드 리텐션은 이런 차이가 있습니다.

Day 7 Retention: 신규 이용을 시작하고 나서 7일 뒤의 하루 동안 유지된 사용자 비율. 예를 들어, 1월 1일에 이용 시작한 유저들 중, 7일 뒤인 1월 8일 하루 동안 이용한 유저 비율입니다.

Unbounded Retention, On and After Day 7: 신규 이용을 시작하고 나서 7일 뒤, 혹은 그 이후에 유지된 사용자 비율. 예를 들어, 1월 1일에 이용 시작한 유저들 중, 1월 8일, 9일, 10일, 11일, 혹은 그 이후에 이용한 유저 비율이 언바운디드 리텐션입니다.

브래킷 리텐션과 언바운디드 리텐션은 이런 차이가 있습니다.

Week 1 Bracket Retention (혹은 Bounded Retention): 신규 이용을 시작하고 나서 그다음 1주일 동안 유지된 사용자 비율. 예를 들어 1월 1일에 이용 시작한 유저들 중, 그다음 주인 1월 8일부터 1월 14일까지 7일 동안 이용한 유저 비율이 브래킷 리텐션입니다.

Unbounded Retention, On and After Week 1: 신규 이용을 시작하고 나서 다음 1주일 동안, 혹은 그 이후에 유지된 사용자 비율. 예를 들어 1월 1일에 이용 시작한 유저들 중, 그다음 주인 1월 8일부터 1월 14일, 혹은 15일, 16일, 17일, 그리고 그 이후 이용한 유저 비율이 언바운디드 리텐션입니다.

이 경우에는 기간이 7일 뒤부터 쭉 제한이 없거나, 2주 뒤부터 쭉 제한이 없다고 해서 영어로 언바운디드(unbounded) 리텐션이라고 얘기합니다. 위에서 살펴본 브래킷 리텐션 혹은 바운디드 리텐션에서처럼 특정 기간을 정해서 리텐션을 볼 필요가 없는 경우에 언바운디드 리텐션을 봅니다. 그런데 저는 실무에서 실제로 활용해 본 적이 없습니다. 여러분도 실무에서는 아마 데이 N 리텐션 아니면 브래킷 리텐션을 이용하시게 될 겁니다.

이렇게 리텐션을 측정하는 지표 다섯 가지를 소개해 드렸습니다. 지표 개념은 소개해 드렸지만 이 지표들을 실제로 측정하고 계산하는 방법까지는 설명드리지 못했는데요. 더 관심 있으신 분들은 앰플리튜드나 믹스패널 같은 프로덕트 애널리틱스(Product Analytics) 툴 사용법을 학습해서 측정해 보시면 될 것 같습니다.