그 데이터는 잘못 해석되었습니다

무엇이든 데이터가 있으면 쉽게 결정을 내릴 수 있을 것 같습니다. 하지만 현업에서는 데이터가 있어도 결정을 내리기 어려운 상황들이 있습니다. 특히 데이터를 통한 의사결정을 내릴 때, 가장 경계해야 할 점은 데이터가 있음에도 이를 잘못 해석해 잘못된 결론으로 가는 상황입니다. 이번 글에선 데이터를 잘못 해석하게 되는 상황별 유형과 제대로 해석할 수 있는 방법에 대해 살펴보겠습니다. 

데이터를 잘못 해석하는 상황별 유형

1) 생존자 편향의 오류

모든 서비스에서 고객 이탈은 막고 싶은 경험일 것입니다. 특히 오랫동안 서비스를 이용한 고객의 이탈이 많아진다면, 현재 서비스가 잘못된 방향으로 가고 있다는 강한 신호일 수 있습니다. 이것을 지표화한다면 ‘매주 이탈 고객 중 서비스를 장기간 이용한 고객의 비율’로 설정할 수 있습니다. 이 지표가 상승했다면 최근 고객들의 불만도가 높아졌다고 해석하게 됩니다. 하지만 직관과는 반대로 이 지표가 상승할 때, 서비스가 올바른 방향으로 성장한다고 해석할 수도 있습니다. 

예를 들어 전체 이탈자가 100명일 때, A 서비스는 80명이 단기간 이용 유저이고, 20명이 장기간 이용 유저입니다. B 서비스는 20명이 단기간 이용 유저이고, 80명이 장기간 이용 유저입니다. 만약 A 서비스는 대부분의 사용자가 짧게 이용한 후 이탈하고, B 서비스는 대부분의 사용자가 긴 시간을 이용 후 이탈한다면 어떨까요? 결국 B 서비스가 더 좋은 서비스임을 의미하게 됩니다. 어떻게 지표에 대한 아이디어와는 다른 방향으로 해석되었을까요? 흔히 이러한 현상을 생존자 편향의 오류라고 합니다.

2차 세계대전 당시 미 해군은 전투기의 총탄 자국이 많은 곳을 보강해, 더 튼튼한 전투기를 만드는 연구를 진행했습니다. 이때 통계학자 아브라함 왈드(Abrahan Wald)는 총탄 자국이 많은 곳이 아니라, 총탄 자국이 적은 곳을 강화해야 한다고 주장합니다. 무사 귀환한 전투기는 그 부위에 총탄을 맞고도 무사 귀환했을 만큼 크게 영향이 없었다는 것입니다. 이는 전체 전투기가 아닌 무사 귀환한 전투기를 대상으로 총탄 자국을 확인하다 보니 발생한 인지적 오류였습니다. 

고객의 이탈 상황도 이와 동일합니다. 전체 이용자를 기준으로 한 것이 아닌 이탈자를 대상으로 했기 때문에, 잘못된 지표 설정과 잘못된 해석이 발생했습니다. 생존자 편향의 오류를 막기 위해서는 전체 대상을 기준으로 잡는 것이 중요합니다. 무사귀환한 전투기 대신 전체 전투기를, 이탈한 유저 대신 전체 활성화된 유저를 기준으로 해석을 시도하면, 올바른 지표에 따른 해석이 가능해집니다.

2) 심슨의 역설

다음은 심슨의 역설에 대한 상황입니다. 두 서비스의 전체 만족도 점수를 조사했을 때 A 서비스는 3.6점, B 서비스는 3.8점이라면 어떤 서비스가 더 좋은 서비스일까요? 아마 높은 확률로 전체 만족도가 더 높은 B 서비스가 더 좋은 서비스라고 생각할 것입니다.

그렇다면 성별 만족도 점수라는 추가 정보가 주어져, A 서비스는 남성 만족도가 3.5점, 여성 만족도가 4.5점이고, B 서비스는 남성 만족도가 3.0점, 여성 만족도가 4.0점이라면 어떤 서비스가 더 좋은 서비스일까요? 성별 점수에선 A 서비스가 더 높으니 A 서비스가 더 좋은 서비스일 것입니다. 

그렇다면 성별 만족도에서 A 서비스가 더 좋은데, 왜 종합 만족도는 B 서비스가 더 좋을까요? 이는 남성 사용자의 수와 여성 사용자의 수 비율에 차이가 있다면 가능한 결과입니다.

두 서비스 모두 남성 사용자의 만족도가 여성 사용자의 만족도보다 낮은 상황에서, 남성 사용자가 A 서비스를 선호하여 종합 만족도는 A 서비스가 더 낮은 것으로 나타났습니다. 이처럼 전체 지표와 그룹을 나눈 지표의 방향성이 다르게 나타나는 상황을 심슨의 역설(Simpson's paradox)이라고 합니다.

만족도뿐만 아니라 데이터 분석에 많이 사용하는 퍼널 전환율, 결제 전환율, 클릭률 등 여러 전환율 지표에서 심슨의 역설이 발생할 수 있습니다. 심슨의 역설을 방지하기 위해서는 전체 집단의 지표뿐만 아니라, 집단을 나누어 지표를 확인하는 과정이 필요합니다. 이때 사용자를 나눌 수 있는 기준은 다양하기 때문에, 지나치게 작게 나누는 것은 복잡도를 높여 해석하기 어려워집니다. 특성이 다를 수 있다고 생각하는 성별, 연령대, 기기 타입, 신규/기존 여부 등의 기준들을 미리 정하여, 그 기준으로 지표를 살펴보는 것이 효과적입니다.

3) 상관관계를 통한 성급한 일반화

데이터를 자주 확인하고 여러 지표를 비교할수록, 지표 간의 관계를 파악하여 해석하려는 유혹에 쉽게 빠지게 됩니다. 사람은 연관성을 찾고 연결하는 것에 강점이 있어, 비슷해 보이는 패턴이 있다면 쉽게 일반화하는 경향이 있기 때문입니다. 

예를 들어, 이벤트 페이지의 조회수 지표가 증가/감소하는 경향성과 매출 지표가 증가/감소하는 경향성이 비슷할 때, 매출이 최종적으로 도달하고자 하는 목표이기 때문에 이벤트 페이지 조회수가 매출에 영향을 준다는 결론으로 이어지기 쉽습니다. 이러한 결론으로 첫 페이지를 이벤트 페이지로 변경하는 것을 제안한다면 잘못된 데이터 해석이라 할 수 있습니다. 이것이 상관관계를 통한 성급한 일반화입니다. 

이처럼 상관성은 있으나 인과성이 없는 경우는 제3의 공통 원인이 존재할 가능성이 높습니다. 두 지표의 공통 원인은 매력적인 이벤트입니다. 매력적인 이벤트를 할 때, 이벤트 페이지 조회수가 늘어나고 매출이 함께 올라가는 것입니다. 

따라서 이벤트 페이지를 많이 보게 하면 매출이 늘어난다는 결론 대신, 매력적인 이벤트를 하면 매출이 늘어난다는 결론을 내려야 합니다. 만약 매력적인 이벤트의 지출이 커서 자주 하기 어렵다면 다른 방법을 찾아야 합니다.

실제로 인과관계를 과학적, 수학적으로 증명하는 것은 어려운 작업이고, 여전히 전문가들에 의해 연구되고 있는 영역입니다. 그러니 보통 사람들이 인과성에 대해 분석하기란 쉽지 않습니다. 다만 상관관계를 통한 성급한 일반화의 함정에 빠지지 않기 위해, 사용자의 행동과 심리를 인지적으로 구조화하고 두 지표에 동시에 영향을 줄 공통 원인이 있는지 살펴봐야 합니다. 또한 새로운 구조로 지표 간의 관계를 파악하는 과정이 꼭 필요합니다. 

4) 목적에 맞지 않는 지표 선택

유저의 행동을 유도하는 버튼을 CTA(Call To Action)라고 합니다. 만약 서비스의 CTA 버튼을 개선하는 프로젝트를 진행한다면, 지표를 통해 어떻게 개선되었는지 확인해야 할 것입니다. 일반적인 지표는 ‘CTA 버튼 조회 유저 수(중복 제거) 대비 CTA 버튼 클릭 유저 수(중복 제거)’입니다. 인지한 유저 중 실제로 전환된 유저의 수를 나타내기 때문에, 유저 기준 전환율은 CTA 버튼의 효과를 나타낼 때 사용할 수 있는 지표입니다. 

하지만 CTA 버튼 개선 프로젝트의 목표가 유저 수와 무관하게 더 많이 클릭되는 버튼을 만드는 것이라면 사용하는 지표도 바꿔야 합니다. ‘CTA 버튼 조회수 대비 CTA 버튼 클릭수’로 지표를 변경하면 비슷하지만 전혀 다른 지표가 됩니다. 두 이벤트를 각각 유저 기준 전환율과 이벤트 기준 전환율이라고 할 때, 유저 기준 전환율은 낮더라도 이벤트 기준 전환율이 더 높다면 목적과 부합하는 지표는 이벤트 기준 전환율이기 때문에 이벤트 기준 전환율에 따라 의사결정을 해야 합니다.

이처럼 추상적인 단계에서는 CTA 버튼을 개선한다는 같은 목적이 있더라도, 정확히 어떤 관점에서 CTA 버튼을 개선할지 목적을 명확히 해야 합니다. 목적에 맞는 지표를 선택해야 제대로 된 의사결정을 할 수 있기 때문입니다.

세이건 표준 참고하기

기본적으로 데이터는 발생하는 일을 자료로 남긴 것이기 때문에, 데이터 분석의 결과가 일반 상식에서 크게 벗어나는 경우는 많지 않습니다. 그러나 데이터는 가공하는 기준과 방법에 따라 바뀔 수도 있고, 데이터를 해석하는 사람의 생각이 반영될 수 있습니다. 이러한 이유로 데이터가 잘못 해석된다면 잘못된 방향으로 이어질 수 있습니다. 이렇듯 데이터를 잘못 해석하지 않기 위해선 칼 세이건의 세이건 표준(Sagan standard)을 참고하면 좋습니다.

“특별한 주장에는 특별한 근거가 필요하다. (Extraordinary Claims Require Extraordinary Evidence, ECREE)” - 칼 세이건의 ‘세이건 표준’

실무를 진행할 때, 오늘 소개한 다양한 상황들을 매번 고려하긴 어려울 수 있습니다. 이때 세이건 표준을 참고하여 데이터를 특별한 주장으로 연결시키기 전 충분한 근거를 확보했는지, 데이터를 잘못 해석했을 가능성은 없는지, 인지적으로 노력하는 과정이 무엇보다 중요할 것입니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.