Data-Driven하게 일하는 법

최근 ‘데이터 드리븐(Data-Driven)’을 추구하는 회사가 늘어나고 있습니다. 쿠팡처럼 데이터 드리븐으로 성공한 케이스가 나오고, 여러 매체에 관련 단어가 자주 노출되면서 기업 성공의 필수 요소처럼 느껴졌기 때문입니다. 그렇지만 ‘데이터가 중요하다’라는 것만 알뿐, 정작 ‘데이터 드리븐하다’라는 것이 무엇인지 명확하게 잘 모르는 경우가 많습니다. 이번 글에서는 데이터 드리븐이란 무엇이고 데이터를 중심으로 일하려면 어떻게 해야 하는지 알아보겠습니다.

데이터를 비즈니스 의사결정에 활용하는 3가지 방법론

시간이 지날수록 비즈니스에서 데이터의 중요성이 강조되고 있습니다. 하지만 데이터는 그 자체로 만능이 아니어서 잘 활용해야 가치를 창출할 수 있습니다. 그래서 많은 전문가가 데이터에서 가치를 끌어내기 위해 여러 방법론을 설명하고 있습니다. 그중 유명한 방법론 3가지가 바로 ‘데이터 인폼드(Data-Informed)’, ‘데이터 인스파이어드(Data-Inspired)’, 그리고 ‘데이터 드리븐(Data-Driven)’입니다.

데이터 인폼드(Data-Informed)

Data-Informed는 조직 혹은 팀이 주요 지표에 대해 파악하고 이해하고 있는 것을 의미합니다. 서비스의 리텐션을 아는 것, 재결제율을 아는 것, 평소 대비 지표가 좋았는지 나빴는지 아는 것 혹은 알도록 자동화하는 것 등이 Data-Informed에 해당합니다. 이를 통해 이런 수치를 통해 ‘어떤 액션으로 다음 달 신규 유입을 N명 늘리면 어느 정도 이익이 되는지’ 등을 계산하는 것 역시 Data-Informed에 해당합니다.

데이터 인스파이어드(Data-Inspired)

Data-Inspired는 데이터를 탐색적으로 분석하면서 새로운 패턴이나 의미를 발견해 유의미한 정보나 자료를 얻는 걸 의미합니다. 데이터를 통해 정보를 찾는 작업 역시 다른 방법으로 인사이트를 얻는 것과 마찬가지로 항상 새로운 결과물을 구할 수 없습니다. 따라서 나오면 좋고 안 나와도 어쩔 수 없는 것 정도로 생각할 필요가 있습니다. 대신 이런 작업으로 괜찮은 정보나 자료가 발견되는 경우, 서비스 성장에 큰 도움이 됩니다.

데이터 드리븐(Data-Driven)

Data-Driven은 선택과 액션을 데이터로 결정하는 방법을 의미합니다. 어떤 선택이 나은지에 관한 결정이 사전에 정해져 있기 때문에 데이터만 입력하면 주관적인 의도 없이 결정을 내릴 수 있도록 도와줍니다.

Data-Driven 의사결정

Data-Driven을 쉽게 설명하면 ‘데이터로 중요한 결정을 정하는 방법’이라고 할 수 있습니다. 따라서 ‘Data-Driven한 의사 결정’은 결정의 주체와 방법이 모두 데이터라는 것을 의미합니다. 더 나아가 ‘Data-Driven 문화’라는 건 이러한 결정 방법이 조직 곳곳에 녹아 있는 것을 뜻합니다.

사실 Data-Driven은 ‘기업의 문제를 어떻게 의사 결정할 것인가?’에 관한 내용이므로 총체적인 의사 결정 방법론이라고 할 수 있습니다. 그래서 다른 데이터 활용 방법론인 ‘Data-Informed’와 ‘Data-Inspired’ 등을 포함해 여러 방법론과 함께 사용할 수도 있습니다.

예를 들어, 똑같이 특정 지표를 보더라도 ‘지표를 통해 현황을 파악하고 이런 이유로 변화가 있었겠다’라는 해석을 한다면 Data-Informed이고, ‘지표를 목표로 설정하고 달성 여부나 등락 여부에 따라 의사결정에 영향을 주는 프로세스’라면 Data-Informed이면서 Data-Driven입니다.

더 나아가 데이터와 연관 없는 방법론들도 프로세스에 녹여낼 수 있습니다. 작은 단위로 만들고 증명하며 개선하는 것을 지향하는 개발에서의 애자일 방법론, 프로덕트에서의 MVP 개념과도 궁합이 좋습니다. 이와 같은 총체성과 포괄성이 ‘Data-Driven 문화’라는 말은 있지만, ‘Data-Informed 문화’라는 말이 없는 이유입니다.

Data-Driven한 의사결정의 장점

Data-Driven한 의사결정에는 많은 장점이 존재합니다. 그중에서 ‘HIPPO의 극복’과 ‘린(Lean)한 상황 대응’을 소개합니다.

HIPPO의 극복

HIPPO는 ‘the HIghest Paid Person's Opinion’의 약자로 가장 많은 연봉을 받는 사람의 의견을 의미합니다. 고연봉자의 의견이 마땅한 근거가 없음에도 채택되고 진행되는 상황을 비꼬는 단어입니다. 고연봉자는 일을 잘하는 사람이겠지만, 대부분의 다른 사람과 마찬가지로 편향되어있고 의견의 퀄리티가 일정하지 않을 수 있습니다. 그럼에도 이들의 의견은 반대하기 어렵습니다. 더욱이 고연봉자의 의견대로만 결정해서는 매번 좋은 의사결정을 할 수 없습니다.

Data-Driven한 의사결정에서는 고연봉자와 일반 직원의 아이디어 모두 데이터에 기반해 평가받고, 나타난 지표에 기반해 성과에서 더 좋은 결과를 낼 수 있는 아이디어가 채택됩니다. 또한 이런 결과 지향적인 문화에서는 공급자의 관점, 지식의 저주, 주장하는 사람의 배경과 권위, 미사여구가 자연스럽게 퇴색됩니다. 따라서 편향이 적은 회사를 만들어내고 좋은 의사결정의 빈도가 높아질 수 있습니다.

린(Lean)한 상황 대응

많은 회사에서 공통으로 겪는 문제 상황은 특정 프로젝트를 시작할 때의 목표가 점차 업무가 진행되면서 단순히 ‘프로젝트를 마치는 것’으로 변질이 되는 상황입니다. 이런 프로젝트는 진행하면서도 ‘왜 하는지’를 잊은 채 바쁘게 일만 하게 됩니다. 무엇보다 완료한 후에도 무엇을 달성했는지 명확히 알기 힘들게 됩니다.

Data-Driven 프로세스에서는 업무를 하는 이유가 지표 개선이기 때문에 평가 역시 기획한 지표에 기반해 이뤄집니다. 만약 프로젝트의 결과 지표가 더 안 좋으면 원래대로 돌아가거나 문제 되는 것을 찾아 개선하기 위해 노력합니다. 반응이 좋으면 그것에 기반해 더 좋게 만들려 하고, 반응이 좋지 않더라도 빠르게 현황을 파악하고 맞추어 액션을 할 수 있다는 점에서 린(Lean)한 대응이 가능하고 리스크가 낮은 의사결정 방법론이라 할 수 있습니다.

Data-Driven한 의사결정 프로세스

Data-Driven한 의사결정은 크게 ‘목표 설정과 지표 설정 - 기획 및 개발 - 액션 - 지표 결과 평가(피드백)’ 프로세스를 거치며 진행됩니다. 이는 당연하게 보일 만큼 교과서적이지만, 많은 조직에서 지키지 못하는 프로세스입니다. 또한 OKR 프레임워크나 아마존의 WBR(Weekly Business Review) 회의 등 성공적인 프레임워크에 철학적으로 내재된 절차입니다.

목표 설정 단계는 정량적 정성적으로 달성 혹은 개선하고자 하는 것을 정하는 단계입니다. 이에 기반해 기획 및 개발이 진행되고 필요시 목표로 하는 지표를 변경하거나 대체 지표(Proxy Metric)를 선정할 수 있습니다. 그 뒤 액션을 하고 지표 결과를 평가합니다.

Data-Driven 의사결정에서 지표를 평가하는 방법은 크게 액션 전후로 지표를 비교하는 방법과 실험을 통해 동시에 여러 액션을 진행하고 실험 그룹에 따른 지표 차이를 비교하는 방법이 존재합니다. 실험을 통한 방법이 더 엄밀하고 정확하게 효과를 측정할 수 있으며, 트래픽이 충분하다면 A/B 테스트가 아닌 A/B/n 테스트 혹은 동시에 여러 실험을 진행하는 것도 가능합니다. 그래서 짧은 시간에 더 많은 Data-Driven한 의사결정을 내릴 수 있습니다. 이러한 이유로 Data-Driven을 주장하는 여러 회사에서는 실험의 중요성을 강조하고 실험 플랫폼에 투자하고 많은 실험을 통해 서비스를 성장시킵니다.

Data-Driven의 핵심은 데이터가 아니다

Data-Driven을 주장할 때 가장 많이 오해하는 것이 ‘데이터를 많이 보고, 인사이트를 많이 얻어내야 한다’고 믿는 것입니다. 이는 Data-Driven하게 일할 때 나타날 수 있는 일부 현상일 수는 있으나 엄격한 구분에서는 Data-Inspired의 영역입니다. Data-Inspired 업무는 좋은 결과로 이어지기도 하나 분석에 오랜 시간과 과정이 걸리고, 무엇보다 괜찮은 인사이트가 보장되지 않습니다. 따라서 데이터의 분석을 통해 좋은 자료가 발견되면 이를 이용할지라도 평상시 업무에서 데이터를 통해 얻은 인사이트에만 기대서는 안 됩니다.

특히 Data-Driven에서 데이터가 가장 중요한 것은 아닙니다. 신뢰할 수 있는 데이터로 확보하는 것 역시 중요하지만, 핵심은 데이터가 아닌 목표 지표 설정 - 액션 - 피드백 루프입니다. Data-Driven 문화는 ‘정의한 지표가 좋아질수록 서비스가 좋아진다’라고 가정하고 지표를 성장시키기 위해 노력하는 문화입니다. 이때 목표 지표 설정 - 액션 - 피드백 루프가 더 빨리 더 많이 돌수록 더 많은 가설과 액션 아이템이 검증되고 축적됩니다. 많이 축적한 만큼 서비스가 성장하기 때문에 많은 시도를 하는 것이 중요합니다. 또한 많은 시도만큼 중요한 것은 서비스의 성장을 위해 필요한 큰 단위의 가설 검증입니다.

많은 테스트에만 집중하게 되면 색깔 테스트, CTA 문구 테스트 등의 작은 업무에 매몰될 수 있습니다. 그렇지만 이러한 테스트를 통한 성장의 폭은 높지 않습니다. 서비스가 성장하기 위해서는 ‘~ 한다면 ~ 할 것이다’ 형태의 큰 가설을 세우고, 이 가설을 검증하기 위한 액션 아이템을 선택해 제대로 피드백 하는 것이 중요합니다. 가령 결과가 좋으면 동일한 가설에 대응하는 추가적인 액션 아이템을 준비해 반영하고, 결과가 좋지 않으면 빠르게 가설을 폐기하는 거죠. 이처럼 많은 축적과 큰 단위의 가설 검정이 필요한 점에서 Data-Driven한 문화는 진취적이고 공격적인 문화라고 할 수 있습니다.

Data-Driven하게 일해야 하는 이유

Data-Driven하게 일하는 것의 장점은 리스크는 낮으면서 고점은 여러 창의적인 방법론처럼 높은 것에 있습니다. 특히 지표가 좋지 않으면 빠르게 돌이킬 수 있어 위험한 상태로 서비스가 장기간 유지되지 않을 수 있는 것이 매력적입니다.

창의적인 여러 방법, 소위 혁신적인 아이디어는 잘 되었을 때 대단히 높은 고점을 달성할 수 있는 장점이 있지만, 리스크가 커 대부분 실패합니다. Data-Driven하게 일하는 프로세스에서는 그저 이 창의적인 아이디어를 똑같이 시도하면 됩니다. 그리고 지표를 확인하고 지표가 좋으면 똑같이 높은 고점을 누리고 낮으면 빠르게 다른 액션을 하면 됩니다.

다만 수많은 시도를 하기 때문에 항상 바쁜 상태가 되는 점과 수많은 실패를 경험했을 때 회복탄력성이 낮은 구성원들은 상처를 받을 수 있는 것은 단점입니다. 하지만 Data-Driven하게 일하지 않는 회사도 늘 바쁘고 많은 실패를 한다는 점을 생각하면 이론상 가장 훌륭한 의사결정 방식으로 볼 수 있지 않을까요? 

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.