데이터 리터러시(Data Literacy)를 올리는 방법

국내 유명 IT 기업은 한국을 넘어 세계를 무대로 할 정도로 뛰어난 기술과 아이디어를 자랑합니다. 이들은 기업 블로그를 통해 이러한 정보를 공개하고 있습니다. 요즘IT는 각 기업의 특색 있고 유익한 콘텐츠를 소개하는 시리즈를 준비했습니다. 이들은 어떻게 사고하고, 어떤 방식으로 일하는 걸까요?

이번 글은 국내 화장품 시장의 정보 비대칭 문제를 해결하고 소비자 중심의 뷰티 시장을 만들어 가고 있는 ‘화해’ 데이터팀의 이야기입니다. 데이터를 활용해 문제를 해결할 수 있는 '데이터 리터러시'를 활용하는 방법에 관해 소개하고 있습니다.

이제 데이터의 중요성을 모르는 회사는 어디에도 없습니다.

화해팀은 일찍이 데이터의 중요성을 강조해왔는데요. 조직 전반적으로 데이터 활용력을 높이고, 데이터 의사결정 문화를 활성화하기 위해 많은 시도를 해왔습니다. 데이터를 거의 실시간에 가깝게 제공도 해보고, 보고 싶은 지표를 모두 넣은 수십 개의 대시보드도 제공해보고, 구성원을 대상으로 교육도 해봤습니다.

데이터 활용력을 높이기 위한 여러 시도 중 가장 좋았던 방법을 지난 DevDay에서 화해팀 구성원분들께 공유한 바 있는데요. 화해 블로그를 통해 다시 한번 정리한 내용을 공유해 드리겠습니다.

1. 데이터 리터러시란?

데이터 리터러시를 ‘데이터를 활용해 문제를 해결할 수 있는 능력’이라고 정의하겠습니다.

데이터 활용 역량은 어떤 데이터를 보고, 어떤 의사결정을 내리는지에서 잘 드러납니다. 과거에는 데이터를 빠르게 보여주기만 하면 잘 활용될 수 있을 것이라고 생각했고, 협업팀의 요구 사항에 맞게 데이터를 아주 빠르게 제공해왔습니다. 하지만, 이 과정에서 느꼈던 가장 큰 문제점은 해결하려는 문제나 실제 실행과는 전혀 관계없는 데이터를 요청한다는 점이었습니다. 특히 새로운 기능과 관련된 이벤트 성과를 측정하기 위해 아래와 같이 너무 많은 데이터를 보고자 하는 경우가 비일비재하게 발생해왔습니다.

신규 기능 관련 이벤트 성과 측정을 위한 데이터 요청

• 전면팝업 데이터
  • 노출수, 클릭수, 노출(유니크), 클릭(유니크)

• 이벤트 참여 데이터
  • 전체조회수, 유니크조회수
  • 전체참여수, 옵션별 선택 수
  • 일자별 이벤트 참여수
  • 신규유저/기존유저 각 참여자수
  • 이벤트 기간 내 신규 설치수
  • 이벤트 기간 내 신규 가입수

• 신규 기능 관련 데이터
  • 이벤트 진행 전/후 신규 기능 경험 수치 변화
  • 이벤트 진행 전 1달
  • 이벤트 진행 기간
  • 이벤트 뷰어 & 참여자의 신규 기능 경험 수치

요청한 데이터는 실행과 관련 없는, 관련이 있다고 하더라도 효과가 매우 미미한 데이터가 다수입니다. 데이터 요청의 목적과 배경을 인터뷰하다 보면 아래와 같이 정리할 수 있습니다.

해결하려는 문제

• 신규 기능에 대한 인지가 부족한 문제

솔루션

• 신규 기능에 대한 브랜딩 활동을 통해 신규 기능 인지 강화

측정 지표

• 이벤트 조회자수
• 이벤트 참여자수

** 단 건의 앱 내 이벤트를 통해서는 기능의 사용성을 단기간에 올리기 어려우므로, 장기적으로만 모니터링한다.

너무 많고, 때로는 의미 없는 데이터를 보려는 상황에서 분석가는 요청자와의 인터뷰를 통해 문제 정의 - 솔루션 - 측정 지표를 간결하게 만들어 왔습니다. 데이터를 잘 활용한다는 것은 데이터를 활용해 문제를 잘 정의하고 해결할 수 있다는 말이고, 데이터를 잘 활용하도록 만들려면 1) 데이터/실험 기반 사고방식이 자리 잡혀야 하고 2) 분석 흐름대로 데이터를 탐색할 수 있는 환경이 필요하고 3) 이 과정을 도와주는 분석가들이 필요합니다.

2. 데이터/실험 기반 사고방식

실험 프로세스/실험 보드

데이터/실험 기반의 사고방식이 만들어지려면, 모든 업무가 데이터와 실험 기반으로 이루어지도록 만드는 게 필요했습니다. 그리고 실제 진행하는 업무들부터 데이터 기반 사고방식으로 실행하도록 유도하는 것이 베스트였습니다. 이런 방식이 자연스러워지도록 먼저 실험 프로세스를 도입했습니다. 모든 조직의 실험 횟수를 높여 성과를 달성할 가능성을 높이겠다는 취지도 있었지만, 데이터 중심으로 문제를 더 잘 해결하도록 만들고자 한 의도도 있었습니다.

실험 프로세스라고 해서 대단한 무언가가 있던 것은 아니었습니다. 업무를 진행할 때 문제 해결을 위해 실험을 하는 방식으로 진행되도록 하는 게 골자였고, 실험 진행 전에 아래와 같은 내용을 작성하도록 안내하였습니다.

• 해결하려는 문제
• 관련 OKR
• 측정 지표
• 가설 검증 기준
• 검증 후 변화될 액션
• 결과
• 학습한 점

그리고 각 내용을 작성하면서 다음과 같이 생각하기를 기대했습니다.

• 해결하려는 문제 → 문제 정의
• 관련 OKR → 전사 목표와 align 되어있는지
• 측정 지표 → 문제와 지표가 align 되어있는지, 측정 가능한 것인지
• 가설 검증 기준 → 성공 여부를 어떻게 판단할 것인지-
• 검증 후 변화될 액션 → 의미 없는 액션을 하는 게 아닌지
• 결과 → 검증 기준으로 결과가 나왔는지
• 학습한 점 → 어떤 학습을 했고, 다음 실험에는 어떻게 반영될 것인지

이 내용들은 모두 노션 실험보드에 등록해 구성원 누구라도 실험 내용과 과정, 결과를 확인할 수 있도록 가시화했습니다.

처음에는 2~3개 조직의 리더들과 먼저 싱크 맞추며 진행했고, 점차 모든 조직의 모든 구성원까지 대상을 확대했습니다. 각 조직에서 진행하는 대부분의 업무를 점진적으로 실험과 데이터 기반 문제 해결 중심으로 치환하고자 노력했고, 1년에 가까운 시간 동안 온보딩과 학습을 통해 실험 프로세스가 성공적으로 도입되었습니다. 약 1년 6개월 동안 230개 실험이 완료되었고, 이로써 많은 구성원이 문제 정의 - 솔루션 - 측정 지표를 만들어내는데 매우 익숙해졌습니다.

3. 분석 흐름대로 데이터를 탐색할 수 있는 환경

데이터맵

구성원들이 해결해야 하는 문제와 솔루션, 지표 간의 관계를 생각하는 데 익숙해지고는 있었지만, 문제를 잘 정의하려면 여전히 분석가와 함께 논의를 해야 하는 문제가 있었습니다. 이 문제를 해결하기 위해 분석가 없이도 가장 중요한 지표에 집중할 수 있도록 전사에서 다루는 중요한 인풋 지표와 아웃풋 지표 간의 관계를 표현한 관계도를 제작·공유했습니다.

단순히 모든 지표를 도식화하면 너무 많은 지표가 담길 수 있기 때문에 보다 중요한 지표에 집중하기 위해 인풋 지표 설정에 중요한 원칙 두 가지를 설정했습니다. 1) 측정 가능하고, 2) 직접적으로 control이 가능해야 한다. 이 두 가지 원칙에 따라 인풋 지표들을 구성해 구성원들이 더 중요한 지표에 집중해서 문제를 해결하도록 만들었습니다. 관계도 또한 각 지표 간의 관계를 쉽게 이해할 수 있게 만들어 본인이 해결해야 하는 문제가 어떤 지표와 연관되어있는지 빠르게 파악할 수 있도록 했습니다.

대시보드

지표 관계를 잘 이해하게 되었다면, 다음은 그 흐름에 따라 지표의 현재 수준을 확인할 수 있는 환경이 필요했습니다. 확인은 대시보드를 통해서 하는데, 분석 흐름을 따라가면서 지표들을 탐색할 수 있도록 설계했습니다. KPI 대시보드에서 최상위 문제를 발견하면, 각 지표와 관련된 하위 지표들이 구성된 분석 대시보드에서 원인을 짐작할 수 있습니다. 이 대시보드 관계만 보면 분석가가 아닌 구성원들도 중요한 지표 변동과 원인을 파악하는 분석 정도는 스스로, 그리고 빠르게 할 수 있게 됩니다.

참고: 데이터 자율주행을 위한 두 가지 도구, 대시보드와 데이터맵

4. 이 과정을 도와주는 분석가

데이터 분석가(Data Scientist)

우리는 분석가의 역할이 ‘단순히 데이터를 추출하고, 분석 내용을 리포팅하는 것에만 그쳐서는 안 된다’라고 생각합니다. 문제를 정의하고 원인을 분석한 뒤에는 액션 아이템까지 도출해 리포트를 제공받은 협업팀이 실행에 옮기도록 만들어야 합니다. 이를 위해서는 역량 있는 분석가들을 채용하고, 분석가들이 협업팀의 성공을 위해 움직이도록 요구해야 합니다.

채용 단계에서는 입사 지원자분들이 화해팀 내 분석가의 역할을 명확히 인지하실 수 있도록 구체적인 JD를 공지했습니다.

• Job Description
  • 제품/비즈니스 성장을 위한 지표 설계 및 대시보드를 개발합니다.
  • 제품/비즈니스 문제 해결을 위한 실험을 설계합니다.
  • 핵심 지표 모니터링 및 지표 변동의 root cause를 분석합니다.
  • 데이터 분석 결과를 바탕으로 실질적인 액션 아이템을 제안합니다.
  • 데이터 기반 사고와 실험 활성화를 위한 전사적인 코칭 및 컨설팅 역할을 수행합니다.

그리고 분기마다 우리가 기대하는 모습을 가장 중요한 OKR로 설정해 모든 분석가의 업무 방향성을 일치했습니다.

• KR: 분석가의 산출물로 협업팀/밴드 과제지표 및 전사지표의 성장 또는 중요 의사결정 견인(1인당 월 2회 달성)

데이터팀, 그리고 화해의 다양한 조직에서 열심히 노력한 덕분에 좋은 분들이 많이 합류하셨고, 협업팀/전사 목표를 달성하려는 분석가의 활동들이 조직적으로도 크게 지지받았습니다. 지난 분기 KR(Key Result) 달성률은 80%를 기록했고, 지금 이 순간에도 좋은 결과물이 만들어지고 있습니다.

데이터 플랫폼

마지막으로, 분석가뿐만 아니라 많은 구성원이 빠르게 분석할 수 있으려면 데이터를 빠르게 준비해 사용할 수 있는 구조가 필요합니다. 그중 가장 핵심은 아래 세 가지입니다.

• 모든 원천데이터가 적재되어있는 데이터 레이크
• 신속하게 정확한 데이터를 추출할 수 있도록 구조화된 데이터 웨어하우스
• 데이터 레이크/웨어하우스 내에 어떤 데이터가 있는지 쉽게 확인할 수 있도록 만들어주는 데이터 카탈로그

데이터 웨어하우스와 카탈로그는 분석가들이 실질적인 분석 업무를 빠르게 수행할 수 있도록 도와줍니다. 분석가가 아니더라도 SQL을 알고 있는 구성원이라면 본인이 필요한 데이터를 SELECT, FROM, WHERE, GROUP BY 정도만 작성해 쉽게 얻을 수 있습니다.

데이터 웨어하우스를 통해 분석가의 업무 효율은 비약적으로 상승했고, 본질적인 분석 업무에 더 많은 시간을 할애할 수 있게 되었습니다. 분석파트에서 조직이 성장한 점을 리뷰할 때마다 데이터 웨어하우스 구축은 가장 손꼽히는 변화이자, 업무에 가장 큰 도움을 준 요소라고 말할 정도니까요. 이런 과정을 통해 KR의 달성 속도는 가속화했습니다.

참고: 화해의 Data Warehouse를 소개합니다

5. 맺음말

앞서 말씀드린 것처럼 저는 데이터 리터러시를 데이터를 활용해 문제를 해결할 수 있는 능력이라고 정의하고 있습니다. 하지만 단순히 구성원들에게 데이터를 보여주는 것만으로 문제 해결력이 좋아지지는 않았습니다. 구성원들이 데이터를 바라보는 올바른 관점을 만드는 게 가장 중요했고, 이 관점을 유지·강화하기 위한 환경이 필요했습니다.

이때 경영진들의 강한 지지가 환경을 조성하는 데 중요한 역할을 했습니다. 그뿐만 아니라 화해팀 모두의 노력과 적극적인 참여를 통해 화해팀은 데이터를 활용해 문제를 해결하는데 매우 익숙한 조직으로 변화해왔습니다. 조직 전체의 데이터 리터러시를 높이고 이를 통해 성과들이 만들어지도록, 저희 데이터팀은 더 좋은 환경과 구조들을 만들어 나갈 예정입니다.

<원문>

데이터 리터러시(Data Literacy)를 올리는 방법