데이터 분석가가 되어보니 중요한 것들

개발자, 디자이너, 기획자, HR, 오퍼레이션 등 대부분의 직무에서 우리가 일하기 전 예상했던 업무와 실제 업무에는 차이점이 존재합니다. 비즈니스는 빠르게 변화하기 때문에, 학생 때 배운 교과서적인 내용은 실무에 활용되지 않는 경우가 더 많습니다. 실제로 데이터 분석가(Data Analyst)가 되어 일하다 보니, 중요하게 생각하는 것들도 많이 바뀌었습니다. 이번 글에서는 개인적인 경험에 기반해, 데이터 분석가가 되어보니 중요한 것들에 대해 소개하겠습니다.

데이터 분석가에 대한 정의

데이터 분석가는 무엇을 하는 사람일까요? 한창 공부하던 학생 때는 데이터 분석가를 모델링 하는 사람으로 생각했고, 이를 잘하기 위해 통계 수업, 머신러닝과 딥러닝에 대해 배웠습니다. 또한 모델링 결과에 대해 잘 표현하고 이해하기 위해 해석 가능한 머신러닝(Interpretable Machine Learning) 기법들을 함께 공부했습니다. 그때 중요했던 것은 모델의 점수와 데이터를 탐색적 분석(Exploratory Data Analysis, EDA)하여, 눈에 띄는 인사이트를 제공하는 것이었습니다. 그에 비해 린 분석이나 비즈니스 모델, 데이터 시각화, 마케팅 등 모델링 기술로 느껴지지 않는 영역은 큰 관심을 두지 않았습니다.

그러나 실제 현업에서 데이터 분석가로 일하다 보니, 데이터 분석가가 어떤 일을 하는 사람인가에 대한 생각도 변했습니다. 여전히 생각한 것을 구현하고 자동화할 때는 모델링이 필요하지만, 더 이상 모델링 자체에 긴 시간을 할애하진 않습니다. 그래서 현재는 데이터 분석가를 모델링 하는 사람 대신 ‘좋은 의사결정을 하도록 돕는 사람’으로 새롭게 정의하게 되었습니다.

이를 더 길게 표현하면 ‘데이터에 기반해 성공 확률이 높은 의사결정을 지속적으로 하도록 돕는 사람’인데요. 이처럼 데이터 분석가에게 중요한 점은 크게 세 가지로 1) 데이터 기반 2) 성공 확률이 높은 의사결정 3) 지속성이 있는데, 지금부터 하나씩 살펴보겠습니다.

1. 데이터 기반

데이터 분석가의 주요 업무는 데이터에 기반해 의견을 내는 것입니다. 그러나 데이터가 중요하다고 강조해도 여전히 데이터가 잘 활용되지 않거나, 잘 쌓이지 않는 조직도 많습니다. 따라서 데이터 분석 작업 이전에 데이터가 흐르는 조직을 만들어야 합니다.

데이터가 흐르는 조직

아래 그림은 데이터 분석가가 조직에 기여할 수 있는 방법을 피라미드 형태로 표현했습니다. 피라미드인 이유는 아래 단계가 조직 내에서 충족되지 않으면, 위 단계의 내용으로 기여할 수 없기 때문입니다. 또한 아래층일수록 달성했을 때, 비즈니스 임팩트가 더 크다는 것을 내포하고 있습니다.

여기서 데이터가 흐르는 조직은 1단계에 속합니다. 실무자가 필요한 데이터가 있을 때 쉽게 데이터를 확인할 수 있고, 주요 지표가 어떻게 진행되는지 알고 있다면 데이터가 잘 흐른다고 볼 수 있습니다. 만약 담당 업무에 대한 데이터를 알기 어렵거나, 또는 알 수는 있으나 잘 확인하지 않고 있다면 2단계, 3단계의 업무는 무의미할 수 있는데요. 결국 데이터가 잘 흐르는 조직을 만들기 위해 데이터를 쉽게 확인할 수 있고, 주요 지표를 잘 인지하게 만드는 노력이 필요합니다. 

조직 내에서 데이터를 쉽게 확인하기 위해선 BI(Business Intelligence) 툴 도입, 대시보드 개발, SQL 교육, 사용하기 쉬운 데이터 마트 개발, PA(Product Analytics) 툴 활용, 알림봇 개발 등 다양한 방법이 있습니다. 

BI 툴 도입

먼저 BI 툴을 도입하면, 이를 활용해 여러 대시보드가 만들어지는데요. 대시보드는 쉽게 말해 계기판이라고 볼 수 있습니다. 자동차는 계기판을 통해 속도, 방향지시등, 연료 등 많은 정보를 표현하고, 중요도에 따라 크기와 강조한 정도가 다름을 알 수 있습니다. 비행기의 경우 복잡도가 높고 고려해야 할 것이 많아, 계기판에도 더 많은 정보를 담고 있습니다. 이때 영역을 잘 구획해 연관된 정보를 모아두는 것이 정보를 읽기 편한데, 데이터 대시보드도 이와 같은 원리입니다.

초기에는 봐야할 지표가 많지 않아, 여러 지표를 한 대시보드에 표현하는 것이 중요할 수 있습니다. 이후 지표가 많아지면, 지표를 잘 찾을 수 있도록 설계하는 과정도 필요합니다. 우선 카테고리별로 분류하고, 위계와 중요도를 시각적으로 표현하면 지표를 찾기 훨씬 수월해집니다. 또한 전체 지표를 보여주고 끝내는 것이 아니라, 사용자를 분석할 수 있는 필터를 제공해야 합니다. 성별이나 멤버십 가입 여부로 나누는 등 측정 기준에 따라 별도 지표를 볼 수 있게 만들면 좋습니다.

SQL 교육과 데이터 마트

한편 다수의 기업에서 데이터가 흐르는 조직을 표방하기 위해, 비데이터 직군 구성원도 SQL을 사용할 수 있도록 교육하고 있습니다. 이는 단순 쿼리 요청을 줄여준다는 장점도 있지만, 직접 데이터가 어떤 형태로 존재하는지 파악할 수 있어, 내용이 구체화되고 깊이 있는 분석을 할 수 있게 됩니다. 

그러나 데이터 교육이 마냥 쉽진 않습니다. SQL 문법을 숙지하는 것보다는 어느 데이터가 어디에 쌓이고, 어떤 히스토리가 있는지 교육하기가 어렵기 때문입니다. 실제로 어디에 원하는 데이터가 있는지 몰라서 데이터를 사용하지 못하는 경우도 많습니다. 이를 위해 미리 문서화하고, 여러 데이터를 모아 목적에 따라 가공한 데이터 마트를 만들어, 원천 데이터가 아닌 데이터 마트를 사용하도록 유도해야 합니다.

또한 데이터를 여러 사람이 사용하게 되면서, 각자 지표 정의와 구현법이 다른 것도 문제가 됩니다. 이러한 문제를 해결하기 위해 최근에는 지표를 통합된 기준으로 관리하는 메트릭 스토어를 도입하는 회사도 늘어나고 있습니다. (참고: 에어비앤비, 콴다, 쏘카)

주요 지표 인지하기

주요 지표를 인지하는 것은 영업에 더 가깝습니다. 데이터가 잘 흐르지 않는 조직은 매출이 어느 정도 규모로 나오는지, 거래가 얼마나 발생하는지 등을 구성원들이 잘 모르는 경우가 많은데요. 이럴 때 가볍게 상황을 요약하는 리포트 등을 꾸준히 공유하는 것이 도움이 됩니다. 또한 리포트 형태로 제공할 때 결과 지표만 공유하지 않고, 다음 내용들을 추가하면 주요 지표를 더 확고하게 인지시킬 수 있습니다.

① 결과 지표 추이를 통해 예상되는 미래 상황과 목표를 고려했을 때 얼마나 잘하고 있는지 알려준다.

② 결과 지표에 선행하는 것으로 보이는 지표를 소개한다.

③ 최근 액션에 대응하는 결과를 볼 수 있는 지표가 무엇인지, 현재 상황이 어떠한지 소개한다.

이때 지표마다 특정 구성원에게 오너십을 부여하는 것도 하나의 방법입니다. 특정 지표에 오너십을 가진 사람을 메트릭 오너(metric owner)라고 하는데요. 각자 담당 지표가 생기면 그 성과가 곧 본인의 성과이기 때문에 지표를 잘 이해하게 되고, 지표에 변화가 생길 때 관련된 주요 지표뿐만 아니라 관련 지표까지 파악하기 위해 노력하게 됩니다.

2. 성공 확률이 높은 의사결정

최근 데이터의 중요성이 강조되는 이유는 단순히 알파고나 DALL-E 2, ChatGPT 같은 인공지능 기술의 발전이나, 빅데이터를 쌓을 수 있어서는 아닙니다. 데이터에 기반한 의사결정이 성공 확률을 높이는 의사결정 방법이라는 것을 실리콘밸리를 포함한 여러 회사에서 증명했고, 국내에는 조금 늦게 전파되어 최근 들어 데이터의 중요성이 더욱 강조되고 있는 것입니다. 따라서 데이터 분석가는 조직이 성공 확률이 높은 의사결정을 하도록 기여해야 합니다.

상황을 정확하게 해석하기

데이터를 보면 곧 상황을 객관적으로 볼 수 있을 것 같지만, 실제로는 그렇지 않습니다. 어떤 지표를 본다는 것은 코끼리 몸의 일부를 만지는 것에 불과합니다. 

특히 직무, 조직 내 위치, 성향 등에 따라 다른 지표를 보기도 하고, 같은 지표를 다르게 해석할 수 있습니다. 데이터 분석가는 여러 지표를 적절히 조합하고 분석해, 편향되지 않게 해석하고 상황을 진단하는 사람이어야 합니다. 하지만 데이터 분석가조차 상황을 객관적으로 해석하지 못할 수 있고, 중요한 지표를 놓쳐서 잘못된 해석을 할 수도 있습니다. 이때 상황에 대한 해석을 업데이트하고, 왜 이렇게 해석했는지 이유를 알리는 것이 필요합니다. 

또한 상황을 잘 해석하기 위해, 도메인 지식을 지속적으로 기르는 것도 중요합니다. 도메인 지식이란 회사가 속한 산업, 상품 혹은 서비스에 대한 지식을 의미합니다. 도메인 지식이란 개념이 잘못 통용되어, 회계 도메인이면 회계 자격증이, 법 도메인이면 법률 자격증이 있어야 하는 것처럼 보이지만 이는 본질이 아닙니다. 도메인 지식이 필요한 이유는 생각의 프레임워크를 사실에 가깝게 구성하기 위함입니다. 생각의 프레임워크는 작업 시간을 줄여주고, 커뮤니케이션이 명확하게 하며 제대로 된 해석이 이뤄질 수 있게 도와줍니다.

예를 들어 매출이 왜 떨어졌는지 분석하는 업무를 할 때, 생각의 프레임워크가 없으면 볼 수 있는 모든 지표를 봐야 합니다. 심지어 모든 지표를 봐도 하나의 이야기 구조로 결과물이 나오지 않으며, 잘못된 해석으로 잘못된 액션 아이템을 제안할 수도 있습니다. 

하지만 생각의 프레임워크가 잡히면 상황을 해석하기 위해 어떤 것을 볼지 비교적 쉽게 알 수 있고, 그렇게 확인한 지표가 하나의 이야기 구조로 나오게 됩니다. 따라서 생각의 프레임워크가 있는 사람은 없는 사람 대비 작업 시간도 빠르고 커뮤니케이션도 더 명확합니다. 또한 해당되는 데이터를 바로 가공하는 것이 아니라 생각을 정리할 수 있는데요. 단순히 데이터만 봤을 때, 잘못 해석할 수 있는 상황이 있는지, 적절한 데이터 조건과 분석 방법을 함께 고려할 수 있습니다. 

도메인 지식은 책이나 강의를 통해 배워야 하는 지식도 있겠지만, 대부분 회사에서 무엇을 했고 결과가 어땠는지에 대한 정보를 잘 축적하고, 그것을 합리적인 형태로 구조화하는 것으로도 많은 도움이 됩니다. 

목표 설정과 성과 측정

조직은 끊임없는 시도를 통해 더 나은 상태로 변화하려 합니다. 그리고 데이터 기반 의사결정을 하는 곳이라면 이러한 시도에 대한 목표를 설정하고, 성과를 측정하여 더 좋은 결과물을 축적합니다. 이러한 목표 설정 - 실행 - 측정 - 축적으로 이어지는 체계적인 조직 운영을 통해, 전략적으로 성공 확률을 높이는 것이 데이터 기반 의사결정이 추구하는 것입니다.

목표 설정하기

목표치는 크게 세 가지의 조합으로 1) 구조화된 로직에 과거 데이터를 활용한 예상치, 2) 새로운 액션에 대한 확신 수준, 시장이나 경쟁사 상황, 불확실성을 반영한 기대치, 3) 의지치가 있습니다.

이 3가지의 합이 목표치가 되는 것이 아니라, 예상치에 구조화된 로직이 있을 때 그 로직을 구성하는 수치를 기대치와 의지치을 이용해 변경한 값이 목표치입니다. 예를 들어 (예상 매출= 예상 방문자 수* 구매 전환율*객단가)라는 구조화된 로직이 있을 때 목표치를 만들어보겠습니다. 

① 현재 방문자 수가 1만 명이지만, 연말 특수로 전년도 트렌트를 반영하면 3만 명이 예상된다. 여기에 올해는 마케팅을 좀 더 효율화해서 1만 명이 더 들어오게 될 것이다. (예상 방문자 수: 4만 명)

② 할인 쿠폰 이벤트를 할 때 구매전환율이 2배 정도 올랐으니, 구매 전환율을 4%에서 8%로 높이고 연말 특수로 2% p 오르기를 기대한다. (예상 구매 전환율: 10%)

③ 객단가는 5만 원으로 동일할 것으로 예상된다. (예상 객단가: 5만 원)

위 과정을 통해 2억 원이라는 예상 매출 목표를 설정할 수 있는데요. 여기에 로직 구조를 더 세분화하면 보다 현실적인 목표치를 만들 수 있습니다. 만약 방문자 트래픽 중 매출 전환이 좋은 트래픽과 좋지 않은 트래픽이 있다면, 트래픽마다 나누어 예상 매출을 계산하고 더하는 방식으로 현실적인 목표치를 얻을 수 있습니다. 그러나 필요 이상으로 로직 세분화에 힘쓰는 것은 적절하지 않습니다. 목표 설정은 현실적이지만 조금 어려운 수준에서 공동의 목표를 만들고, 구성원들의 몰입을 이끌어내는 것이 중요합니다

성과 측정하기

성과를 축적하고 조직에 기여하기 위한 액션도 중요하지만, 이 중에서 좋은 성과를 가려내기 위해 잘 측정하는 것이 필요합니다. 성과는 조직에서 의도적으로 만든 변화로 인해 결과가 어떻게 바뀌었는가를 생각해 볼 수 있습니다.

가장 보편적으로 사용되는 성과 측정 방법은 해당 시기 이후로 지표가 어떻게 변했는지 확인하는 것입니다. 예를 들어 ‘공유하기 버튼의 UI 변경으로, 공유 비율이 이전 평균 3% 수준에서 5% 수준으로 변해서 2% p의 성과가 있었다.’ 같은 형태가 전형적인 지표 변화를 통한 성과 측정입니다. 꽤 합리적인 접근이지만 일부 상황에서는 UI를 바꾸지 않았어도, 공유가 많을 시기여서 지표가 상승한 것일 수도 있습니다. 

이렇게 통제할 수 없는 외부 요인까지 반영하기 위해, A/B 테스트 실험을 하게 됩니다. 무작위로 할당된 그룹 간 지표 차이를 통해 성과를 측정하는 것이 A/B 테스트고, 외부 요인으로 인한 지표 변화는 모든 실험 그룹에 공통되기 때문에, 실험을 통한 성과 측정에 영향을 주지 않습니다. 분석의 명확성으로 인해 A/B 테스트는 많은 기업에서 사랑받는 성과 측정 방법이 되었습니다. 

성과 측정은 도메인과 회사, 어떤 유형의 변화를 주는가에 따라 다양한 접근이 가능합니다. 각 상황에 맞는 적절한 성과 측정 방법을 설계해야 하며, 특히 각 방법론의 장점과 한계 등을 인지하고 있어야 좋은 성과 측정 방법을 제안할 수 있습니다. A/B 테스트의 경우 상대적으로 단기적인 성과만 측정할 수 있어, 단기/장기 성과가 다를 것으로 예상된다면 아예 실험을 하지 않거나, 장기 실험 그룹을 작은 비율로 유지해 충분히 장기간 성과를 측정하는 것이 좋습니다.

3. 지속성

때로는 데이터 분석을 통한 결과가 최선이 아닐 수도 있습니다. 그러나 데이터에 기반해 더 좋은 의사결정을 한다는 전략에 맞춰, 체계적으로 의사결정을 축적하다 보면 결과적으로는 가장 높은 성공 확률을 갖추게 될 것입니다.

이러한 지속성을 위해 데이터 분석가는 먼저 비즈니스 사이클에 맞게 분석해야 합니다. 첫째로 분석 주제가 현재 회사가 집중하는 것과 다르면 안 된다는 의미와, 둘째로 분석 주제의 결과물이 비즈니스 사이클에서 필요한 적절한 것이어야 한다는 의미를 가집니다.

비즈니스 사이클은 크게 3단계로 1) 기회 발굴, 아이디어 수집, 정책 설계 등을 하는 플래닝, 2) 플래닝의 결과 실행 및 배포, 3) 성과 측정 및 후속 분석이 있습니다. 데이터 분석가 역시 사이클에 맞게 첫 번째로 플래닝 시기에는 기회 발굴을 위한 탐색적 분석과 데이터 및 성과 측정 방법을 설계합니다. 두 번째로 실행 및 배포 시기에는 데이터 확인과 대시보드를 관리합니다. 마지막 세 번째로 성과 측정 및 후속 분석 시기에는 성과 측정 및 추가 데이터 분석을 통해, 인사이트를 뽑고 다시 플래닝에 반영할 것이 있을지 확인해야 합니다.

데이터 분석가가 본 데이터 분석가는?

데이터 분석가가 되어보니, 조직의 전반적인 의사결정의 퀄리티를 높이는 사람이라는 것을 깨달았습니다. 좋은 의사결정들이 쌓여 조직의 성공 확률이 높아진다는 점에서, 데이터 분석가는 성공 확률을 높이는 직군이기도 합니다. 물론 조직의 규모와 전략에 따라 오늘 소개한 업무와는 차이가 있을 수도 있습니다. 그러나 조직이 좋은 의사결정을 내리기 위한 일이라는 것은 변함이 없을 것입니다. 조직의 성공 확률을 높이기 위해 노력하는 많은 분들에게 도움이 되길 바랍니다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.