회원가입을 하면 원하는 문장을
저장할 수 있어요!
다음
데이터 프로덕트팀, 데이터 프로덕트 오너, 데이터 프로덕트 매니저 등 요즘 ‘데이터 프로덕트’를 여러 기업, 직무에서 찾아볼 수 있는데요. 예전에 비해 데이터 중심 문화와 산업이 많이 성장했기 때문에, 이에 맞게 세분화된 데이터 관련 직군이 등장한 것으로 보입니다.
회원가입을 하면 원하는 문장을
저장할 수 있어요!
다음
데이터 프로덕트팀, 데이터 프로덕트 오너, 데이터 프로덕트 매니저 등 요즘 ‘데이터 프로덕트’를 여러 기업, 직무에서 찾아볼 수 있는데요. 예전에 비해 데이터 중심 문화와 산업이 많이 성장했기 때문에, 이에 맞게 세분화된 데이터 관련 직군이 등장한 것으로 보입니다.
저는 데이터 직군에서 일하며 데이터 프로덕트에 관심을 가지다 보니, 생각보다 더 다양한 종류의 데이터 프로덕트가 존재한다는 것을 알게 되었습니다. 아직 데이터 프로덕트가 무엇인지 감이 잘 안 오는 분들을 위해, 이번 글에서는 데이터 프로덕트의 종류와 관련 업무, 사례 등을 살펴보고자 합니다.
이제는 IT 기업이 아닌 전통적인 제조업 등의 산업에서도 다양한 데이터를 활용하기 때문에, 어디까지 데이터 프로덕트로 봐야 할까?라는 생각이 들기도 합니다. 따라서 먼저 데이터 프로덕트란 무엇인지 기준을 정해보고자 합니다.
그렇다면 ‘프로덕트를 만드는 과정에서 데이터를 사용한다’라는 기준은 어떨까요? 위 이미지처럼 철강과 연관되어 있다고 해서, 철강 산업에 종사한다고 표현하기에는 살짝 애매할 수 있는데요. 따라서 더 좁은 범위로 기준을 잡아, 데이터 프로덕트(서비스)는“데이터가 반드시 있어야만 하는, 데이터가 필수인 프로덕트”라고 정의해 봤습니다. 이제 데이터 프로덕트 종류와 사례를 하나씩 살펴보겠습니다.
가장 먼저 생각해 볼 수 있는 데이터 프로덕트는 데이터 자체를 프로덕트로 취급하는 경우입니다. 이를 ‘Data as a Service(DaaS)’라고 합니다. 위키피디아 설명에 따르면 비즈니스 모델로서의 DaaS는 “여러 조직이 기계로 읽을 수 있는 데이터를 매매하는 개념”으로 정의하고 있습니다. 여기서 핵심은 ‘기계로 읽을 수 있는 데이터’입니다.
DaaS 데이터 프로덕트 사례로는 한국거래소의 데이터 상품이 있습니다. 예를 들어, 주식 투자를 위한 퀀트 트레이드 전략을 만들고, 이를 검증해 보고 싶은 사용자에게 지난 30년 동안의 한국 주식시장의 일일 종목별 지수, 고가, 거래량 등을 정리하여 유료로 판매하는 것이죠.
이처럼 DaaS 데이터 프로덕트를 잘 만들기 위해서는 가치 있는 데이터를 정의하고, 정확하게 수집/가공하여 사용자가 프로덕트를 구매한 후, 적절히 활용할 수 있도록 해야 합니다.
NICE 신용평가 데이터, AI 모델 학습을 위한 이미지 데이터, 다양한 도메인에서 생성되는 마이데이터, 그리고 수많은 데이터 포트폴리오에 등장하는 공공데이터도 모두 DaaS의 예시입니다.
이러한 데이터 프로덕트를 다루는 직군은 데이터 모델러, 데이터 프로덕트 매니저 등이 있으며, 어떤 프로덕트를 어떻게 만들 것인가 등 세부 사항에 따라 여러 직무를 보조하는 역할도 합니다.
두 번째로 Data Infrastructure는 데이터를 수집할 수 있게 하는 프로덕트입니다. 데이터를 만들 수 있게 돕는 프로덕트인 만큼 대상이 되는 데이터가 없으면 역할을 할 수 없습니다. 또한 이런 프로덕트가 없다면 데이터를 효율적으로 활용하기 어렵습니다.
데이터 인프라 프로덕트 예시로는 크롤링 시스템, 설문조사 서비스, 더 나아가서는 DBMS(Data Base Management System)나 데이터 웨어하우스, 데이터 레이크, 그리고 이를 관리 및 운영하는 Airflow 같은 ETL(Extract, Transform, Load)툴을 생각해 볼 수 있습니다.
데이터 인프라의 경우 프로덕트의 역할에 따라, 데이터를 관리하는 프로덕트와 수집하는 프로덕트로 다시 구분할 수 있습니다.
먼저 데이터를 관리하는 데이터 인프라는 보통 데이터 엔지니어를 주로 활용하지만, 데이터 역량이 충분히 갖춰지지 않은 초창기 조직에서는 데이터 분석가나 데이터 사이언티스트가 같이 다루면서 Analytic Engineer 같은 커리어로 성장하기도 합니다. 어떤 데이터를 어떤 목적으로 수집할지는 프로덕트 오너를 포함한 데이터 프로덕트 기획자가 설계를 포함한 의사결정을 내리기도 합니다.
그다음 데이터를 수집하는 데이터 인프라는 데이터 직군이 아니더라도, CX나 PM, 마케팅과 같이 다양한 직무에서 사용하기도 합니다. 이는 기존 프로덕트에 데이터를 활용하기 위한 수집이기 때문에 앞서 정한 데이터 프로덕트의 기준에는 살짝 벗어날 수 있습니다. 그래서 모든 데이터 수집 툴이 데이터 프로덕트는 아니지만, 데이터 프로덕트에는 데이터 수집 툴이 포함된다 정도로 정리할 수 있습니다.
아래 자료는 데이터 수집 프로덕트를 기획하는 과정을 설명한 발표 자료의 일부로, 관련해 참고할 만한 내용이 많아 함께 읽어보셔도 좋겠습니다.
세 번째로 데이터 컨설팅 프로덕트는 조직이 가지고 있는 데이터를 잘 활용할 수 있게 돕는 서비스입니다.
데이터 컨설팅 프로덕트를 살펴보기 전, 제가 데이터 직무 종사자들에게 직/간접적으로 들은 이야기를 먼저 해보겠습니다.
따라서 데이터 컨설팅 프로덕트에는 위 2번에 해당하는 조직에게 어떤 데이터를 수집하거나, 어떤 지표를 만들고 액션 할 수 있을지 같은 ‘데이터 리터러시’ 교육과 조언을 제공해, 데이터를 활용할 수 있도록 돕는 서비스가 있습니다.
또 다른 프로덕트는 3번에 해당하는 조직에게 데이터를 다루는 기술, 인프라 등을 훈련하거나, 상황에 따라서는 데이터 분석을 통해 인사이트를 만들어 주는 서비스도 포함되어 있습니다.
데이터 컨설팅, 다르게는 ‘Data analyst as a service’로 표현할 수 있는 데이터 프로덕트는 3번에 가까운 (공공기관이나 공기업, 혹은 전통적인 도메인) 조직에서 많이 활용하는 서비스로 알고 있었는데요. 다양한 IT 기업들을 대상으로 데이터 컨설팅이 이뤄지고 있으며, 컨설팅 기업 외에 다양한 데이터 업무를 경험한 개인이 외부인의 관점에서 컨설팅을 진행할 수도 있습니다.
줄임말로는 ‘BI’로 불리는 비즈니스 인텔리전스는 데이터를 효율적으로 사용자에게 (처리/분석을 거쳐) 전달하기 위한 프로덕트입니다.
주 사용자는 조직 내의 구성원이지만, 상황에 따라 대시보드나 리포트의 형태로 가공되어 조직 외부에 공개되기도 합니다. BI의 주요 기능은 현재의 상황을 이해하거나 모니터링이 필요한 데이터의 시각화입니다. 이러한 BI 툴을 잘 활용한다면 현재를 이해하는 것을 넘어, 예측과 사전 대응 같은 또 다른 데이터 기반 의사 결정을 할 수 있습니다. 다른 데이터 프로덕트와 마찬가지로 데이터가 있어야만 BI 툴을 만들 수 있죠.
보통 데이터 분석가 혹은 BI 엔지니어들이 이 데이터 프로덕트를 주로 만들지만, 요즘에는 워낙 좋은 툴과 서비스가 많아서 마케터나 HR 같은 비데이터 직군에서 데이터 프로덕트를 만들기도 합니다.
아래 이미지는 제가 속한 조직의 (비데이터 직군) 학부생 인턴이 streamlit을 활용해 만든 BI의 일부입니다.
BI는 데이터에서 나타나는 인사이트와 이를 효과적으로 전달하는 방법이 중요하지만, 동시에 전달하려는 내용에 개인의 편향을 과하게 넣지 않는 것도 중요합니다. 따라서 전문 개발자와 도메인 전문가(비개발자)가 BI 툴을 학습하여, 데이터 프로덕트를 구성하는 경우도 있습니다.
데이터 기반 프로덕트는 ‘데이터 프로덕트’라는 단어를 가장 많이 사용하는 곳입니다. 제가 만난 어떤 분의 표현을 빌리자면 ‘데이터가 중심이 되는 도메인에서의 주요 프로덕트’라고 생각하면 이해가 더 쉬울 것 같습니다.
예를 들어, 콘텐츠 스트리밍 서비스의 추천 시스템이나, 내비게이션의 최적 경로 제안 서비스, 이커머스의 물류 최적화 기술, 더 넓게는 데이터 분석 창업 경진대회 등 데이터를 통한 의사결정 결과가 곧 프로덕트인 것이죠.
이 데이터 기반 프로덕트는 수집된 데이터의 퀄리티와 양이 중요할 뿐만 아니라, 데이터를 가공, 분석하여 결과를 만들어 내는 사람의 역량 또한 중요하기 때문에 가장 고차원적인 데이터 프로덕트라 표현할 수 있습니다.
이처럼 계산 결과(점수)가 주요 결과물인 데이터 프로덕트는 보통 머신러닝/딥러닝 엔지니어, 리서치 엔지니어, 데이터 사이언티스트 같은 직무에서 프로덕트 만들기에 기여합니다.
데이터 패키지는 프로그래밍 언어, 개발하는 사람에 따라 프레임워크, 라이브러리, 모듈로 표현하기도 합니다. (다만 이 글에서 중요한 포인트는 아니므로 패키지라는 단어로 통일했습니다.)
보통 데이터를 활용에는 여러 가지 전제조건이 붙습니다. 이 전제조건에는 앞서 말한 데이터, 데이터 인프라, 데이터 분석 역량, 데이터 프로덕트의 목적 외에도 데이터를 다루는데 쓰이는 이론도 있습니다. PCA나 클러스터링, CNN, Transformer 등 수많은 통계, AI 관련 이론들이 그 예시입니다.
결국 데이터는 손으로 다루는 것에 한계가 있습니다. 이를 데이터 직군에서 컴퓨터를 활용해 분석할 수 있도록 이론을 적용해 프로덕트를 구현한 것이 데이터 패키지입니다.
보통 파이썬이나 R처럼 데이터 분석에 쓰이는 프로그래밍 언어의 수많은 계산 패키지와 이를 응용한 프로그램들까지 데이터 패키지의 한 예시인데요. 역할에 따라서는 데이터 인프라와 약간 겹치지만, 과학/공학, 이론/기술 정도의 차이라고 생각합니다.
데이터 패키지를 만드는 사람들은 연구원, 소프트웨어 엔지니어, 혹은 개발자(Postdoc과 대학원생도 포함)로 다양하며, 조직의 데이터 분석팀보다는 R&D 연구조직이나 연구소, 대학교에 많습니다. (비슷한 맥락으로 이러한 이론들을 다루는 논문 또한 데이터 프로덕트의 한 종류로 볼 수 있지 않을까 싶네요.)
데이터 커뮤니티는 사실 데이터 프로덕트로 구분하기엔 애매하지만, 데이터가 있어야 존재할 수 있는 프로덕트라는 기준에 맞아 함께 소개하려고 합니다.
데이터 커뮤니티는 데이터와 연관된 사람들이 지식이나 정보 등을 공유하고 교류하는 온라인, 오프라인 공간을 의미합니다. (단, 캐글이나 데이콘 같이 점수를 뽑는 경진대회가 메인인 커뮤니티보다는 교류가 메인인 커뮤니티를 기준으로 합니다.)
데이터가 없거나 몰라도 데이터 커뮤니티는 만들어질 수 있지만, 장기적으로 유지되거나 원래 목적에 맞는 활동을 하긴 어렵습니다. 정확히 데이터 프로덕트라기보다는 데이터를 더 잘 활용하기 위해 서로 간의 경험을 공유한다는 점에서 데이터 컨설팅과 유사하지만, 좀 더 느슨한 단계 정도로 생각해 볼 수 있습니다.
PAP, 데이터야놀자, 과거의 힙데비 등 데이터에 특화된 커뮤니티는 정말 많습니다. 심지어 요즘에는 학부생들도 학회라는 이름의 학교 동아리로 데이터 커뮤니티를 운영하기도 합니다.
데이터 커뮤니티는 데이터에 대해 어느 정도 경험이 있는 사람들이 설립자나 프로덕트 오너의 역할을 맡아 만들고 기여합니다. 성향은 커뮤니티마다 다르지만 개인적인 체감으로는 기업에서 (홍보를 목적으로) 운영하는 커뮤니티보단, 다양한 배경과 목적을 가진 사람들이 자발적으로 운영하는 커뮤니티가 좀 더 유익한 정보가 많았다고 생각합니다.
마지막으로 오늘 소개한 데이터 프로덕트의 관계와 흐름을 그림으로 표현하면 다음과 같습니다.
이렇게 다양한 데이터 프로덕트는 ‘데이터’를 중심으로 또 다른 프로덕트에 영향을 주기도 합니다. 이때 필요한 경험과 역량, 기술은 모두 다르고 진행하는 업무와 환경도 다양합니다.
데이터 산업이 지금보다 성숙하지 않았을 때엔 많은 채용공고에서 이를 명확하게 구분하기 어려웠습니다. 대부분 데이터 분석가, 데이터 사이언티스트로 뭉뚱그려 표현하는 바람에, 각자 생각했던 데이터 프로덕트와 실제 기여한 데이터 프로덕트가 다른 경우도 많았습니다.
만약 데이터 직군에서 일하고 싶은 분이라면, 이번 글을 참고해 본인이 원하는 데이터 프로덕트가 무엇인지 미리 그려보면 좋겠습니다.
요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.
좋아요
댓글
공유
공유
7.5K
