데이터로 콘텐츠 제대로 다루는 법

국내 유명 IT 기업은 한국을 넘어 세계를 무대로 할 정도로 뛰어난 기술과 아이디어를 자랑합니다. 이들은 기업 블로그를 통해 이러한 정보를 공개하고 있습니다. 요즘IT는 각 기업의 특색 있고 유익한 콘텐츠를 소개하는 시리즈를 준비했습니다. 이들은 어떻게 사고하고, 어떤 방식으로 일하는 걸까요?

이번 글에서는 패션 플랫폼 29CM의 콘텐츠 스쿼드 데이터 분석가가 29CM 콘텐츠 데이터 과제를 풀어나간 경험에 대해 소개합니다.

들어가며

안녕하세요. 29CM 데이터그로스 팀 / 콘텐츠 스쿼드의 데이터 분석가 김동욱입니다. 오늘은 콘텐츠 스쿼드의 일원으로서 풀고 있는 29CM 콘텐츠 데이터 과제에 대해 소개하고자 합니다. 29CM 콘텐츠는 어떤 것일까요? 그리고 저는 어떤 문제를 풀고 있을까요? 지금부터 같이 보시죠.

29CM에는 어떤 콘텐츠가 있을까?

29CM 콘텐츠는 입점 브랜드와 그 상품들을 ‘감도’ 깊게 소개하는 공간입니다. 29CM에는 다양한 브랜드들이 입점해있고, 이들을 29CM 유저들과 효과적으로 연결해주기 위해 콘텐츠를 제작하고 있습니다. 브랜드에게는 그 브랜드의 아이덴티티를 감각적으로 전달할 수 있는, 유저에게는 브랜드의 가치와 좋은 상품들을 접할 수 있는 기회의 공간이 됩니다.

콘텐츠를 기반으로 하는 ‘감도’는 29CM의 가장 큰 장점 중 하나이며, 다양한 형태의 콘텐츠를 제작해 강점을 유지, 강화해 나가고 있습니다. 29CM 콘텐츠의 형태는 크게 ‘포스트’와 ‘CMS 콘텐츠’로 나뉩니다. ‘포스트’는 기존의 제작 도구를 활용해 만들어지는 콘텐츠, ‘CMS 콘텐츠’는 최근에 개발해 적용 범위를 차츰 확대하고 있는 새로운 제작 도구로 만들어지는 콘텐츠입니다.

콘텐츠가 데이터와 무슨 관련이 있지?

콘텐츠 역시 홈 피드나 상품 페이지 등 다른 영역들과 마찬가지로 29CM 서비스 내에 업로드되므로, 유저들이 콘텐츠에서 어떤 행동을 하는지 데이터를 통해 살펴볼 수 있습니다. 그리고 트래킹 된 데이터를 활용해 인사이트를 찾아 29CM의 강점인 콘텐츠를 개선하는 작업을 할 수 있습니다.

그렇다면 데이터 관점에서 이런 작업들을 하는 데에 가장 먼저 필요한 것은 무엇일까요? 바로 지표입니다.

콘텐츠가 잘 만들어졌는지, 유저들은 어떤 콘텐츠에 좋은 반응을 하는지, 어떤 콘텐츠가 기획 의도와 유저 반응이 일치하고 어떤 콘텐츠가 불일치하는지 등을 평가할 수 있는 기준이 필요한 것입니다. 이러한 측면에서, 29CM 콘텐츠를 평가할 수 있는 지표를 만드는 작업은 ‘우리의 강점인 감도를 정량적으로는 어떻게 정의할 수 있을까?’라는 의문에서 시작됐습니다.

데이터로 콘텐츠를 어떻게 다룰까?

콘텐츠를 평가할 수 있는 지표를 만드는 작업의 첫 목표는 콘텐츠를 평가할 수 있는 하나의 점수화된 지표를 만드는 것이었고, CVP(Content Value Point)라 명명해 지표 개발을 시작했습니다.

‘포스트’ 형태의 콘텐츠 중 중요도에 따라 P0 ~ P2 등급의 콘텐츠들을 지정하고, 해당 콘텐츠들에 통용될 수 있는 점수 지표를 만드는 것을 목표로 했습니다. 한편, 개별적인 콘텐츠 종류를 ‘시리즈’라고 명명했으며 각 시리즈들의 개별적인 하나하나의 콘텐츠를 ‘에피소드’라고 명명했습니다.

감도 측정에 대한 첫 번째 가설, ‘콘텐츠 내에서의 다양한 Engagement를 콘텐츠 내 체류 시간으로 대표할 수 있을 것이다.’

우선 정성적인 기준으로 지표를 선택 및 분류하고, 이 분류에 맞게 지표 데이터를 추출한 뒤 상관관계와 인과관계를 통계적으로 측정하는 작업을 진행했습니다.

지표는 콘텐츠에 매력을 느끼는 정도를 측정할 수 있는 지표 그리고 구매와 연결되는 지표로 나뉠 것이라 생각했고, 유저들이 콘텐츠의 내용에 호감을 느끼면 최종적으로 콘텐츠에 오랫동안 머무를 것이기에 콘텐츠 호감도 측면의 최종 후행 지표는 ‘평균 체류 시간’으로 설정했으며 구매 측면에서의 최종 후행 지표는 ‘평균 상품 구매 수’로 설정했습니다.

상관 분석 진행 시, 검정 대상인 두 데이터에 대해 상관 분석의 가정에 부합하는지 검정 후 그 결과에 따라 모수적 방법(Pearson)과 비모수적 방법(Spearman)을 사용

 

인과관계 측정에는 OLS를 활용, 원인 변수에 Scaling을 적용하는 등 필요한 처리 진행

상관관계와 인과관계 등을 통계적으로 측정해 본 결과 어찌 보면 너무나 당연하게도, 구매 기여도 측면에서는 상품 클릭과 장바구니 담기가 구매와 높은 상관관계를 보이는 동시에 두 지표를 원인 변수로 하고 구매를 결과 변수로 할 때 충분한 인과관계를 보이는 것으로 나타났습니다. 그런데 문제는 콘텐츠 호감도 측면의 지표들 간에는 충분한 상관관계가 발견되지 않았습니다. 즉, 시리즈 및 에피소드들의 선행 지표들과 후행 지표 간에 유의미한 관련성(비례/반비례)이 발견되지 않은 것입니다. 이에 따라 새로운 가설을 세웠습니다.

감도 측정에 대한 두 번째 가설, ‘콘텐츠 Engagement는 최종적으로 구매로 이어질 것이다.’

새 가설은 ‘콘텐츠에 매력을 느낀 것의 결과로 서비스나 콘텐츠에 대한 engagement 지표의 변화가 비례하게 나타날 것이고, 이 engagement 지표가 다시 구매와 비례한 관계를 보일 것이다.’ 였습니다.

위에서 세운 ‘콘텐츠 호감도’ 측면의 지표가 어떠한 서비스/콘텐츠 engagement 지표와 유의미한 상관/인과관계를 보일 것이고, 그 지표는 구매와 상관/인과관계를 보일 거라는 것입니다. 그리고 추가로, ‘콘텐츠 호감도’ 측면의 지표가 콘텐츠 내에서 소개하는 상품에 대한 구매와 관련성을 보이는지 또한 분석했습니다.

분석 결과 위 이미지와 같은 관계를 발견했습니다.

우선 ‘콘텐츠 호감도’ 측면의 지표는 1차적인 구매(콘텐츠 내에서 소개하는 상품)와도 연결되지 않았습니다. 그리고 새로 세운 가설에서, ‘앱 실행 횟수’와 ‘콘텐츠(포스트 및 CMS 콘텐츠) 방문 횟수’를 서비스/콘텐츠 engagement 지표로 할 때 이것이 구매와 이어지는 매우 유의미한 상관/인과관계가 발견됐으나, ‘콘텐츠 호감도’ 측면 지표 즉 콘텐츠 내에서 1차적으로 발생하는 engagement 지표가 서비스/콘텐츠 engagement와는 유의미한 관계를 가지지 않는 것으로 나타났습니다.

감도 측정에 대한 세 번째 가설, ‘콘텐츠가 소개하는 브랜드에 대한 Engagement를 콘텐츠 Engagement로 볼 수 있을 것이다.’

이에 따라 다시 세운 가설은 브랜드에 대한 것이었습니다. 콘텐츠는 브랜드와 그 브랜드의 상품을 소개하기에, ‘소개하는 브랜드에 매력을 느껴 engage 되는 것을 콘텐츠의 성과로 표현할 수 있을 것’이라는 가설이었습니다.

결론적으로 이 마지막 가설을 통해 CVP를 1차적으로 완성할 수 있는 단서를 찾았습니다.

콘텐츠를 방문한 유저가 해당 콘텐츠 방문 후에, 그 콘텐츠가 소개하는 브랜드의 타 상품(방문한 콘텐츠에서 소개하지 않는 상품)의 PDP(상품 상세 페이지)를 방문하고 그 상품을 장바구니에 담는 행위(곧, 지표)가 브랜드 상품 구매와 유의미한 상관/인과관계를 보이는 것을 발견했습니다.

CVP

위에서 발견한 관계, 인과관계 분석 결과 수치에 따라 왼쪽 이미지와 같은 수식을 도출할 수 있었습니다.

OLS에서 도출한 회귀식의 변수 별 회귀 계수 및 각 회귀식의 결정 계수 크기에 따라 최종 CVP 계산식의 지표 별 가중치 설정

각 지표 별 Time Window는 해당 지표 데이터의 누적 분포, 수치 변화 추이 등에 대한 분석 결과에 따라 설정

데이터로 콘텐츠를 제대로 다루기 위해 앞으로 할 일

CVP는 29CM 콘텐츠를 평가하는 데 있어 한 가지 맹점을 가지고 있는데, 바로 브랜드 파워에 따라 CVP 점수가 왜곡될 수 있다는 점입니다. 콘텐츠는 기본적으로 브랜드를 소개하고 있기에, 유저들에게 인기가 많고 잘 알려진 브랜드일수록 지표 수치가 높게 관찰될 가능성이 큽니다. 그리고 그렇게 되면 콘텐츠가 잘 만들어졌는지에 대한 평가를 하기가 어려워집니다.

이에 따라, 브랜드 파워를 측정할 수 있는 지표를 개발해 CVP 도출 시 브랜드 파워의 불균형에서 오는 콘텐츠 간 점수 왜곡을 상쇄해 콘텐츠를 평가하려고 합니다. 간단하게 표현하면, 브랜드 파워가 큰 브랜드에는 CVP 점수에 penalty를 부여하고 브랜드 파워가 작은 브랜드에는 CVP 점수에 advantage를 제공하는 것입니다.

한편, ‘지표를 움직일 수 있는’ 요소를 찾는 것 또한 다음에 풀어야 할 숙제입니다. 이러한 요소들을 빠르게 찾아 콘텐츠를 개선해 나가는 것이 비즈니스 측면의 관건인데, CVP는 일종의 결과 지표들로 구성돼 있기에 콘텐츠의 어떤 요소들을 조작할 때 지표 수치를 올릴 수 있는지는 아직 알 수 없는 상태입니다.

또, 콘텐츠 engagement가 꼭 구매와 통계적인 연결 고리를 가지지 않는다고 하더라도 그 자체로 의미가 있을 수 있으며, 굉장히 복합적인 상호작용을 통해 비즈니스 임팩트로 이어질 것이기에 engagement 자체를 관찰하는 것 또한 중요하다는 비즈니스 단의 의견도 있습니다.

이러한 포인트들을 기반으로, 콘텐츠 개선 실행 시 ‘평균 도달률’, ‘이탈률’, ‘정독 지수’의 세 가지 콘텐츠 engagement 지표를 CVP와 함께 관찰하기로 했습니다.

* 평균 도달률: 유저들이 평균적으로 콘텐츠의 몇 %까지 조회했는지 측정하는 지표 * 정독 지수: ‘스크롤 당 체류 시간 / 스크롤 당 이동 거리’ → 즉, 콘텐츠를 얼마나 주의 깊게 읽었는지 측정하는 지표

마치며

아직까지 29CM와 같은 형태를 가진 콘텐츠의 성과를 구체적인 데이터로 측정한 사례가 업계에 알려져있지 않은 것으로 알고 있습니다. 또, 29CM의 강점인 ‘감도’를 정량적으로 잘 표현하고 측정할 수 있는 도구를 만드는 것이 29CM 비즈니스의 큰 숙제 중 하나입니다. 그렇기에 데이터로 29CM 콘텐츠를 제대로 다룰 수 있는 방법을 찾아나가는 이 과정이, 동시에 콘텐츠 도메인 분야에 한 가지 좋은 선례를 만드는 과정이라고 생각합니다.

이번 작업은 개인적인 커리어 측면에서도 의미가 있었습니다. 가설과 지표를 설정하고 검증하는 과정은 분석가의 기본 업무 중 하나이지만, 이러한 분석 방법을 활용해 여러 지표를 아우르는 하나의 점수 체계를 만드는 일은 흔히 접할 수 있는 업무는 아닌 듯합니다. 때문에 이번 분석은 저에게도 실험적인 시도였고, 새로운 분석 경험으로 인해 한 단계 성장하게 된 것 같습니다.

CVP를 개발하는 과정에서 가장 집중했던 점은, 콘텐츠의 성과를 잘 측정할 수 있는 토대를 마련하기 위해 최대한 거시적인 차원으로 접근해 큰 틀을 만드는 것이었습니다. 그 계획에 맞게 큰 틀을 만듦으로써 자연스레 더 디테일한 부분에 대한 관심이 이어졌고, 이제는 그것들을 하나씩 풀어가는 일에 집중할 차례입니다. 

저는 앞으로 충분히 만족스러운 콘텐츠 효과 측정 도구를 완성할 때까지 위에 소개한 여러 가지 작업에 매진할 계획입니다. 다음에도 흥미로운 주제를 가지고 찾아오겠습니다.

<원문>

데이터로 콘텐츠 제대로 다루기

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.