유저의 선택을 도와주는 리뷰시스템 플랫폼에서 리뷰 시스템의 중요성은 아무리 강조해도 지나치지 않습니다.리뷰가 유저의 선택에 큰 영향을 미치기 때문인데요,플랫폼 내에서 리뷰 시스템이 중요해진 만큼 리뷰로 인한 부작용 또한 많이 나타나고 있습니다. 마침 저희 회사에서도 리뷰 시스템을 개편할 일이 있어서 리뷰 시스템을 설계할 때 어떤 점을 중요하게 생각하고 설계했는지, 어떻게 설계해야 좋을지 리서치한 자료를 공유하고자 합니다. 리뷰 시스템은 왜 존재할까?'플랫폼이 살아있다'는 느낌을 줄 수 있다.플랫폼은 리뷰를 통해 실제 일어난 거래를 보여 줄 수 있습니다.이는 플랫폼에 생동감을 줄 뿐 아니라 활기찬 장터 같은 느낌을 조성해 활발한 거래를 유도합니다.손님이 많은 음식점에 사람이 더 많이 모이듯, 리뷰 개수를 통해 "이렇게 많은 사람이 구매했어요"라는 느낌을 주거나 최근 작성된 리뷰로 "지금 최신 버전을 판매하고 있어요"같은 메시지를 줘서 구매를 이끌어 낼 수 있습니다.특히 리뷰가 좋은 물건 혹은 사람은 후킹 요소가 되어 플랫폼이 계속 굴러가게 하는데 큰 영향을 줍니다. 퀄리티 컨트롤이 가능하다.평이 좋은 상품이나 서비스는 탐색 비용을 줄여줍니다.사람들은 다른 유저를 통해 이미 검증된 상품이라고 생각하기 때문에 같은 값과 조건이면 리뷰가 좋은 상품을 고르게 되지요.평가가 좋은 프로바이더는 평가가 없거나 낮은 사람의 딜을 대체하기 때문에 서비스 거래 금액이 증가한다는 결과도 있습니다. 이 외에도 리뷰 데이터를 모을 수 있게 되면, 어떤 특징을 가진 상품이 인기 있는지 알 수 있습니다.한발 더 나아가 이를 분석한 데이터를 가지고 PB 상품을 기획하면 서비스 신뢰도를 잃지 않으면서 제품 퀄리티 컨트롤을 회사가 직접 할 수 있습니다. 쿠팡의 곰곰 상품이 이런 전략에 해당합니다.쿠팡의 곰곰 상품 구입하고자 하는 상품이 나쁜 평을 가지고 있거나, 상품평이 없다면 유저가 퀄리티에 대한 리스크를 감수하는 모험을 해야 합니다.PB상품은 이 과정에서 잃는 유저를 최소화하고, 유저가 어떤 상품을 구매할지 모르겠을 때 PB상품을 구매하게 해서 플랫폼에 쉽게 안착시킬 수 있습니다. 올바른 방향으로 동기 부여하고, 유저 행동이 더 나아질 수 있는 정화 구조 설계가 가능하다.리뷰를 통해 칭찬과 인정을 받은 사람은 긍정적인 방향으로 동기 부여될 수 있습니다.추가로, 리뷰에 댓글을 다는 기능은 판매자와 구매자의 커뮤니케이션을 가능하게 만들어서 오해를 줄이거나 제품에 문제가 생겼을 때 사용 팁을 얻을 수 있습니다. 이를 통해 플랫폼 제공자는 퀄리티 컨트롤을 시장에 맡기고 문제 상황에만 개입해도 되는 시스템이 만들어집니다.네이버 한 달 사용기 나쁜 제품이 필터링됨으로써 유저 풀이 관리되고 리텐션이 유지된다.플랫폼 제공자는 리뷰 모니터링을 통해 상품 퀄리티에 개입하거나 관리할 수 있습니다.리뷰가 가진 필터링 기능을 통해 좋은 상품을 접한 신규 유저는 사이트를 재방문할 가능성이 높습니다. 사이트가 한번 좋다고 느낀 유저는 재구매할 가능성이 54 % 더 높고, 이런 높은 재구매율은 일반 유저를 하드유저로 만들어줍니다. 하드유저는 다른 사람에게 서비스를 추천할 가능성이 5 배 더 높습니다. 이 과정을 다수에게 거치면 네트워크 효과가 강화되며 탄탄한 플랫폼 비즈니스를 구축할 수 있습니다. 정보 비대칭 해소와 실제 사용감을 느낄 수 있다.리뷰 시스템이 있으면 판매자만 가지고 있던 상품 정보를 객관적으로 파악할 수 있습니다.쿠팡_컵만큼 작은 냄비 또한 온라인으로 구입하는 어려움 중 하나인 실측이 불가능한 문제도 실제 사용 사진을 보면서 쉽게 감을 잡을 수 있습니다. 이는 서비스에 좋지 않은 지표인 반품률, 취소율을 낮출 수 있습니다. 가격구조 개선이 가능하다.만약 리뷰 시스템이 없다면 금액만 가지고 상품을 판단하기 때문에 저가 경쟁이 심화됩니다.하지만 리뷰시스템이 있다면 리뷰가 좋은 제품은 더 높은 가격을 받더라도 선택받을 확률이 높기 때문에 플랫폼의 가격구조가 탄탄해질 수 있습니다. 특히 리뷰는 상품 금액이 클수록 구매 결정에 많은 영향을 줬으며, 높은 금액대 상품이라도 리뷰가 많이 있으면 유저가 좀 더 안심하고 물건을 구매하는 행동 패턴을 보였습니다.어떤 리뷰 시스템을 만들까? 리뷰가 존재하는 이유를 통해 왜 리뷰 시스템이 있어야 하는지 알았다면, 이제 존재 이유에 맞는 리뷰 시스템을 설계해보도록 하겠습니다.존재 이유가 달성되는 리뷰시스템을 구축하면 시스템을 잘못 설계할 걱정도 없고, 핵심을 건드리는 시스템을 손쉽게 설계할 수 있습니다. 하지만 존재 이유만으로는 내 플랫폼에 맞는 리뷰 시스템을 설계하기 어렵기 때문에 기존 시스템이 가진 문제의 보완점을 추가해서 새로운 리뷰시스템을 설계해보도록 하겠습니다. 이 부분은 본인이 생각하고 있던 리뷰 시스템의 문제를 대입해서 서비스에 알맞은 새로운 리뷰시스템을 설계하면 됩니다. 좋은 리뷰 시스템을 만들려면 뭐가 필요할까? 리뷰시스템은 유저 선택에 도움이 되는 데이터를 쌓아야 하며 리뷰 시스템의 성패를 가르는 5가지 핵심 요소는1. 공개 방식(어떻게 공개할 건지?)2. 리뷰 항목(어떤 걸, 어떻게 물어볼 건지?)3. 리뷰 양식(어떤 설문지로 질문을 수집할 건지?)4. 리뷰 시점(언제 리뷰를 하게 할 건지?)5. 공개 시점(언제 리뷰를 공개할 건지?)이 있습니다. 이제부터 이 핵심 요소 다섯 가지를 하나씩 설계해 보겠습니다.1. 공개 방식(어떻게 공개할 건지?) 리뷰는 유저의 선택에 도움이 되는 데이터가 되어야 합니다. 리뷰를 받은 그대로 공개하거나, 공개할 때 충분히 주의를 기울이지 않으면 리뷰 시스템이 망가지거나 맨 처음에 언급했던 부작용이 나타날 수 있습니다. 1. 리뷰를 보고 특징을 알 수 있어야 한다. 본인에게 잘 맞는 물건 혹은 사람을 고르는 건 어려운 일입니다.사람마다 평가 기준이 다르고 중요하게 여기는 요소가 다르기 때문에 다른 사람이 좋다고 해도 자기에겐 안 맞는 경우가 많기 때문입니다. 리뷰시스템의 맹점은 여기 있는데요,누군가가 이 사람은 굉장히 커뮤니케이션을 잘한다고 리뷰를 남겼고 커뮤니케이션 능력을 중요하게 생각해서 해당 작업자와 함께 작업을 시작했습니다.그런데 막상 일을 같이 해보니까 "연락만 잘 되지 불필요한 말이 많이 너무 많다"던지, "핵심을 정말 잘 캐치하는데 자주 연락이 안된다"같은 문제가 발생할 수 있습니다. 리뷰시스템의 궁극적인 목표는 유저에게 도움이 되는 정보를 전달하기 위함입니다.정말 도움이 되는 정보를 전달하려면 리뷰 대상자의 어떤 면을 평가하는 것뿐만 아니라, 특징을 알 수 있게 해줘야 합니다.그래서 리뷰를 표현해줄 때는 그 사람의 특징을 최대한 구체적으로 쪼개서 알려주던지, 필터를 최대한 구체적으로 제시해 주는 것이 좋습니다. 특징 쪼개기유저 특징을 잘 알려주는 대표 서비스로는 당근 마켓이 있습니다.당근 마켓의 경우, 특징을 추상적인 설명을 최재한 배제하고(커뮤니케이션을 잘한다 x -> 응답이 빠르다 o, 상품설명이 자세하다ㅇ 등) 한 단계 더 구체적으로 응답을 받음으로써 유저 특징을 더 디테일하게 알 수 있습니다. 이런 식으로 특징을 수집받게 되면 한 가지 항목이 good or bad로 표현되는 게 아니어서 사람마다 기준이 다르다는 리스크를 줄일 수 있고, 유저는 해당 사람의 어떤 성향이 강한지 확인할 수 있습니다. 하지만 이 리뷰 시스템은 여러 가지 특징 중 대표 특징을 고르는 것이기 때문에 충분한 모수가 확보되어야 유저의 경향성을 파악할 수 있고, 다수 평가자가 여러 특징을 분산해서 선택할 경우 대표되는 특징을 알아보기 어려울 수 있습니다.또한 평가 항목을 확장할 경우 앞서 평가한 사람에게 다시 평가를 받지 않는 이상 공정하게 평가항목을 확장하기가 어렵고 확장된 평가 항목은 평가 모수가 많이 쌓여야 제대로 된 경향성을 얻을 수 있는 특징이 있습니다. 최근 네이버도 별점 테러 부작용 때문에 평점 기반의 ‘별점’을 없애고 인공지능(AI) 기반 ‘태그 구름’을 도입한다고 밝혔습니다. 이도 대상자가 가진 특징에 기반한 리뷰 시스템이라 할 수 있습니다.태그로 구성된 리뷰는 여러 가지 항목을 부담스럽지 않게 입력하기 좋고 최신 트렌드를 잘 반영할 수 있다는 이점이 있습니다. 네이버 태그 구름 하지만 동일 의미를 가진 태그의 중복이 많아질 수 있고, 도드라진 특징만 적히기 때문에 꼭 평가돼야 하지만 누락되는 특징이 있을 수 있습니다.또한 태그 자체가 지나치게 가볍게 쓰여서 태그 구름 자체의 신뢰를 잃거나 리뷰 대상자에 대한 진중한 평가가 어려울 수 있으므로 어떤 항목에 태그 구름을 도입할지 신중하게 결정해야 합니다. 필터 강화하기리뷰 항목이 많아서 리뷰를 받는 것이 부담되거나, 특징이 유저에 따라 다르게 발현된다면(홍조에 좋은지, 트러블에 좋은지 특징에 따라 작용이 궁금한 경우) 키워드 별로 검색 필터를 제시해주는 것도 좋습니다. 검색 필터는 특징의 출발이 '사용하려는 유저'에게 있을 때 더 편리한 사용성을 제공하는데요, '사용하려는 유저'가 본인 특성을 리뷰 데이터에서 필터링한 뒤 본인에게 맞는 제품을 고르는 플로우를 가지고 있습니다.예민할 것 같은 부분을 필터로 제시해 준다면 유저가 본인 기준에 맞는 제품을 쉽게 선택할 수 있기 때문에 리뷰 시스템 만족도가 좋아집니다. 2. 응답 분포를 알려준다. 만약 응답을 수집하는 항목이 특징을 가지기 어려운 항목이라면 1~5개 정도로 특징을 대표하는 항목을 정해두고 그 항목에 대한 응답 분포를 알려주어 유저의 선택에 도움이 되는 리뷰를 제공합니다. 이런 리뷰 시스템은 특히 의류나 물품의 사이즈를 선택할 때 많은 도움이 되고 시착이 어려운 온라인 쇼핑의 단점을 보완해줍니다. 응답 분포를 알려주는 리뷰 또한 데이터가 많이 쌓여야 하고, 사람마다 주관적으로 응답할 수 있다는 한계는 있지만 유저에게 상품의 전체적인 경향성을 제시해주기 때문에 유저가 무언가를 선택할 때 도움이 될 수 있습니다. 3. 플랫폼이 수집하고 있던 유저 특성을 알려준다. 타인이 이 사람 또는 물건을 어떻게 생각하는지 사람과 대상 사이에 주관적인 리뷰가 일어나도록 했다면, 플랫폼에서 수집하고 있는 객관적인 데이터를 통해 서비스와 유저 사이 관계를 제공해 주는 것도 좋은 리뷰시스템입니다.플랫폼에서 활동 정보를 알려준다면, 유저 특징을 더 다면적으로 파악할 수 있기 때문입니다. 째깍 악어는 악어 선생님이 약속을 잘 지키지 못한 경우 '사정이 있어서 약속을 지키지 못한 경우가 있다'는 딱지를 붙여줌으로써 해당 선생님을 선택하려는 유저에게 넌지시 리스크를 알려줍니다. 부정적인 특징을 알려주는 것은 굉장히 중요하지만, 인적 정보를 서로 알고 있는 사람 사이는 안 좋은 리뷰를 남기기 어렵습니다.이런 점을 보완하기 위해 리뷰를 준 사람에게 리뷰가 종속되지 않게 하고 플랫폼 내 데이터처럼 보이게 접근하면 부정적인 리뷰를 누가 준건지 모르게 할 수 있어서 리뷰 값을 공개하는데 부담이 적습니다. 또한 당근 마켓은 활동 정보를 배지 형태로 설계해 게미피케이션 요소를 추가했습니다.이 배지를 통해 나에게 물건을 파는 사람이 어떤 사람인지 좀 더 객관적으로 이해할 수 있고, 몇 % 사용자가 이 배지를 가지고 있는지를 알려줘서 활발한 플랫폼 사용을 유도하고 있습니다. 위시켓도 파트너 프로필에 어느 분야의 프로젝트를 많이 진행했는지, 평균 금액과 기간은 얼마였는지 알려줘서 클라이언트가 가지고 있는 프로젝트를 소화할 수 있는 파트너인지 가늠해 볼 수 있는 장치를 제공합니다.2. 리뷰 항목(어떤 걸, 어떻게 물어볼 건지?) 1. 구매 판단에 도움 되는 요소를 리뷰 항목으로 만들자. 리뷰 항목은 물건을 구매할 때 유저가 고려하는 핵심 요소로 구성되어야 합니다.이 부분은 구매할 때 어떤 요소를 중요시하는지 유저 인터뷰나 설문지를 통해 쉽게 찾아낼 수 있습니다. 많은 물건을 파는 이커머스 사이트는 상품이 속한 카테고리마다 리뷰 항목을 다르게 구성해야 유저의 구매 판단에 훨씬 도움이 됩니다.(음식을 평가할 때 기준과 생활용품을 평가할 때 기준은 달라야 합니다) 상품 별로 다른 평가요소 2. 관계가 얽혀있으면 비공개 리뷰를 도입하자. 하지만 카테고리별로 리뷰 항목을 잘 정했다 하더라도 유저가 솔직하게 리뷰에 응답해주지 않으면 아무 소용이 없습니다. 저희와 비슷한 업을 하는 업워크에서 리뷰 조사를 한 적이 있었는데요,클라이언트는 같이 일한 작업자가 불만족스러웠을 때 해당 작업자에 대한 안 좋은 이야기를 공개 평가에 남기지 않으려 했습니다.하지만 업워크만이 볼 수 있는 비공개 평가에서는 안 좋았던 점을 솔직하게 응답해 준다는 사실을 알아냈습니다. 또한 비공개 평가에서는 프로젝트가 성공적으로 끝나지 않았다고 대답했음에도 불구하고 공개 평가에는 가능한 가장 높은 점수를 준 경우가 20%에 달했습니다.이 조사를 통해 업워크는 프리랜서를 추천하는 알고리즘을 변경했고, 변경된 알고리즘은 올바른 지원자를 고르는데 큰 역할을 했습니다. 저희 서비스도 이런 이슈를 마주했습니다.사람 사이 평가는 아무래도 '관계'가 엉켜있어서 유저가 마음속에 있는 얘기를 솔직하게 남기기 어려워했고, "어차피 다 끝났는데 좋게 얘기해주자"나 하자보수 때문에 관계가 유지되어야 하는 경우 하자보수를 위해서 일부러 좋게 평가해주는 경우도 발견됐습니다. 문제는 인플레가 일어난 리뷰로 클라이언트가 작업자를 선정했을 때 일어납니다.아무것도 모르는 클라이언트는 평가 점수가 높은 작업자가 좋은 줄 알고 해당 작업자와 작업을 진행하며 기대와 다른 결과물을 받아보게 됩니다.그러면 사이트에 설계된 리뷰나, 작업자를 판단하는 장치를 더 이상 신뢰할 수 없게 되며 이는 서비스 전체에 대한 신뢰 문제로 연결될 수 있습니다. 따라서 사람 사이 관계가 얽힌 리뷰시스템은 상호 간 솔직한 평가가 가능할 수 있도록 공개와 비공개 항목을 같이 수집해야 합니다. 3. 비공개 평가 목적 비공개 평가도 공개평가와 목적이 같기 때문에 평가 항목이 달라질 필요는 없습니다.공개평가와 비공개 평가를 같이 수집했을 때, 서로 시너지가 날 수 있는 방향으로 비공개 평가 수집 목적을 정해봤습니다. 목적 1. 공개 평가에서 a항목을 물어봤다면 비공개 평가에서도 a항목을 물어본다.응답에 대한 진정성 검증이 가능하도록 같은 항목을 변형해서 여러 번 물어봅니다. 목적 2. 공개 평가보다는 비공개 평가 항목을 더 디테일하게 구성한다.리뷰는 데이터를 많이 수집할수록 좋습니다.공개평가는 솔직하지 못하게 리뷰를 남기거나, 공개된다는 사실에 부담을 느껴서 짧게 남겨줄 확률이 높으므로 선이 굵은 질문으로 구성해 평가 대상자의 경향성만 파악할 수 있게 만들고 비공개 평가에서 더 디테일한 평가를 받도록 합니다. 목적 3. 서비스 운영 차원에서 대응이 필요한 항목은 비공개 항목에 추가한다. (거래 이탈을 시도했는지, 뒷거래가 있었는지 등)공개 평가는 비공개 평가보다 솔직하게 대답할 확률이 낮습니다.서비스 차원의 대응이 필요한 내용이라면 비공개 평가로 수집해 빠르게 조치하도록 합니다. 목적 4. 사람에 대한 만족도를 조사할 때는 비공개 평가로 받는다.주체가 사람이 되고 그 사람에 대한 느낌을 평가할 때는 비공개로 평가받는 게 좋습니다.이미 관계 맺은 사람을 공개적으로 평가하게 하고, 상대방도 내가 준 평가를 볼 수 있음을 안다면 평가를 남기는 사람이 부담을 느끼거나 의도적으로 좋은 평가를 줄 수 있습니다.질문 또한 '좋았는지?''나빴는지?'같은 감정을 묻는 게 아니라 '다시 한번 같은 일을 해도 해당 사람과 할 건지?' 혹은 '다른 사람에게 추천할 의향이 있는지?'등 진행한 일에 초점을 맞춰서 질문합니다. 실무 리뷰 항목 설계이제 목적을 세웠으니 실제 리뷰 항목을 설계해 봅시다. 1. 공개항목 설계 리뷰시스템은 위에서 말했듯 유저 선택에 도움이 되는 데이터를 쌓아야 한다는 것이 대 전제입니다.저희 서비스는 성공적으로 프로젝트를 완료하는 것이 목적이어서 파트너와 클라이언트의 어떤 점이 성공적인 프로젝트 완료를 견인했는지 확인해 보고 그 점을 평가 항목으로 만들어 보도록 하겠습니다.이 부분은 추측하지 않고 유저 인터뷰나 설문조사, 수집되었던 피드백을 통해 직접 확인해보도록 하겠습니다. 어떤 항목을 평가할지 정하기 위해 세 가지 방식으로 데이터를 수집해보았습니다. 성공사례를 통해 클라이언트와 파트너의 어떤 점이 프로젝트 성공에 큰 역할을 했는지 키워드 도출프로젝트를 완료한 유저 대상으로 같이 일한 사람의 어떤 점이 좋았는지 설문조사내부 자료로 확인한 성공적으로 완료된 프로젝트가 가진 고유한 특성 이 세 가지 방법을 통해 클라이언트와 파트너, 프로젝트의 어떤 점이 프로젝트를 성공으로 이끌었는지 유추할 수 있었는데요,클라이언트는 파트너 전문성, 결과물 만족도, 의사소통 능력, 일정준수 능력, 적극성이 고루 발달해 있는 파트너를 만나면 성공적으로 프로젝트를 완료할 확률이 높아졌고, 파트너는 클라이언트 전문성, 일정준수, 의사소통 능력, 적극성은 동일했고 사전 준비를 많이 한 클라이언트를 만날수록 프로젝트 진행이 쉬워짐을 알 수 있었습니다. 이제 이 10가지 항목(클라이언트 5개, 파트너 5개)을 공개 평가로 만들어 줍니다.공개 평가 항목 공개평가는 질문을 명사형으로 선이 굵고 큼직하게 만들기로 했습니다.사람들은 디테일한 질문보다 큰 질문을 받았을 때 경향성을 더 잘 대답해준다는 결과가 있었고, 비공개 평가 목적 2(공개 평가보다는 비공개 평가 항목을 더 디테일하게 구성한다.)에 맞추어 비공개 평가에서 더 많은 항목을 물어보기로 했기 때문에 공개평가에서는 큰 항목의 전반적인 느낌만 수집하도록 합니다. 이제 공개평가 항목이 정해졌으니 비공개 평가 항목도 만들어 보도록 하겠습니다. 2. 비공개 항목 설계 비공개 평가는 비공개 평가 목적 1(공개 리뷰에서 a항목을 물어봤다면 비공개 리뷰에서도 a항목을 물어본다.)에 맞추어 공개평가에 있는 굵은 항목을 세분화할 예정입니다.그렇다면 공개평가와 비공개 평가 대조를 통해 더블체크가 가능하게 되겠지요. 비공개 평가를 만들기 위해서 두 가지 프로세스를 거쳤는데요,첫 번째로는 공개평가의 텍스트 해상도를 높이는 작업을 했습니다. 비공개 평가는 공개평가보다 디테일하고 솔직하게 응답을 수집할 수 있어야 합니다.그렇기에 유저가 최대한 자주 쓰는 단어나 표현을 사용한(최대한 유저와 거리감을 줄이고 자연스러운 응답을 유도할 수 있도록) 리뷰 항목을 만들고자 했고, 그렇게 하기 위해 유저 설문조사와 성공사례 인터뷰에서 뽑은 날것 그대로의 텍스트를 조금 변경해 보았습니다. 예를 들어 공개평가에서 "파트너 전문성은 어느 정도였는지?"라고 물었다면 유저 피드백에서 '파트너 전문성'을 의미하는 요소를 찾아냈고, 그것이 '프로젝트를 얼마나 잘 이해하는지', '프로젝트를 수행할 수 있는 능력을 가지고 있는지'등으로 표현되고 있는 것을 알 수 있었습니다. 그리고 추가로 비공개 평가 목적 3,4(서비스 운영 차원에서 대응이 필요한 항목을 물어봐야 한다면 비공개 항목에 추가한다, 사람에 대한 만족도를 조사할 때는 비공개 평가로 받는다.)에서 언급했던 것처럼 서비스 운영 차원에서 대응이 필요한 항목도 추가해 줍니다. 비공개 평가 항목 두 번째로는 위에서 도출된 '유저가 응답해준 해당 항목에 대한 low text'를 질문 형식으로 구성했습니다. 예를 들어 일정준수 능력으로는 유저가 '납기일이 잘 지켜짐'으로 응답했다면클라이언트에겐 "납기일을 잘 지켜주었나요?" 같은 질문으로 해당 항목을 수집받을 수 있게 만들어 줍니다. 이제 항목을 다 정했다면 이 항목을 어떻게 물어볼지 응답 수집 방법을 정해봅시다.3. 리뷰 양식(어떤 설문지로 질문을 수집할 건지?) 항목을 정했다면 어떤 양식으로 대답을 받을지도 정해야 하는데요,질문 수집 방식을 설계하기 위해 여러 리뷰 수집 방법을 리서치해봤습니다. 리서치를 해보니 대표적인 리뷰 수집 방법으로는 NPS, CSAT, CES 이 세 가지 방법이 있어서 이 세 가지 방법을 짧게 둘러보고, 어떤 방식으로 리뷰를 받을지 선택해보겠습니다. 1. NPS NPS는 특정 서비스나 브랜드를 다른 사람에게 얼마나 추천할지 묻는 설문조사입니다.응답자는 0~10 사이 숫자를 선택해야 하며, 10은 "매우 추천함"이고 1은 "매우 추천하지 않음"입니다.추가로 주관식 질문을 사용하여 유저 생각을 텍스트 그대로 옮길 수 있게 하면, 마음에 들지 않는 점이나 서비스를 개선하기 위한 피드백을 수집할 수 있습니다. nps 장점과 단점장점 1. 집중관리가 필요한 유저를 솎아낼 수 있습니다. 고객 세분화를 통해 낮은 점수를 준 고객을 통해 고객 이탈률을 예측하고, 충성도를 높이기 위해 추가로 노력이 필요한 클라이언트를 찾을 수도 있습니다.장점 2. nps는 짧고 쉬워서 모든 단계에서 아무 때나 다양한 설문 조사를 할 수 있습니다. 비용이 많이 들지 않기 때문에 회사 규모에 상관없이 유의미한 값을 얻을 수 있습니다.장점 3. 광범위한 질문을 통해 특정 이벤트에 크게 영향받을 확률이 낮고 결과가 매우 정확합니다.장점 4. 평균 설문조사 응답률은 3%를 약간 넘지만 nps는 20~40% 응답률을 얻습니다. 질문이 하나뿐이고 숫자를 이용한 응답은 텍스트를 추가로 읽지 않아도 되기 때문에 빠르게 피드백을 제공할 수 있습니다. 단점. NPS 설문 조사에 있는 한 가지 질문만으로는 전반적인 서비스 만족도를 측정할 수 없습니다. 또한 NPS에서 좋은 점수를 받는다면 기업이 올바른 방향으로 가고 있다고 생각하는 "터널 비전(시야가 좁아지는 현상)"효과를 만들 수 있습니다. 2. CSAT유저가 서비스에 얼마나 만족하는지 확인할 때 사용합니다. 응답자는 1 ~ 5 사이 숫자를 선택하게 되며 5는 "매우 훌륭함", 1은 "매우 나쁨"입니다. CSAT에서는 nps 같이 주관식 질문도 함께 물어볼 수 있으며, nps와 다르게 여러 질문으로 구성할 수 있습니다. 어떤 경우에는 별표나 스마일 척도같이 이미지로 구성된 척도가 숫자로만 구성된 척도보다 설문 조사에 더 적합할 수 있습니다.이미지 스케일은 직관적이고 언어에 구애받지 않으며 설문 조사를 더욱 재미있게 만들 수 있습니다. CSAT 장점과 단점장점 1. 질문을 맞춤 설정할 수 있고 등급 척도가 감정 콘텍스트와 연결될 수 있기 때문에 유저 관심을 끄는 다양한 그래픽 효과를 사용할 수 있습니다. (숫자, 별표, 이모티콘 등)장점 2. 다양한 형식으로 설문조사가 가능하고 여러 질문을 할 수 있으므로 다면적인 측정이 가능합니다. 단점 1. 사람마다 다른 '만족'이라는 기분을 기반으로 하기 때문에 주관성 문제가 있습니다.단점 2. 문화에 따른 결과 왜곡이 있습니다. 심리학 기사에 따르면 미국과 같은 개인주의 국가 사람은 집단주의 국가 사람(예시) 일본 등) 보다 더 극단("매우 만족", "매우 불만족")을 선택할 가능성이 높았습니다.단점 3. 충성도를 정확하게 알려주지 못합니다. 점수가 낮았을 때 고객이 이탈하겠다 정도만 예측이 가능하고 점수가 높아도 유저가 이 서비스를 추천할지, 재구매할지(추가 액션으로 이어질지) 정확하게 알 수 없습니다. 3. CESCES 설문 조사는 유저에게 특정 작업을 수행하기가 얼마나 쉬웠는지 혹은 어려웠는지 물어보는 단일 질문 양식을 사용합니다. 설문 조사에 참여하는 사람은 "매우 어려움~매우 쉬움" 답변 중에 선택할 수 있고, 질문자는 응답을 다양하게 구성할 수 있습니다. "매우 동의함~매우 동의하지 않음"으로 세팅할 수도 있으며 번호도 매길 수 있습니다. CES 또한 개방형 질문을 통해 고객이 자신 선택한 점수에 대한 이유를 설명하게 할 수 있고 응답을 기반으로 한 추가 질문을 사용하면 답변의 이유를 더 깊이 파고들 수 있습니다. CES 장점과 단점장점 1. 향후 구매 행동을 예측할 수 있습니다. 적은 노력이 든다고 얘기한 고객 84%는 재구매를 하였고 많은 노력이 든다고 얘기한 고객 81%는 서비스를 부정적으로 얘기했습니다.장점 2. 고객이 들인 노력에 초점을 맞추기 때문에 여러 상호작용에서 서비스가 가진 약점을 신속하게 파악할 수 있습니다. 단점 1. NPS와 마찬가지로 설문 조사에 있는 한 가지 질문만으로는 전반적인 서비스 만족도를 측정할 수 없습니다. 실무 리뷰 수집 방법 정하기 리뷰 수집 방법을 살펴보며 우리 서비스에 맞는 시스템을 도입해보겠습니다.어떤 시스템이 맞는지 알기 위해선 리뷰 수집 방법을 뜯어보아야 하는데요, 리뷰 수집 양식은 질문 영역과 답변 영역, 이 두 가지로 구성되어있습니다. 질문은 위해서 정해두었기 때문에 답변 영역을 어떻게 만들고, 어떻게 수집할지 정해봅시다. 답변 영역을 만들기 위해 각 리뷰 방식의 답변 방법과, 답변을 더 잘 받기 위해 어떤 보완장치가 있었는지를 정리해보았습니다.이 방법 중에 어떤 방법을 사용할지 살펴보겠습니다. 1. N점제 홀수 스케일과 짝수 스케일, 혹은 10 스케일N점제를 홀수 숫자로 가져갈 건지 짝수 숫자로 가져갈 건지에 따라 응답 차이를 만들 수 있습니다. N점제를 짝수인 2,4 스케일로 가져가면 중간값이 제거되면서 '만족했는지? 불만족했는지?'에 대한 응답만 받을 수 있습니다. 이때 긍정 대답 확률과 부정 대답 확률은 50:50이 됩니다.반면 홀수인 3,5 스케일로 가져갈 경우, 중간값이 살아있으면서 '잘 모르겠다' 혹은 '중립'에 대한 응답을 받을 수 있습니다. 특히 3 스케일은 좋고 안 좋음의 정확한 응답보다 평가 대상의 특징을 받아야 하는 항목이나, 질문 범위가 넓고 구체적이며 정확도보다 경향성이 중요한 항목(예시) 사이즈가 크게 나온 편인지, 작게 나온 편인지)에 많이 씁니다. 네이버의 5점 스케일과 3점 스케일, 3점 스케일은 평가 대상의 특징을 수집하기 좋다. 같은 홀수인 3 스케일과 5 스케일 사이에도 중립 대답 확률이 서로 다를 수 있는데요,3 스케일에서는 긍정 대답 확률과 부정 대답 확률, 중립 대답 확률이 33.3:33.3:33.3 이 되고, 5 스케일에서는 40:20:40이 됩니다. 따라서 중립 대답을 조금이라도 낮추려면 3 스케일보다는 5 스케일을 채택하는 것이 좋습니다. NPS같이(10 스케일) 큰 스케일의 경우 부정 응답 범위를 넓게 잡습니다.사람들이 상대방을 리뷰할 때 호의를 가지고 대답해줄 확률이 높다고 가정하기 때문인데요, 1~10까지 값의 편차가 적기 때문에 점수가 상향되는 케이스가 많아지기 때문입니다. (9점을 줄 바에 조금 더 후하게 10점을 줌) 10 스케일인 NPS의 경우 1~6을 부정 대답으로, 7,8을 중립 대답으로, 9,10을 긍정 대답으로 봅니다. 긍정 대답 확률과 부정 대답 확률, 중립 대답 확률은 20:60:20이 되며 이는 불만족한 유저 분포를 더 많이 잡음으로서 불만족한 유저 군만 세그먼트 했을 때 더 많은 개선점을 도출할 수 있습니다. 공개 항목 응답은 5점으로, 비공개 항목 응답은 10점으로. 이제 어떻게 응답을 받을지 정해야 합니다.추상적인 항목을 크게 물어볼 것이기 때문에 중립 선택지는 있되, 중립 비율을 줄이기 위해 공개항목 응답은 5점 제로 받기로 정했고 비공개 항목은 부정 응답을 좀 더 예민하게 수집하기 위해 10점 제로 받기로 했습니다. 공개 평가 항목과 비공개 평가 항목에 따라 달라지는 점수 스케일 2. 주관식 질문 주관식 질문은 모든 설문 응답에 대한 이유를 들을 수 있는 좋은 장치입니다.또한 주관식 질문이 있으면 위에서 말한 필터나 태그 형식으로 리뷰를 재가공할 수 있기 때문에 꼭 넣어주도록 합니다.추가로 주관식 질문을 쓰기 어려워하는 사람이 많기 때문에 예시나 가이드를 제시해주면 좋습니다.추가된 '예시' 영역 실제 기능을 업데이트하고 히트맵과 마우스 트래킹으로 유저 사용행태를 확인해보니 10명 중 8~9명 유저는 주관식 질문 가이드를 끝까지 꼼꼼하게 확인하고 주어진 예시를 참고했습니다.해당 기능을 제공한 이후로 글자 수도 기존 주관식 글자 수보다 많이 늘었습니다. 3. 텍스트 값 제시 유저 응답을 점수제로 수집받을 경우, 유저에게 1~5에 해당하는 점수가 어떤 상태인지 알려줘야 합니다.특히 1,2점은 부정응답, 3점은 중립 응답, 4,5점은 긍정응답임을 명확하게 알려줘야 좋습니다. 기준이 없을 경우 모호한 2~4 대답이 중립으로 잡혀버릴 수 있고 유저 개개인이 가지는 점수에 대한 감정이 다르기 때문에 응답 실효성이 낮아집니다.2점이 부정, 4점이 긍정임을 텍스트로 명확히 알려주도록 합니다. 어떤 점수가 어떤 감정에 해당하는지 알려주면 응답 결과를 알려주는 페이지에도 해당 감정에 해당하는 이모지를 사용해 직관적인 표현이 가능하기 때문에 여러모로 유용하게 사용할 수 있습니다. 어떤 점수가 어떤 감정에 해당하는지 알려주면 결과를 직관적으로 이모지로 표현할 수 있습니다4. 리뷰 시점(언제 리뷰를 하게 할 건지?) 어떤 걸 평가하는 시점은 모든 프로세스가 종료되거나, 엮인 관계가 끝난 순간이 좋습니다. 마켓 컬리 주꾸미 후기 마켓 컬리 후기에는 종종 "아직 먹기 전인데 기대된다"는 평이나 제품을 먹어보고 남긴 후기가 아닌 "후기를 보고 구매했다"같은 리뷰가 있습니다. 리뷰시스템은 유저 판단에 도움을 줄 수 있는 좋은 데이터를 쌓아야 합니다."먹기 전에 기대된다"는 평이나 "후기를 보고 구매했다"같은 리뷰는 다른 유저가 해당 리뷰를 보고 물건을 구입할지 말지 결정할 때 도움이 되는 데이터가 아니기에 좋은 리뷰라고 보기 어렵습니다. 이런 리뷰가 많이 쌓이게 되면 한 번씩 리뷰를 정화해주거나, '도움이 되는 리뷰' 카운팅 기능을 도입해서 도움이 많이 된 리뷰를 모아 해당 리뷰를 상단으로 올려주는 등 유저 판단에 도움이 되는 정보를 최우선으로 전달할 수 있는 시스템을 설계해야 합니다. 또한 구매 직후에 리뷰를 받는다면 선택 지원 편향(선택에 잘못된 점이 있더라도 선택을 긍정적으로 보는 경향이 있다)에 따라 좋게만 대답해주는 리뷰가 작성될 수 있고 이 때문에 리뷰 인플레가 일어나서 리뷰에 대한 신뢰를 잃게 되는 일이 생길 수 있습니다. 네이버 한 달 사용기 이런 선택 지원 편향을 줄이는 좋은 방법 중 하나는 일정 시간이 지난 후 리뷰를 다시 받는 것입니다. 네이버 '한 달 사용기' 리뷰는 "정말 이 물건이 좋은가?"에 대한 의문점을 해결해 줄 수 있는 아주 유용한 데이터중 하나인데요, 한 달 후에 다시 평가를 하면 편향된 시선을 벗어나 리뷰를 남길 수 있고 실제로 오래 사용했기 때문에 정확한 평가가 가능합니다. 배달의 민족 또한 위와 같은 리스크를 피하기 위해 배달 후 일정 시간이 지난 뒤 다 먹었을 때 즈음에 리뷰를 남기라는 알림을 줍니다. 당연한 이야기지만 에어비앤비도 체크아웃 후에 리뷰를 작성하게 되어있죠. 리뷰는 타이밍 외에도 어떻게 요구받냐(요청 문구)에 따라서도 영향을 받습니다.미국의 맛집 검색 어플인 옐프는 AB테스트를 하면서 일부 사용자에게는 “리뷰를 남겨주세요”와 같은 일반적인 메시지를 보여주고, 다른 사용자에게는 "지역 비즈니스가 잘 되도록 돕거나 다른 고객이 지역 비즈니스를 찾을 수 있도록 도와주세요"라고 부탁했는데, 결과적으로 후자 그룹이 더 긴 리뷰를 작성하는 경향을 보였습니다. 실무 리뷰 시점과 리뷰 요청 문구 설계 저희 플랫폼은 함께 일했던 작업자나 클라이언트를 평가하는 것이기 때문에 평가를 무겁게 설계했습니다. 타이밍을 설계하기 전에 2가지 전제조건을 먼저 설계했는데요. 보복성 리뷰(상대방이 나에게 안 좋은 평가를 줬을 때 나도 상대방에게 안 좋은 평가를 줌) 혹은 리뷰 인플레(상대방이 나에게 좋은 평가를 줬을 때 나도 상대방에게 좋은 평가를 줌)를 막기 위해 둘 중 한 명의 평가가 먼저 공개되지 않는다.너무 오래 뒤에 평가하는 것을 막기 위해 평가 기간이 정해져 있고, 그 기간은 14일로 한다. 이 두 가지 사항입니다. 평가기간을 14일로 정한 이유는 14일 정도 시간이 지나면 어떤 감정적인 일이 있었어도 감정을 가라앉힐 수 있으며, 프로젝트 결과물을 사용해 본 결과를 말해줄 수도 있다고 생각했기 때문입니다. 이번에 리뷰 타이밍을 설계하면서 가장 신경 쓴 부분은 기존에 한 번만 나가던 알림을 3번으로 확장해서 유저가 리뷰를 까먹지 않고 자주 마주치게 설계한 것이었습니다.이렇게 타이밍을 늘린 이유는 상품 하나당 금액이 큰 거래가 일어나고, 오랜 시간 동안 함께 일한 사람을 평가하는 것일뿐더러, 평가가 상대방에게 중요한 의미를 가지고 있기 때문에 유저에게 여러 번 리뷰를 해달라고 알림을 보내도 거부감이 적을 거라 생각했습니다. 이제 평가 기간이 시작된 뒤, 시간 흐름에 따라 유저에게 닥치는 4가지 상황을 정의하고 그에 따른 알림을 마련해 보도록 하겠습니다. 1차 알림. "평가가 시작되었습니다."알림 목적 : 프로젝트가 완료되었고 평가가 시작되었음을 알려줍니다.알림 내용 : 14일 평가 기간을 공지해주고, 공정하게 평가를 작성할 수 있도록 상호평가가 완료되거나 작성 기한이 종료된 뒤에 평가가 공개된다는 내용을 담습니다.알림 중요도 : 상알림 방식 : '중요도 상' 알림은 카카오톡 알림톡과 이메일, 사이트 내 알림을 모두 다 활용합니다. 2, 3차 알림. "평가 기간 중간까지 왔는데도 평가를 안 했네? 그렇다면 리마인드 문자를!" 알림 목적 : 평가기간이 얼마 안 남았으니, 7일이 남았을 때와 2일이 남았을 때 평가 작성을 유도하는 리마인드 알림입니다.알림 내용 : 평가가 언제 완료된다는 것과 평가의 대의(비즈니스에 큰 영향을 미치며, 건전한 시장을 만드는데 중요한 역할을 함, 위의 옐프의 예시 차용)를 리마인드 해줍니다.알림 중요도 : 하알림 방식 : '중요도 하' 알림은 카카오톡 알림톡만 활용합니다. 상대방이 날 평가했을 때 알림. "받은 평가가 있습니다. 평가 내용을 보시겠습니까?"알림 목적 : 받은 평가를 확인하라는 알림입니다.알림 내용 : 받은 평가를 미리 보기 해서 보여주거나 or 평가를 작성해주면 받은 평가를 확인할 수 있다는 내용을 알려줍니다.알림 중요도 : 상알림 방식 : '중요도 상' 알림은 카카오톡 알림톡과 이메일, 사이트 내 알림을 모두 다 활용합니다. 알림 타이밍은 실제 알림 전환율을 추적하면서 가장 유저의 반응이 좋았던 시간이나 멘트를 확인할 수 있으므로 업데이트 후 데이터를 확인한 뒤 유저에게 반응이 좋았던 타이밍으로 재설계해줍니다. 저희 서비스는 업데이트 후 데이터를 살펴보니 상대방이 날 평가했을 때, 내가 받은 평가를 확인하기 위해 상대방에 대한 평가를 해주는 경우가 제일 많았습니다.해당 결과를 통해 둘 중에 한 사람이라도 알림을 완료하게 만드는 것이 중요하다는 것을 알 수 있었고 추후 이터레이션에 이 사실을 반영하려 합니다.4. 공개 시점(언제 리뷰를 공개할 건지?) 공정한 평가를 작성하려면 내가 리뷰를 작성하기 전에 상대방 리뷰를 읽지 않는 것이 중요합니다.상호 리뷰가 완료되면 그때 둘 다에게 평가를 공개하거나, 둘 중 한 명만 리뷰를 작성했다면 리뷰 작성 기한이 지나서 더 이상 리뷰를 쓸 수 없을 때 리뷰가 공개되어야 상대방 의견과 상관없이 공정한 평가를 할 수 있습니다. 리뷰는 플랫폼 측면에서 대체 불가한 자산이고, 갈수록 중요해지는 데이터 중 하나입니다.이 글에서는 리뷰를 만들 때 중요한 요소 5가지와, 어떻게 설계하면 좋을지 정리해봤습니다. 해당 글로만으로는 부족할 수 있으나, 실무 하시는데 많은 도움이 되셨으면 좋겠습니다.참고자료https://delighted.com/ceshttps://newspeppermint.com/2015/09/23/cognitive-bias/https://www.retently.com/blog/customer-satisfaction-metrics/ ©️요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.
