토마스넷은 왜 가입자 수를 폭발적으로 늘려준 테스트 결과를 거부했을까?

본 콘텐츠는 위시켓이 선정해 번역한 해외 콘텐츠입니다. UI 패턴과 A/B테스트 결과를 분석하는 GoodUI 블로그에 발행된 글이며, 작성자는 Jakub Linowski입니다. 본문은 세계적인 B2B 플랫폼인 토마스넷(Thomasnet)이 A/B 테스트를 진행한 결과에 대한 내용으로 기업이 A/B 테스트 결과를 어떻게 받아들이고, 적용하는지에 대해 생각해볼 수 있겠습니다.

지난해 저희는 기업 구매자들과 공급업체들이 이용하는 세계적인 B2B 플랫폼인 토마스넷(Thomasnet) 측과 함께 가입 안내 메시지에 대한 테스트를 실시했습니다. 그들은 제품을 보여주는 페이지에서 회원으로 가입하는 사람들의 수를 늘리기 위한 방법을 찾고 있었습니다. 그렇게 해서 A/B 테스트(두 가지 항목을 놓고 비교하는 실험)를 수행했지만, 그 결과는 저희가 예상했던 것과 달랐습니다. 기록 상으로는 가장 효과가 큰 결과를 얻었음에도 불구하고, 그들은 그 테스트 결과를 실제 사이트에 적용하지 않았습니다. 그러한 결정에는 나름의 이유가 있었습니다.

시작 패턴

토마스넷과 진행한 실험은 저희가 몇 년 전에 뉴질랜드의 어느 데이트 매칭 사이트에서 성공을 거두었던 테스트 결과에 기반한 것이었습니다. 그 사이트에서는 원래 회원가입을 하지 않고도 원하는 조건으로 다른 회원들을 검색할 수 있었는데, 당시 테스트에서는 회원가입을 하지 않으면 그 결과의 일부를 볼 수 없게 해 보았습니다. 그러자 아래의 테스트 결과에서 알 수 있듯이, 검색 결과 페이지에서 회원으로 가입하는 사람들의 수가 크게 증가했습니다. 실제로 여기에서는 두 가지의 확실하면서도 중요한 분석 결과를 보여주고 있었습니다. 첫 번째 분석 결과는 미묘한 상호작용이 사람들로 하여금 다음 단계로 나아가게 만들 수 있다는 것이었습니다. 그리고 두 번째 중요한 분석 결과는 회원가입 양식을 어떻게 만드느냐에 따라서 실제로 사이트에 가입하는 사람들의 수가 달라질 수 있다는 것이었습니다. 그래서 저희는 이와 비슷한 테스트를 토마스넷에서도 다시 한번 진행해볼 만한 가치가 있다고 판단했습니다.

토마스넷에서의 테스트 재현

그래서 토마스넷에서도 비슷한 실험을 준비했는데, 여기에서는 대부분의 콘텐츠에 제한을 걸어서 회원가입을 유도하는 안내 메시지를 보여주는 것이었습니다. 사용자들이 다른 제품들까지 전부 찾아보려면 먼저 회원가입을 해야만 했습니다. 이런 조건에서 저희는 가입자 수와 참여율이라는 두 가지의 항목을 수치로 측정했습니다.

가입자 수

이러한 설정이 가입자 수에 미치는 영향은 저희가 예전에 수행한 테스트 결과를 기반으로 예측했던 것처럼 긍정적인 것으로 나타났습니다. 그 효과는 가입자 수가 무려 1135%나 증가하는 놀라운 결과였습니다. 참고로 아마존(Amazon)의 디렉터였던 로니 코하비(Ronny Kohavi)는 너무 터무니없는 데이터는 경계해야 한다는 트와이먼의 법칙(Twyman's Law)을 염두에 두라고 말하곤 했습니다. 그래서 저희가 이런 테스트 결과를 처음 접했을 때 보인 반응도 뭔가 잘못된 것은 아닌가 하는 것이었습니다. 하지만 추가적인 조사를 통해서 알아냈던 것은, 이 사이트의 회원 가입자 수가 원래부터 아주 낮은 수준이었기 때문에, 이렇게 비교적 커다란 증가율이 나올 수 있었다는 것입니다.

참여율

더욱 흥미로운 것은, 이번 테스트에서는 한 걸음 더 나아가서 참여율(회사 소개 페이지를 방문하는 횟수)도 측정했다는 것입니다. 우리가 이런 테스트를 했던 이유는, 이곳이 마켓 플랫폼이었기 때문에 대상 고객들이 사이트에서 검색을 하고 회사소개 페이지를 방문한다는 것은 긍정적인 신호가 될 수 있었기 때문입니다. 하지만 이 수치는 부정적으로 나타났는데, 무려 18%나 감소했습니다. 이 부분에서는 전혀 효과가 없었던 것입니다. 이런 결과에 대한 설명으로는, 사이트를 방문했던 사람들 중의 일부가 가입 안내 메시지를 없애기 위해서 개인정보를 허위로 입력했을 가능성이 있다는 것입니다. 또는 제품 목록 페이지를 확인하고자 하는 동기가 (예전의 데이트 매칭 사이트에서 진행한 실험보다는) 그렇게 크지 않았을 수도 있는데, 만약 그렇다면 가입 안내 메시지는 상당히 거슬렸을 것입니다.

두 가지 교훈

결국 부정적인 결과를 보여준 이 하나의 항목 만으로도, 이번 테스트 결과를 겸허히 받아들인 것입니다. 또한 이 기능을 사이트 내에 구현하지 않겠다는 결정의 충분한 근거가 되었습니다. 토마스넷에서 테스트를 진행했던 팀은 단순히 가입자 수가 증가한 결과만 본 것이 아니라, 이후의 상호작용에서 나타난 효과도 고려했던 것입니다. 저에게는 이러한 실험이 의미하는 것은, 회원가입 절차를 마치고 난 이후에 발생하는 일을 좀 더 넓은 시야에서 파악하기 위해서는 한 가지 이상의 항목을 추적하고 평가해야 한다는 것입니다.

또한 개인적으로 여기는 두 번째의 교훈은, 예전의 실험 결과가 어떻게 나왔든 관계없이 관련된 모든 실험들을 떠올리고 비교해야 한다는 것입니다. 과거의 실험들을 통해서 얻은 결과를 모두 잘 기억하고 떠올린다면, 향후에 비슷한 실험을 하는 경우에는 그 결과와 예상을 더욱 잘 해낼 수 있습니다. 귀찮고 성가신 결과가 나왔어도 그것을 가볍게 여기지 않는 이유가 바로 여기에 있습니다. 

이번에 살펴본 패턴과 유사한 실험은 지금까지 겨우 2번만 수행했지만, 앞으로도 뭔가 균형 잡힌 시각을 가져야 하는 상황에서 이러한 패턴이 도움을 주리라는 사실을 알고 있습니다. 이번 실험을 통해서 우리는 가입자 수를 늘리는 데는 긍정적일지라도, 어떤 상황에서는 참여율의 하락이라는 부정적인 영향이 나타날 수도 있음을 알 수 있었습니다. 우리는 앞으로도 이런 테스트를 계속할 것이며, 그렇게 테스트를 거듭할수록 시야도 더욱 정확해질 것입니다.

> 이 글은 'Why Did Thomasnet Reject A Registration Wall A/B Test With A Record +1135% To Signups?'을 각색하여 작성되었습니다.