다른 서비스
NEW
기획
디자인
개발
프로덕트
아웃소싱
프리랜싱
비즈니스
최근 검색어
전체 삭제
최근 검색어가 없습니다.

기획

토마스넷은 왜 가입자 수를 폭발적으로 늘려준 테스트 결과를 거부했을까?

본 콘텐츠는 위시켓이 선정해 번역한 해외 콘텐츠입니다. UI 패턴과 A/B테스트 결과를 분석하는 GoodUI 블로그에 발행된 글이며, 작성자는 Jakub Linowski입니다. 본문은 세계적인 B2B 플랫폼인 토마스넷(Thomasnet)이 A/B 테스트를 진행한 결과에 대한 내용으로 기업이 A/B 테스트 결과를 어떻게 받아들이고, 적용하는지에 대해 생각해볼 수 있겠습니다.

 

지난해 저희는 기업 구매자들과 공급업체들이 이용하는 세계적인 B2B 플랫폼인 토마스넷(Thomasnet) 측과 함께 가입 안내 메시지에 대한 테스트를 실시했습니다. 그들은 제품을 보여주는 페이지에서 회원으로 가입하는 사람들의 수를 늘리기 위한 방법을 찾고 있었습니다. 그렇게 해서 A/B 테스트(두 가지 항목을 놓고 비교하는 실험)를 수행했지만, 그 결과는 저희가 예상했던 것과 달랐습니다. 기록 상으로는 가장 효과가 큰 결과를 얻었음에도 불구하고, 그들은 그 테스트 결과를 실제 사이트에 적용하지 않았습니다. 그러한 결정에는 나름의 이유가 있었습니다.

 

시작 패턴

토마스넷과 진행한 실험은 저희가 몇 년 전에 뉴질랜드의 어느 데이트 매칭 사이트에서 성공을 거두었던 테스트 결과에 기반한 것이었습니다. 그 사이트에서는 원래 회원가입을 하지 않고도 원하는 조건으로 다른 회원들을 검색할 수 있었는데, 당시 테스트에서는 회원가입을 하지 않으면 그 결과의 일부를 볼 수 없게 해 보았습니다. 그러자 아래의 테스트 결과에서 알 수 있듯이, 검색 결과 페이지에서 회원으로 가입하는 사람들의 수가 크게 증가했습니다. 실제로 여기에서는 두 가지의 확실하면서도 중요한 분석 결과를 보여주고 있었습니다. 첫 번째 분석 결과는 미묘한 상호작용이 사람들로 하여금 다음 단계로 나아가게 만들 수 있다는 것이었습니다. 그리고 두 번째 중요한 분석 결과는 회원가입 양식을 어떻게 만드느냐에 따라서 실제로 사이트에 가입하는 사람들의 수가 달라질 수 있다는 것이었습니다. 그래서 저희는 이와 비슷한 테스트를 토마스넷에서도 다시 한번 진행해볼 만한 가치가 있다고 판단했습니다.

 

https://goodui.org/site/assets/files/7523/2021-02-19_11-26-19-1.jpg

 

토마스넷에서의 테스트 재현

그래서 토마스넷에서도 비슷한 실험을 준비했는데, 여기에서는 대부분의 콘텐츠에 제한을 걸어서 회원가입을 유도하는 안내 메시지를 보여주는 것이었습니다. 사용자들이 다른 제품들까지 전부 찾아보려면 먼저 회원가입을 해야만 했습니다. 이런 조건에서 저희는 가입자 수와 참여율이라는 두 가지의 항목을 수치로 측정했습니다.

가입자 수

이러한 설정이 가입자 수에 미치는 영향은 저희가 예전에 수행한 테스트 결과를 기반으로 예측했던 것처럼 긍정적인 것으로 나타났습니다. 그 효과는 가입자 수가 무려 1135%나 증가하는 놀라운 결과였습니다. 참고로 아마존(Amazon)의 디렉터였던 로니 코하비(Ronny Kohavi)는 너무 터무니없는 데이터는 경계해야 한다는 트와이먼의 법칙(Twyman's Law)을 염두에 두라고 말하곤 했습니다. 그래서 저희가 이런 테스트 결과를 처음 접했을 때 보인 반응도 뭔가 잘못된 것은 아닌가 하는 것이었습니다. 하지만 추가적인 조사를 통해서 알아냈던 것은, 이 사이트의 회원 가입자 수가 원래부터 아주 낮은 수준이었기 때문에, 이렇게 비교적 커다란 증가율이 나올 수 있었다는 것입니다.

 

참여율

더욱 흥미로운 것은, 이번 테스트에서는 한 걸음 더 나아가서 참여율(회사 소개 페이지를 방문하는 횟수)도 측정했다는 것입니다. 우리가 이런 테스트를 했던 이유는, 이곳이 마켓 플랫폼이었기 때문에 대상 고객들이 사이트에서 검색을 하고 회사소개 페이지를 방문한다는 것은 긍정적인 신호가 될 수 있었기 때문입니다. 하지만 이 수치는 부정적으로 나타났는데, 무려 18%나 감소했습니다. 이 부분에서는 전혀 효과가 없었던 것입니다. 이런 결과에 대한 설명으로는, 사이트를 방문했던 사람들 중의 일부가 가입 안내 메시지를 없애기 위해서 개인정보를 허위로 입력했을 가능성이 있다는 것입니다. 또는 제품 목록 페이지를 확인하고자 하는 동기가 (예전의 데이트 매칭 사이트에서 진행한 실험보다는) 그렇게 크지 않았을 수도 있는데, 만약 그렇다면 가입 안내 메시지는 상당히 거슬렸을 것입니다.

 

 

두 가지 교훈

결국 부정적인 결과를 보여준 이 하나의 항목 만으로도, 이번 테스트 결과를 겸허히 받아들인 것입니다. 또한 이 기능을 사이트 내에 구현하지 않겠다는 결정의 충분한 근거가 되었습니다. 토마스넷에서 테스트를 진행했던 팀은 단순히 가입자 수가 증가한 결과만 본 것이 아니라, 이후의 상호작용에서 나타난 효과도 고려했던 것입니다. 저에게는 이러한 실험이 의미하는 것은, 회원가입 절차를 마치고 난 이후에 발생하는 일을 좀 더 넓은 시야에서 파악하기 위해서는 한 가지 이상의 항목을 추적하고 평가해야 한다는 것입니다.

또한 개인적으로 여기는 두 번째의 교훈은, 예전의 실험 결과가 어떻게 나왔든 관계없이 관련된 모든 실험들을 떠올리고 비교해야 한다는 것입니다. 과거의 실험들을 통해서 얻은 결과를 모두 잘 기억하고 떠올린다면, 향후에 비슷한 실험을 하는 경우에는 그 결과와 예상을 더욱 잘 해낼 수 있습니다. 귀찮고 성가신 결과가 나왔어도 그것을 가볍게 여기지 않는 이유가 바로 여기에 있습니다. 

 

이번에 살펴본 패턴과 유사한 실험은 지금까지 겨우 2번만 수행했지만, 앞으로도 뭔가 균형 잡힌 시각을 가져야 하는 상황에서 이러한 패턴이 도움을 주리라는 사실을 알고 있습니다. 이번 실험을 통해서 우리는 가입자 수를 늘리는 데는 긍정적일지라도, 어떤 상황에서는 참여율의 하락이라는 부정적인 영향이 나타날 수도 있음을 알 수 있었습니다. 우리는 앞으로도 이런 테스트를 계속할 것이며, 그렇게 테스트를 거듭할수록 시야도 더욱 정확해질 것입니다.

 

 

> 이 글은 'Why Did Thomasnet Reject A Registration Wall A/B Test With A Record +1135% To Signups?'을 각색하여 작성되었습니다.

댓글 0

요즘IT의 번역글들

이 프로필을 만든 저만 해도 영어가 서툴러 영어로 된 기사는 읽는 게 더딥니다. 그래서 준비했습니다. 읽어볼만한 해외 소식들을 번역해 전합니다. We are the world.

북극성 지표(North Star Metric) 선택하기

비즈니스

피그마는 여러분을 나쁜 디자이너로 만들고 있습니다

디자인

인터랙션 디자인 vs 시각 디자인

디자인

좋은 디자인 포트폴리오를 만드는 팁

디자인

나에게 맞는 웹 기술 스택을 고르는 방법

개발

윈도우11은 실패작이다

프로덕트

“파이썬은 느리다”에 대한 반론

개발

파이썬 초보자가 저지르는 10가지 실수

개발

우리가 주목할 UI/UX 디자인 트렌드

디자인

2022년 프론트엔드 개발 동향

개발

코드 리뷰 문화

개발

데이터 분석가는 무슨 일을 할까요?

개발

최고의 오픈 소스 개발 도구 Top 8

개발

데이터 분석이란 무엇일까?

개발

Flutter로 UI를 구현하는 방법

개발

자바 언어의 장단점과 2022년 트렌드

개발

데브옵스(DevOps) vs 데브섹옵스(DevSecOps)

개발

엑셀을 사용한 아름다운 데이터 시각화

디자인

여러분을 더 나은 플러터 개발자로 만들어줄 7가지 프로젝트

개발

모든 디자이너가 숙지해야 할 피그마 팁과 노하우

디자인

디자인 원칙과 디자인 가치, 그리고 디자이너

디자인

디자인, 산출물 그 이상을 넘어

디자인

이 회사는 디자인에 투자하고 있는 회사일까요?

디자인

애자일은 정말 디자인을 배제하나요?

디자인

평판 관리가 프리랜서 경력에 미치는 영향

프리랜싱

리액트 네이티브 개발자들이 겪는 가장 빈번한 5가지 문제와 해결책

개발

“솔직히 우리가 하는 것은 스크럼이 아닙니다!”

기획

데이터 시각화가 인류를 위기에서 구한 세 가지 역사적 사건

디자인

NFT의 장밋빛 미래는 사실일까?

기획

피그마 토큰으로 디자인 시스템 만들기

디자인

디자이너+개발자 = 슈퍼팀 만들기

기획

1인 개발자로서 테크 스타트업을 운영하며

기획

웹 디자이너가 PX대신 REM을 사용해야 하는 이유

디자인

100개의 스타트업을 멘토링하며 깨달은 성공의 비밀

기획

중화권 앱 UI가 영미권 앱 UI와 다른 점 알아보기

프로덕트

내가 테크 리더로 일하면서 얻은 8가지 교훈

기획

모두가 즐길 수 있는 디자인 검토 회의 만들기

디자인

프로덕트 매니저에서 프로덕트 마스터로

기획

10배 이상 뛰어난 개발자가 되는 법

개발

제품 디자인 관점에서 바라보는 NFT 아바타 열풍

디자인

에어비앤비: 대규모 iOS 앱 개발 생산성을 위해 바꾼 것들

개발

스포티파이: 맞춤형 플레이리스트 개발 비하인드 스토리

개발

프리랜서가 일하게 될 15가지 유형의 프로젝트

프리랜싱

슬랙: 제품 원칙을 통해 다시 태어난 알림 기능

프로덕트

페이팔: 실시간 그래프 데이터베이스 분석을 통해 사기를 방지하는 방법

개발

트위터: 수십억 개의 이벤트를 실시간 처리하기

개발

슬랙: 4가지 애자일 가치와 방법

기획

스퀘어: 모바일 우선을 넘어 웹에서 누리는 모바일앱 경험

디자인

스포티파이: 카피를 언어로 만드는 UX 라이팅

기획

마이크로소프트: 디자인의 미래를 위한 4가지 원칙

디자인

메타: AR/VR 경험까지 고려한 디자인 청사진

프로덕트

슬랙: 훌륭한 마케팅 카피를 위한 5가지 원칙

기획

2022년 UX/UI 디자인 트렌드

디자인

구글: 가변 폰트의 놀라운 활용법

디자인

에어비앤비: 위기 상황에서의 디자인 원칙 5가지

디자인

어떻게 두 명의 인턴이 수백만 개의 코드들을 보호할 수 있었나

개발

Lattice로 마이크로 프론트엔드를 구축하는 법

개발

Cool Cats NFT를 구축하면서 배운 것

개발

웹 컴포넌트가 프론트엔드 프레임워크를 대신할까?

개발

당신이 NFT에 대해 알아야 할 모든 것

개발

우리에겐 이상하지만 개발자들에겐 일상인 일들

개발

Next.js 12에서 주목해야 할 5가지 변화

개발

스벨트 vs 리액트, 누가 더 뛰어날까?

개발

개발자를 위한 iOS 15의 새로운 기능

개발

내가 오픈소스를 싫어하는 이유

개발

프로덕트 매니지먼트 고객 여정 5단계

기획

클럽하우스의 인기는 모두 거품이었다?

프로덕트

데이터 기반 의사결정의 장점

기획

시각 디자인의 폐쇄성 법칙이란?

디자인

사용자 경험(UX) vs 서비스 디자인

기획

프로덕트 매니저는 하루 종일 무슨 일을 할까?

기획

제품 주도 성장은 어떻게 이루어지는가?

기획

UX를 망치지 않는 설득력 있는 배너 디자인

디자인

팝업(Pop-up)으로 불리는 것들에 대하여

디자인

드롭다운(Drop-down)으로 불리는 것들에 대하여

디자인

당신의 생각을 표현하는 새로운 이모지

디자인

가장 똑똑한 소프트웨어 엔지니어에게 배운 10가지 교훈

개발

성공적인 UX 프로젝트를 위한 가장 중요한 질문

디자인

2021년, UI 디자이너가 모바일 앱에서 흔히 저지르는 실수

디자인

IT 매니저가 되는 방법과 성공하기 위한 요소

기획

슬랙(Slack) 같은 앱을 만들려면 비용이 얼마나 들까?

개발

아웃소싱이 이토록 인기를 얻게 된 이유는?

아웃소싱

마케터가 UX 관련 역량을 키워야 하는 이유

기획

미니멀리즘 디자인의 핵심적인 요소들

디자인

새로운 소프트웨어 개발사가 필요하다는 7가지 신호

아웃소싱

2021년을 이끌어가는 프론트엔드 개발 트렌드 5가지

개발

PM을 성장시키는 학습 프레임워크

기획

UI 카피라이팅, 어떻게 써야 하나요?

기획

트렌드 예측: 경쟁에서 앞서는 방법

기획

제품 사고(product thinking)의 힘

기획

인하우스 vs 아웃소싱, 소프트웨어 개발 어떻게 하나요?

개발

그림을 못 그리는 사람도 쉽게 와이어프레임 그리는 방법

기획

스타트업 기업들에게 아웃소싱이 중요한 이유

아웃소싱

제품과 기능, 성공적으로 종료하는 방법 (下)

기획

제품과 기능, 성공적으로 종료하는 방법 (中)

기획

제품과 기능, 성공적으로 종료하는 방법 (上)

기획

UX 디자이너에게 반드시 필요한 12가지 스킬

디자인

패스워드 없는 세상이 오고 있다

개발

디자이너를 쉽게 잃는 방법 10가지

디자인

프론트엔드 코딩 작업에 영감을 줄 8가지 아이디어

개발

구글이 아웃소싱을 하는 이유: 아웃소싱 성공사례 5가지

아웃소싱

일 잘하는 PM이 되기 위한 로드맵 도구 5가지

기획

이제는 말할 수 있다! 아웃소싱에 대한 오해 11가지

아웃소싱

디자인 트렌드, 모던 미니멀 스타일의 UI 가이드

디자인

MVP 개발을 아웃소싱으로 해도 될까요?

개발

온보딩 효과를 높이는 '좋은' 귀차니즘 3가지

기획

게임처럼 즐겨라, 게임화 기법 TOP3

기획

시니어 소프트웨어 엔지니어는 어떻게 일할까?

개발

프로덕트 매니저가 글을 잘 써야 하는 이유

기획

2030년엔 사라질 수도 있는 프로그래밍 언어 5가지

개발

고객들이 언제나 옳은 것은 아니다

기획

유저 스토리는 무엇인가?

기획

고객 성공을 위한 14계명

기획

8px 그리드 시대가 끝나고, 4px 그리드의 시대가 열릴까?

디자인

모바일 앱은 더 이상 스타트업에게 좋은 아이디어가 아니다

기획

과연 구글의 UX 강좌는 도움이 될까요?

디자인

프로덕트 매니저 여러분, ‘소비자의 요구사항 수집’을 그만두십시오

기획

고객 여정과 경험 지도의 차이점

기획

내가 AI 업계를 떠난 이유 5가지

기획

모달윈도우(팝업)를 디자인할 때 생각할 9가지 원칙

디자인

대기업 vs 중소기업, B2B SaaS 스타트업을 위한 시장은?

기획

내가 개발 인터뷰에서 면접자에게 감동한 이유

개발

HTTP의 새로운 메서드, 서치(SEARCH)에 대하여

개발

세상의 모든 프로덕트 디자이너를 위한 5가지 심리학 원칙

디자인

2021년 테스트 자동화 트렌드 리포트 (下)

개발

2021년 테스트 자동화 트렌드 리포트 (上)

개발

아마존과 스포티파이는 어떻게 사용자를 유지하고 측정할까?

기획

UX 디자이너라면 필수적으로 알아야 할 5가지 법칙

디자인

앵귤러 vs 리액트, 2021년의 승자는?

개발

2021년, SaaS 스타트업 시작을 위한 놀라운 아이디어 10가지

기획

디지털 제품 관리에서 B2B와 B2C 사이의 차이점은?

기획

빠르게 실행할 수 있는 ‘제품 요구사항 문서(PRD)’ 만들기

기획

더 나은 제품을 위한 프로덕트 메트릭스 가이드

기획

노 코드(No Code) 트렌드로 프로그래머들은 일자리를 빼앗길까?

개발

넷플릭스의 플랫폼: 코스모스(Cosmos)에 대하여

프로덕트

비즈니스와 애자일 조직은 어떻게 친해질 수 있을까요?

기획

효과적인 제품 전략 세우기: 다수의 전략적 트랙(MuST) 활용

기획

1년 만에 이메일 마케팅 효과를 극대화했던 방법

기획

솔루션 아키텍트를 위한 팁: 아키텍처 다이어그램의 5가지 유형

개발

새로운 맥 OS ‘빅서’에 대한 UX 디자이너의 생각

디자인

디자인 트렌드, 뉴모피즘의 정석

디자인

스스로 학습하는 UI/UX 디자이너가 되기 위한 2021년 로드맵, 3편

디자인

스스로 학습하는 UI/UX 디자이너가 되기 위한 2021년 로드맵, 2편

디자인

2021년 모바일 UX 트렌드 10가지

디자인

스스로 학습하는 UI/UX 디자이너가 되기 위한 2021년 로드맵, 1편

디자인

앱 설정 기능의 UX를 개선하는 효과적인 방법

디자인

다크모드 UI 디자인의 원칙

디자인

온라인 고객 경험을 개선하기 위한 5가지 방법

기획

신생 스타트업에서 일하는 프로덕트 매니저를 위한 현실적인 조언

기획

웹 개발자와 소프트웨어 개발자의 차이는 무엇인가요?

개발

랜딩 페이지 디자인을 개선하는 13가지 꿀팁

디자인

오프라인 비즈니스가 온라인에서 존재감을 가져야 하는 이유 5가지

기획

상향식 가격 책정 및 패키징 정책: 사용자 여정을 가이드로 활용하기

기획

B2B 제품의 UX, 그것은 숨겨진 영역인가요?

기획

상단 내비게이션 vs 사이드 내비게이션, 어느 것이 더 나을까?

디자인

자동완성 검색 기능 UX 설계를 위한 8가지 팁

디자인

프로덕트 매니저는 전문적인 IT 기술을 갖춰야 하나요?

기획

실리콘밸리 51개 기업들이 말하는 프로덕트 매니저의 역할 9가지

기획

아웃소싱에 대한 모든 것

아웃소싱

앱 디자인 가이드, 사람들이 즐겁게 사용할 수 있는 앱을 만드는 법

디자인

처음부터 완제품이 아니라 ‘MVP’를 만들어야 한다

기획

플러터 vs 리액트 네이티브 vs 네이티브, 성능이 더 우수한 것은?

개발

스타트업 프로덕트 매니저로 성장하는 법, 30-60-90일 플랜

기획

당신의 두뇌는 진보하고 있다: 성취감을 위한 3가지 전략

기획

디자이너들을 편하게 해주는 HTML/CSS 마법 10가지

디자인

코딩의 미래는 ‘노 코드(No Code)’이다

개발

내가 엔지니어링 매니저로 일하면서 저지른 실수들

개발

내가 롬 리서치(Roam Research)를 좋아하는 이유와 실제 사용법 (下)

기획

내가 롬 리서치(Roam Research)를 좋아하는 이유와 실제 사용법 (上)

기획

프로그레시브 웹 앱(PWA)이란 무엇이며, 왜 필요한가?

개발

PWA vs 네이티브 앱, 어떤 것을 선택해야 할까?

개발

UI 디자인에 여백을 활용하는 8가지 팁

디자인

마이크로소프트와 링크드인의 새로운 시도, 프리랜서 마켓에 도전장을 던지다

기획

잘 팔리는 기업용 소프트웨어 디자인하기

디자인

파이어베이스(Firebase)란 무엇인가? 파이어베이스 심층 탐구 : 하편

개발

파이어베이스(Firebase)란 무엇인가? 파이어베이스 심층 탐구 : 중편

개발

파이어베이스(Firebase)란 무엇인가? 파이어베이스 심층 탐구 : 상편

개발

업워크(Upwork)가 조사한 요즘 가장 인기 좋은 개발 기술 15가지

개발

일자리 산업이 휴먼 클라우드(human cloud)에 적응하는 방법

기획

팬데믹 이후 세계에서의 디지털 가속화는 어떤 모습일까?

기획

같은 분야를 다룬 글들을 권해드려요.

요즘 인기있는 이야기들을 권해드려요.

일주일에 한 번!
전문가들의 IT 이야기를 전달해드려요.

[구독하기] 버튼을 누르면 개인정보 처리방침에 동의됩니다.

일주일에 한 번! 전문가들의 요즘IT 이야기를 전달해드려요.

[구독하기] 버튼을 누르면 개인정보 처리방침에 동의됩니다.