실패를 통해 배우는 AB테스트

국내 유명 IT 기업은 한국을 넘어 세계를 무대로 할 정도로 뛰어난 기술과 아이디어를 자랑합니다. 이들은 기업 블로그를 통해 이러한 정보를 공개하고 있습니다. 요즘IT는 각 기업들의 특색 있고 유익한 콘텐츠를 소개하는 시리즈를 준비했습니다. 이들은 어떻게 사고하고, 어떤 방식으로 일하는 걸까요? 

이번 글은 미용 수술 및 시술에 대한 정보를 제공하는 플랫폼 ‘강남언니’의 프로덕트팀 이야기입니다. 2차에 걸친 AB테스트를 통해 얻어낸 실험 결과와 인사이트를 공유합니다.

안녕하세요. 강남언니에서 해외사업 프로덕트 디자인을 하고 있는 Ally입니다. 현재 일본을 대상으로 서비스를 만들고 있습니다. 오늘은 해외의 유저를 타깃으로 한 여러 번의 A/B테스트를 통해서 배운 점들을 공유해보고자 합니다.

한국에서 해외의 서비스를 만들고 있기 때문에, 그들의 마음을 더 잘 알기 위해 정성적, 정량적인 방법을 사용하고 있습니다. 그중 정량적으로 고객을 더 잘 알아가기 위해 진행하고 있는 AB테스트는, 유저에 대한 흐릿했던 많은 가설들을 선명하게 알아갈 수 있는 지름길이라고 생각합니다. 우리가 목표한 지표에 닿기 위한 UX는 무엇인지, 워딩은 무엇인지, 유저에게 직접 인터뷰하지 않아도 자연스럽게 서비스를 사용하면서 선택으로 우리에게 답을 말해주기 때문입니다.

이번 테스트는 강남언니 일본 유저가 사용하는 로그인 화면을 실험했습니다. 초기에 시행했던 AB테스트는 아래와 같은 절차를 거쳐 설계를 진행했습니다.

1차 실험 - 시행착오의 시작

문제사항 정의

마케팅을 통해서 유저를 많이 모집했지만, 회원가입 창에서의 이탈이 많아 회원가입으로 이루어지지 않았습니다.

로그인 화면을 보는 유저 수에 비해 회원가입까지 완료하는 유저의 수는 59.9%로 절반 조금 넘는 회원들만 가입으로 전환되는 현상을 발견할 수 있었습니다.

가설 설정

일본 유저들이 액션을 취하려면 정보가 필요하다고 판단했습니다. 기존의 회원가입/로그인 화면(Control)에서 주는 정보의 양이 너무 적기 때문에 유저가 다운로드 한 앱이 무슨 앱인지 파악하기 어려워 전환이 되지 않을 것이라 가정했습니다.

결론 도출

일본 유저들에게 회원가입 단계에서 앱에 대한 정보를 제공해 전환율을 높이려 했습니다.

디자인 개선

개선된 ABC 안을 만들면서 집중했던 점은 앱에 대한 정보를 다양하게 전달해주는 것이었습니다. ‘어떤 정보를 통해 유저의 가입 전환율을 가장 높일 수 있을까?’라고 생각해보며 이벤트 강조 안(A), 앱 기능 강조 안(B), 앱 내용 보여주기 안(C)을 만들었습니다.

추가로, 한 가지를 더 개선해보았습니다. 시작하기 버튼이 너무 다양해서 무엇을 눌러야 할지 모르는 유저에게 하나의 방법을 강조해주어 고민할 시간을 줄여준다는 가설을 설정하여, 일본에서 가장 많이 사용하는 SNS 버튼만을 강조하고 나머지 버튼의 시각적 중요도를 낮춰주었습니다.

신나게 실험에 들어갔습니다. 그러나 처참한 결과를 맞게 됩니다. A, B, C안 모두 기존 안 대비 하향 평준화되어 버린 것입니다. 디자인을 개선했는데, 기존 안이 더 효율이 좋다는 결론이 나오면서 디자이너는 엄청난 허탈감을 겪게 되었습니다.

실험에 대해서 복기해보니, 뭔가 잘못 실험한 것만 같은 생각이 들었습니다. 그래서 바로 스쿼드원들과 이번 실험에 대한 회고를 해보았습니다. 다음 실험에는 같은 실수를 반복하지 않기 위해서..!

변수가 너무 많았다.

과연 가설이 틀렸던 것이었나? 그에 대한 답은 '알 수 없었다'입니다. 변수에 대한 확실한 검증이 필요하다면 통제 변수가 필요합니다. 이 실험은 정확히 말하면 가설이 2가지였던 것입니다. '일본 유저들은 액션을 취하려면 정보가 필요하다.'와 '버튼이 많아서 로그인 전환이 힘들었을 것이다.'

적은 모수에 너무 많은 시안을 테스트했다.

이전 테스트에서는 일본 유저의 유입 자체가 적어 유의미한 테스트 결과를 얻기까지 2달 정도가 걸렸습니다. 결과를 얻기까지 너무 오랜 시간이 걸리니 중간에 마케팅의 방향성이 바뀌어 버리는 상황도 발생했었습니다. 때문에 이번에는 성과를 빠르게 측정하기 위해 2-3개의 시안을 테스트하자는 방향성이 정해진 것이었습니다.

새로운 가설

이번 실험을 통해서 새로운 가설이 등장했습니다. '유저는 소셜 로그인 버튼이 부담스러웠을 수 있다.' 유저의 정보가 성형 관련 어플에서 드러날 수도 있을 것이라는 우려에 거부감을 느꼈다는 유저 인터뷰가 있었습니다. 일본 유저가 주로 사용하는 라인으로의 간편로그인으로 몰면 생각할 시간이 줄어 빠르게 전환될 것이라 생각한 가설이 틀렸을 가능성을 알게 되었습니다.

2차 실험 - 반영의 결과

회고를 반영하여 실험을 다시 계획해 보았습니다.

제한 변수

하단의 버튼 개수, 위치, 문구를 제한하였습니다. 그리고 상단 콘텐츠만 변화를 주었습니다.

하단에는 'SNS에 공유되지 않으니 안심하세요.' 문구를 추가해주어 한 번 더 안심하고 전환될 수 있도록 마이크로 카피를 추가했습니다.

개수를 줄여 AB 테스트

기한을 3주로 정해두고 실험의 개수를 줄여 유의미한 결과를 얻을 수 있도록 설계하였습니다. 이전 테스트에서 빠르고 정확하게 실험하고 그 안에서 레슨을 얻는 것이 의미 있는 방향이라는 교훈을 확실히 얻었기 때문입니다.

테스트 결과

로그인 화면에 들어온 유저를 세 그룹으로 나눠서 한 그룹에는 A안(이벤트 강조 안)을 보여주고, 두 번째 그룹에는 B안(앱 내용 보여주기), 다른 한 그룹에는 기존과 동일한 안을 노출하였습니다. 두 번째 그룹이 병원을 보는 수는 기존 그룹보다 3.58% 높게 나왔습니다.

그렇게 지난 1년 동안 여러 테스트를 통해 유저의 가입 퍼널을 개선한 결과 회원 가입 전환율이 1년 대비 20% 상승한 결과를 관찰할 수 있었습니다.

로그인 페이지는 유저가 가장 많이 선택하고 회원가입으로 전환된 A안(이벤트 강조 안)이 선택되었습니다. 단순히 문구만 적혀있는 안보다 앱에 로그인하게 되면 어떤 콘텐츠를 볼 수 있는지 보여주는 안이 더 효율적이라는 것을 알게 되었습니다. 이러한 결과를 바탕으로 유저들의 관심사 기반으로 콘텐츠를 보여줄 수 있는 실험을 계획해보고 있습니다.

욕심을 내려놓고 한 가지만 물어보자

이번 AB테스트를 통해서 배운 점은 테스트를 설계할 때에는 문제 상황을 명확히 설정한 뒤 가설을 날카롭게 가다듬어 한 가지로 통일하는 것이 정말 중요하다는 것입니다.

공을 들여 가설을 한 가지로 설정했다면 이번 테스트에서 관찰하는 것은 그것 한 가지여야 합니다. 일정의 여유로 개선을 위한 추가적인 아이디어가 있더라도 정해진 가설을 검증하기 위해 다른 변수들을 통제해야 합니다. 여러 가지 방향으로 개선을 해내는 것은 좋지만, 실험에선 중요한 일이 아닐 수 있습니다. '당연히…'라고 생각하면서 넣었던 변화가 테스트의 목적을 흐릴 수 있다는 것을 알았습니다.

AB테스트의 이론에 대해 모두 알고 계실지도 모르겠습니다. A/B 테스트를 약 4달 간 2번 시행하며 얻은 교훈을 통해, 이 글을 읽는 여러분, 그리고 제가 다음 테스트할 때 같은 시행착오를 겪지 않았으면 하는 마음으로 기록하고 공유합니다.

<원문>

https://bit.ly/3nLoXky