악마의 시너지, 더닝-크루거와 호손 효과

사용자 리서치에서 가장 해결하기 어려운 난제는 무엇일까? 리서치에 대한 무관심이 아니며, 시간의 부족함도 아니다. 그것은 바로 리서치에 대한 잘못된 이해다. 프로덕트 디자이너 동료가 아닌 팀 외부의 인원이 오해하고 있으면, 그럴 수도 있다. 하지만 함께 일하는 동료의 왜곡된 인식은 해결하기가 쉽지 않다. 대표적인 잘못된 이해는 다음과 같다.

• 인터뷰에서 참여자들은 진실을 말한다.
• 참여자들이 말한 내용이 곧 우리가 추출한 인사이트다.
• 리서치를 하면 쉽게 사용자를 파악할 수 있다.

이러한 인식은 실제 인터뷰 환경에서 두 종류의 심리 현상을 일으킨다. 하나는 프로덕트 디자이너에게, 다른 하나는 인터뷰 참여자에게 발생하는 데 이는 인터뷰에서 얻게 되는 데이터의 신뢰도를 떨어뜨리기 때문에 치명적이다. 이 두 현상이 바로 오늘 이야기할 ‘더닝-크루거 효과’와 ‘호손 효과’다.

더닝-크루거 효과와 프로덕트 디자이너

한때 인터넷에 학사, 석사, 박사, 교수의 차이를 설명한 밈이 유행한 적이 있다. 많은 공감을 얻었던 이 밈에 따르면, 이들 네 단계의 차이는 다음과 같다.

• 학사: 이제 자기 분야에서 모르는 건 없다고 생각한다.
• 석사: 자기가 아는 것이 정말 아무것도 없었음을 알게 된다.
• 박사: 남들도 다 마찬가지임을 알게 된다.
• 교수: 기억나는 것만 가르친다.

조금 배웠을 때는 모든 것을 안다고 생각하다가 많이 배울수록 아는 것이 없음을 점점 깨닫는다는 것이 이 밈의 요지다. 심리학자들이 실제로 이러한 현상을 과학적으로 연구한 바 있다. 바로 ‘더닝-크루거 효과’다.

더닝-크루거 효과는 주로 ‘근거 없는 자신감’이라는 수식어로 표현된다. 어떤 분야에 대해 조금 아는 사람일수록 스스로의 능력을 실제보다 높게 평가하는 반면, 유능한 사람일수록 자신의 능력을 과소평가하는 인지 편향이다. 마찬가지로 디자이너가 타깃 사용자를 어설프게 이해할수록 그들을 잘 안다고 생각하기 쉽다. 그렇다면 더닝-크루거 효과가 일어나기 쉬운 프로덕트 디자이너의 특징은 무엇일까?

리서치를 왜 하는지 모른다

"리서치가 중요한 건 아는데, 난 일단 먼저 시도해보고 실패하면 방향을 틀 거야."

좋은 인사이트를 얻었으면 빠르게 시장에 내 보는 액션 마인드셋은 업무 진행에 매우 중요한 요소다. 하지만 근거도 없고 가설도 없는 프로덕트를 시장에 내는 행동은 도저히 납득하기 어렵다.

많은 스타트업 구루가 시장을 직접 겪으며 프로덕트를 개선할 것을 독려하기 때문에, 이러한 액션 마인드셋은 우리에게 잘 받아들여지는 개념이다. 하지만 그것이 ‘리서치가 중요하지 않다’라는 의미인 건 결코 아니다. 사전에 리서치를 많이 하고 신중하게 새로운 상품을 기획해서 성공 확률을 높이는 대기업에 비해, 스타트업은 시간과 비용이 부족하므로 너무 많은 시간을 리서치에 할애하기보다 빠르게 검증해보라는 것이 옳은 이해이다.

그런데 어떤 사람들은 이를 확대 해석하여 리서치를 하는 것은 시간을 낭비하는 가치 없는 행동이고, 무작정 빠르게 시도하는 것만이 효율이 좋은 것이라고 여기는 듯하다. 개인적으로 그런 사람들에게 좋은 성과를 내는 PO와 프로덕트 디자이너들이 데이터를 정밀하게 분석하는 이유가 뭐라고 생각하는지 질문하고 싶을 때가 많다.

가령 리서치가 되어있지 않은 상태에서 급한 마음에 일단 서비스를 출시해 고객의 반응을 얻게 됐다고 해도, 다음으로는 여기에서 얻은 데이터를 분석하는 일이 필수적으로 진행되어야 한다. 결국 프로젝트를 성공시키기 위해서는 리서치를 피할 수 없는 것이다. 리서치를 깊이 있게 해본 적 없는 기획자일수록 이에 대한 중요성도 이해하지 못한다.

다른 능력들과 마찬가지로, 리서치에 능숙할수록 많은 데이터에서 빠르게 핵심 인사이트를 뽑아낼 수 있다. 리서치 능력이 떨어질수록 분석이 오래 걸리고, 뽑아낸 인사이트에 대한 신뢰도도 떨어진다. 당연히 결과도 떨어질 수밖에 없다. 기획자는 시간을 들였는데도 건질 자료가 별로 없다고 생각하며 리서치의 중요성을 저평가하게 된다. 이런 식으로 악순환이 계속된다. 결국 '리서치하는 시간이 아깝다.'라고 말하는 사람은 본인의 낮은 리서치 능력을 자랑하고 다니는 것과 다름이 없다.

호손 효과와 인터뷰 참여자

인터뷰 참여자에게 일어나는 심리 현상도 있다. 이는 1920년대 일리노이 주의 한 공장에서 진행된 사회 실험에서 발견되었는데, 실험에 참여한 사람이 스스로 관찰되고 있음을 인지하면 기대에 부응하기 위해 자신의 행동을 실제와 다르게 조정하는 심리이다. 이것이 ‘호손 효과’다.

프로덕트 디자이너의 리서치에서도 마찬가지로, 참여자들이 스스로 관찰되고 있음을 알게 되었을 때 호손 효과가 발생할 수 있다. 이런 경우 얻어진 데이터를 있는 그대로 믿고 프로덕트를 개선할 수 없게 된다. 이를 ‘외적 타당성(External Validity)이 낮다’고 말한다. 연구를 통해 얻은 데이터가 실제 현실과 동떨어져 있을 확률이 높으므로, 개선을 했는데도 오히려 성공과 거리가 멀어지는 역효과가 발생한다.

때문에 인터뷰를 진행할 때는 자신이 노골적으로 관찰되지 않는 것처럼 느끼게 하는 것이 중요하다. 먼저 인터뷰 진행자가 해당 프로덕트와 이해관계가 없는 것처럼 행동하거나 편향을 유도하는 질문을 하지 않아야 한다. 더 좋은 방법으로 인터뷰 참여자와 프로덕트 디자이너가 객관적인 태도로 함께 앱을 탐구하는 느낌을 줄 수 있으면 호손 효과를 줄일 수 있다.

다음 상황을 보자.

질문: “저희 팀에서 이번에 새로운 A 기능을 제작하고 있어요. 화면을 보시고 생각나는 것을 말해 주세요.”

답변: “오, 너무 좋은 것 같아요. 색도 이쁘고, 버튼도 큼지막해서 자주 사용할 것 같네요. 제게 꼭 필요한 기능이에요!"

이 참여자의 긍정적인 반응에 의지해 기능을 열심히 추가한 기획자는 십중팔구 실패할 것이다. 디자이너는 두 가지 실수를 저질렀기 때문이다.

“저희 팀에서 새로운 A 기능을 제작하고 있어요.”

이미 기능이 만들어지기로 한 걸 알려주면 사람들은 이에 대해 부정적인 반응을 보이지 않을 확률이 높다. 사회적 능력이 좋은 사람일수록 오히려 계속 잘해보라는 의미에서 실제 본인의 생각과 달리 긍정적인 말을 해줄 수도 있다. 다른 예시도 있다.

“화면을 보시고 생각나는 것을 말해 주세요.”

이 경우 기획과 디자인까지 이미 결정이 된 것처럼 보이기 때문에, 참여자는 본인의 의견이 기획에 어떠한 변화를 줄 수 있을 것이라고 기대하지 않게 된다. 우리는 참여자가 디자인된 화면을 보면서 생각나는 것들을 자연스럽게 말할 것이라고 기대하지만, 실제로 참여자는 그의 말 한마디 한마디에 귀를 기울이는 관찰자의 존재를 강하게 인식한다. 따라서 앞선 경우와 비슷하게 참여자는 이 기능에 대해 칭찬하거나 긍정할 확률이 높다. 즉, 호손 효과가 발생한다.

이를 극복하고 깨끗한 데이터를 추출하기 위해서는 기존 매뉴얼보다 많은 질문을 던져야 한다. 질문 리스트를 미리 준비하는 것은 기본이지만, 리스트에 있는 내용만 기계적으로 질문해선 중요한 정보를 끄집어낼 수 없다. 능숙한 프로덕트 디자이너라면 내밀한 답변을 유도할 수 있는 꼬리물기 질문을 여러 번 던져야 한다. 꼬리물기 질문을 잘하기 위해서는 의미 있는 답변을 유도할 수 있으면서도 편향되지 않고 중립적인 질문을 던질 수 있는 언어적 감각이 필요하다. 서투른 꼬리질문은 자칫하면 짜증만 유발할 수 있으므로 주의하자.

또한 앞서 말했듯이 인터뷰 프레임워크 형식에 대한 지식이 떨어지는 기획자일수록, 편향을 유발하는 질문을 반복적으로 할 가능성이 높다. 그러면 본인이 원하는 답변을 듣게 되겠지만, 그렇게 만들어진 프로덕트가 실제 시장에서 반응할지는 의문이다. 

상대방은 우리를 쉽게 속일 수 있다

"나는 사람을 보면 어떻게 생각하고 있는지 쉽게 알 수 있어. 저 사람은 우리 기능을 좋아하는 게 분명해."

세계적인 저널리스트 말콤 글래드웰의 저서 ‘타인의 해석’을 읽어 보면, 상대방이 얼마나 우리를 쉽게 속여넘길 수 있는지 알 수 있다. 우리가 연구 참여자의 행동을 관찰하면서 그들을 곧바로 파악할 수 있다고 믿는 것은 지나친 자신감에 불과하다.

인터뷰할 때 우리가 던지는 질문과 질문을 할 때의 표정, 그리고 분위기 하나하나가 참여자에게 편향을 전달한다. 그러면 참여자에게는 즉시 호손 효과가 일어나게 되고, 우리가 듣고 싶은 말과 행동을 하기 시작한다. 

인간 심리에 대한 이해 없이 의례적으로 만든 인터뷰 질문 리스트가 얼마나 편향적인 답변을 이끌어내는지 이해한다면, 심리학에서 사용되는 사회과학적 연구 프레임워크와 테크닉이 UX 연구에서 활용되는 이유도 납득할 수 있을 것이다. 좋은 프로덕트 디자이너라면 반드시 리서치 프레임워크의 목적과 역할에 대한 깊이 있는 탐구가 필요하다.

리서치는 고객 이해의 시작

여러분은 인터뷰에서 흔히 사용하는 ‘5Whys’, ‘Shadowing’ 등의 리서치 프레임워크들을 잘 알고 있을 것이다. 앞서 말한 두 심리 효과를 바탕으로 생각하면, 결국 리서치 프레임워크는 본질적으로 리서치 과정에서 발생할 수 있는 편향과 노이즈를 제거하기 위한 도구이다.

상대방의 말에서 무엇이 내밀한 진실인지를 가려낼 수 있는 노하우를 기르기 위해 정성 인터뷰 프레임워크를 많이 경험해야 한다. 이를 위해서는 상대방에 편하게 답할 수 있는 환경을 만들고, 너무 뻔하고 예측 가능한 대답은 의심하는 능력을 키워야 한다. 

다음은 여러분이 쉽게 활용할 수 있는 4가지 인터뷰 마인드셋이다.

• 사람에 대한 호기심을 유지한다.
• 그럴듯한 답변은 의심한다.
• 적재적소에 꼬리물기 질문을 활용한다.
• 프로덕트에 대한 개인적인 선호를 드러내지 않는다.

UI 디자이너, UX 리서처, 그래픽 디자이너 등 출신 도메인이 각기 다르면 같은 프로덕트 디자이너끼리도 리서치를 대하는 온도가 다양하다. 그럼에도 불구하고 우리가 서비스를 제공하는 사용자에 대해 알면 알수록 그들이 원하는 서비스를 만들 수 있다는 걸 잊어서는 안 된다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.