질적 데이터를 비교하는 방법, ‘조작적 정의’

“A와 B 중 더 자주 사용하는 애플리케이션은 무엇인가요?”

위 질문에는 명확한 대답이 존재한다. A와 B의 접속빈도를 명확한 수치로 나타낼 수 있기 때문이다. 지난 한 달간 A에 접속한 횟수가 20회, B에 접속한 횟수가 40회라면 당신은 A보다 B를 더 자주 사용하며, 사용량은 20회, 즉 두 배 차이가 난다. 그러나 다음 질문은 어떨까?

“A와 B 중 더 좋아하는 애플리케이션은 무엇인가요?”

위의 질문에는 명확하게 대답하기 어렵다. 명확한 수치로 나타나는 정량적인 비교기준이 없기 때문이다. 위 대답에 대한 질문으로 A와 B를 고를 수는 있겠지만, 누가 얼마나 더 좋아하는지를 비교하기는 어렵다. 이는 정성적인 데이터, 다시 말해 질적인 데이터이기 때문이다.

질적인 데이터는 명확한 수치로 나타나지 않는 데이터다. 고객 인터뷰 결과나 사용 소감, ~한 이유 등이 질적인 데이터에 해당한다. 위에서 언급했듯, 질적인 데이터는 양적인 데이터에 비해 비교 분석이 어렵다. 그러나 어렵다는 것은 불가능하지 않다는 뜻이기도 하다.

질적인 데이터를 중점적으로 다루는 대표적인 학문이 심리학이다. 심리학의 연구 대상은 대부분 추상적인 개념이다. 도덕성, 우울, 분노 등의 감정은 모두 정량적으로 표현할 수 없는 개념들이다. 그러나 심리학은 이를 과학적 방법론으로 연구한다. 과학적으로 연구하기 위해서는 명확한 수치로 나타내고 정도를 비교할 수 있어야 한다. 심리학이 추상적인 개념을 과학적으로 연구하기 위해 사용하는 방법을 ‘조작적 정의’라고 부른다.

서비스를 기획하고 운영할 때도 다양한 추상적인 개념들을 다루게 된다. ‘고객 만족도’, ‘성장지표’ 등이 대표적이다. 추상적인 개념들은 주로 질적인 데이터로 수집된다. 오늘은 이러한 데이터를 비교하고 활용하기 위해서, 심리학에서 사용하는 도구인 조작적 정의를 활용하는 방법에 관해 이야기해보겠다.

조작적 정의란?

조작적 정의란, 추상적인 개념을 수량적으로 정의하여 비교분석 가능하도록 가공하는 작업을 말한다. 즉, 조작할 수 있도록 정의한다는 뜻이다. 예를 들어 도덕성은 눈에 보이지도 않고, 셀 수도 없는 추상적인 개념이다. 그렇다면 도덕성을 어떻게 비교할 수 있을까?

우선 도덕성을 비교할 수 있는 개념으로, 즉 조작적으로 정의해야 한다. 먹음직스러운 빵을 들고 있는 자신을 상상해보자. 향긋한 버터냄새에 침샘이 저릿저릿하다. 그런데 앞에 며칠은 굶은 듯한 아이가 빵집을 기웃거리고 있다. 행색이 추레한 것을 보아 배는 고프지만, 빵을 살 돈은 없는 것으로 보인다. 도덕성이 높은 사람이라면 기꺼이 자신의 빵을 양보할지도 모른다. 눈앞의 빵을 먹는 행위는 즉시적인 만족감을 가져다준다. 그러나 그 만족감을 포기하고 아이에게 빵을 양보하면 다른 만족감을 얻을 수 있다. 만족감을 지연한 것이다. 이 사례에 한해서라면 도덕성은 <즉시적 만족감의 지연능력>이라고 조작적 정의를 할 수 있다.

도덕성을 ‘만족감의 지연능력’으로 정의한다면, 지연을 얼마나 시킬 수 있느냐, 즉 지연시간으로 도덕성의 정도를 나타낼 수 있다. 당장의 만족감을 포기하고 얻게 되는 다른 만족감까지의 시간이 짧은 사람보다, 그 시간이 긴 사람이 더 큰 도덕성을 가진 것으로 가정할 수 있다. 도덕성을 위와 같이 정의하면 눈앞의 아이에게 빵을 양보하는 사람보다, 보이지 않는 아이에게 언젠가 빵을 먹이기 위해 재단에 빵값을 기부하는 사람이 더 큰 도덕성을 가진 것이 된다. 아이에게 빵을 주는 사람 간에도 비교가 가능하다. 2초를 고민하다가 빵을 건넨 사람보다, 4초를 고민하고 빵을 건넨 사람의 도덕성 점수를 두 배 낮게 채점할 수 있다. 도덕성의 정의에 대한 다양한 철학적 이견이 있을 수 있지만, 여기에서는 도덕성이 비교가능한 개념이 된 것에 주목해야 한다.

조작적으로 정의해보자 1. 만족도

만족도는 조작적 정의로 가장 자주 쓰이는 질적 데이터다. 일반적으로 만족도는 5점 척도로 나타내며, 5점 만점 중 4.3점과 같은 형태로 쓰여서 정량적인 데이터라고 생각하기 쉽다. 하지만 이것은 만족도를 사용자 개개인이 나름의 수치로 바꾸어 보고한 것의 평균일 뿐이다. “자신의 도덕성이 1점부터 10점 사이에 어느 정도라고 생각하십니까?”라는 질문에 관한 대답 역시 점수로 표현할 수 있다. 이러한 방식을 ‘자기보고식 문항’이라고 한다. 이런 방법으로 추상적인 개념을 수치화할 경우 몇 가지 오류가 발생할 위험이 있다.

가장 큰 문제는 사람마다 생각하는 기준이 다를 수 있는 것이다. 누군가는 같은 행동을 놓고도 5점, 누군가는 3점이라고 생각할 수 있기 때문이다. 만족도도 마찬가지다. 누군가는 ‘이 정도면 나쁘지 않다’라고 생각하고 3점을 줄 수도, 누군가는 ‘아주 만족스럽지만 가끔 오류가 발생한다’는 이유로 3점을 줄 수 있다. 같은 3점이지만 내포하고 있는 의미가 다르다. 그리고 사람마다 생각하는 만족도의 기준 역시 달라질 수 있다. 누군가는 서비스의 필요성을 기준으로, 누군가는 서비스의 UI/UX를 기준으로 만족도를 결정할 수도 있다.

다음으로 발생할 수 있는 문제는 표집으로 인한 오류다. 만족도 조사를 서비스 이용객 전체를 대상으로 하는 경우가 아니라면, 일부만 만족도 조사에 참여하게 되어 문제가 발생한다. 우연히 만족도가 높거나 낮은 사람만 조사 대상이 되는 경우, 불만이 많은 사람만 불만을 나타내기 위해 참여하게 되는 경우, 서비스에 대해 관심이 많은 사람만 참여하는 경우 등 조사 대상 선정으로 인한 오류가 발생할 수 있다.

만족도를 직접 묻는 방식 외에 새롭게 조작적으로 정의해보면 위와 같은 오류를 예방할 수 있다. 뿐만 아니라 필요한 데이터를 명확히 얻음으로써 방향성을 점검할 수도 있다. 예를 들어, ‘지인의 추천을 받고 가입한 사람의 수’를 만족도의 기준으로 정의해 보면 어떨까? 서비스의 이용경험이 만족스러워야 지인에게 추천할 것이고, 따라서 지인의 추천을 받고 가입한 사람의 수는 곧 우리 서비스를 이용하고 지인에게 추천할 만큼 만족한 사람의 수가 된다.

물론, 추천받은 모든 사람이 가입한 것이 아니므로 불완전하다고 느낄 수 있다. 아주 타당한 의심이다. 그렇기 때문에 조작적 정의에 정답은 없으며, 가장 원하는 요소를 잘 나타낼 수 있도록 주의를 기울여야 한다. 같은 관점에서 체류시간, 재방문율도 만족도의 다른 정의가 될 수 있다. 서비스에 따라 만족도가 높은 사람은 체류시간이 높을 것이고(반대의 경우도 가능하다), 재방문율이 높으면 만족한 사람이 많다는 의미로 판단할 수도 있다.

중요한 것은 ‘만족도라는 개념을 얼마나 완벽하게 설명할 수 있도록 조작적 정의했는가?’가 아니라 ‘이러한 정의를 통해서 무엇을 얻고자 하는가?’이다. 조작적 정의의 목표는 비교 분석 가능하도록 질적인 데이터를 양적인 데이터로 바꾸는데 있기 때문이다.

조작적으로 정의해보자 2. 성장지표

성장지표 역시 빈번하게 조작적 정의로 쓰이는 질적 데이터 중 하나이다. 우리 서비스는 얼마나 성장했으며, 그 기준은 무엇으로 삼을 수 있는가? 위에서 언급한 만족도 역시 성장지표 중 하나가 될 수 있다. 가입자 수, 총 결제금액(매출) 등을 성장지표로 정의했으면 이 역시 훌륭한 조작적 정의가 될 수 있다. 양적인 데이터로 나타내기 용이한 기준인 동시에, 실제로 서비스의 성장을 반영하기 때문이다.

그러나 사용성 개선, 좋은 소비자 경험 등 질적인 요소를 성장지표로 삼아야 하는 경우에는 직관적으로 수량화하기가 어려울 수 있다. 이러한 경우에는 성장지표로 삼은 요소에 대해 다시 한번 조작적 정의가 필요하다.

사용성이 얼마나 개선되었는지, 소비자가 좋은 경험을 했는지는 어떻게 알 수 있을까? 사용성이 훌륭하게 개선되었다면 소비자가 앱에 접속하고 목적을 달성하기까지 시간이 짧아질 수 있다. 그렇다면 체류시간이 단축될 것이다. 이 경우라면 체류시간을 사용성 개선의 척도로 삼을 수 있다.

당연히 반대의 경우도 가능하다. 콘텐츠를 제공하는 서비스라면 체류시간이 길수록 소비자가 소비할 수 있는 콘텐츠가 많은 것이므로, 체류시간이 길수록 좋은 경험을 제공한 걸로 평가할 수 있다. 혹은 한 번 서비스를 이용한 뒤 다음 재접속까지의 텀(시간)을 기준으로 삼아볼 수 있다. 좋은 경험을 주었다면 다시 접속하기까지 시간이 짧을 것이다. 반면 서비스의 성격에 따라, 예를 들어 월세를 납부하는 서비스라면 아무리 사용자 경험이 좋아도 한 달에 두 번 이상 접속할 이유가 없다. 이 경우라면 재접속까지의 시간은 성장지표로 삼기 어려울 것이다.

만족도와 마찬가지로, 성장지표를 정의하는 것 역시 서비스의 성격에 따라 달라질 수 있다. 따라서 성장지표를 어떻게 조작적으로 정의할 것인가를 논의하기 전에, 반드시 먼저 이루어져야 하는 논의는 ‘성장의 기준을 어디에 둘 것인가?’이다. 이는 곧 ‘우리는 무엇을 하고자 하는가’와 직결되는 질문이기도 하다. 재방문을 성장지표로 잡았다면 재방문율을 높이는 요소에 집중해야 한다. 신규 유입을 성장지표로 하고자 한다면 최우선 과제는 인지도 개선이 될 것이다.

조작적 정의할 때 주의할 점

두 가지 예시에서 모두 중요한 것은 조작적으로 정의한 요소가 ‘무엇을 반영할 수 있는지’였다. 조작적 정의의 목적은 질적인 데이터를 양적인 데이터처럼 비교하기 위해서이지 질적인 데이터와 완전히 동일한 양적인 데이터를 찾는 것이 아니라는 점을 명심해야 한다. 그리고 주의해야 할 점이 두 가지 더 있다.

먼저 특정 개념의 하위 범주를 잘 설정해야 한다. 만족도라는 개념 안에서도 디자인 만족도(얼마나 예쁜가), 사용성 만족도(얼마나 쉬운가), 서비스 자체의 만족도(얼마나 필요한가)라는 세 가지 하위 범주를 생각해볼 수 있다. 각각의 하위 범주가 의미하는 바는 완전히 다를 수 있으며, 각각의 범주에 따라 측정 방법 역시 달라져야 한다. 하위 범주가 많아진다면 조사가 까다로워질 수 있다. 그러나 한가지 척도를 고집하게 되면 전혀 관련 없는 데이터끼리 섞여버리는 오류가 생긴다. 만족도라는 한가지 개념 안에 디자인, 사용성, 서비스라는 다양한 내용이 담겨있기에 하위 범주를 정해 잘 구분할 수 있어야 한다.

또한, 인과관계를 명확히 고려해야 한다. 카페에서 오전 담당 매니저와 오후 담당 매니저의 역량을 커피 판매량으로 조작적 정의했다고 가정해보자. 커피 판매 잔 수에 따라 두 매니저의 성과를 양적으로 표현하여 비교할 수 있다. 그러나 커피 판매량은 매니저가 누구인지의 영향에 민감하지 않을 수 있다. 매니저가 바뀌어도 상권은 그대로이며, 날씨의 영향, 주변 가게의 영향, 세트 메뉴 판매의 영향 등 매니저와 상관없이 커피 판매량이 변할 수 있기 때문이다. 커피 판매량과 매니저의 인과관계가 약하다면, 커피 판매량은 매니저 역량의 조작적 정의로 부적절하다.

조작적 정의라는 단어가 낯설 수 있지만, 우리는 알게 모르게 주변의 많은 것들을 조작적으로 정의하며 살아왔다. 수량적으로 비교하는 것이 편하기 때문이다. 이것을 능숙하게 사용할 수 있는 사람은 많은 순간 많은 어려움을 비교적 명쾌하게 풀어낼 수 있을 것이다.

요즘IT의 모든 콘텐츠는 저작권법의 보호를 받는 바, 무단 전재와 복사, 배포 등을 금합니다.