표본, 조사, 설문을 의심하는 법

숫자는 맞는데, 왜 믿기 어려울까

"직장인 10명 중 8명, 이직 고민 중."

이런 제목을 보면 마음이 흔들립니다. '다들 그런가?' 싶기도 하고, 내 주변 몇 명이 떠오르기도 합니다. 그런데 잠깐 멈춰야 합니다. 여기서 정말 중요한 질문은 "80%가 맞느냐"가 아닙니다. 먼저 물어야 할 것은 따로 있습니다.

누구에게 물었을까? 어떻게 물었을까? 얼마나 물었을까?

통계 조사는 숫자로 말하기 때문에 객관적으로 보입니다. 하지만 조사 결과는 하늘에서 떨어진 사실이 아닙니다. 누군가가 대상을 정하고, 질문을 만들고, 응답을 모아, 일정한 방식으로 정리한 결과입니다. 그래서 조사 결과를 읽을 때는 숫자 자체보다 그 숫자가 만들어진 과정을 먼저 봐야 합니다.

앞 장에서 우리는 퍼센트 뉴스가 기준에 따라 전혀 다르게 읽힌다는 사실을 살펴보았습니다. 이번 장에서는 한 걸음 더 들어갑니다. 퍼센트가 나오기 전, 그 숫자의 재료가 되는 표본, 조사, 설문을 의심하는 법을 배웁니다.

전체를 다 보지 않아도 알 수 있는 이유

선거 여론을 알고 싶다고 해서 국민 모두에게 물을 수는 없습니다. 신제품 반응을 알고 싶다고 해서 모든 고객에게 직접 인터뷰하기도 어렵습니다. 시간과 비용이 너무 많이 들고, 조사하는 동안 상황이 바뀌기도 합니다.

그래서 통계는 일부를 보고 전체를 짐작합니다. 이때 알고 싶은 전체를 모집단이라고 하고, 실제로 조사한 일부를 표본이라고 합니다. 예를 들어 "대한민국 성인의 스마트폰 사용 습관"을 알고 싶다면 모집단은 대한민국 성인 전체이고, 그중 실제로 조사한 1,000명이나 2,000명이 표본입니다.

이 방식이 가능한 이유는 간단한 비유로 이해할 수 있습니다. 큰 냄비에 국을 끓였다고 해봅시다. 국이 잘 섞여 있다면 한 숟가락만 떠먹어도 대체로 전체 간을 알 수 있습니다. 냄비 전체를 다 마셔봐야만 짠지 싱거운지 아는 것은 아닙니다.

하지만 조건이 있습니다. 잘 섞여 있어야 합니다. 위쪽은 맹물이고 아래쪽은 소금덩어리라면, 어디서 한 숟가락을 뜨느냐에 따라 맛이 완전히 달라집니다. 표본도 마찬가지입니다. 일부만 조사해도 전체를 짐작할 수 있지만, 그 일부가 전체를 닮아 있어야 합니다.

통계 조사의 핵심은 바로 여기에 있습니다. 표본은 작은 숫자가 아니라 작은 전체여야 합니다.

대표성이 없으면 큰 표본도 틀릴 수 있다

많은 사람이 "많이 물어봤으면 믿을 만하겠지"라고 생각합니다. 물론 표본 수는 중요합니다. 10명에게 물은 결과보다 1,000명에게 물은 결과가 대체로 안정적입니다. 하지만 표본 수보다 먼저 봐야 할 것이 있습니다. 바로 대표성입니다.

대표성이란 표본이 모집단의 특징을 고르게 반영하고 있는 정도입니다. 전국 성인의 의견을 알고 싶다면 나이, 성별, 지역, 직업, 생활환경 등이 어느 정도 전체와 닮아 있어야 합니다. 특정 대학교 학생 5,000명에게 물어본 결과를 "대한민국 성인의 생각"이라고 말하면 문제가 생깁니다. 숫자는 크지만, 표본이 전체를 대표하지 못하기 때문입니다.

예를 들어 보겠습니다.

어떤 뉴스가 "국민 1만 명 조사 결과, 90%가 주식 투자에 관심 있다"고 보도했습니다. 그런데 조사 대상이 주식 정보 앱 이용자 1만 명이었다면 어떨까요? 이 결과는 "주식 정보 앱 이용자 중 90%가 주식 투자에 관심 있다"에 가깝습니다. 전국민의 관심도를 보여주는 자료로 쓰기에는 어렵습니다.

반대로 전국 성인을 성별, 연령, 지역에 맞춰 고르게 뽑은 1,000명 조사라면 어떨까요? 표본 수는 1만 명보다 작지만, "국민 전체의 경향"을 짐작하는 데는 오히려 더 나을 수 있습니다.

이것이 표본 조사의 재미있는 점입니다. 많이 물어본 조사보다 제대로 물어본 조사가 더 강할 때가 있습니다.

표본 수가 커지면 좋아지는 것과 좋아지지 않는 것

표본 수가 커지면 좋은 점이 분명히 있습니다. 우연히 튀는 결과가 줄어듭니다. 10명에게 물었는데 6명이 찬성했다면 찬성률은 60%입니다. 하지만 그중 한 명만 의견이 달랐어도 50%나 70%가 됩니다. 표본이 너무 작으면 한두 사람의 응답이 전체 결과를 크게 흔듭니다.

반면 1,000명에게 물었을 때 600명이 찬성했다면 역시 60%입니다. 이 경우 한두 사람의 응답이 바뀌어도 전체 비율은 거의 움직이지 않습니다. 표본 수가 커질수록 결과의 출렁임이 작아지는 것입니다.

하지만 표본 수가 해결하지 못하는 문제가 있습니다. 바로 표본 편향입니다. 표본 편향은 조사 대상이 한쪽으로 치우쳐 있어서 결과가 계속 같은 방향으로 왜곡되는 현상입니다.

틀어진 체중계를 생각해봅시다. 실제보다 항상 2kg 적게 나오는 체중계가 있습니다. 이 체중계에 한 번 올라가든, 열 번 올라가든, 백 번 올라가든 문제는 해결되지 않습니다. 측정 횟수를 늘려도 체중계 자체가 틀어져 있기 때문입니다.

조사도 그렇습니다. 특정 정치 성향의 커뮤니티에서 10만 명에게 설문을 해도, 그 결과가 전체 국민의 의견을 대표한다고 말하기는 어렵습니다. 특정 브랜드의 팬클럽에서 제품 만족도를 조사하면 만족도가 높게 나올 가능성이 큽니다. 회사 내부 직원에게 "우리 회사의 고객 서비스가 친절한가"라고 물으면 실제 고객의 경험과 다를 수 있습니다.

표본 수는 우연한 흔들림을 줄여줍니다. 그러나 표본이 처음부터 한쪽으로 치우쳐 있다면, 큰 표본은 작은 오류를 줄이는 대신 큰 편향을 아주 그럴듯하게 포장할 수도 있습니다.

"누구에게 물었는가"가 결과를 바꾼다

조사 결과를 읽을 때 가장 먼저 확인할 질문은 이것입니다.

이 조사는 누구에게 물었는가?

같은 질문도 누구에게 묻느냐에 따라 결과가 달라집니다. "배달비가 비싸다고 생각하십니까?"라는 질문을 자주 배달시키는 20대 1인 가구에게 묻는 것과, 배달 앱을 거의 쓰지 않는 60대 이상에게 묻는 것은 다릅니다. "재택근무를 확대해야 한다고 생각하십니까?"라는 질문도 사무직, 생산직, 자영업자, 학생에게 각각 다른 의미를 가집니다.

특히 온라인 설문은 조심해서 읽어야 합니다. 온라인 설문이 나쁘다는 뜻은 아닙니다. 빠르고 편리하며 많은 응답을 모을 수 있습니다. 다만 온라인 설문에 참여한 사람은 "온라인에서 그 설문을 볼 수 있었고, 응답할 마음이 있었던 사람"입니다. 이 조건이 이미 표본을 한 번 걸러냅니다.

고객 만족도 조사도 마찬가지입니다. 보통 아주 만족한 사람이나 아주 불만족한 사람이 응답할 가능성이 높습니다. 그냥 무난하게 이용한 사람은 설문을 지나치기 쉽습니다. 그래서 응답 결과만 보면 실제보다 만족과 불만이 더 극단적으로 보일 수 있습니다.

이런 현상을 자발적 응답 편향이라고 부를 수 있습니다. 쉽게 말해, 목소리를 낸 사람만 조사에 들어오고 조용한 다수는 빠지는 문제입니다. 인터넷 댓글을 보고 "모두가 화났다"고 느끼기 쉬운 이유도 여기에 있습니다. 댓글을 쓰는 사람은 전체 이용자의 일부입니다. 그것도 의견을 표현할 만큼 감정이 움직인 일부입니다.

"어떻게 물었는가"가 답을 바꾼다

설문에서 질문 문장은 생각보다 힘이 셉니다. 사람은 자기 생각만으로 답하는 것 같지만, 실제로는 질문의 표현, 보기의 순서, 응답 방식에 영향을 받습니다.

예를 들어 두 질문을 비교해봅시다.

"복지 확대를 위해 세금을 조금 더 부담하는 것에 찬성하십니까?"

"세금 부담을 늘리는 정책에 찬성하십니까?"

두 질문은 비슷한 주제를 묻고 있지만 느낌이 다릅니다. 첫 번째 질문은 "복지 확대"라는 긍정적인 목적이 먼저 보입니다. 두 번째 질문은 "세금 부담"이라는 비용이 먼저 보입니다. 같은 사람도 문장에 따라 망설이는 지점이 달라질 수 있습니다.

다른 예도 있습니다.

"환경 보호를 위해 일회용품 사용을 줄여야 한다고 생각하십니까?"

"소비자의 편의를 제한하면서까지 일회용품 사용을 줄여야 한다고 생각하십니까?"

첫 번째 질문은 환경이라는 가치를 강조합니다. 두 번째 질문은 불편이라는 손실을 강조합니다. 둘 다 완전히 틀린 문장은 아니지만, 응답자를 어느 방향으로 생각하게 만드는지가 다릅니다.

이처럼 질문이 특정 답을 유도하면 결과는 조사 대상의 순수한 의견이라기보다 질문 문장과 응답자의 반응이 섞인 값이 됩니다.

좋은 설문은 응답자가 판단할 정보를 주되, 한쪽으로 밀어붙이지 않습니다. 나쁜 설문은 질문 안에 이미 결론을 숨겨둡니다. "국민 부담을 가중시키는 정책에 반대하십니까?" 같은 질문은 사실상 "반대하라"고 말하는 것과 비슷합니다.

보기 순서와 응답 방식도 결과를 흔든다

질문 문장만 중요한 것이 아닙니다. 보기가 어떻게 제시되는지도 중요합니다. 객관식 설문에서 사람은 모든 보기를 완벽하게 분석한 뒤 고르지 않습니다. 때로는 눈에 먼저 들어온 것, 가장 무난해 보이는 것, 중간쯤 있는 것을 고릅니다.

예를 들어 "가장 중요하게 생각하는 직장 선택 기준은 무엇입니까?"라는 질문에 다음 보기가 있다고 해봅시다.

• 연봉

• 워라밸

• 고용 안정성

• 성장 가능성

• 조직문화

여기서 보기가 어떤 순서로 나오느냐에 따라 선택 비율이 조금 달라질 수 있습니다. 또 "복수 응답 가능"인지 "하나만 선택"인지에 따라서도 결과는 완전히 달라집니다. 하나만 고르게 하면 사람은 가장 중요한 기준을 선택합니다. 복수 응답을 허용하면 관심 있는 기준들이 넓게 드러납니다. 두 방식 모두 의미가 있지만, 결과를 해석할 때는 구분해야 합니다.

응답 척도도 중요합니다. "만족하십니까?"라고 묻고 "예/아니오"만 고르게 하면 사람들의 미묘한 차이가 사라집니다. "매우 만족, 만족, 보통, 불만족, 매우 불만족"으로 묻는다면 훨씬 더 세밀하게 볼 수 있습니다. 그런데 이때도 문제가 있습니다. 사람들은 "보통"을 안전한 선택지로 고르기도 합니다. 반대로 "보통"을 없애면 억지로 찬성이나 반대 중 하나를 골라야 합니다.

"모르겠다"나 "해당 없음" 선택지가 있는지도 중요합니다. 이 선택지가 없으면 실제로 모르는 사람이 아무 답이나 고르게 됩니다. 그러면 조사 결과에 가짜 의견이 섞입니다.

설문 결과를 읽을 때는 단순히 찬성률만 볼 것이 아니라, 응답자가 어떤 선택지 안에서 답했는지를 봐야 합니다. 선택지는 의견을 담는 그릇입니다. 그릇 모양이 달라지면 담긴 내용도 달라 보입니다.

여론조사에서 반드시 확인할 것

여론조사는 사회의 온도를 재는 도구입니다. 하지만 온도계를 어디에 두었는지 모르면 숫자만 보고 판단하기 어렵습니다. 햇볕 아래 둔 온도계와 그늘에 둔 온도계는 같은 날에도 다른 숫자를 보여줍니다.

여론조사를 볼 때는 적어도 다음 항목을 확인해야 합니다.

• 조사 대상: 누구에게 물었는가? 전국 성인인가, 특정 지역 주민인가, 특정 직업군인가?

• 표본 수: 몇 명에게 물었는가? 표본이 너무 작으면 결과가 쉽게 흔들릴 수 있다.

• 조사 방식: 전화 면접, 자동응답, 온라인 패널, 대면 조사 중 무엇인가?

• 조사 기간: 언제 물었는가? 큰 사건 전후에 따라 의견은 달라질 수 있다.

• 응답률: 연락받은 사람 중 실제로 응답한 비율은 어느 정도인가?

• 질문 문항: 어떤 문장으로 물었는가? 특정 답을 유도하지 않았는가?

• 표본 구성: 성별, 연령, 지역 등이 전체와 비슷하게 구성되었는가?

• 의뢰 기관과 조사 기관: 누가 의뢰했고 누가 조사했는가?

여기서 특히 응답률은 눈여겨볼 만합니다. 응답률이 낮다는 것은 많은 사람이 조사에 응하지 않았다는 뜻입니다. 응답하지 않은 사람들의 생각이 응답한 사람들과 비슷하다면 큰 문제가 아닐 수도 있습니다. 하지만 다르다면 결과가 치우칠 수 있습니다.

조사 기간도 중요합니다. 선거 여론조사가 어떤 후보의 큰 논란 직후에 이루어졌다면, 그 결과는 그 시기의 감정이 반영된 값일 수 있습니다. 일주일 뒤에는 달라질 수 있습니다. 조사는 영원한 진실이 아니라 특정 시점의 스냅사진입니다.

또 하나 중요한 것은 표본오차입니다. 표본오차는 일부만 조사했기 때문에 생기는 자연스러운 흔들림입니다. 예를 들어 어떤 후보 지지율이 42%, 다른 후보가 40%로 나왔다고 해도 표본오차 범위 안이라면 "앞섰다"고 단정하기 어렵습니다. 두 숫자의 차이가 너무 작으면 실제 전체에서는 순서가 바뀔 가능성도 있습니다.

다만 표본오차만 보면 안 됩니다. 표본오차는 주로 무작위로 뽑았을 때 생기는 우연한 흔들림을 말합니다. 앞에서 본 표본 편향, 질문 유도, 낮은 응답률 같은 문제는 표본오차 숫자 안에 깔끔하게 다 들어가지 않습니다. 그래서 "오차범위 ±3%p"라는 문구가 있어도, 조사의 설계가 나쁘면 결과 해석은 여전히 조심해야 합니다.

마케팅 조사에서는 "살 것 같다"와 "샀다"를 구분하라

마케팅 조사도 생활 속에서 자주 만납니다. "소비자 80%가 신제품 구매 의향을 보였다", "고객 10명 중 9명이 만족했다", "응답자의 70%가 친환경 포장을 선호했다" 같은 문구가 대표적입니다.

이때 가장 먼저 구분할 것은 의향과 행동입니다. "살 것 같다"와 "실제로 샀다"는 다릅니다. 사람은 설문에서는 건강한 음식을 먹겠다고 답하지만, 실제 매장에서는 달콤한 디저트를 고를 수 있습니다. 설문에서는 친환경 제품을 선호한다고 답하지만, 가격 차이가 커지면 선택이 바뀔 수 있습니다.

이것은 사람들이 거짓말을 한다는 뜻이 아닙니다. 설문 상황과 실제 구매 상황이 다르기 때문입니다. 설문에서는 돈이 나가지 않습니다. 배송비도 없고, 할인 쿠폰도 없고, 옆 상품과 비교하는 순간도 없습니다. 실제 구매는 가격, 시간, 습관, 귀찮음, 브랜드 이미지가 한꺼번에 작용하는 결정입니다.

그래서 마케팅 조사 결과를 읽을 때는 "좋아한다고 답했다"와 "돈을 내고 선택했다"를 구분해야 합니다. 만족도 조사도 마찬가지입니다. "만족한다"는 말이 "다시 구매한다"는 뜻은 아닙니다. "추천하겠다"는 말이 실제 추천 행동으로 이어진다는 보장도 없습니다.

마케팅 조사에서는 특히 조사 대상이 중요합니다. 신제품을 이미 좋아할 만한 사람들에게 물었는지, 실제 구매 가능성이 있는 고객에게 물었는지, 단순히 이벤트 참여자를 모아 물었는지에 따라 결과는 달라집니다. 무료 쿠폰을 받고 응답한 사람과 자기 돈을 내고 구매한 사람의 평가는 같지 않을 수 있습니다.

표본을 의심한다는 것은 조사를 무시한다는 뜻이 아니다

여기서 중요한 태도가 있습니다. 조사를 의심하라는 말은 모든 조사를 불신하라는 뜻이 아닙니다. 좋은 조사는 여전히 강력합니다. 우리는 전체를 직접 볼 수 없기 때문에 표본 조사를 통해 사회의 흐름, 고객의 생각, 시장의 변화, 사람들의 행동을 짐작합니다.

문제는 조사 결과를 너무 빨리 믿는 것입니다. 숫자가 붙으면 말은 갑자기 권위를 얻습니다. "많은 사람이 원한다"보다 "응답자의 73%가 원한다"가 더 그럴듯해 보입니다. 하지만 73%라는 숫자가 나오기까지의 과정을 모르면, 그 숫자는 단단한 근거가 아니라 얇은 포장지일 수 있습니다.

조사를 읽는 좋은 태도는 냉소가 아니라 점검입니다. "이건 다 조작이야"라고 말하는 것도 수학적 태도는 아닙니다. "이 숫자가 어떤 조건에서 나왔지?"라고 묻는 것이 수학적 태도입니다.

표본이 잘 뽑혔는지, 질문이 공정했는지, 응답 방식이 적절했는지, 해석이 과장되지 않았는지를 살피면 됩니다. 그러면 조사 결과를 무작정 믿지도 않고, 무작정 버리지도 않을 수 있습니다.

조사 결과를 읽는 세 가지 질문

복잡한 조사표를 볼 때마다 모든 세부 항목을 다 분석하기는 어렵습니다. 그럴 때는 세 가지 질문만 기억해도 좋습니다.

• 누구에게 물었는가? 조사 대상이 알고 싶은 전체를 대표하는가?

• 어떻게 물었는가? 질문 문장, 보기, 응답 방식이 답을 유도하지 않았는가?

• 얼마나 물었는가? 표본 수가 충분한가, 그리고 그보다 먼저 표본이 치우치지 않았는가?

이 세 질문은 거의 모든 조사에 적용됩니다. 여론조사에도, 고객 만족도 조사에도, 사내 설문에도, 뉴스 기사에도 쓸 수 있습니다.

예를 들어 "직장인 10명 중 8명, 이직 고민 중"이라는 기사를 다시 봅시다. 이제 우리는 바로 믿지 않습니다. 대신 이렇게 묻습니다.

직장인이라고 했는데 어떤 직장인인가? 대기업, 중소기업, 공공기관, 자영업자는 구분했는가? 이직 플랫폼 이용자에게만 물은 것은 아닌가? 질문은 "이직을 진지하게 준비 중입니까?"였는가, 아니면 "이직을 한 번이라도 생각해본 적이 있습니까?"였는가? 500명에게 물었는가, 5만 명에게 물었는가? 응답자는 자발적으로 참여했는가?

이 질문들을 던지는 순간 숫자의 얼굴이 달라집니다. 80%라는 숫자가 사라지는 것은 아닙니다. 다만 그 숫자가 어디까지 말할 수 있고, 어디서부터는 말할 수 없는지가 보이기 시작합니다.

작은 표본으로 큰 세상을 말할 때 필요한 겸손

표본 조사는 작은 창문으로 큰 방을 들여다보는 일과 비슷합니다. 창문이 알맞은 위치에 있고, 방 안이 고르게 보인다면 우리는 방의 분위기를 꽤 잘 짐작할 수 있습니다. 하지만 창문이 한쪽 구석만 비춘다면, 아무리 오래 들여다봐도 전체를 오해할 수 있습니다.

수학 문해력은 계산 실력만이 아닙니다. 숫자가 만들어진 조건을 읽는 능력입니다. 평균을 볼 때 분포를 묻고, 퍼센트를 볼 때 기준을 묻고, 그래프를 볼 때 축을 확인했던 것처럼, 조사 결과를 볼 때는 표본을 확인해야 합니다.

조사 숫자를 만났을 때 바로 결론으로 뛰어가지 마세요. 먼저 한 박자 멈추고 물어보세요.

누구에게, 어떻게, 얼마나 물었는가?

이 질문 하나만으로도 우리는 많은 숫자에 덜 속고, 더 정확하게 세상을 읽을 수 있습니다. 그리고 더 중요한 사실도 보게 됩니다. 숫자는 혼자 말하지 않습니다. 숫자는 언제나 그것을 만든 방법과 함께 말합니다.