여론조사 오차범위 ±3.1%가 가리는 이야기

오차범위는 정확성을 보장하지 않는다

"표본 1,000명, 95% 신뢰수준에서 오차범위 ±3.1%". 모든 여론조사 보도의 끝에 붙는 문장이다. 그러나 이 문장이 보장하는 것은 "표본을 잘 뽑았다는 가정 하의" 정확성뿐이다. 표본을 잘 뽑았는지에 대한 보장은 따로 있다.

한국의 정치 여론조사 응답률은 평균 8-12%다. 즉 1,000명의 응답을 받기 위해 8,000-12,000명에게 전화한다. 응답을 거부한 90%의 의견은 어디로 갔는가. 그들이 응답한 10%와 같은 의견을 가지고 있다는 가정 위에서 통계가 만들어진다. 이 가정이 틀리면 ±3.1%의 정확성도 무너진다.

가중치라는 보정

응답자의 인구학적 분포(연령, 성별, 지역)가 모집단과 다를 때, 조사기관은 "가중치"를 부여한다. 예컨대 20대 남성 응답이 적으면 그들의 응답을 부풀려 셈한다. 이 가중치 알고리즘이 기관마다 다르다.

같은 응답을 두고도 가중치 알고리즘에 따라 결과가 5-7%포인트 달라질 수 있다. 헤드라인은 "A후보 42% vs B후보 38%"라고 단정짓지만, 다른 기관이 같은 데이터를 다른 방식으로 가중하면 "A 39% vs B 41%"가 될 수도 있다. 오차범위는 이 차이를 설명하지 못한다.

질문지의 미묘한 폭력

질문이 응답을 만든다. "정부의 부동산 정책에 동의하십니까"와 "집값 안정을 위한 정부의 노력에 동의하십니까"는 같은 정책을 다르게 묻는 것이다. 응답률은 5-15%포인트 차이가 난다.

행간이 제안하는 것은 여론조사를 안 믿는 것이 아니라, 여론조사가 보여주지 않는 것을 함께 보는 일이다. 응답률이 얼마였는가. 가중치는 어떻게 줬는가. 질문지는 어떻게 구성됐는가. 이 셋이 빠진 헤드라인은 절반의 진실이다.

오차범위는 통계의 한계를 알려주지만, 통계가 만들어진 방식의 한계는 알려주지 않는다.