[특별기획] 같은 목적, 다른 결과 여론조사 진짜 이유는?
[특별기획] 같은 목적, 다른 결과 여론조사 진짜 이유는?
  • 서요한 여론조사 공정 대표
  • 승인 2019.10.21 10:51
  • 댓글 0
이 기사를 공유합니다

사례별로 질문 방식, 표본 수, 응답률, 선택지, 조사 시기를 중심으로

1. 질문이 대답을 유도하는가?

이끌고 싶은 결론으로 응답을 유도하는 질문들이 종종 있다. 어떤 질문들은 조사자가 의도하지 않았음에도 불구하고 응답자를 특정한 방향의 결론으로 유도하는 경우도 있다. 조사자가 의도했건 의도하지 않았건 간에 이러한 질문을 “질문에 부하(load)가 걸린”, 또는 “결론으로 이끄는 질문(leading question)”이라고 한다. 이런 질문들의 특징은 같은 조사 주제라고 하더라도 다른 단어를 사용했다면 다른 결론에 이를 수도 있다는 것이다.

예를 들면 2019년 2월 12일 오마이뉴스가 5·18과 관련해 R사에 의뢰한 질문을 보면 “최근 여야4당은 5·18민주화운동을 ‘폭동’으로, 유공자를 ‘괴물집단’으로 매도한 자유한국당 일부 국회의원들을 윤리특위에 제소하고 의원직 제명을 추진하기로 했습니다. 선생님께서는 이들 의원들을 제명하는데 대하여 어떻게 생각하십니까?”라는 질문이다.

2. 표본의 수와 결과는 관계가 있는가?

국내에서 전 국민을 대상으로 조사를 하는 경우 최소한 1000표본이 상식으로 되어 있다. R사에 의뢰한 5·18 관련 여론조사를 보면 표본이 각각 501, 501, 504명으로 통상적 조사의 절반 정도밖에 되지 않는 것을 확인할 수 있다. 표본 수가 낮을수록 결과의 왜곡은 심하게 나타날 가능성이 높다. 일반적으로 샘플수가 많을수록 결과의 정확도는 높다고 말할 수 있다.

드루킹 특검과 관련해 R사와 G사의 결과가 다른 경우를 들 수 있다.
 

3. 응답률은 조사결과에 영향을 미치는가?

안철수는 응답률 1%미만의 선거여론조사를 문제 삼기도 했고, 홍준표는 미국에서는 응답률 30% 미만은 공표를 금지한다고 하는 사실과 다른 발언을 하면서 응답률이 최소한 10%가 되지 않으면 이를 공표하지 못하도록 입법화할 필요가 있다고 주장했다.

우리나라에서는 여론조사 결과 공표시 응답률을 의무적으로 기재해야 하지만 미국에서는 강제사항이 아니다. 공신력 있는 기관인 미국 여론조사 협회(American Association for Public Opinion Research·AAPOR) 홈페이지에서도 응답률은 여론조사 공표시 권고하는 항목에 포함되지 않았다.

우리나라에서는 응답률이 마치 중요한 척도인 것처럼 여기지만 오히려 미국에서는 샘플의 표집방식을 중요하게 본다. 전문가들은 여론조사 신뢰도와 응답률이 큰 상관관계가 있는 것은 아니지만, 갈수록 낮아지는 여론조사 응답률이 전 세계 여론조사 기관들의 고민거리인 점은 사실이다. 여론조사는 일정 인원 이상에게 무조건 답변을 받아내야 하기 때문에 소모되는 비용과 시간이 늘어나기 때문이다.

미국 최대 여론조사기관인 퓨리서치센터(Pew Research Center) 통계를 보면 우리나라의 응답률에 해당하는 협조율은 ▲1997년 43% ▲2000년 40% ▲2003년 34% ▲2006년 31% ▲2009년 21% ▲2012년 14% 등으로 급격히 낮아지고 있다.
 

4. 선택지와 결과(대통령 지지도를 중심으로)

대통령 지지도 또는 국정수행평가에 대한 결과가 조사기관마다 차이가 나는 것에 대해 의문을 제기하는 사람들이 많다. 조사 목적이 같지만 질문 유형과 선택지가 다름에서 오는 차이가 결과의 차이를 만들어 낸다. 또한 선택지에 표현된 어휘의 차이가 결과에 영향을 미친다. 조사기관마다 같은 목적의 조사이지만, 질문의 형태와, 선택지의 수, 표현된 어휘의 차이 등에 따라 결과가 다르기 때문에 서로 단순 비교하여, 일방적으로 어느 것이 더 정확하다고 주장하는 것은 곤란하다.
 

5. 노출 효과(露出效果, Exposure Effect)와 조사 시기

2019년 9월 11일 칸타코리아가 SBS의 의뢰로 전국 만 19세 이상 성인 1026명을 대상으로 ‘내일 당장 대통령 선고를 한다면 어느 후보를 선택할 것인지’를 물었다. 이 조사에서는 이낙연 총리가 15.9%로 1위, 황교안 대표가 14.4%로 2위, 조국 장관이 7%로 3위를 차지했었다.

열흘 뒤인 9월 20~21일 알앤써치의 조사를 보면 1위 황교안 26.8%, 2위 이낙연 20.7%, 3위 조국 12.3% 순으로 나타났다. 그동안 괄목할 만한 두각을 보이지 않던 황교안과 조국이 1위와 3위를 차지한 것은 바로 ‘노출 효과(Exposure Effect)’ 때문이다.

‘노출’은 순간적으로 지지층을 결집시킬 뿐만 아니라 새로운 지지층을 형성한다. 황교안 대표가 단숨에 지지를 얻은 것은 조사 4일 전인 9월 16일 단행한 삭발로 인해 언론 노출 빈도가 증가했기 때문이고, 조국 역시 기존의 다른 대권 예상 후보들을 누르고 3위에 랭크될 수 있었던 것은 각종 의혹 보도로 인해 언론의 주요 면들을 차지하면서 대중의 시선을 잡았기 때문이다. 그러나 9월 22~23일 양일간 뉴데일리, 미디어워치, 가로세로연구소가 공동으로 여론조사기관 ‘디오피니언’에 의뢰해 조사한 결과를 보면 황교안 대표와 이낙연 총리의 순위가 뒤바뀐 결과를 볼 수 있다.

황교안의 ‘삭발’ 효과가 가라앉으면서 약 20일 전인 9월 11일 칸타코리아가 조사한 결과 수준으로 회귀한 것을 볼 수 있다.

이것은 남북대화와 같은 반짝 이벤트가 있으면 일시적으로 대통령의 지지도가 올라가는 것과 같다. 대통령에 대한 노출효과와 밴드왜건효과(Band wagon effect)가 시너지를 이루기 때문이다. 동일한 조사라 할지라도 조사 시점이 언제인가와 조사 시기에 어떤 이슈들이 등장했었는가에 따라 확연히 다른 결과를 나타낼 수 있기 때문에 단순 비교해 비평하는 것은 무리가 있다.

여론조사 업체는 순수 민간기업으로서 그 수를 다 파악하기 어렵지만, 대략 200~300업체로 추정되며 중앙선거여론조사심의위원회(이하 여심위)에 등록된 선거여론 조사 가능 업체는 80개이다.(2019. 9. 28. 기준)

선거관련조사는 여심위의 엄격한 통제를 받고 있으며 규정을 위반했을 경우 조사 건당 벌금을 최소1000~3000만원을 부과 받게 된다. 억대가 넘는 벌금을 받고 취소된 업체도 있다. 2018~2019년 등록이 취소된 업체는 4개이다.(여심위 홈페이지 참조)

여론조사에 대한 신뢰도 하락은 단순히 여론조사업체 문제에만 있는 것이 아니라 나의 신념과 다른 결과에 대한 무조건적인 배척, 조사결과에 대한 아전인수(我田引水)적 해석, 결과를 보도하는 언론매체 편향된 보도, 응답자의 불성실한 참여 등 복합적인 문제이다. 무조건적 여론조사 만능주의도 문제지만 무조건적 여론조사 불신주의도 탈피해야 할 당면 과제이다.

본 기사는 시사주간지 <미래한국>의 고유 콘텐츠입니다.
외부게재시 개인은 출처와 링크를 밝혀주시고, 언론사는 전문게재의 경우 본사와 협의 바랍니다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.