[데이터로 보는 세상] 여론조사, 왜 기관마다 다른가
[데이터로 보는 세상] 여론조사, 왜 기관마다 다른가
  • 박성현 미래한국 편집위원·서울대 통계학과 명예교수
  • 승인 2021.04.20 17:17
  • 댓글 0
이 기사를 공유합니다

여론조사는 민심을 제대로 반영하고 있는가? 최근에 실시된 여론조사에서 차기 대선 후보로 물망에 오르고 있는 윤석열 전 검찰총장과 이재명 경기지사의 지지율이 널뛰기를 하고 있다. <표 1>에서 보는 바와 같이 불과 1주일(3월 22-29일) 사이에 발표된 대표적인 5개의 여론조사에서 윤 총장은 크게는 30% 포인트 이상(26.8%에서 57.4%까지), 이 지사는 크게는 10% 포인트 이상(21.4%에서 32.0%까지) 출렁였다. 두 후보 간의 지지율도 평균 차는 11.6% 포인트이나 작게는 1.0%에서 크게는 25.4% 포인트 차가 난다.    

TV3사 공동 4·7 보궐선거 출구조사는 실제 개표 결과와 큰 차이가 없었다./연합
TV3사 공동 4·7 보궐선거 출구조사는 실제 개표 결과와 큰 차이가 없었다./연합

서울시장 4·7 재보궐 선거에서 여론조사 공표금지 바로 직전에 실시된 대표적인 7개의 마지막 여론조사(<표 2> 참조)에서 오세훈 후보가 박영선 후보에게 크게 앞서는 것으로 나타났으나 여론조사기관에 따라 그 결과에 큰 차가 난다. 오세훈 후보는 작게는 46.7%, 크게는 57.5%의 지지율을 얻었다. 박영선 후보는 작게는 28.2%, 크게는 36.1%의 지지율을 얻었고, 그 차 평균은 20.9% 포인트이나 차이가 여론조사기관에 따라 작게는 15.4%, 크게는 22.8%로 변동이 심한 편이다. 그러면 왜 이런 큰 차이점이 발생할까?

여론조사 신뢰성 떨어뜨리는 원인

최근 실시된 대선 후보 지지도나 서울시장 후보 지지도 여론조사 등에서 그 결과를 어느 정도 믿을 수 있는가에 대한 얘기들이 주변에서 많이 나오고 있다. 


현재 중앙선거관리위원회(선관위) 선거여론조사심의위원회(여심위)에 등록되어 있는 여론조사기관 수는 2021년 4월 1일 현재 79개로 대단히 많고, 이 기관들 간의 과당경쟁으로 일부 여론조사기관이 졸속으로 저렴하게 여론조사를 실시하다 보니 객관적으로 공정하게 여론조사를 하지 못해 신뢰성이 떨어진 경우가 허다하다. 또한 염려스러운 것은 여론조사기관이 어떤 정치적인 편향성을 가지고 한쪽을 밀어주려는 의도에서 소위 ‘통계적 왜곡’을 감수하고 여론조사를 실시하는 경우도 있을 수 있다.

여론조사는 표본조사로 행해지므로 표본조사에는 불가피하게 통계적인 표본오차(sampling error)가 수반된다. 표본오차는 모집단을 전수조사하는 대신에 표본을 조사함에 따라 발생하는 불가피한 통계적 오차로, 이는 오차범위로 명시하고 받아들인다. 그런데 여론조사를 기획하거나 실시하는 과정에서 비표본오차(non-sampling error)가 발생해 여론조사의 신뢰성을 떨어뜨릴 수 있다. 경우에 따라서는 비표본오차가 표본오차를 능가해 도무지 믿을 수 없는 결과가 발생하기도 한다. 그러면 어떤 비표본오차의 유형들이 여론조사의 신뢰성을 떨어뜨리고 있는가? 대표적인 유형들로는 다음과 같은 것들이다. 


① 표본추출방식이나 조사방식에서 오는 차이
② 질문지 작성의 편향성
③ 표본의 대표성 미흡 혹은 무응답 무시에서 오는 차이
④ 조사단위의 누락이나 조사원의 부족한 자질과 정치적 편향성

첫 번째, 표본추출방식과 조사방식에서 오류를 들 수 있다. 대표적인 표본추출방법으로는 컴퓨터로 전화번호부에서 임의번호걸기(RDD)로 무작위 추출하는 방법과 통신사로부터 휴대전화번호를 제공 받아 무작위 추출하는 방법이 있다. 조사방식으로는 전화면접조사가 있고 전화 자동응답조사(ARS)가 있다. 일반적으로 무선전화는 젊은 층의 응답률이 높고 유선전화는 가정주부나 장년층의 응답률이 높다. 이러한 표본추출방식과 조사방식의 차이가 지지율의 차이로 나타날 수 있으며 편향된 여론조사 결과를 초래할 수도 있다. 구체적인 예를 들면 <표 1>에서 리얼미터는 조사 대상의 90%를 ARS로, 10%를 전화면접으로 한다. ARS는 기계 녹음으로 질문하기 때문에 응답자가 거짓으로 답변하더라도 가려내기 힘들다. 반면 조사원이 직접 질문하는 전화면접보다 솔직하게 답을 끌어내 ‘샤이층’의 민심까지 반영할 수 있다는 주장도 있다. 그러나 <표 1>에서 입소스의 여론조사는 100% 전화면접으로 이뤄진다. 전화 면접조사는 ARS 조사보다 높은 응답률을 가진다. 리얼미터 조사의 응답률은 6.5%였지만 입소스 조사의 응답률은 13.3%였다.


조사 방식에서 또 하나의 지지율 차이를 주는 원인으로는 대상 후보를 몇 명이나 제시하느냐, 예문의 보기에서 누구를 제시하느냐도 영향을 준다. 예를 들면 리얼미터는 대선 후보로 박용진 더불어민주당 의원, 나경원 전 국민의힘 의원 등까지 포함해 14명을 제시했다. 그러나 입소스는 12명을, KSOI는 10명을 제시했다. 예문에서 후보 보기를 들 때, KSOI는 야권 후보로 윤 전 총장, 홍준표 의원, 원희룡 제주지사, 유승민 전 의원을 보기에 넣었다. 이 보기에 안철수 국민의당 대표가 빠져 있다. 이런 경우에는 윤 전 총장에게 지지가 몰릴 수도 있다.

서울시장 보궐선거에서 마지막 여론조사(위)와 실제 개표결과(아래)에는 큰 차이 없이 비슷했다.
서울시장 보궐선거에서 마지막 여론조사(위)와 실제 개표결과(아래)에는 큰 차이 없이 비슷했다.

공정한 여론조사를 위해 고려해야 할 것들

두 번째, 질문지 작성의 편향성을 들어보자. 대표적 사례로 2019년 12월 27일 KBS는 메인뉴스에서 “다가올 총선에서 정부의 실정(失政)보다 보수 야당을 심판해야 한다는 의견이 우세하다”고 보도했다. 정부 실정 심판론 찬성자 비율은 36.4%(반대 54.3%)이고, 보수 야당 심판론에 찬성한다는 응답자가 전체의 58.8%(반대 31.8%)로 나타났다는 것이다. 즉, 보수 야당 심판론이 정부 실정 심판론보다 압도적으로 우세한 것이 국민의 뜻이라는 의미이다. 이 여론조사는 KBS의 의뢰로 여론조사기관인 한국리서치가 실시한 것이다. 그런데 이 여론조사의 질문을 보면 보수 야당 심판론을 유도한 것으로 보여 공정하지 않은 조사였음을 알 수 있다. 


이 여론조사 질문지를 보면 “자기반성 없이 정부의 발목만 잡는 보수 야당에 표를 주지 말아야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문한 것이다. ‘자기반성 없이’, ‘정부의 발목만 잡는 보수 야당’ 이라는 부정적 표현이 질문 자체에 포함되어 있어 보수 야당을 심판하는 것이 옳은 것처럼 유도하고 있다. 반면에 여당 관련 조사에서는 “문재인 정부의 실정을 심판하기 위해 여당인 더불어민주당에 표를 주지 말아야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문했다. 


이 질문에는 부정적 표현은 없고 객관적으로 의견을 물어본 것이다. 이 질문지를 객관적으로 공정하게 하려면 보수 야당 관련 조사에서는 “문재인 정부의 실정을 심판하기 위해 보수 야당에 표를 주어야 한다는 주장에 대해 어떻게 생각하십니까?”라고 질문했어야 했다.


여심위가 고시한 ‘선거여론조사기준’ 제6조(질문지의 작성 등)에는 “누구든지 피조사자의 응답이 특정 정당 또는 후보자에게 편향될 수 있는 다음 각 호의 내용으로 질문지를 작성하거나 질문하여서는 아니 된다. ① 주관적 판단이나 편견이 개입된 어휘나 표현, ② 특정 정당 또는 후보자에 대하여 긍정적 또는 부정적 이미지를 유발할 수 있는 내용 등” 으로 되어 있다. 이에 근거하여 여심위는 2020년 1월 16일 “KBS가 야권에 불리한 여론조사를 뉴스로 내보낸 것은 공직선거법 위반에 해당한다”고 밝혔다. 선관위가 이 여론조사를 ‘편향적 여론조사’라고 판단한 것이었다. 세 번째, 표본의 대표성 미흡과 무응답 무시를 살펴보자. 표본이 조사하는 대상인 모집단을 대표하는 데 미흡하다면 대표성이 확보되지 못한 것이다. 예를 들면 어떤 지역에서 정당 지지도 조사를 할 때 그 지역 모집단의 연령대 인구비율, 성별 비율, 지역 특수성 등을 고려해 표본을 설계해야 하는데 이런 비율이 제대로 반영되지 못한 표본이라면 표본의 대표성이 미흡한 것이다. 여심위에서 고시한 ‘선거여론조사기준’에도 “누구든지 특정 정당 또는 특정 후보자에게 유리하거나 불리한 결과를 가져올 수 있는 표본을 사용하여서는 아니 된다”라고 되어 있다.


다음으로 무응답 무시에서 오는 차이이다. 여론조사에서 응답자 분포가 모집단과 차이가 많이 나면 표본의 대표성이 미흡하다고 볼 수 있다. 보통 여론조사 응답 비율이 10% 정도이므로 응답자 1000명을 얻기 위해서는 초기 표본(이를 표본 추출틀이라고 부름)을 1만 명 이상 구해야 한다. 표본 추출틀이 연령별, 성별, 지역별 등으로 잘 설계되어 있다고 하더라도, 응답한 사람들의 대부분이 어떤 정치적인 이념으로 편중되어 있고, 응답하지 않은 사람들은 다른 정치적인 이념으로 편중되어 있다면, 응답자만 가지고 분석한 결과는 전혀 모집단을 대표할 수 없는 결과를 얻게 된다. 즉, 응답자 분포가 당초의 표본 설계와 맞지 않은 경우가 발생한 것이고 이런 경우는 허다하다. 이런 경우에는 가중치를 사용하여 보정하여 주거나, 무응답자를 무시하지 말고 무응답자가 어떤 성향을 가진 것인지 별도로 조사하여 반영하여 주어야 한다.


마지막으로 편향된 여론조사 결과를 주는 다른 원인으로 조사단위의 누락이나 조사원의 미숙 등이다. 여론조사기관이 시간에 쫓기다 보니 표본 추출틀에게 모두 질문하지 않고 늘 대답을 잘 해주는 ‘일부 응답자’들에게만 질문하는 경우이다. 이런 경우는 일부 응답자가 편향되어 있다면 당연히 결과도 잘못된다. 또 다른 원인으로는 조사원들의 부족한 자질과 정치적 편향성이다. 질문자들이 충분한 교육을 받지 않고 여론조사를 하다 보면 응답자의 기분을 상하게 할 수도 있고 질문자가 스스로 대답을 유도할 수도 있다. 이런 질문자들로 인해 여론조사의 결과가 신뢰성과 공정성을 잃는 것이다. 

오차 범위에 대한 이해
         
여론조사 결과를 읽을 때 특히 유의해야 할 항목으로 오차범위(혹은 표본오차)이다. 여론조사에서 특정 후보에 대해 어떤 시점에서 실제 지지율을 추정해 발표할 때 보통 “95% 신뢰수준에서 오차범위는 몇 %이고, 표본의 크기는 얼마이다” 라고 발표하는 것을 볼 수 있다. 여기서 오차범위를 표본오차 혹은 오차한계라고도 부른다. 예를 들어 한 후보의 ‘지지율 추정치는 30.5%이고, 95% 신뢰수준에서 표본오차는 3.1%’이라 하자. 이 의미는 여론조사가 행해진 시점에서 이 특정 후보의 실제 지지율은 구간

(30.5±3.1%), 즉 (27.4∼33.6%) 안에 있고 실제 지지율이 이 신뢰구간에 포함되어 있을 확률이 95%라는 것이다. 
두 후보 간의 지지율 신뢰구간이 서로 겹치면 ‘통계적으로 유의한 차이가 없다’ 혹은 ‘오차범위 안에 있다’라고 흔히 말한다. 따라서 표본의 크기가 1000명인 경우에는 두 후보 간에 지지율 차이가 6.2% 이상 차가 나면 신뢰구간이 서로 겹치지 않으며 이 경우에는 ‘통계적으로 유의한 차이가 있다’ 혹은 ‘오차범위 밖에 있다’라고 말한다. 


<표 1>과 <표 2>에서는 비슷한 시점에서 표본크기 1000명 정도로 후보 지지율을 조사한 결과이므로 두 후보 간의 지지율 차가 6.2% 이상이면 두 후보 간에는 통계적으로 유의한 차가 있다(혹은 오차범위 밖에 있다)고 볼 수 있다. 그러나 이런 결론은 표본오차만 존재할 때 사용 가능하고 만약 비표본오차가 존재한다면 이런 결론은 믿을 수 없는 것이다. 아직도 우리나라의 여론조사들에서 비표본오차가 표본오차보다 더 큰 경우가 허다하게 있어 보인다. 여론조사의 선진화가 질실히 필요한 시점이라고 하겠다.


여기서 3.1%라는 표본오차의 크기는 여론조사를 실시하는 표본 크기의 제곱근에 역비례하는 것으로 통계학에서 증명되어 있다. 이 표본오차의 크기는 표본의 크기가 커지면 점점 작아지며, 표본 크기가 1000명인 경우는 3.1%, 2000명인 경우는 2.2%, 4000명인 경우는 1.5%가 된다.


이제 2022년 대선이 그리 멀지 않다. 선거 관련 여론조사가 신뢰성, 공정성 등의 문제점을 많이 내포하고 있지만 그래도 국민의 여론을 읽는 중요한 방법이므로 이를 금할 수 없다. 실제로 여론조사가 자유민주주의를 이끄는 중요한 도구 중의 하나라고 볼 수 있다. 따라서 여론조사의 신뢰성과 공정성을 제고할 수 있도록 국민이 깊은 관심을 가지고 들여다봐야 하며 여심위는 더 날카로운 눈으로 여론조사들을 지켜봐야 한다. 여심위에서 고시한 ‘선거여론조사 기준’은 잘 작성되어 있다고 생각한다. 단, 이를 얼마나 엄격히 준수하도록 여심위가 여론조사기관들을 감시하느냐가 관건이 될 것이다.


특히 여심위는 여론조사기관들이 비표본오차(조사방식의 적합성, 질문지 작성의 편향성, 표본의 대표성 미흡, 조사단위의 누락 등)이 발생하지 않도록 감독을 해야 한다. 또한 여론조사기관들은 스스로 여론조사의 신뢰성을 높이는 부단한 노력을 경주해야 한다. 국민으로부터 여론조사의 신뢰성을 확보하는 것이 앞으로도 여론조사의 가치를 높이는 길이 될 것이다. 또한 여론조사가 우리나라의 정치를 국민의 뜻에 맞게 올바르게 가도록 촉구하는 중요한 매체 역할을 하기 위해서도 신뢰성과 공정성이 확보되어야 할 것이다. 
 

본 기사는 시사주간지 <미래한국>의 고유 콘텐츠입니다.
외부게재시 개인은 출처와 링크를 밝혀주시고, 언론사는 전문게재의 경우 본사와 협의 바랍니다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.