서기 208년 양자강 건너 북쪽 적벽(赤壁)에는 조조의 10만 해군이 정박해 있었다. 이들과 대치한 연합군의 유비와 손권은 초조하기만 했다. 군사(軍師) 제갈량은 하늘만 쳐다보고 있었다. 그러던 하늘에 문득 바람이 멈추더니 구름들이 몰려왔다. 그때 제갈량이 말했다.

“따뜻한 겨울 하늘에 구름이 끼면 바람이 북풍에서 동남풍으로 바뀐다는 신호다.오늘 밤 화공(火攻)을 치른다.”

한겨울 북서풍을 믿고 적벽에 배를 묶었던 조조군은 남동풍을 타고 남쪽에서 진격해 오는 제갈량의 화공선들에 속수무책으로 당할 수 밖에 없었다고 나관중은 썼다.

적벽대전은 양자강 유역의 온난전선과 기압골의 데이터(Data)를 정보(Information)로 축적하고 이를 군사 지식(knowledge)으로 활용한 사례다. 조조에게는 그러한 데이터도 정보도 없었다.

빅 데이터는 정보산업 시대의 철과 석탄

1800여년이 지난 오늘 적벽대전은 번역 프로그램을 놓고 IBM과 구글 사이에도 일어났다. 지난 40여년간 컴퓨터학자들은 컴퓨터가 동사, 명사와 같은 단어를 인식하도록 해서 번역 프로그램을 개발하려 했지만 성과는 미미했다. 이에 IBM과 구글은 전문가들이 번역한 문서를 데이터 베이스 상에서 통계적으로 처리해 번역 패턴을 만들 수 있다는 점에 착안했다. IBM이 선공에 나섰다. 캐나다 의회의‘수백만권’의 문서를 활용해 영어-불어 자동번역시스템을 개발했던 것. 하지만 IBM은 수많은 구글의 유저들이 유럽연합 내에 있는‘수억권’의 문서를 올려서 만든 50개국 번역 프로그램에 보기 좋게 나가 떨어졌다. 승부는 다름 아닌 데이터의 양에서 결정됐던 것. 데이터의 질이 아니라 그 양이 새로운 지식을 만들어낸다는‘빅 데이터’이론은 2011년에 등장해 새로운 정보혁명의 총아로 떠오르고 있다.

“산업혁명 시기에는 철, 석탄 등이 생산의 주요 자원이었지만 정보화시대에는 바로 이 데이터가 그 역할을 하게 되는 것이지요.”

본지 편집위원인 박성현 과학기술한림원 부원장 (서울대 명예교수)의 말이다.        

빅 데이터란 기존의 정보처리 기술로서는 다룰 수 없는 막대한 정보를 말하지만 경우에 따라서는 정형화되지 않고 발생하는 수많은 이질적 정보들을 뜻하기도 한다.매킨지의 보고에 의하면 현재 매달 300억개의 콘텐츠가 페이스북에서 유통되고 있으며 1분마다 24시간 분량의 동영상이 유튜브에 올라온다. 트위터에서는 매월 1억1000만개의 정보가 트윗되고 있고 월마트에서는 시간당 100만개의 거래 정보가 축적된다. IDC의 연구 결과에 의하면 2010년 기준으로 전세계 디지털 공간에 축적된 정보량은 약 12억 테라바이트인 것으로 추정된다. 이러한 정보들을 데이터화하고 가공하면 우리는 유용한 정보를 얻게 되고 이 정보를 기반으로 이전과는 차원이 다른 지식을 얻을 수 있다.

하나의 사례를 보자. 미국 보건당국에서는 독감 유행지역에 대한 정보 서비스를 제공한다. 그런데 이 서비스는 항상 유행시점보다 늦었다. 공무원이 병원진료를 받은 환자들을 데이터로 삼기 때문이다. 그런데 구글이 제공하는 독감유행지역 서비스는 거의 실시간이며 경우에 따라서는 예상도 가능하다. 어떻게 된 것일까. 구글은 독감환자들이 인터넷을 통해 독감 정보를 찾는다는 것에 착안했다. 따라서 독감에 대한 질문, 정보 검색의 빈도를 지역별로 나눠 통계처리를 하면 그 지역의 독감유행 정도를 정확하게 판별해 낼 수 있었던 것.

빅 데이터 활용 시 글로벌 생산 혁명 기대

다른 사례도 있다. 볼보자동차는 최근 모든 자동차에 운전자의 운전 정보를 기록하고 이를 무선으로 데이터화하는 데 성공했다. 그 결과 운전 중에 일어나는 자동차의 상태를 통해 다양한 차량 결함과 운전자의 니즈를 파악하는 것이 가능했다. 과거라면 50만대 정도 팔렸을 때나 알 수 있었던 결함을 1000대로도 파악이 가능했던 것. 이러한 데이터는 자동차의 설계나 애프터서비스에 반영돼 보다 경쟁력 있는 제품 생산이 가능한 지식으로 활용될 수 있다.

실제로 컨설팅사 매킨지가 2010년 분석한 자료에 의하면 미국의 의료산업은 빅 데이터를 이용할 경우 직간접적 비용 개선 효과가 약 3300억 달러에 이를 것으로 전망된다. 이는 미 정부의 의료예산의 8%에 해당하는 금액이고 스페인의 전체 의료예산에 해당한다. 특히 임상분야의 경우 의료기관별 진단, 처치방법, 효능 등을 비용과 연계분석해 최적 의료방법을 도출할 경우 연간 1600억 달러의 비용 개선이 가능했다.

빅 데이터는 의료뿐만 아니라 산업부문별로 약 0.5~1% 정도의 생산성을 증가시킬 수 있다는 점이 밝혀졌다. 유럽의 공공부문에서는 그리스 국가예산에 맞먹는 2500억 유로의 절감이 가능하며 제조업의 경우 제품 개발비의 50% 감소가 가능하고 운전자본의 약 7%를 절약할 수 있었다. 개인 위치정보의 경우 전 세계적으로 서비스 공급자는 약 1000억 달러, 이용자의 경우 약 7000억 달러의 후생 증대도 예상됐다. 위치정보가 공급자와 이용자에게 이익이 되는 사례를 보자.

영국 아비바 보험사는 운전자의 운행기록을 인공지능 기술로 분석해 혼잡시간대와 사고다발지역에서의 운행 빈도가 낮은 운전자에게 보험료를 할인해 주는‘ Pay-as-you-drive' 상품을 출시한 바 있다. 또한 매킨지의 분석에 따르면 자동차의 위치정보와 교통량 분석만 활용하더라도 출퇴근 교통혼잡 및 이산화탄소 발생을 줄여 전 세계적으로 약 6000억 달러를 절감할 수 있을 것이라고 한다.

이처럼 빅 데이터 분석 결과는 거의 모든 산업 및 정책 분야에서도 활용될 수 있는데 특히 자동화 알고리즘을 이용할 경우 국세청은 납세자의 소득과 소비패턴 분석을 통해 보다 심층적인 관찰이 필요한 납세자들을 걸러낼 수도 있고 주가조작이나 금융사기 등을 예방할 수도 있다. 

정치와 선거에서도 막강 기능 발휘

빅 데이터는 정치에서도 중요한 기능을 발휘한다. 빅 데이터 분석으로 사건의 징후와 여론의 향배를 알 수 있기 때문이다. 이러한 점은 인터넷과 트위터, 페이스북 등에서 언급되는 주요 키워드와 그에 대한 긍정, 부정의 톤(tone), 정보가 생성되는 층위, 네트워크 정도 그리고 빈도를 통해 알 수 있다. 매스미디어를 통해 노출되지 않는 기층 성향을 알려주는 것이다. 실제로 지난 서울시장 보선에서 트위터 분석을 했던 SAS코리아 조성식 대표는 이렇게 말한다.

“당시 박원순 후보와 나경원 후보에 대한 트위터 멘션과 리트윗의 정보량 간에는 큰 차이가 있었다고 보기 어려웠습니다. 그래서 분석을 담당한 다른 회사들은 막상막하라는 평가가 대부분이었지요. 그런데 저희가 보니 트위터가 발신되는 층위의 스펙트럼에 차이가 있었어요. 박원순 후보에 대한 트윗은 약 8개 층위가 있었지만 나경원 후보의 경우 단일한 층위였습니다. 그래서 저희는 박원순 후보가 약 7~8% 차로 유리하다는 사실을 알아냈지요.”

소셜네트워크를 통해 발생하는 데이터가 그 자체로 마케팅과 정치행위의 기준이 된다기 보다는 그것이 함의하는 바를 제대로 읽어내는 것이 중요하다는 이야기다. 따라서 이를 설계하고 분석하는 맨파워는 빅 데이터의 핵심이 된다. 흔히 이를 데이터 인사이트(Data Insight)라고 하는데 문제는 빅 데이터가 차세대 중요한 자원임에도 전문인력은 턱없이 부족하다는 점이다. 이 점에서는 선진국도 마찬가지. 매킨지의 보고에 의하면 미국의 경우 분석 전문인력 수요가 2018년까지 50~60%가 증가함에 따라 14~19만명의 추가 인력이 필요하며 데이터 기반의 의사결정이 가능한 관리자도 150만명 정도 부족할 것으로 예상된다. 기존 인력을 포함해도 약 50% 정도의 인력이 부족한 셈이다.

하지만 이런 문제는 역으로 IT강국인 한국으로서는 새로운 도전의 기회라고 볼 수도 있다. 어차피 신규산업이라면 출발선에서 불리할 것도 없기 때문이다. 다만 빅 데이터 전문가에게는 보다 고도의 융복합지식이 필요하다는 점에서 기존 교육체계에 혁명적 변화가 요구된다는 어려움이 있다. 분석 전문가의 경우 수학, 통계학과 더불어 인공지능에 대한 이해가 요구되고 있고 컴퓨터공학에도 정통해야 한다. 데이터 기반의 분석가와 관리자의 경우 무엇보다 문제 해결 능력이 요구되며 이를 위해서는 사회학, 심리학, 철학 등 광범위한 경험과 지식이 요구된다. 고도의 훈련과 교육을 받지 않고서는 자질을 갖추기 어렵다는 이야기다.

다보스포럼 논의, 전문인력양성 시급

빅 데이터가 전세계적으로 중요한 이슈가 돼가고 있음은 최근 열린 다보스포럼의 아젠다가 말해준다. 빅 데이터 관련 세션은 무려 4개나 됐다. △데이터에서 의사 결정까지 : 데이터 지능이 의사 결정을 변화시키는 새로운 접근 △데이터 홍수와 시민과학(citizen science) △디지털 범죄와 데이터 절도 급증에 따른 정치ㆍ경제ㆍ사회적 영향 △인간관계 역동성을 발견하게 하는 빅 데이터 등이다. 다보스포럼 사무국은 포럼 개막에 맞춰 ‘빅 데이터, 빅 임팩트’라는 보고서도 펴냈다. 이 보고서는 금융, 의료, 공공기관, 커뮤니케이션, 소매, 여행, 교육 등 다양한 분야에서 빅 데이터가 어떻게 활용될지를 제시하면서 데이터가 새로운 ‘자산(Asset)’이 됐다는 점을 강조하고 있다. 소득이나 사는 지역에 관계없이 사회의 모든 측면에 데이터가 관여한다는 뜻이다. 세계 유수의 언론들이 빅 데이터를 집중조명하는 이유도 여기에 있다. 영국의 이코노미스트誌는 빅 데이터에 대한 특집에서‘도처에 존재하는 데이터의 효과적 분석으로 전세계가 직면한 환경 에너지 식량 문제를 해결할 수 있다’고 보도했다. 가트너誌는 지난해 3월 특집에서 빅 데이터를 ‘21세기의 원유’에 비유하고 ‘데이터가 미래 경쟁 우위를 좌우할 것’이라고 보았다.

하지만 이런 빅 데이터사회가 마냥 긍정적인 것은 아니다. 빅 데이터는 개인정보 침해와 담장 하나를 사이에 두고 있다. 지난 25일 유럽연합(EU)이 발표한 개인정보 보호지침 개정안이 다보스포럼에서 큰 이슈가 된 것도 이러한 사유다.

개정안의 핵심은 개인정보 보호와 상업적, 정치적 목적을 위한 개인정보 활용 사이의 균형이었다. 무게는 약자인 개인의 사생활 보호에 실렸고 EU 역내 기업은 물론 구글, 트위터, 페이스북 등 해외 주요 IT 기업에도 적용될 전망이다. 이 개정안에 따르면 기업이나 정부가 개인정보를 수집, 생성하는 단계부터 수집 목적과 기간을 분명하게 설명하고 개인의 동의를 받아야 한다. 개인정보가 분실, 도난, 훼손되는 침해가 발견될 경우 데이터 통제 책임자가 규제기관은 물론 개인에게도 24시간 내 충분한 정보를 통지해야 한다. 소비자가 개인정보 삭제를 요구할 경우 회사는 내부용 파일로도 저장해서는 안 되며 모든 것을 완전히 삭제해야 한다. 규정 위반 시 100만 유로 또는 매출액의 1%까지 벌금이 부과되며 집단소송 선택권과 형사처벌 조항 등 소비자를 보호하는 조치가 강화된다.

‘빅 브러더’의 통제권력 발생 가능성도

빅 데이터 사회는 풍요롭지만 어딘가 조지 오웰의 소설 1984년을 생각나게 한다.‘빅브러더’로 등장하는 통제권력은 프랑스 철학자 미셀푸코가 말한 원형 감시장,‘판 옵티콘’(Pan Opticon)의 상징이기 때문이다. 죄수들을 원형 감시장에 가두고 일거수 일투족을 감시하는 미래 통제권력 사회는 다름 아닌 디지털 사회에서 남겨질 수 밖에 없는 개인의 흔적 때문이다. 유럽사회가 빅 데이터에 대해 공포를 가지는 배경도 바로 역사적으로 출현했던 통제와 감시권력‘판 옵티콘’에 대한 기억 때문이라고 볼 수도 있다.

미래는 희망과 불안이 뒤섞인 존재다. 그 이유는 미래라는 것이‘아직 도래하지 않아서’가 아니라 ‘이제 곧 다가올’ 것이기 때문이다. 그래서 미래란 언제나 준비하는 자의 것이었다. 이제 우리 사회에도 본격적인 빅 데이터 논의가 시작되고 있다. 농경사회에서 산업사회로 이행한 지 불과 50년도 되지 않는 시기에 다시 정보산업 혁명을 맞고 있는 대한민국이다. 지금 우리는 강한 자가 약한 자를 이기는 시대가 아니라 빠른 자가 느린 자를 이기는 시대에 살고 있다. 제대로 준비만 한다면 대한민국이 미국이나 유럽보다 뒤처질 이유도 없다는 이야기다. (미래한국)
한정석 편집위원  kalito7@futurekorea.co.kr