도래하는 빅 데이터 시대 우리는 준비하고 있는가?
도래하는 빅 데이터 시대 우리는 준비하고 있는가?
  • 미래한국
  • 승인 2012.02.13 14:34
  • 댓글 0
이 기사를 공유합니다

박성현 편집위원
한국과학기술한림원 부원장
서울대 명예교수

빅 데이터(Big Data)가 올해 다보스포럼의 키워드로 등장했다. 수년전 다보스포럼의 키워드였던 소셜미디어, 모바일 등은 이미 우리 사회의 주류가 됐듯이 빅 데이터도 곧 우리 사회에 막강한 영향을 미치는 핵심 용어가 될 것이다. ‘데이터에서 의사결정까지 : 데이터 지능이 의사결정을 변화시키는 새로운 접근’, ‘데이터 및 디지털 관련 범죄 급증에 따른 정치·경제·사회적 영향’, ‘데이터 홍수와 시민과학’, ‘인간관계의 역동성과 빅 데이터’ 등의 세션이 다보스포럼에 등장해 큰 관심을 끌었고, 이 포럼에서 배포한 ‘빅 데이터, 빅 임팩트’라는 보고서는 큰 인기를 독차지했다고 한다. 특히 각국의 총리, 금융·교육 분야 참석자들이 데이터 폭증에 어떻게 대처할지 높은 관심을 보였다고 한다.

각종의 SNS 정보, 실시간 센서 데이터, 방대한 고객 정보, 지리정보, 멀티미디어 콘텐츠 정보 등의 다양한 데이터 소스가 출현함에 따라서 데이터의 양은 급팽창하고 있다. 2011년에 발표된 IDC (International data corporation)의 연구조사에 의하면 2011년에만 새롭게 생성되거나 복제된 정보의 양이 1.8제타바이트(1조8천억 기가바이트) 이상이고, 향후 정보의 양은 기하급수적으로 증가할 것이라고 예측했다. 우리가 살고 있는 시대는 빅 데이터 시대임에 틀림없다.

빅 데이터란 기존의 데이터베이스나 아키텍처가 저장, 관리, 분석할 수 있는 범위를 초과하는 거대한 규모의 데이터 집합을 말하는 것으로, 빅 데이터의 특징 중 하나는 온라인과 모바일을 통해 엄청난 양의 다양한 데이터가 실시간에 가까운 빠른  속도로 흘러 들어와 축적되는 데이터 집합이라는 것이다. 빅 데이터는 그 안에 커다란 경제적 가치가 있는 ‘정보’를 담고 있으며, 이를 누가 신속하고 정확하게 분류해 추출할 수 있느냐가 오늘날의 지식정보화 사회에서 기업이나 국가 경쟁력의 중요한 요소이다. 최근에는 이런 ‘정보’를 부분적으로 추출할 수 있는 역량을 보유한 구글, 아마존, 넷플릭스, 페이스북 등과 같은 인터넷 기업들이 전례가 없을 정도의 빠른 성장을 보이고 있다. 다보스포럼 참석자 중 한 명인 데이터 투자펀드 ‘데이터 컬렉티브’ 창업자 자크 보고는 “빅 데이터는 10년에 한 번 정도 일어나는 대격변”이라며 “기업들이 현재의 주파수 대역폭이나 서버 저장 한도, 컴퓨팅 파워로는 빅 데이터를 제대로 활용할 수 없는 것이 문제”라고 말했다.

앞으로는 네트워크에서 다뤄지는 수많은 이용자 정보와 행동 기록들은 더 큰 영향력을 발휘하며, 빅 데이터 시대를 열어갈 것이다. 빅 데이터 분석의 예를 들면, 미국의 지난 대선에서 오바마를 지원했던 스포트라이트 애널리시스 사는 1억8천만 명의 유권자들에 대한 인구통계 조사자료, 신용평가 정보, 차량과 미디어의 소비기록 정보, 웹에 게시한 글 내용 정보 등 다양한 정보를 분석해 유권자를 차별화하고, 개인별로 구분해 대응하도록 조언했다. 모든 산업 분야에서 빅 데이터가 활용될 것이나 의료산업분야가 우선적으로 꼽힌다. 2011년 매킨지 보고서에 따르면 미국의 의료산업에서 빅 데이터가 적절히 활용될 경우 직·간접적인 비용효과가 약 3,300억 달러에 이를 것으로 추정했다. 의료산업 분야 이외에도 금융, 공공기관, 커뮤니케이션, 소매, 여행, 교육 등 다양한 분야에서 빅 데이터 취급·분석 능력이 새로운 영역을 개척해 나갈 것이며, 데이터는 새로운 형태의 자산(asset)으로 평가될 것이다.

과거 산업혁명에서는 석탄과 철이 주요한 역할을 담당했던 것처럼, 오늘날의 지식 정보화 사회에서는 빅 데이터 분석능력이 주요한 역할을 감당할 것이 명백하다. 빅 데이터 분석능력이 부족한 국가는 선진국이라고 평가받기도 어려울 것이다. 그러면 우리 사회는 도래하는 빅 데이터 시대에 어느 정도 준비하고 있는가? 사실상 준비가 돼 있지 못한 것이 현실이며, 늦은 감이 있으나 지금이라도 문제점을 깊이 인식하고 다음과 같은 사항을 유념해 미래의 도전에 대비해야 할 것이다.

우선적으로 빅 데이터 관리·분석에 참여할 수 있는 인력 양성에 나서야 한다. 빅 데이터 관리·분석은 통계학, 정보과학, 컴퓨터공학, 전자공학 등이 직접적인 학문분야로, 이런 분야에 우수 인재들이 모이고 인재가 양성되는 장기적인 대책이 마련돼야 한다. 미국에서는 최근 빅 데이터 분석이 가능한 데이터 과학자(data scientist)를 모집하는 광고가 눈에 자주 뜨인다. 불행하게도 우리나라에서는 우수 인재들이 의학, 치의학 등에 몰리고 자연과학과 공학이 홀대받고 있고, 더욱이 소프트웨어 개발 분야의 인기가 너무 없다는 것은 빅 데이터 시대에 대비해 큰 문제점이 아닐 수 없다.

두 번째로, 빅 데이터 분석에 사용될 수 있는 소프트웨어에 대한 학습과 연구·개발을 서둘러야 한다. 이런 기능의 기존의 소프트웨어로는 데이터 마이닝이 있다. 이것은 대규모의 데이터 속에서 일정한 패턴을 찾아내는 통계적 기법의 소프트웨어로 이미 기업에서는 최적의 마케팅 전략, 고객관리경영 등에 사용되고 있다. 데이터 마이닝과 같은 소프트웨어를 많은 사람들이 사용할 수 있도록 교육돼야 하고, 더 좋은 빅 데이터 분석용 소프트웨어 연구·개발에 기업이나 국가가 높은 관심을 가지고 투자해야 한다. 이 분야의 소프트웨어 개발에 앞서가는 세계적인 기업으로는 SAS가 있으며, 고성능계산(High Performance Computing) 소프트웨어는 빅 데이터 분석을 선도할 것으로 예상된다. 이를 벤치마킹 대상으로 잡고 연구할 필요가 있다.

마지막으로 정부에서 주도하고 있는 융합기술 개발에 빅 데이터 관리·분석 기술을 추가해야 한다. 빅 데이터 분석은 통계학, 정보과학, 컴퓨터 공학이 기초가 되고, 분석 대상 분야인 의학, 보건학, 공학, 경영학 등의 지식이 결합되는 융합과학기술 분야이다.

21세기 빅 데이터 시대에 우리나라가 선진국의 반열에 끼어 그 역할을 감당하고자 한다면 지금부터 준비를 서둘러야 한다. 오늘날과 같은 데이터 홍수 시대에는 데이터 분석능력이 곧 국가경쟁력이 된다. 우리 사회와 국가의 현명한 대비를 촉구하고 싶다. (미래한국)

본 기사는 시사주간지 <미래한국>의 고유 콘텐츠입니다.
외부게재시 개인은 출처와 링크를 밝혀주시고, 언론사는 전문게재의 경우 본사와 협의 바랍니다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.