영화의 패러다임을 완전히 바꾼 ‘스크린 엑스(ScreenX)’ 기술 개발한 세계적인 CG 전문가

요즘 영화는 정면의 본 화면뿐만 아니라 양 옆의 벽에도 영상이 투사되어 몰입도가 높다. 극장 3면에 영상을 투사하는 ‘스크린 엑스(ScreenX)’ 방식은 최근 히트한 <히말라야> <검은 사제들> <차이나타운> 등에 사용됐다.

영화의 패러다임을 완전히 바꾼 이 기술은 카이스트의 노준용 교수팀이 개발했다. 현재 할리우드 유명 제작사들이 이 기술을 도입하기 위해 노 교수팀과 협상을 벌이는 중이다. 

노준용 교수는 할리우드의 대표적 시각 특수효과 제작 전문회사인 리듬 앤 휴즈 스튜디오에서 그래픽 사이언티스트로 활동하면서 <나니아 연대기> <가필드> <수퍼맨 리턴즈> <80일 간의 세계일주> 등 여러 영화의 특수효과 제작을 주도했다. 

최근 그가 발간한 <틀을 깨려는 용기가 필요해>의 부제는 ‘카이스트 교수가 가르쳐주는 학교와 학원에서 배울 수 없는 것’이다.

삼수 중에 미국 대학 입학한 세계적인 CG 전문가 

그는 우리나라 대학에 두 번 떨어져 삼수 중에 미국의 명문사립대 USC(서던캘리포니아대) 대학에 들어간 이력이 있다. 

“전기전자공학을 전공하면서 몇 학기 연속 전 과목 A를 받아 학교에서 꽤 유명했어요. 그런데도 12월이 되면 한국에서 대학 입학시험을 치르던 기억으로 가슴이 아팠어요.” 

위로 다섯 누나를 둔 외동아들이 대학 문턱이라도 밟게 해야겠다는 부모의 의지에 뜻하지 않게 유학을  갔다. 최상위권이었던 고등학교 성적표와 자기소개서, 추천서만으로 미국 몇몇 명문대학교에 합격하자 오히려 허탈했다고 한다. 미국에 가서도 ‘한국에 돌아가 입시를 보고 정정당당하게 나 자신을 증명하고 싶다’는 생각에 시달렸을 정도였다. ‘삼수생 트라우마’는 대학원에 들어가서야 조금씩 옅어졌다. 

유학은 꿈도 못 꾸는 ‘흙수저 계급’임을 한탄하는 젊은이들에게 노 교수는 생각을 바꾸면 길이 열린다고 말한다. 

“우리나라보다 훨씬 못사는 나라 학생들도 유학 와서 정말 고생하며 공부합니다. 인도 친구들은 작은 방에 대여섯 명이 몰려 살면서 치열하게 공부하여 석사를 1년 만에 마치기도 해요. 많은 인도 친구들이 실리콘밸리에 취직해 인도 사람들이 실리콘밸리를 좌지우지한다는 말이 있을 정도입니다.” 

컴퓨터 사이언스 전공인 그는 ‘사실적인 얼굴 애니메이션을 자동으로 만들어내는 기법’이라는 논문으로 박사학위를 받았다. 얼굴 모델에서 뽑아낸 애니메이션 데이터를 수학적으로 계산하여 생김새가 다른 모델에게 표정이 복제되도록 하는 방식이다. <반지의 제왕>에 나온 ‘골룸’의 표정 연기는 생김새가 전혀 다른 배우 앤디 서키스에 의해 만들어졌다. 

서로 다른 모델 간에 표정이 자연스럽게 전이되는 방식은 학계의 큰 주목을 받았고 2001년 그래픽스 분야 세계 최고 학회인 시그그래프(SIGGRAPH)에 소개되었다. USC의 그래픽스 연구실에서도 처음 있는 쾌거로, 그는 하루아침에 세계적인 연구자 반열에 올랐다. 

할리우드에서 손꼽히는 영화 비주얼 특수효과 제작회사 ‘리듬 앤 휴즈 스튜디오’에 입사한 그의 첫 번째 작업은 영화 <가필드>의 주인공 가필드의 표정을 만드는 일이었다. 결과는 대성공이었다. 하지만 알아들을 수 없는 애니메이션 영화 용어로 정신을 차릴 수가 없었다. 

“로토스코핑, 애니메이션 프락시, 매지 무빙, 이런 단어가 매일 쏟아지는 겁니다. 일하는 틈틈이 영화와 디지털 특수효과에 관련된 공부를 하면서 연구개발팀과 무관한 다른 부서의 회의에 슬쩍 들어가 무슨 대화가 오고 가는지 관찰했죠. 처음에 외계어 같던 용어들이 어느 순간 귀에 들어오면서 할리우드의 블록버스터 영화의 핵심 기술들을 하나 둘 씩 내 손으로 만들었습니다.” 

그간 개발한 기술 가운데 <나니아 연대기>에 사용된 ‘지형자동생성 기술’이 가장 기억에 남는다고 한다. 촬영된 2D 배경에 맞춰 3차원 지형을 일일이 손으로 만들어 3차원 캐릭터와 합성하려면 3~5초 분량의 이미지 컷을 만드는 데 8시간이나 걸린다. 그런데 수학적 개념을 적용하여 버튼 하나로 종일 걸리는 작업을 3~4분 만에 완성했다. 

“대규모 전투 장면을 만들기 위해 뉴질랜드에서 배경이 될 지형을 항공 촬영하고 그 위에 수 천 수 만 개에 달하는 각종 상상 속 캐릭터들이 두 편으로 나뉘어 펼치는 치열한 전투 장면을 CG로 만들어냈죠. 영화의 특수효과 기술이라고 하면 미적 감각을 먼저 떠올리는데 사실은 수학적 개념과 공학적 지식, 프로그래밍 기술이 필수입니다. 지형자동생성 기술은 아티스트의 생산성을 수백 배까지 향상시켰죠. 별로 친하지 않은 아티스트들까지 내 자리로 와서 감사하다고 하더군요. 이 기술은 할리우드 대작 영화에 지속적으로 활용되고 있습니다.” 

아카데미상 기술상 수상 

폭풍우 치는 바다, 화산 폭발, 연기, 구름, 물의 출렁임 등을 컴퓨터로 재현하는 ‘유체 시뮬레이션’ 기술은 <황금 나침반>이라는 영화에 사용되어 그해 아카데미상 기술상을 받았다. 

“엄청난 실력자들이 모여드는 할리우드에서 제가 두각을 나타낼 수 있었던 건 영화에 미쳐 있었기 때문입니다. 어릴 때부터 매일 한 편씩 볼 정도로 영화를 좋아했는데, 내가 영화 생산 주체가 되었다는 게 너무 좋아 빠져들었죠. 진정으로 좋아하는 것을 찾아 그 일에 미치는 게 중요합니다.” 

승승장구하던 그는 40대 초입, 암초를 만났다. LA 근처 주택단지에 살고 있던 그가 부동산 경기가 치솟던 2000년에 라스베이거스 번화가 한 복판에 있는 고급 콘도를 구입한 게 문제가 되었다. 서브프라임 모기지 사태로 2004년 저금리 정책을 종료하면서 집값이 떨어지기 시작한 것이다.

2010년 그가 10년 간 모은 것들이 연기처럼 사라지고 말았다. 2006년 귀국해 카이스트에서 일하고 있던 그는 전세금 올려줄 돈도 없었다. 결국 아내가 어린 자녀들을 돌보며 영어 강의를 해야 했다. 

5년 동안 점심 도시락을 싸갖고 다녔으며, 부부는 미국에서 의류사업하는 친구가 보내 준 흠집 난 옷만 입고 버텼다. 두 딸의 유모차와 옷은 이웃에게 물려받았다. 

“지난 몇 년 간의 삶은 세계대전이 끝나 잿더미가 된 도시들이 서서히 일어나는 것과 크게 다르지 않아요. 가족의 사랑과 스스로에 대한 믿음, 삶을 긍정적으로 바라보는 태도로 이겨냈지요.” 

그는 카이스트에서 비주얼 미디어 랩을 총괄하면서 캐릭터 애니메이션, 이미지 향상, 입체 영상 생성 등 비주얼 콘텐츠의 시각적 현실감을 극대화시키는 연구를 진행하는 중이다. 귀국 이후 노준용 교수는 <한반도의 공룡> <7광구> <구미호 여우누이뎐> <고양이 길들이기> 등의 국내영화 CG작업에 참여했으며 <반지의 제왕> <아바타>등을 제작한 웨타 디지털(Weta Digital)과 얼굴 애니메이션 제작에 필요한 핵심기술들을 공동 개발했다.

CG 분야의 연구 성과를 인정받아 2011년에 카이스트 석좌교수 타이틀을 받고 카이스트 기술혁신상을 수상했다. 카이스트 10대 연구에 선정된 스크린엑스 기술은 2015년 창조경제를 대표하는 미래 성장 3대 플래그십 프로젝트 중 하나로 선정되었다. 

한국인이 아닌 지구인이 되라 

한국에 처음 왔을 때 그는 “할리우드만의 핵심기술이 무엇이냐?”는 질문을 많이 받았다. “핵심기술은 존재하지 않는다. 멋진 CG를 제작하기 위해 사용되는 여러 기술들이 각자의 영역에서 모두 중요하다”는 것이 그의 답변이었다.

우리나라 영화 제작에 참여하면서 ‘기술 요소들을 유기적으로 엮어줘 생산성을 극대화시키는 할리우드식의 핵심적인 체계’가 없다는 것을 깨달았다. 지난 10년 간 노 교수와 여러 할리우드 출신 전문가들이 한국 CG회사들에게 잘 갖춰진 파이프라인을 강조했고, 이제 한국 CG 회사들은 세계적인 실력을 갖췄다고 한다. 

여전히 반짝 인기가 있어 보이는 핵심기술 한두 가지에 투자하여 무턱대고 할리우드 따라잡기를 하는 것이 문제라고 지적했다. 경쟁력 있는 분야를 발굴하여 선진국이 시도하지 않은 연구개발을 해야 한다는 것이다. 

“검증되지 않은 한국의 소재를 가지고 해외 진출하려고 노력하는 경우들도 봅니다. 글로벌한 시대에 시장은 궁극적으로 세계입니다. 세계인이 재미있어 할 것인가, 이것이 판단 기준이 되어야 합니다.” 

노준용 교수 연구실은 치열한 경쟁을 뚫어야 입성할 수 있다. 학생들이 졸업 후 마땅히 활동할 데가 없자 제자들을 할리우드 현장으로 보냈고, 그곳에서 실습을 받다가 취직한 학생들도 있다. 

“한국에 돌아와 보니 예전과 조금도 달라진 게 없더군요. 세상은 빛의 속도로 발전하고 있는데 우리는 한국이라는 좁은 울타리에 스스로 가두고 있는 겁니다. 한국의 대학에 가는 게 마땅치 않다면, 한국에서 취직이 어렵다면 다른 나라로 눈을 돌려야지요. 언어 문제, 돈 문제를 걱정하는데, 미국은 학비와 생활비를 스스로 해결하는 게 보편적 정서입니다. 부모들은 자녀를 옆집 아이 다니는 학원에 밀어 넣을 게 아니라 세계로 보내야 합니다. 제 자녀뿐만 아니라 연구실 학생들을 한국인이 아닌 지구인으로 키우는 게 저의 목표입니다.” 

노준용 교수는 2010년에 거의 전 재산이었던 1000만 원을 들여 ‘카이 스튜디오’를 설립했다. ‘첨단기술을 가진 글로벌한 회사’를 목표로 달려 연구 논문이 국제학회와 학술지에서 인정받았고, 신기술이 산업체로 이전되면서 연구비 수주 실적을 올렸다. 영화의 시각적 특수효과나 컴퓨터 애니메이션 제작에 필요한 여러 가지 기술을 개발했다. 조용필, 윤미래, 타이거 JK, Bizzy의 뮤직비디오 제작에도 참여했다. 

최근 콘텐츠 쪽 사업을 축소하고 IT에 집중하기 위해 회사 이름을 ‘카이’로 짧게 바꿨는데 목표는 실리콘밸리의 회사들을 뛰어넘는 것이다. 노 교수는 젊은이들에게 “한국적 잣대로 나를 얽매지 말고 세계를 기준으로 가치관과 목표를 설정하라. 그리고 나는 과연 큰 세상을 바라보고 있는가”를 끝없이 자문하라고 권했다.