( ...)
비유하자면 딥러닝은 인공신경망의 후손이다. 인공신경망의 한계를 넘어서기 위한 방편으로 도출된 알고리즘이다. 딥러닝의 역사는 그래서 인공신경망의 역사와 궤를 같이 한다. 인공신경망은 이미 알려져 있다시피, 뇌의 정보처리 방식을 기계에 적용해보자는 아이디어에서 도출됐다. 컴퓨터 과학과 의학, 심리학 등 여러 학문이 개입해 탄생한 융합적 결과물이다.
아이디어의 시작은 1942년으로 거슬러 올라간다. 미국 일리노이 의대 정신과 부교수였던 워렌 맥컬록은 당시 의대 학생이었던 제리 레트빈과 그의 월터 피츠를 자신의 랩으로 당겨왔다. 어느 정도 서먹함이 사라졌을 즈음인 그해 중순, 맬컬록 교수는 이 두 학생을 자신의 집으로 초대했다. 연구실 제자였던 피츠는 신경계에 유독 관심이 많았다.
맥컬록 교수와 피츠를 매개한 이는 이진법을 창안했던 17세기 독일 철학자이자 수학자였던 라이프니츠였다. 피츠는 이날 맥컬록 교수에게 모든 문제는 분석적인 계산으로 해결할 수 있다는 라이프니츠의 격언을 들려줬다. 이 당시는 앨런 튜링이 보편적 논리 엔진에 대한 논문을 발표(1937년)한 지 약 5년도 채 되지 않던 때이기도 했다.
맥컬록 교수와 피츠는 인간의 두뇌 특히 뉴런을 논리적 요소로 끌어들이면서 그 처리 과정을 들여다보게 됐다. 그 결과로 이듬해 ‘신경활동에 내재한 개념들의 논리적 계산’이라는 제목의 논문을 발표하게 된다. 이들은 이 논문에서 신경망을 ‘이진 스위칭’ 소자들이 복잡하게 연결된 네트워크로 모형화했다. 인공신경망을 개념화한 최초의 논문이 탄생한 순간이다.
이후 인공신경망 알고리즘은 흥망성쇠를 경험하게 된다. 유행처럼 붐이 일었다가 다시 무덤으로 들어가기를 반복했다. 딥러닝은 이러한 부침 속에서 탄생한 희망의 불씨였다.
딥러닝이 처음 제안된 때는 인공신경망이 탄생한 지 40여년이 지난 1980년대. 캘리포니아 대학 심리학자와 컴퓨터 관련 학자들의 신경망 연구를 요약한 PDP라는 저서가 등장하면서부터다. 여기에서 역전파(Backpropagation) 학습 알고리즘이 제안됐고 이것이 딥러닝의 모태가 됐다. 하지만 오래 가지는 못했다.
딥러닝이 부활의 신호탄을 쏘아올리게 된 건 2004년이다. 제프리 힌튼 교수가 RBM이라는 새로운 딥러닝 기반의 학습 알고리즘을 제안하면서 주목을 받기 시작했다. 곧바로 드롭아웃이라는 알고리즘도 등장해 고질적으로 비판받는 과적합 등을 해결할 수 있게 됐다. 이 작업에도 힌튼 교수는 빠지지 않았다.
딥러닝이 문제를 해결하는 방식
앞서 언급했듯, 딥러닝의 핵심은 분류를 통한 예측이다. 수많은 데이터 속에서 패턴을 발견해인간이 사물을 구분하듯 컴퓨터가 객체를 분별한다. 이 같은 분별 방식은 두 가지로 나뉜다. 지도 학습(supervised learning)과 비지도 학습(unsupervised learning)이다. 기존의 기계학습 알고리즘들은 대부분 지도 학습에 기초하고 있다. 지도 학습 방식은 컴퓨터에 먼저 ‘이런 이미지가 고양이야’라고 학습을 시켜주면, 학습된 결과를 바탕으로 고양이 사진을 판별하게 된다. 사전에 반드시 학습 데이터가 제공돼야만 한다. 사전 학습 데이터가 적으면 오류가 커지므로 데이터양도 충분해야만 한다.
반면 비지도 학습은 이 과정이 생략된다. ‘이런 이미지가 고양이야’라고 학습시키지 않아도 자율적으로 컴퓨터가 ‘이런 이미지가 고양이군’이라고 학습하게 된다. 지도 학습 방식보다 진일보한 방식이다. 그러나 고도의 연산 능력이 요구돼 웬만한 컴퓨팅 능력으로는 시도하기 쉽지 않았다. 리쿤 교수가 1989년 필기체 인식을 위해 심화 신경망 방식을 도입했을 때 연산에만 3일 걸렸다는 사실은 이미 잘 알려져있다. 구글 현재 비지도학습 방식으로 유튜브 내 고양이 이미지를 식별하는딥러닝 기술을 개발한 상태다.
하지만 고성능의 GPU가 등장하고 데이터가 폭증하게 되면서 이 문제는 자연스럽게 해소되기 시작했다. 여기에 더해 RBM와 드롭아웃(Dropout)이라는 새로운 알고리즘이 개발되면서 당장의 활용 범위도 크게 늘어났다. 페이스북은 딥러닝을 뉴스피드와 이미지 인식 분야에 적용하고 있고, 구글은 음성 인식과 번역을 비롯해 로봇의 인공지능 시스템 개발에도 도입하고 있다.
페이스북 딥페이스, 네이버 음성인식이 이미 적용
딥러닝이 가장 보편적으로 활용되고 있는 분야를 꼽는다면 음성 인식과 이미지 인식이다. 데이터의 양 자체가 풍부한 데다 높은 확률적 정확성을 요구하고 있기 때문이다.
페이스북은 딥러닝을 적용해 딥페이스라는 얼굴 인식 알고리즘을 올해 3월 개발했다. 이 알고리즘 개발을 주도한 조직이 얀 리쿤 교수가 이끌고 있는 인공지능 그룹이다. 페이스북은 딥러닝이 적용된 딥페이스 알고리즘으로 전세계 이용자의 얼굴을 인식해 특정하고 있다. 인식 정확도는 97.25%로 인간 눈(97.53%)과 거의 차이가 없다. 페이스북은 이용자가 올린 이미지의 얼굴만 측면만 봐도, 어떤 이용자인지 판별해낼 수 있다.
네이버는 음성 인식을 비롯해 테스트 단계이긴 하지만 뉴스 요약, 이미지 분석에 적용하고 있다. 이미 네이버는 딥러닝 알고리즘으로 음성 인식의 오류 확률을 25%나 개선했다. 네이버 딥러닝랩의 김정희 부장은 지난해 데뷰2013에서 딥러닝을 적용하기 전과 후를 “청동기 시대와 철기 시대와 같다”로 비유하기도 했다. 그만큼 성능 향상이 뚜렷했다는 의미다.
뿐만 아니라 네이버는 야후의 썸리와 같은 뉴스 요약 서비스에도 딥러닝을 적용해 실험하고 있다. 기사에 제목이 있을 경우와 없을 경우를 분리해 기사를 정확히 요약해낼 수 있는 알고리즘을 개발하는데 이 방식이 활용되고 있다. 2D 이미지 분석에 적용하기 위해 랩 단위에서 현재 실험이기도 하다.
▲ 페이스북 딥페이스의 작동 구조
딥러닝이 갑작스럽게 각광받는 이유는 간단하다. 복잡한 구조를 처리할 수 있는 컴퓨팅 파워, 즉 연산 능력이 뒷받침되고 있기 때문이다. 강필성 서울과학기술대 교수는 “딥러닝은 새로운 것이 아니라 복잡한 인경망 구조를 지닌 것이 특징”이라며 “그동안은 이를 받쳐줄 만한 컴퓨팅 파워가 부재했는데 이 부분이 해결되면서 부상하고 있는 것”이라고 설명했다. 김정희 네이버 딥러닝 부장도 ▲새로운 알고리즘의 개발 ▲컴퓨팅 파워 ▲빅데이터를 딥러닝이 주목받는 이유로 들었다.
사라질 듯 사라지지 않은 딥러닝은 빅데이터 시대를 맞아 이렇게 다시 부활하고 있다. 인간의 뇌와 컴퓨팅 방식의 결합, 그 속에서 딥러닝은 서서히 자기 영역을 확장하고 있다. 이 과정에서 어쩌면 더 많은 학문들이 결합되고 융합될지도 모른다. 딥러닝의 부활은 여러모로 다양한 의미를 동시에 함축하고 있는 셈이다.
