1. 네 가지 이름
2006년 7월, 글 두 편이 거의 한꺼번에 찍혀 나왔다. 한 편은 《신경 계산》 제18권 제7호에 실렸다. 저자는 제프리 힌턴, 사이먼 오신데로, Yee-Whye Teh였고 제목은 《심층 신념망을 위한 빠른 학습 알고리즘》이었다. 초록에는 빠른 탐욕적 알고리즘으로 깊은 방향성 신념망을 한 층씩 학습할 수 있다고 했다. 바로 뒤에 조건이 붙는다. ‘가장 위의 두 층이 무방향 연상 기억을 이룬다는 조건에서다.’
다른 한 편은 7월 28일자 《사이언스》에 힌턴과 루슬란 살라후트디노프가 함께 썼다. 제목은 《신경망으로 데이터의 차원 줄이기》였다. 여러 층의 망을 한 층씩 미리 훈련한 뒤, 열네 번째 글에 나온 오차 역전파로 세밀하게 조정하는 방법이다. 제목에는 ‘신경망’이 또렷이 쓰였다.
그해 겨울에 열린 신경 정보 처리 시스템 학술대회, 약칭 NIPS에 몬트리올대의 벤지오 팀이 《심층망의 탐욕적 층별 훈련》을 냈다. 초록은 깊은 다층 신경망으로 시작했다. 어려움을 말할 때에는 무작위로 정한 점에서 기울기로 최적화를 시작하면 좋지 않은 해에 ‘흔히 갇히는 듯하다’고 썼다. ‘흔히’도 ‘듯하다’도 있다. 같은 대회에서 뉴욕대의 르쿤 팀이 낸 글은 《에너지 기반 모형으로 희소 표상을 효율적으로 학습하기》였다. 제목에 ‘깊다’는 말이 없다.
논문 네 편에 말이 넷이다. 심층 신념망, 신경망, 심층망, 희소 표상. 그해에는 모두가 함께 쓰는 이름이 아직 없었다.
‘딥러닝’, 곧 심층 학습이라는 말이 기계 학습 문헌에 처음 쓰인 해도 아니다. 1986년 8월 미국인공지능학회 연례 회의에서 리나 데히터는 제약 충족 문제를 다룬 《탐색하면서 학습하기》를 발표했다. 거기서 심층 학습이라는 말을 썼고 얕은 학습과 나란히 놓았다. 그가 말한 깊이는 탐색하면서 충돌을 얼마나 깊이 기록하는가였다. 여러 층을 가진 망과는 상관없었다.
어떤 형용사가 먼저 다른 곳에 쓰이고 나중에 다른 것을 부르는 데 쓰인 것은 이 연재에서 처음 보는 일이 아니다.
2. 그 몇 해
2004년, 힌턴과 동료들이 캐나다 고등연구원에 새 사업을 신청해 승인을 받았다. 이름은 신경 계산과 적응적 지각이었다. 벤지오와 르쿤도 참여했고, 힌턴은 2013년까지 책임자를 맡았다. 2006년 8월에 이 사업은 토론토에서 여름 학교를 열었다.
2007년 12월 밴쿠버에서 워크숍이 열렸다. 당시 이름은 ‘NIPS 2007 심층 학습 워크숍’이었다. 힌턴의 발표 제목은 뒤에 이를 인용한 논문에 《뇌 안에서 어떻게 역전파를 하는가》로 기록됐다. 열네 번째 글의 1986년 논문 마지막 단락에서는 지금 형태로는 뇌의 학습 방식이 아니라고 했다. 21년 뒤 같은 사람이 심층 학습이라는 이름을 내건 워크숍에 서서 뇌 안에서는 그 일을 어떻게 하는지 말했다.
이름은 조금씩 자랐다. 2009년 스탠퍼드의 앤드루 응 팀 논문 제목에 심층 비지도 학습이 나왔다. 2011년 학술대회에는 ‘심층 학습과 비지도 특징 학습’이라는 이름의 워크숍이 생겼다. 둘에 관심 있는 사람을 한자리에 모으려 한다고 직접 밝혔다. 2012년이 되자 구글의 한 논문은 본문에서 이 길을 비지도 특징 학습과 심층 학습이라고 불렀다. 같은 해 음성 인식 논문 제목에는 심층 신경망이라는 말이 나왔다.
르쿤은 훗날 반쯤 농담 삼아 자기들이 이른바 심층 학습 음모단이었다고 말했다. 2011년에 CVPR에서 거절당한 논문이 이듬해 ICML에 실렸고, 그 전에는 합성곱 신경망(CNN)을 쓴 논문이 줄줄이 거절됐다고도 했다.
3. 그래픽 카드
그래픽 카드는 본래 화면을 그리는 물건이다. 2007년 2월 엔비디아가 CUDA라는 프로그래밍 도구를 내놓았다. 다른 계산을 하는 프로그램도 그림을 그리는 인터페이스를 둘러 갈 필요 없이 그래픽 카드를 바로 쓸 수 있게 했다.
2009년 6월에 앤드루 응과 학생 둘, 라자트 라이나와 아난드 마다반이 《그래픽 처리 장치로 하는 대규모 심층 비지도 학습》을 발표했다. 발표 슬라이드에 쓴 그래픽 카드가 나와 있다. 엔비디아 GTX 280 한 장, 그래픽 메모리 1GB, 코어 240개, 당시 가격은 약 250달러다. 일반적인 듀얼 코어 컴퓨터에 비해 한 종류의 망은 훈련이 72배 빨랐고, 다른 종류는 15배쯤 빨랐다. 다층 망은 한 층을 학습하는 데 하루쯤 걸렸다.
스위스 루가노 근처에 IDSIA라는 인공지능 연구소가 있다. 2010년 그곳의 단 치레샨과 위르겐 슈미트후버 등은 그래픽 카드로 아주 보통의 역전파를 적용해 손 글씨 숫자에서 1만 개당 35개를 틀렸다. 2011년 7월 IJCAI에 발표한 논문에서는 그래픽 카드를 써서 큰 합성곱 신경망을 몇 달이 아니라 며칠 만에 훈련할 수 있다고 썼다.
같은 해 독일 교통 표지판을 알아보는 대회에 사진 5만 장 넘게 쓰였다. 그들이 0.56퍼센트를 틀려 우승했다. 대조로 시험한 사람들은 평균 1.16퍼센트를 틀렸다. 2012년에는 전자현미경 영상에서 신경 구조를 가려내는 대회와 유방암 조직 절편에서 분열 중인 세포를 찾는 대회에서도 이겼다.
4. 그래픽 카드 두 장
2012년 9월 30일 그리니치 시각 오후 11시가 열여섯 번째 글에서 본 대규모 시각 인식 대회의 그해 마감 시각이었다. 토론토대의 세 사람이 시험지를 냈다. 팀 이름은 슈퍼비전(SuperVision), 알렉스 크리제브스키와 일리야 수츠케버, 제프리 힌턴이다. 그들의 망에는 매개변수 6000만 개와 뉴런 65만 개, 합성곱 층 다섯과 완전 연결 층 셋이 있었다. 뒤에 제1저자 이름을 따 알렉스넷(AlexNet)이라 불렀다.
훈련에는 엔비디아 GTX 580 그래픽 카드 두 장을 썼다. 한 장마다 메모리가 3GB다. 망이 너무 커 한 장의 메모리에 담을 수 없으니 망을 반으로 나눠 카드 한 장에 절반씩 놓았다. 몇몇 층 사이에서는 두 카드가 서로 정보를 주고받았다. 한 번 훈련하는 데 닷새나 엿새가 걸렸다.
그래픽 카드를 어디에 놓았는지 힌턴이 2023년 《뉴요커》 기자에게 회고했다. ‘그의 그래픽 카드 두 장이 침실에서 윙윙 돌아갔죠.’ 같은 회고에는 전기 요금이 꽤 들었으며 크리제브스키의 부모가 냈다는 이야기도 나온다.
슈퍼비전은 망 일곱 개의 예측을 합쳐 출전했고 상위 5개 오류율은 15.3퍼센트였다. 다른 팀 가운데 가장 좋은 결과는 26.2퍼센트였다. 10월 12일 이탈리아 피렌체의 워크숍에서 슈퍼비전의 발표는 오후 5시 5분부터 5시 30분까지였다. 나중에 전해진 이야기에서 그 오후는 여러 가지 모습이다.
12월에 그 논문이 학술대회 논문집에 실렸다. 제목은 《심층 합성곱 신경망을 이용한 이미지넷 분류》였다. ‘신경망’은 여전히 제목에 있다.
논문의 토론 절에 한 실험이 나온다. 가운데 합성곱 층을 어느 것이든 하나 빼면 가장 확신하는 답 하나로 매긴 정확도가 약 2퍼센트포인트 떨어졌다. 이어 이렇게 썼다. ‘그러므로 우리 결과를 얻는 데 깊이는 실제로 중요하다.’ 같은 절에서 이번에는 층별 비지도 사전 훈련, 곧 2006년 두 논문의 그 단계를 쓰지 않았다고 밝혔다.
5. 톈진
2012년 10월 톈진, 마이크로소프트 아시아 연구소가 연 21세기의 컴퓨팅 학술대회에서 마이크로소프트 연구소 책임자 릭 래시드가 시연했다. 무대에 서서 영어로 말했다. 머리 위 큰 화면에 방금 한 영어가 글자로 떴다. 이어 영어가 중국어 글자로 바뀌고, 합성 음성이 중국어를 낭독했다. 래시드 자신의 목소리를 본떠 합성한 음성이었다. 래시드 자신은 중국어를 못했다. 객석에서 박수가 터졌다.
11월 8일 그는 회사 블로그에 썼다. 지난날 이런 시스템은 단어 네댓 개에 하나꼴로 틀렸고, 이제는 일곱여덟 개에 하나꼴로 틀린다. 오류가 30퍼센트 넘게 줄었다. 같은 단락에 ‘여전히 완벽과는 거리가 멀다’고 덧붙였다.
같은 달 신호 처리 학술지에 저자 열한 명의 글이 실렸다. 제목은 《음성 인식의 음향 모델링을 위한 심층 신경망: 네 연구팀의 공통 견해》다. 네 팀은 토론토대, 마이크로소프트 연구소, 구글, IBM이다. 마이크로소프트 팀의 결과 하나는 단어 오류율을 27.4퍼센트에서 18.5퍼센트로 낮췄다. 래시드가 시연에 쓴 것도 이 갈래에서 나온 것이었다.
6. 고양이
2011년 12월 말, Quoc V. Le와 제프 딘, 앤드루 응 등 여덟 명이 글을 온라인에 올리고, 이듬해 ICML에서 발표했다. 제목은 《대규모 비지도 학습으로 고수준 특징 만들기》였다. 망에는 층이 아홉 개, 연결이 약 10억 개 있었다. 온라인 영상에서 잘라 낸 200×200 화소의 작은 그림 1000만 장을 먹였다. 무슨 그림인지 표지를 단 사람은 없었다. 기계는 1000대, 처리기 코어는 1만 6000개였다. 훈련은 사흘쯤 했다.
처음에 물은 것은 이것이었다. 표지가 붙지 않은 그림만으로 사람 얼굴을 알아보는 부분을 학습할 수 있는가. 망 안의 한 단위가 사람 얼굴에 특히 강하게 반응했다. 여러 대조 시험도 했다. 얼굴을 옮기고, 키웠다 줄이고, 옆으로 돌려 놓고서 여전히 알아보는지 보았다. 초록에서 고양이를 말한 문장은 이렇다. 같은 망이 ‘고양이 얼굴 등 다른 고수준 개념에도 민감하게 반응한다’.
뒤에 전해진 것은 구글의 망이 스스로 고양이를 알아보는 법을 배웠다는 말이다. 논문에 쓰인 말은 ‘민감하다’, ‘고양이 얼굴’, ‘…등 다른 고수준 개념’이었다.
7. 경매
2012년에 힌턴과 그의 학생 두 사람이 회사를 세웠다. 이름은 DNN리서치다. 회사는 그 세 사람이 전부였다.
그해 12월 NIPS 학술대회가 타호호 호숫가의 카지노 호텔에서 열렸다. 기자 케이드 메츠는 2021년 인터뷰를 바탕으로 그 며칠을 재구성했다. 호텔 731호 방에서 세 사람의 회사가 경매에 나왔다. 입찰에 나선 곳은 구글과 마이크로소프트, 바이두 그리고 런던의 딥마인드였다. 가격이 2200만 달러쯤 되자 힌턴은 한 차례 경매를 멈췄다. 다시 시작한 뒤 마이크로소프트가 빠지고 구글과 바이두가 남았다. 2400만 달러에서 바이두 쪽의 입찰자가 위카이에서 베이징의 한 임원으로 바뀌었다. 4400만 달러에 이르자 힌턴은 더 높은 값을 부르도록 하지 않았고 회사는 구글에 갔다. 2013년부터 힌턴은 구글에서 일하면서 토론토대에도 남아 있었다.
2014년 1월 구글은 런던에서 2010년에 시작한 회사 딥마인드도 사들였다. 당시 보도된 가격은 어떤 기사에서는 4억 달러, 어떤 기사에서는 4억 파운드였다.
회사 하나에 사람 셋. 경매에 오른 것은 그 세 사람이었다. 그 방에서 값이 어디에 멈출지는 셋 가운데 한 사람이 정했다.
8. 깊다
2012년 11월, 《뉴욕 타임스》의 존 마코프가 긴 기사를 썼다. 훗날 퍼진 제목은 《과학자들, 심층 학습 프로그램의 앞날을 밝게 보다》였다. 톈진의 시연과 화면 위 영어와 중국어 글자, 래시드의 목소리를 썼고 힌턴도 인터뷰했다. 힌턴은 자신들이 꽤 일찍 이 방법으로 돈을 벌기보다 될 수 있는 대로 널리 알리기로 했다고 말했다.
같은 해 르쿤과 벤지오가 새 학술대회를 준비해 이듬해 애리조나주 스코츠데일에서 첫 회의를 열었다. 이름은 ICLR, 국제 학습 표상 학술대회다. 첫 회의에 논문 67편이 들어왔고 23편을 받았다. 이름에는 심층 학습도 신경망도 없다.
훗날 가장 널리 퍼진 말 가운데 하나는 신경망이라는 말의 평판이 나빠서 심층 학습으로 이름을 바꿨다는 것이다. 그런데 그 몇 해에 찍어 낸 논문, 2006년 《사이언스》와 2012년 이미지넷 논문 제목에는 둘 다 신경망이 쓰여 있다. 열세 번째 글에서는 인공지능 간판을 거두었다는 말이 있었다. 이름을 바꿨다는 이야기와 거뒀다는 이야기는 비슷하다. 말하는 사람은 많지만 문서를 남긴 사람은 거의 없다.
이 글에도 지워진 것이 있다. 2006년의 ‘흔히 …하는 듯하다’. 2012년의 ‘우리 결과를 얻는 데’. 구글 논문의 ‘민감하다’와 ‘고양이 얼굴’. 래시드의 ‘여전히 완벽과는 거리가 멀다’. 지우고 나면 말이 몇 가지로 말끔해진다. 망이 깊어야만 된다. 기계가 고양이를 알아본다. 기계가 당신의 말을 중국어로 옮긴다.
‘깊다’는 말은 1986년에는 탐색에서 얼마나 깊이 기록했는가였고, 2006년에는 망이 몇 층 쌓였는가였다. 2012년에는 중간 층 하나를 빼면 맨 첫 선택만으로 매긴 정확도가 약 2퍼센트포인트 내려갔다. 뒤에 이 말은 이름이 되었다. 형용사가 이름이 된 뒤 그 말이 가리키던 한 층 한 층의 구체적인 물건은 이름 뒤로 물러났다.
그리고 톈진의 그 오후가 있다. 기계가 한 사람이 한 영어를 그의 목소리로 중국어로 바꿨다. 무대에 선 사람은 중국어를 한마디도 못한다. 목소리는 본을 떠서 만들 수 있다. 그 몇 마디를 누가 하고 싶었고 누구에게 하려 했는가 하는 일은 여전히 무대 위 사람에게 있다. 이 연재에서는 그렇게 기계 안에 만들어 넣을 수 없는 부분을 ‘남는 몫’이라 부른다.
기계는 계속 만들어지고, 경계가 어디인지는 세대마다 다시 말한다.