1. 네 쪽
1986년 10월 9일, 영국 주간지 《네이처》에 네 쪽짜리 글이 실렸다. 제목은 《오차를 역전파해 표상을 학습하기》였다. 이름은 셋이고, 순서대로 데이비드 루멜하트, 제프리 힌턴, 로널드 윌리엄스였다.
초록 첫 문장은 이렇다. ‘우리는 뉴런과 비슷한 단위로 이루어진 네트워크에 쓰는 새로운 학습 절차, 역전파를 설명한다.’ ‘새로운’은 글쓴이들이 직접 쓴 말이다.
본문은 방법을 설명하다가 중간에 한 문장을 둔다. 이 방법의 한 변형은 파커도 독립적으로 발견했으며, 또 다른 변형은 르쿤도 독립적으로 발견했다는 것이다. 그러니 네 쪽의 종이에는 두 가지가 함께 있다. ‘새로운’이라는 말과 ‘독립적으로 발견했다’는 말이다.
끝에 붙은 참고문헌은 넷이다. 로젠블랫의 책, 민스키와 패퍼트의 책, 르쿤이 전해 파리에서 발표한 프랑스어 글, 그리고 그해 막 나온 두 권짜리 책의 8장이다. 뒤에 이 글에 나올 켈리, 브라이슨, 드레이퍼스, 린나인마, 워보스는 그 네 항목 어디에도 없다.
글은 작은 실험 몇 가지를 썼다. 하나는 대칭이다. 스위치 여섯 개가 각각 켜지거나 꺼질 수 있어 배열은 모두 64가지이고, 신경망은 한 배열이 좌우 대칭인지 답해야 한다. 입력과 출력 사이에 단위 두 개만 두었다. 64가지 배열을 다 훑으면 한 차례인데, 이 예에서는 1425차례 돌았다. 다른 하나는 가계도다. 지어낸 두 가문에서 누가 누구의 아버지이고 누가 누구의 고모인지 관계를 하나씩 떼어 내니 104가지였다. 100가지로 훈련하고 네 가지는 보여 주지 않은 뒤, 남겨 둔 것까지 맞힐 수 있는지 보았다. 망이 배워야 하는 것은 사람과 사람 사이의 관계였다. 이 방법으로 최선의 숫자 조합을 찾으리라는 보장은 없다고 네 쪽 안에 밝혀 두었다.
2. 뒤로 보내기
같은 시기에 다른 신경망도 있었다. 테런스 세이노프스키와 찰스 로젠버그가 만들었으며 영어를 소리 내어 읽기를 배웠다. 이름은 넷토크(NETtalk), ‘망이 말한다’는 뜻이다. 한 번에 일곱 글자만 보니, 칸 일곱만 열린 작은 창 같다. 창 한가운데 글자를 어떻게 발음할지가 내놓아야 할 답이다. 하나를 읽고 창을 다음 칸으로 옮긴다. 입력 쪽 단위가 203개, 가운데 80개, 출력 쪽에 26개였다. 단위 사이 연결에는 조정할 수 있는 숫자가 모두 1만 8000개 넘게 있었다. 망이 내놓는 것은 소리가 아니라 음소와 강세를 나타내는 코드의 열이다. 그 코드를 DEC의 음성 합성기에 넘겨야 귀에 들리는 소리가 된다.
두 사람은 기술 문서에서 조정하는 법을 썼다. ‘낱말마다 계산한 발음이 올바른 발음과 얼마나 가까운지를 보고 가중치를 조정한다.’ 가중치는 조정할 수 있는 그 1만 8000여 숫자다. 한 단위가 다음 단위에 얼마나 영향을 미치는지는 그 사이의 숫자에 달려 있다.
《네이처》 네 쪽에 쓰인 순서는 이렇다. 먼저 입력 쪽에서 시작해 층층이 올라가며 각 단위의 상태를 계산한다. 맨 위에 이르면 나온 결과를 나와야 할 답과 비교한다. 그 차이가 오차다. 그런 다음 가장 위층부터 한 층씩 거꾸로 계산한다. 안의 숫자 하나가 조금 바뀌면 마지막 오차가 어느 쪽으로 얼마나 달라지는가. 계산하고 나서 정해 둔 보폭으로 조정한다. 똑같은 오차 수치가 그대로 뒤로 가는 것은 아니다.
여기서 망 안에 들어 있지 않은 것이 하나 있다. 올바른 발음이다. 미리 주어진 것이다. 망은 고칠 때마다 미리 주어진 답 쪽으로 고친다. 가계도 실험에서 나와야 할 답은 가계도를 지어낸 사람이 줬다. 대칭 실험에서 무엇이 대칭인지는 문제를 낸 사람이 정했다.
3. 비행 궤적
1960년 5월, 미국 로켓학회가 로스앤젤레스에서 반기 회의를 열었다. 그루먼 항공기 엔지니어링의 헨리 켈리가 《최적 비행 궤적의 기울기 이론》이라는 글을 발표했다.
비행체가 어떻게 날아야 가장 좋은지 계산했다. 어떻게 비행 성능을 최대한 끌어내고, 어떻게 궤도 하나에서 다른 궤도로 옮기고, 어떻게 가장 짧은 시간 안에 도달할 것인가. 길 곳곳에 제약이 있고 비행체는 자체의 동역학을 따라야 한다. 그는 방법을 기울기법이라고도, 최급강하법이라고도 불렀다. 말 그대로 가장 가파르게 내려가는 방향으로 간다는 뜻이다. 글에 망은 없고 ‘학습’도 없다.
1961년 4월 하버드에서 디지털 컴퓨터와 그 응용에 관한 토론회가 열렸다. 아서 브라이슨이 발표한 제목은 《다단계 배분 과정을 최적화하는 기울기법》이었다. 다단계 배분이란 한 가지 일을 여러 단계에 걸쳐 하되, 단계마다 어떻게 배분해야 합쳐서 가장 좋은지를 말한다. 8년 뒤 그는 유치 호와 함께 《응용 최적 제어》를 썼다. 나중에 이 방법의 앞 역사를 쓴 사람들은 이 책과 켈리의 글을 나란히 놓는다.
1962년 한 수학 학술지에 스튜어트 드레이퍼스의 《변분 문제의 수치 해법》이 실렸다. 변분 문제 역시 가능한 수많은 경로에서 가장 좋은 하나를 찾는 일이다. 이 방법의 앞 역사를 정리한 사람들은 그가 연쇄 법칙만으로 기울기를 뒤에서 앞으로 계산할 수 있게 정리했다고 쓴다. 연쇄 법칙은 미적분에 나온다. 어떤 양이 몇 단계를 거쳐 다른 양에 영향을 주면, 전체 영향은 단계마다의 영향을 곱한 것과 같다.
그는 열한 번째 글에 나왔다. 1965년 랜드 문서의 감사 인사에 다른 몇 사람과 나란히 이름이 있고, 휴버트 드레이퍼스의 동생이다. 20여 년 뒤 형제는 책도 쓰고 글도 함께 썼다. 기계가 할 수 없는 것을 쓴 그 철학자의 동생이 1962년에 쓴 수학 글이 뒤에 이 줄에 들어갔다.
비행, 배분, 변분. 셋 다 가능한 많은 길 가운데 가장 좋은 길 하나를 찾는다. 그 무렵 이 방법의 이름은 기울기였다. 찾는 것은 궤적이었고 아무도 학습이라 부르지 않았다.
4. 반올림 오차
1967년 6월, 일본의 아마리 슌이치는 전자 컴퓨터 학술지에 《적응형 패턴 분류기의 이론》을 발표했다. 그는 조정 방법 한 부류를 확률적 강하법이라고 불렀고, 글에서 최급강하법도 다뤘다. 아마리가 하던 일은 패턴 분류와 통계였다. 그가 풀려 한 것은 기계가 들어오는 것을 어떻게 분류하느냐였다.
1970년 헬싱키대의 세포 린나인마라는 학생이 석사 논문을 냈다. 핀란드어 제목을 옮기면 ‘각 국소 반올림 오차의 테일러 전개로 나타낸 알고리즘의 누적 반올림 오차’다.
컴퓨터가 계산할 때에는 자릿수가 한정돼 어떤 단계에서는 맨 끝의 자투리를 버리거나 올린다. 긴 계산을 거치는 동안 그런 자투리가 최종 결과에 어떻게 쌓이는지 계산할 수 있는 방법이 필요했다. 그가 다룬 것은 아무 계산 프로그램이나 해당됐고, 망이 아니었다. 논문에 신경망도, 역전파라는 이름도 없다. 뒤에 자동 미분을 다루던 사람들은 이런 부류의 방법을 역방향 누적이라고 불렀다. 그가 쓸 때는 아직 없던 이름이다.
5. ‘학습’이라는 말
1974년 하버드에서 폴 워보스가 박사 논문을 냈다. 제목은 《회귀를 넘어서: 행동과학의 예측과 분석을 위한 새 도구》였다. 행동과학을 하던 그는 예측을 원했다. 논문에서 효율적으로 미분하는 절차를 동적 되먹임이라 불렀다.
2장 22쪽에는 ‘모형 뉴런에 대응하는 함수’를 언급한 문장이 있다. 바로 이어서 ‘이 도함수들을 계산하는 가장 쉬운 방법은 그냥 동적 되먹임을 쓰는 것이다’라고 했다. 더 뒤에서는 뇌, 그리고 도함수를 거꾸로 전달하는 구상도 다뤘다.
1981년 워보스는 뉴욕에서 열린 시스템 모델링과 최적화 학술대회에서 《비선형 민감도 분석의 진전에 대한 응용》을 발표했다. 이 방법의 앞 역사를 훗날 쓴 사람들은 이때 그가 방법을 신경망에 명시적으로 적용했다고 한다.
1982년 스탠퍼드의 기술이전 사무소에 발명 신고가 들어왔다. 제목은 《학습 논리》, 신고자는 데이비드 파커였다. 미분하는 방법 하나가 이 방에서는 기술이전을 기다리는 발명이다. 1985년 파커가 MIT의 경제·경영과학 계산 연구센터에서 낸 기술 문서의 제목은 더 길었다. 《학습 논리: 사람의 대뇌 피질을 실리콘에 주조하다》.
1985년 파리에서 ‘인지 85’라는 인지과학 회의가 열렸다. 르쿤이 발표한 프랑스어 글의 제목은 옮기면 《비대칭 문턱값 네트워크를 위한 학습 절차》다.
1985년 9월 무렵 샌디에이고에서 루멜하트, 힌턴, 윌리엄스가 번호가 붙은 기술 문서를 냈다. 제목은 《오차 전파로 내부 표상을 학습하기》였다. 이듬해 이 제목 그대로 두 권짜리 책의 8장이 됐다. 저자들은 그 조정 규칙에 일반화 델타 규칙이라는 이름을 붙였다. 《네이처》에서는 제목의 ‘오차 전파’를 ‘오차를 역전파하기’로 바꿨다.
그때 쓰인 이름을 늘어놓자. 기울기법, 최급강하법, 확률적 강하법, 동적 되먹임, 학습 논리, 학습 절차, 오차 전파, 일반화 델타 규칙, 역전파. 어느 것과 어느 것이 같은 것에 해당하는지는 말이 갈린다.
이름에서 선이 어디에 있는지 뚜렷한 곳이 하나 있다. 항공기 회사에서 구한 것은 궤적이고, 헬싱키에서 구한 것은 오차고, 하버드 행동과학에서 구한 것은 예측이었다. 뉴런을 닮은 단위로 이은 망 안에 들어가고서야 ‘학습’이라는 말이 나왔다. 1982년의 학습 논리, 1985년의 학습 절차와 내부 표상을 학습하기, 1986년의 새로운 학습 절차. 비슷한 계산을 궤적에 놓으면 최적화, 오차에 놓으면 분석, 망 안에 두면 학습이라 불렀다.
기계가 학습할 수 있는가는 일곱 번째 글에 나온 새뮤얼의 체커 기계 때부터 줄곧 경계였다. 이번에 경계는 거꾸로 미분하는 계산 위에 놓였다. 그것을 경계 너머로 옮긴 것은 이름 하나였다.
6. 두 권의 책
1986년 7월, MIT 출판부가 두 권짜리 책을 냈다. 전체 제목은 《병렬 분산 처리: 인지의 미시 구조 탐구》다. 제1권의 부제는 《기초》, 제2권의 부제는 《심리적·생물학적 모형》이다. 1권의 저자 표기는 루멜하트, 매클렐런드, 병렬 분산 처리 연구팀이었고, 2권에는 매클렐런드가 앞에 왔다.
책은 빨리 팔렸다. 초판 6000부는 정식으로 나오기 전에 다 팔렸다. 2년 뒤에는 찍고 있는 부수가 3만 부 안팎으로 추산됐다. 두 숫자를 기록한 것은 드레이퍼스 형제의 1988년 글 《마음을 만들 것인가, 뇌를 모사할 것인가》, 열한 번째 글에 나온 바로 그 글이다. 스튜어트 드레이퍼스는 이번 글에 두 번 나온다. 한 번은 1962년에 쓴 수학 글이 나중에 이 방법의 앞 역사에 들어갔을 때다. 한 번은 1988년, 형과 함께 이 책의 인쇄 부수를 셌을 때다.
1987년 1월 4일 《뉴욕 타임스》에 이 책의 서평이 실렸다. 제목은 《인지의 연결》이었다. 같은 해 《사이언스》에 서평이 나왔고, 《네이처》의 서평 제목은 《오직 연결하라!》였다. 6월 12일 영국의 《타임스 문학 부록》도 서평을 실었다. 망이 어떻게 스스로 조정하며 내부 표상을 만들어 내는지를 다룬 책이 신문 서평면에 올랐다.
당시 이 길에 이름은 하나만 있지 않았다. 책 자체는 병렬 분산 처리라 했고, 같은 시기에 연결주의, 신경 계산, 신경망 연구라는 말도 썼다. 뒤에는 연결주의를 가장 널리 썼다.
1988년에 매클렐런드와 루멜하트는 사용 안내서를 또 냈다. 제목에는 모형과 프로그램과 실습이 들어 있었다. 책 뒤에는 망의 프로그램을 담은 플로피 디스크 두 장이 끼워져 있었다. 책을 산 사람은 자기 개인용 컴퓨터에 디스크를 넣어 자기 책상에서 망을 돌릴 수 있었다. 오차를 역전파하고, 한 차례씩 조정했다.
7. 지금 형태로는
《네이처》 네 쪽의 마지막 단락 첫 문장은 이렇다. ‘이 학습 절차는 지금 형태로는 뇌에서 일어나는 학습의 설득력 있는 모형이 아니다.’
그 단락은 이어, 여러 과제에 적용해 보면 기울기를 따라 내려가 흥미로운 내부 표상을 만들 수 있다는 점이 드러난다고 했다. 그러니 신경망에서 경사 하강을 하는 방식 가운데 생물학적으로 더 그럴듯한 것이 있는지 찾아볼 만하다. 새로운 학습 절차를 발표하는 글이 맨 끝에서 선을 그었다. 이 방법을 학습이라 부르되, 지금 형태로는 뇌가 학습하는 방식이 아니다. 선을 그은 것은 저자들이었다.
1989년 1월 12일 《네이처》에 프랜시스 크릭의 논평 《신경망을 둘러싼 최근의 열기》가 실렸다. 크릭은 유전 물질의 이중 나선 구조를 함께 알아낸 그 사람이다. 초록 마지막 문장은 이렇다. ‘안타깝게도 이런 신경망 대부분은 여러 중요한 면에서 현실적이지 않다.’
같은 시기에 다른 갈래의 논쟁도 있었다. 1988년 《인지》 제28권에 긴 글 두 편이 나왔다. 하나는 포더와 필리신이 이 망이 생각의 조합성을 설명할 수 있는지 물은 글이다. 존이 그 소녀를 사랑한다고 생각할 수 있는 사람은 그 소녀가 존을 사랑한다고도 생각할 수 있다. 또 하나는 핑커와 프린스가 쓴 120여 쪽의 글이다. 두 권짜리 책에서 영어 동사의 과거형을 배운 모형 하나에 눈을 두고, 그 표상과 훈련 자료와 일반화 방식이 언어의 규칙을 설명할 수 있는지 물었다. 같은 해 여덟 번째 글에 나온 민스키와 패퍼트의 책도 증보판이 나왔다. 후기에서 평가한 것 역시 이 새 조정 규칙이었다.
각각 그은 경계는 다르다. 저자들은 이 방법이 지금은 뇌 속 학습이 아니라고 선을 그었다. 크릭은 이런 망이 중요한 면에서 실제 뇌를 닮지 않았다고 했다. 포더와 동료들이 물은 것은 이런 망이 생각의 구조를 설명할 수 있느냐였다. 서로 다른 세 곳에 그은 선이고 세 가지 다른 질문이다.
같은 1989년에 이 방법은 이미 실무에 들어갔다. 벨 연구소의 르쿤과 동료 여섯 명은 막 창간한 《신경 계산》 제1권 제4호에 《손으로 쓴 우편번호 인식에 쓰는 역전파》를 실었다. 자료는 숫자 이미지들이었다. 한 장마다 16×16개의 회색조 화소가 있고, 모두 9298장이었다. 7291장으로 훈련하고 2007장은 시험용으로 남겼다. 논문에 따르면 숫자들은 ‘뉴욕주 버펄로 우체국을 거친 미국 우편물에 적혀’ 있었다. 누가 손으로 썼는지는 논문에 남기지 않았다.
카네기멜런대의 딘 포멀로는 길을 따라 차를 모는 망을 만들어 학교의 자율 주행 시험 차량에 달았다. 차의 카메라 영상은 파란색 채널의 밝기를 30×32개의 점으로 나타내 망에 들여보냈다. 가운데 단위는 29개였고 출력 쪽에는 방향 45개가 있었다. 왼쪽 급회전에서 직진을 거쳐 오른쪽 급회전까지였다. 주로 모의 도로 영상에서 훈련하고 실제 길에서 시험했다. 논문은 일부 야외 조건에서 길을 따라갈 수 있다고 했다.
영어를 낭독하고, 봉투 위의 숫자를 알아보고, 길 따라 차를 몬다. 시험한 것은 제대로 읽는지, 정확히 알아보는지, 차가 아직 길 위에 있는지다. 뇌를 닮았는지 시험하는 시험지는 없었다.
8. 독립적으로
누가 먼저 이 방법을 발견했는지는 아직도 논쟁거리다. 가장 많이 말해 온 사람은 위르겐 슈미트후버다. 2014년부터 자기 웹사이트에서 이 계보를 여러 판에 걸쳐 나열했고, 2020년에는 반세기를 기념하는 모양으로 《누가 역전파를 발명했는가》를 다시 냈다. 그의 설명은 이렇다. 현대적 형태는 핀란드 석사과정 학생 린나인마가 1970년 처음 발표했다. 켈리의 1960년 글은 선구였고, 이후 브라이슨, 스튜어트 드레이퍼스, 워보스, 파커, 르쿤, 루멜하트 등이 차례로 뒤에 온다. 그는 나중에 튜링상을 받은 세 사람에게 자기 목록의 항목 하나하나에 답해 달라고 웹사이트에서 공개적으로 요구하기도 했다.
다른 쪽에서는 2020년 4월 한 보도가 온라인 포럼에서 힌턴이 한 답을 전했다. ‘나는 역전파를 발명했다고 주장한 적이 없다. 데이비드 루멜하트는 다른 분야 사람들이 이미 오래전에 그것을 발명한 뒤에 독립적으로 발명했다.’ 자기 쪽이 기여한 일은 이 방법이 흥미로운 내부 표상을 학습한다는 점을 명확히 시연해 많은 사람이 주목하게 한 것이라고 했다.
2024년 10월 8일, 노벨 물리학상은 존 홉필드와 힌턴에게 돌아갔다. 수상 이유는 인공 신경망의 기계 학습을 가능하게 한 기초 발견과 발명이었다. 이 말들은 저마다 자기 자리가 있고 나란히 놓인다.
‘독립적으로’라는 말은 앞뒤에서 두 번 걸렸다. 1986년에는 《네이처》 네 쪽 안에서 파커와 르쿤에게 붙었다. 방법은 새롭고, 다른 두 사람도 그 변형을 독립적으로 발견했다. 그때 ‘새로운’은 본문이고 ‘독립적으로’는 곁에 붙은 설명이었다. 2020년 힌턴의 답에서는 루멜하트에게 붙었다. 다른 분야 사람이 이미 발명했고 루멜하트는 뒤에 독립적으로 발명했다. 이때는 다른 곳이 앞이고 ‘독립적으로’는 자기 쪽에 대한 말이다. 같은 낱말이 34년 사이 자리를 한 번 바꿨다. 바꾼 것은 당시에 이름을 올린 쪽이었다.
나중에 가장 널리 퍼진 말은 따로 있다. 1986년에 세 사람이 역전파를 발명해 기계가 뇌처럼 학습하게 했다는 것이다.
이 말을 하려면 두 가지를 지워야 한다. 하나는 네 쪽 중간의 ‘독립적으로 발견했다’와 그 뒤에 있으나 참고문헌에는 없는 여러 방이다. 항공기 회사, 하버드의 토론회, 수학 학술지, 헬싱키의 석사 논문, 스탠퍼드의 기술이전 사무소. 다른 하나는 마지막 단락에 들어 있는 ‘지금 형태로는’과 뇌 속 학습의 모형이 아니라는 문장 전체다. 둘 다 단서고 둘 다 이야기를 떠받치지는 않는다. 지우고 나면 발명 하나와 발명가 셋, 뇌를 닮은 기계 하나가 남는다.
지우든 안 지우든 이야기 안에 들어 있지 않은 것이 하나 더 있다.
이 글의 몇몇 실험에서 오차가 재는 것은 기계가 내놓은 것과 옳은 답이 얼마나 먼가다. 올바른 발음, 올바른 숫자, 어느 방향으로 돌아야 하는지, 가계도에서 누가 누구의 고모인지 모두 미리 주어졌다. 거꾸로 계산하는 방법 자체는 무엇이 옳은지 정하지 않는다. 사람에게 문제마다 답을 말하게 하지 않는 다른 학습 방식이라도 망이 어느 쪽으로 조정해야 할지 알려 줄 기준은 있어야 한다. 이 연재는 이렇게 언제나 바깥에 남는 것을 ‘남는 몫’이라 부른다.
버펄로 우체국의 9000장 넘는 숫자는 한 장 한 장 어느 손에서 나왔다. 그 손의 주인은 기록되지 않았다. 그 숫자 몇 개를 쓸 때 그들이 바란 것은 편지 한 통이 도착하는 일이었다.
기계는 계속 만들어지고, 경계가 어디인지는 세대마다 다시 말한다.