1. 친구
1954년 언어학자 젤리그 해리스는 《분포 구조》라는 글에 ‘의미의 차이는 분포의 차이와 관련이 있다’고 썼다. 분포란 어떤 낱말이 어느 낱말들 옆에 나타나는가다. 1957년 영국 언어학자 퍼스는 한층 재치 있게 말했다. ‘낱말이 사귀는 친구들을 보고 그 낱말을 알아야 한다!’ 후대 중국어권에 전해진 것은 다른 문장이다. 낱말의 뜻은 문맥이 정한다.
오랜 세월이 지나서야 기계는 이 말을 가져다 썼다. 2003년에 벤지오와 동료 세 사람은 《신경망에 기반한 확률적 언어 모형》을 냈다. 기계가 낱말마다 숫자의 열 하나로 바꾸게 했다. 분산된 특징 벡터라고 불렀다. 그 숫자들은 다음 낱말을 예측하는 능력과 함께 학습됐다.
2013년 1월, 구글의 토마시 미콜로프 등 네 명은 《벡터 공간에서 단어의 표상을 효율적으로 추정하기》라는 사전 공개 논문을 냈다. 단어 16억 개가 든 글에서 품질 좋은 단어 벡터를 배우는 데 ‘하루가 채 걸리지 않는다’고 썼다. 같은 해 10월의 두 번째 논문에는 시간을 줄이는 방법을 몇 가지 더 넣었다. 학습에 쓰인 것은 구글 뉴스의 글이었다. 이 갈래의 방법은 나중에 프로그램 이름 하나로 통했다. word2vec이다.
낱말 하나가 숫자 수백 개의 열이 됐다. 두 낱말이 자주 같은 낱말들과 어울리면 그 숫자들은 서로 가깝다. 고양이와 개가 가깝고 월요일과 화요일이 가깝다. 숫자의 열에 적힌 것은 고양이가 누구와 자주 같이 있었는가다. 해리스와 퍼스가 말한 것이 여기서는 계산이 됐다.
2. 왕
2013년 6월, 미콜로프는 동료 두 사람과 쓴 학술대회 논문의 초록에서 예를 하나 들었다. 왕의 벡터에서 남자를 빼고 여자를 더해 얻은 벡터는 여왕의 벡터와 ‘아주 가깝다’고 했다.
후대에 전해진 것은 등식이다. 왕에서 남자를 빼고 여자를 더하면 여왕이다. 같은 해 구글이 공개한 프로그램에서 이 문제를 푸는 코드 몇 줄에는 규칙이 하나 있다. 문제에 이미 나온 낱말 셋은 답이 될 수 없다. 2019년에 네덜란드와 이탈리아의 연구자 세 명은 이런 문제 자체를 제목으로 삼아 글을 냈다. 《남자가 의사에 해당하듯 여자도 의사에 해당한다》. 이 규칙이 있으면 본래 가장 타당할 수 있는 답이 아예 나올 수 없다고 짚었다. 규칙을 없애면 계산해 얻은 점에 가장 가까운 것이 문제에 원래 있던 낱말인 경우가 많다.
2016년에 다른 연구팀도 문제 하나를 논문 제목으로 삼았다. 《남자가 프로그래머라면 여자는 주부?》 구글 뉴스로 훈련한 단어 임베딩을 썼는데, 초록에 그 벡터들이 ‘우려스러울 만큼 남녀에 대한 고정관념을 드러낸다’고 적었다. 그들이 제안한 방법은 먼저 임베딩에서 남녀를 가르는 방향을 찾고, 성별이 관계없어야 할 낱말들을 그 방향에서 되돌려 놓는 것이었다. 여왕과 여성처럼 당연히 있어야 할 관계는 남겨 두었다.
그 벡터들은 뉴스에서 배웠다. 뉴스는 사람이 쓴다. 기계가 배운 친구 관계는 수백만 편의 글에 사람이 남긴 말투의 모양이다.
3. 정렬
2014년에 단어 벡터는 번역에 쓰였다.
그해 9월, 구글의 수츠케버와 동료 두 명은 《신경망을 이용한 시퀀스 간 학습》을 냈다. 한 망이 원문 문장을 낱말 하나씩 끝까지 읽어 길이가 고정된 숫자 열 하나로 바꾼다. 다른 망은 그 열에서 출발해 번역문을 낱말 하나씩 쓴다. 원문 문장을 거꾸로 읽으면 결과가 더 좋다는 것도 알아냈다. 그해 여름 몬트리올대 벤지오 팀의 몇 사람도 비슷한 두 단계 망을 만들었다.
문장 전체를 길이가 고정된 숫자 열 하나로 읽는다. 문장이 길어지면 긴 이야기를 작은 상자에 밀어 넣는 것과 같다.
같은 몬트리올에서 젊은 드미트리 바흐다나우와 팀의 다른 연구자 한 명, 그리고 벤지오가 2014년 9월 1일 논문 초고를 공개했다. 제목은 《정렬과 번역을 함께 학습하는 신경망 기계 번역》이었다. 정렬은 번역문의 어느 낱말이 원문의 어느 낱말과 맞는가를 말한다. 방법은 이렇다. 번역문을 쓰는 망은 낱말 하나를 쓸 때마다 돌아가 원문의 모든 낱말을 훑고, 각각에 비중을 준다. 비중을 합하면 1이다. 그 비중에 따라 원문 각 곳의 정보를 합쳐 이번 낱말을 쓰는 데 쓴다.
본문에서 이 단계를 말하는 데 한 문장이 있다. ‘직관적으로 말하면, 이것은 디코더에서 어텐션 기제를 구현한다.’ 디코더는 바로 번역문을 쓰는 망이다.
4. 이름
제목에는 ‘어텐션’이 없다. 정렬과 번역이라고 썼다. 바흐다나우는 여러 해 뒤에 편지에서 이름의 내력을 이야기했다. 원래는 이 구조를 RNN으로 탐색한다는 뜻의 RNNsearch라 불렀다. 편지에는 ‘더 좋은 이름인 어텐션은 마지막 몇 차례의 수정 가운데 한 번에야 요슈아가 넣었다’고 쓰여 있다. 요슈아는 벤지오다. 이 편지는 나중에 열여섯 번째 글에서 나온 카르파티가 바흐다나우의 동의를 받아 공개했다. 이 말의 출발점은 심리학이다. 1890년 미국 심리학자 윌리엄 제임스는 《심리학의 원리》에서 주의력을 다룬 장을 ‘누구나 주의력이 무엇인지 안다’는 말로 시작했다.
바흐다나우보다 1년 전인 2013년 8월, 앨릭스 그레이브스는 신경망으로 손 글씨를 쓰는 프로그램을 만들었다. 한 획씩 글씨를 쓸 때 앞으로 움직이는 부드러운 창이, 지금 써야 하는 문구의 어느 글자들을 따라갈지를 정했다. 그는 이것을 소프트 윈도라 불렀다. 바흐다나우와 동료들은 자기들 논문에서 이 글을 언급하고 방법이 비슷하다고 했다. 더 앞을 두고 슈미트후버는 자기의 1991년 빠른 가중치가 뒤에 나온 단순화된 어텐션 한 부류와 형식적으로 같다고 말했다.
같은 장치에 앞뒤로 여러 이름이 붙었다. 소프트 윈도, 정렬, 탐색, 어텐션. 그중 마지막에 들어간 것이 남았다. 원래 ‘직관적으로 말하면’이 붙어 있던 바로 그 말이다.
5. 파란 선
2016년 9월 26일, 구글이 자사의 신경망 기계 번역 시스템을 다룬 긴 기술 문서를 공개했다. 제목 뒷부분은 ‘사람 번역과 기계 번역 사이의 차이 줄이기’였다. 이튿날 회사 블로그는 휴대전화와 웹의 중국어에서 영어로의 기계 번역을 이미 모두 이 시스템으로 바꿨다고 썼다. 하루 약 1800만 건이다. 처음으로 바꾼 언어 쌍은 중국어에서 영어였다.
시스템에서 번역문을 쓰는 쪽도 낱말 하나를 쓸 때마다 돌아가 원문을 본다. 블로그에 그림이 하나 있다. 한쪽에는 중국어 낱말이 줄지어 있고, 다른 쪽에는 영어 낱말이 줄지어 있다. 그 사이를 파란 선이 잇는다. 선이 얼마나 짙은지가 이 영어 낱말을 쓸 때 기계가 그 중국어 낱말에 어텐션을 얼마나 두었는지 나타낸다. 이렇게 어텐션은 누구나 눈으로 볼 수 있게 그려졌다.
그 문서에는 사람이 한 평가가 하나 있다. 같은 영어 문장의 프랑스어 번역 네 가지를 평가자에게 보여 줬다. 옛 구절 기반 시스템, 새 시스템 두 가지, 그리고 사람이 만든 기준 번역이다. 6점 만점에 평균은 차례로 3.87, 4.46, 4.44, 4.82점이었다. 문서의 초록은 ‘서로 떨어진 단순한 문장들의 모음’을 평가했다고 했다. 블로그 마지막 단락에는 기계가 여전히 낱말을 빠뜨리고, 사람 이름과 드문 낱말을 잘못 옮기며, 앞뒤 문맥을 보지 않는다고 적었다. 그리고 ‘이로써 기계 번역이 해결됐다는 말은 결코 아니다’라는 문장도 있었다.
6. 여덟 사람
2017년 6월 12일, 여덟 사람이 《Attention Is All You Need》라는 논문을 공개했다.
이름은 적힌 순서대로 아시시 바스와니, 노엄 샤지어, 니키 파마르, 야코프 우스코라이트, 리언 존스, 에이든 고메즈, 루카시 카이저, 일리야 폴로수힌이다. 첫 쪽 각주에는 ‘기여는 동등하며, 저자 순서는 무작위다’라고 쓰여 있다. 이어 누가 무엇을 했는지 한 명씩 적었다. 우스코라이트는 RNN을 자기 어텐션으로 바꾸자고 했다. 바스와니와 폴로수힌이 첫 모형을 설계하고 구현했다. 샤지어는 핵심 알고리즘 몇 가지를 제안했고, 파마르는 여러 변형을 조정했다. 존스는 초기 코드와 시각화를 맡았고, 카이저와 고메즈가 실험에 쓸 도구를 짰다.
이들은 새 구조에 트랜스포머(Transformer)라는 이름을 붙였다. 초록은 이 구조가 ‘오직 어텐션 기제에 기반하며’ 순환도 합성곱도 쓰지 않는다고 했다. 앞 절에 나온 망은 낱말을 하나씩 계속 읽어야 했다. 트랜스포머는 원문을 읽을 때 각 위치에서 문장 곳곳을 동시에 보고 저마다 비중을 정한다. 그러나 번역문을 쓸 때는 아직 쓰지 않은 낱말을 볼 수 없도록 가린다. 망에 다른 처리 층들이 여전히 있었다. 쓰지 않은 것은 앞에 든 두 가지 정보 전달 방식이다.
두 달 뒤 구글 블로그에 일반 독자를 위한 예가 실렸다. ‘그 동물은 길을 건너지 않았다. 너무 지쳤기 때문이다.’ ‘그 동물은 길을 건너지 않았다. 너무 넓었기 때문이다.’ 영어의 대명사 it은 첫 문장에서는 동물, 둘째 문장에서는 길을 가리킨다. 프랑스어에서는 동물과 길의 문법적 성이 달라 it을 번역하는 법도 달라진다. 블로그에 따르면 새 모형은 두 문장을 모두 맞게 번역했다. 블로그의 인코더 그림에는 원문의 it을 읽을 때 앞 문장에서는 동물에, 뒤 문장에서는 길에 더 큰 비중을 두는 모습이 나온다.
훈련에는 엔비디아 P100 그래픽 카드 여덟 장을 쓰고 사흘 반이 걸렸다. 논문에서는 영어에서 독일어로, 영어에서 프랑스어로 번역했고 영어 문장도 구문 분석했다. 결론에는 ‘어텐션 기반 모형의 미래에 기대가 크다’고 쓰고 어텐션을 텍스트 바깥의 이미지, 음성, 영상에도 쓰겠다고 했다.
제목의 내력을 존스는 2024년 《와이어드》 기자에게 말했다. 비틀스의 《All You Need Is Love》에서 따왔다. 마감 며칠 전 어느 저녁에 떠올렸으며 ‘정말 5초만 생각했다’고 말했다. 2017년 12월 6일, 논문은 캘리포니아 롱비치에서 열린 NIPS의 저녁 포스터 구역에 배정됐다. 저자 몇 명은 나중에 그 자리가 네 시간 동안 붐볐고 밤 10시 반에도 철수하지 않고 둘러선 사람들이 있어 결국 경비원이 나가 달라고 했다고 회고했다. 2024년에 여덟 사람 모두 구글을 떠난 뒤였다. 회사를 세운 이도 있고 다른 곳으로 간 이도 있었다.
7. 짧은 이름
2018년에 이 갈래의 결과가 잇달아 나왔다. 이름은 다 짧았다.
2월에는 앨런 인공지능연구소와 워싱턴대의 연구팀이 엘모(ELMo)를 발표했다. 6월에는 오픈AI가 《생성형 사전 훈련을 통한 언어 이해 개선》을 냈다. 12층짜리 트랜스포머에 주석이 없는 많은 글로 다음 내용을 쓰는 법을 먼저 배우게 하고, 뒤에 여러 가지 구체적 문제를 풀게 했다. 뒤에 이 모형을 GPT라 불렀다. 당시 그 세 글자는 영어 제목의 Generative Pre-Training에 첫 글자로 흩어져 있었다. 10월에 구글은 버트(BERT)를 발표했다. 작은 모형은 클라우드 TPU 네 개, 큰 모형은 열여섯 개를 써 각각 나흘 동안 훈련했다. 엘모와 버트는 둘 다 마침 《세서미 스트리트》 등장인물이다.
GPT가 배운 글을 논문에서는 책 말뭉치라 불렀다. ‘출판된 적 없는 책’ 7000권 넘게 들어 있고 모험과 환상, 사랑 등 장르도 다양하다고 했다. 그 말뭉치는 2015년의 다른 논문에서 나온다. 그 논문에서는 북코퍼스(BookCorpus)라고 부르고, 인터넷에서 ‘아직 작품을 출판하지 않은 저자들이 쓴 무료 책’ 1만 1038권을 모았다고 했다.
2021년 연구자 두 명은 돌아가 그 말뭉치에 없던 설명서를 썼다. 이 책들은 스매시워즈라는 자가 출판 사이트에서 프로그램으로 대량 수집한 것이었다. 무료 전자책 링크를 모은 다음 책을 내려받아 순수 텍스트로 바꿨다. 그들의 결론에 한 문장이 있다. ‘저자들의 명시적 동의는 없었다.’
2018년 4월, 뉴욕대 등 여러 곳의 연구자들이 시험지 하나를 만들었다. 이름은 글루(GLUE), 언어 이해 문제 아홉 개다. 시험지에는 사람의 점수도 있었다. 문제마다 사람을 구해 풀게 하고 시험지 규칙에 따라 합했더니 약 87점이었다. 그해 10월 버트는 80.5점을 받았다. 2019년 중반에는 그 선을 넘는다고 보고한 기계가 이미 있었다.
8. 주의력
1890년, 제임스는 주의력이 무엇인지 누구나 안다고 했다. 2014년에는 이 말이 한 번역 논문에 ‘직관적으로 말하면’이라는 단서와 함께 들어갔다. 2016년에 파란 선으로 그려졌다. 2017년에는 제목에 들어갔다. Attention Is All You Need. 뒤에 전해진 말은 기계에도 주의력이 생겼다는 것이다. ‘직관적으로 말하면’은 오는 길에 떨어져 나갔다.
이 논문들에서 어텐션은 비중을 한데 모은 것이고 그 합은 1이다. 낱말 하나를 쓸 때 원문의 어느 낱말을 되돌아볼지 이 비중들이 정한다. 비중은 텍스트에서 배웠다. 단어 16억 개가 든 글, 구글 뉴스, 사람이 번역한 두 언어의 문장, 출판되지 않은 책 7000권 넘게. 모두 사람이 쓰고 사람이 옮겼다.
시험지 위의 그 선도 사람이다. 4.82점을 받은 기준 번역은 사람이 옮겼고, 글루의 87점은 찾아온 사람이 문제 하나씩 풀어 낸 것이다. 기계 점수는 이 사람들과 견주어 쟀다.
동물이 너무 지쳤고 길이 너무 넓었다. 두 문장은 구글 연구자 한 명이 이 일을 알기 쉽게 설명하려고 쓴 예다. 지친 것은 동물이고 넓은 것은 길이다. 쓴 사람이 그것을 알기에 이 문제도 낼 수 있었다.
사람의 주의력은 한 사람이 한정된 시간을 어디에 쓰는가다. 이 글의 이름 없는 사람들, 책을 쓴 사람들, 의회 기록을 옮긴 사람들, 앉아서 번역문에 점수를 준 사람들은 자기 책과 자기 번역문, 자기 앞에 있는 그 한 문장에 주의력을 두었다. 기계가 배운 것은 그 주의력이 남긴 흔적이다. 이 연재는 아무리 배워도 이렇게 바깥에 남는 부분을 ‘남는 몫’이라 부른다.
기계는 계속 만들어지고, 경계가 어디인지는 세대마다 다시 말한다.