깎아내기와 구축의 주기 법칙 · AI 연재 · 21

GPT-3는 인터넷을 대체 얼마나 읽었나

Han Qin · 읽는 데 약 12분 · 공개일

1. 유니콘

2019년 2월 14일, 오픈AI는 블로그에 글 한 토막을 올렸다. 첫 두 문장은 사람이 썼다. 과학자들이 안데스산맥에서 아무도 가 본 적 없는 골짜기를 찾아냈고, 그곳에서 유니콘 떼를 발견했다. 그 유니콘들은 영어를 유창하게 한다. 그 뒤에 붙은 긴 부분은 프로그램이 이어 썼다. 이 유니콘에 이름을 붙이고 생김새를 묘사하고, 탐사를 이끄는 교수와 그가 어떻게 조사했는지를 지어냈다. 단락마다 보도자료 같았다.

프로그램 이름은 GPT-2다. 열아홉 번째 글에 나온 GPT의 다음 판으로, 매개변수는 15억 개였다. 웹페이지 800만 곳의 글에서 배웠다. 배운 일은 하나다. 앞에 나온 글을 보고 다음 낱말을 맞히는 일.

예문 옆에 블로그는 ‘좋은 예문 하나를 얻으려면 보통 몇 번 시도해야 한다’고 했다. 익숙한 주제라면 절반쯤은 그럴듯하게 썼다. 자주 내는 오류도 늘어놓았다. 같은 이야기를 되풀이하고, 주제가 갑자기 다른 데로 새고, 한 번은 물속에서 불이 탄다고 썼다. 유니콘 이야기는 여러 번 써 낸 것 가운데 누군가 골랐다.

같은 블로그에는 ‘이 기술이 나쁜 목적으로 쓰일 것을 우려해 훈련된 모형을 공개하지 않는다’고 적었다. 더 작은 판만 내놓았다. 이 결정과 그 둘레의 토론을 실험 하나라고 불렀고, 오늘 이 선택이 옳은지는 자기들도 확신하지 못한다고 썼다.

그날 영국 《가디언》 제목은 ‘새 AI 가짜 글 생성기는 내놓기엔 너무 위험할 수도 있다고 개발자들이 말하다’였다. 이튿날 세계경제포럼 웹사이트에 옮겨 실린 글의 제목은 ‘과학자들이 너무 위험해 공개할 수 없다고 보는 AI를 만들었다’였다. 더 뒤로 가서는 오픈AI가 GPT-2는 너무 위험하다고 했다는 말이 됐다. 실험, 확신하지 못한다, 그럴 수도 있다, 그렇게 본다. 전해지는 길에 하나씩 빠졌다.

2. 네 번

그해 2월에 나온 것은 가장 작은 판이었다. 5월에는 중간 크기를 내놓았다. 8월 20일에는 매개변수 7억 7400만 개짜리를 공개했다. 오픈AI는 그날 적어도 다섯 팀이 GPT-2를 재현했다고 썼다. 같은 달 막 졸업한 에런 고카슬런과 바냐 코언이 비슷한 모형을 직접 만들어 인터넷에 올렸다. 구글 클라우드 연산 크레디트 약 5만 달러어치를 썼다. 《와이어드》 제목은 ‘오픈AI는 코드가 위험하다고 했지만 졸업생 두 사람이 결국 만들었다’였다.

11월 5일, 매개변수 15억 개짜리 가장 큰 판이 코드와 가중치까지 모두 공개됐다. 가중치는 훈련으로 얻은 수의 긴 열이다. 모형이 할 수 있는 일이 그 안에 들어 있다. 회사는 단계적 공개의 마지막 단계라 불렀다. 설명에는 ‘지금까지 뚜렷한 악용 증거를 보지 못했다’고 썼다. 2월에서 11월까지 아홉 달, 네 번으로 나눴다.

3. 씁쓸함

그보다 1년 전인 2018년 5월 16일, 오픈AI의 다리오 아모데이와 대니 에르난데스는 《AI와 연산량》이라는 글을 올렸다. 여러 해에 걸친 가장 큰 축의 AI 훈련을 골라 각각 얼마나 많이 계산했는지 하나씩 추정해 그림 하나에 그렸다. 2012년부터 2018년까지 약 30만 배 늘었고, 평균 3.4개월에 두 배가 됐다. 30만 배는 열일곱 번째 글의 알렉스넷에서 열여덟 번째 글의, 자기 자신과만 바둑을 둔 알파고 제로까지 잰 수다.

2019년 3월 13일, 앨버타대 리처드 서턴은 자기 웹사이트에 《씁쓸한 교훈》이라는 짧은 글을 올렸다. 첫 문장은 이렇다. ‘70년의 AI 연구에서 읽을 수 있는 가장 큰 교훈은 연산을 활용하는 일반적인 방법이 끝내 가장 효과가 크고, 격차도 아주 크다는 것이다.’ 예로 든 것은 체스, 바둑, 음성, 시각이다. 매번 연구자들은 먼저 자신이 아는 것을 기계 안에 써 넣는다. 잠깐은 통하고 써 넣은 사람도 만족한다. 몇 해 지나 이기는 것은 그런 지식에 기대지 않고 탐색과 학습에 기대어 연산과 함께 계속 커지는 방법이다. 자기 지식을 써 넣은 사람들에게 씁쓸한 교훈이다. 열한 번째와 열여덟 번째 글의 경기, 열다섯 번째 글의 언어학자를 해고한다는 말도 이 흐름에 놓고 볼 수 있다.

계산에는 기계가 들고, 기계에는 돈이 든다. 2019년 3월 11일, 오픈AI는 영리와 비영리를 섞은 오픈AI LP를 세운다고 발표했다. 수익에는 상한을 두었다. 첫 투자자는 투자액의 100배까지 돌려받을 수 있고 그보다 더 나면 원래 비영리 단체에 돌아간다. 공지에서는 자본을 더 잘 모아 연산 자원을 사고 사람을 끌어들이려는 것이라고 했다. 7월 22일 마이크로소프트는 10억 달러를 투자하고 독점 클라우드 제공사가 됐다.

4. 법칙

2020년 1월, 오픈AI의 재러드 캐플런 등이 《신경망 언어 모형의 스케일링 법칙》을 발표했다. 크기가 서로 다른 언어 모형을 많이 훈련하고 저마다 다음 낱말을 얼마나 잘못 맞히는지 쟀다. 그 어긋남을 나타낸 수가 손실이다. 매개변수와 학습에 쓴 글, 연산량 가운데 나머지 둘이 제약을 주지 않을 때 하나를 열 배로 키울 때마다 손실이 대략 일정한 비율로 내려갔다. 가장 작은 모형부터 큰 모형까지 여섯일곱 자릿수 차이를 건너는 동안 곡선은 내내 매끄러웠다.

제목에서는 이것을 법칙이라 불렀다. 부록에는 단서를 따로 모은 절이 있다. ‘우리가 제시한 어느 스케일링 법칙도 아직 이론적으로 탄탄하게 이해하지 못한다’고 했다. 모형 크기와 연산량에 관한 두 법칙은 ‘특히 불가사의하다’고 했다. 본문 토론에는 손실이 매끄럽게 좋아져도 ‘능력이 질적으로 바뀐 듯 보이는 변화를 가릴 수 있다’는 문장이 있다. 이어 한 물리학자의 글 제목을 들었다. 《많아지면 달라진다》.

2년 뒤인 2022년 3월, 딥마인드의 조던 호프먼 등이 모형 400개 넘게 훈련했다. 매개변수는 7000만 개에서 160억 개, 학습한 토큰은 50억 개에서 5000억 개였다. 토큰은 모형이 글을 읽을 때 잘라 낸 작은 조각이다. 영어 낱말 하나는 흔히 토큰 한두 개가 된다. 그들은 다른 배분법을 얻었다. ‘모형 크기를 두 배로 늘릴 때마다 훈련 토큰 수도 두 배로 늘려야 한다.’ 이 배분법에 따라 매개변수 700억 개의 친칠라를 훈련했다. 매개변수 2800억 개의 고퍼와 같은 연산량으로 약 네 배의 글을 먹였더니, 여러 시험에서 고퍼와 GPT-3보다 점수가 높았다. 캐플런 쪽은 모형을 더 키우고 글은 덜 주는 쪽이었다. 호프먼 쪽에서는 둘이 함께 자랐다.

5. 1750억

2020년 5월 28일, 저자 이름 31개가 붙은 논문이 올라왔다. 첫 저자는 톰 브라운이고, 제목은 《언어 모형은 소수 예시로 학습한다》였다. 가장 큰 모형은 GPT-3다. 매개변수는 1750억 개이고, 훈련할 때 토큰 3000억 개를 읽었다.

퓨샷은 모형을 쓰는 방법을 가리킨다. 무엇을 하라는지 먼저 한 줄 쓰고, 완성된 예를 몇 가지 준 뒤, 빈 곳 하나를 남겨 이어 쓰게 한다. 모형 내부의 수는 하나도 바뀌지 않는다. 이렇게 건네는 글을 프롬프트라 부른다. 설명만 하고 예를 주지 않으면 제로샷, 하나 주면 원샷이다.

논문에 시험이 하나 있다. 열여섯 번째 글의 메커니컬 터크에서 좋은 성적을 낸 미국 노동자들을 참가자로 골랐다. 보수는 시급 12달러 정도에 맞췄다. 단어 200개 남짓의 기사를 보여 줬다. 기자가 쓴 기사도 있고 모형이 쓴 기사도 있어 가려내게 했다. 매개변수 1750억 개짜리가 쓴 것을 사람이 맞힌 비율은 약 52퍼센트였다. 동전 던지기와 비슷했다.

논문에서 한계를 다룬 절에는 결점이 적혀 있다. 글이 조금 길어지면 반복하거나 앞뒤가 모순되거나 문장이 이어지지 않는다. 물리 상식도 흔히 틀린다. 치즈를 냉장고에 넣으면 녹느냐고 묻는 경우가 그렇다. 저자들은 다음 낱말을 맞히는 이 학습법의 규모만 계속 키우면 ‘한계에 부딪힐 가능성이 크다’고 했다.

6월 11일, 오픈AI는 오픈AI API라는 접속 창구를 열었다. 설명은 한 줄이다. 글이 들어가고 글이 나온다. 먼저 신청하고 용도 심사를 받아야 했으며, 실제 서비스 전에 다시 심사를 받아야 했다. 모형을 공개하지 않은 이유도 몇 가지 적었다. 너무 커서 돌리는 데 돈이 많이 들고, 접속 창구로 돈을 벌 수 있으며, 한곳에 모아 두면 악용을 관리하기 쉽다. 훈련 비용은 GPU 클라우드 회사 람다가 당시 대여 가격으로 환산했다. 그래픽 카드 한 장으로 355년, 추산 대여료는 약 460만 달러였다.

6. 여덟 편

2020년 9월 8일, 《가디언》에 ‘이 글 전체를 로봇이 썼습니다. 인간 여러분, 두렵습니까?’라는 제목의 의견 글이 실렸다. 글에서 기계는 일인칭으로 말했다. 인간이 자기를 두려워할 필요 없음을 설득하려 한다. 자기가 아는 것은 모두 인터넷을 직접 읽어 배웠다.

글 끝의 편집자 주에는 어떻게 만들었는지 쓰여 있다. 편집부가 프롬프트를 작성했다. 500단어 남짓의 짧은 의견 글, 간결한 문장으로 사람이 AI를 두려워하지 않아도 되는 이유를 쓰라는 것이었다. 첫 몇 문장도 대신 썼다. 버클리에서 컴퓨터를 공부하던 학부생 리엄 포어가 입력했다. GPT-3는 서로 다른 글 여덟 편을 돌려줬다. 편집자는 어느 한 편도 그대로 싣지 않았다. 글마다 가장 좋은 대목을 골라 문장과 단락을 일부 지우고 어떤 곳의 순서를 바꿔 한 편으로 엮었다.

기계는 인터넷을 읽었다고 했다. GPT-3가 읽은 것을 논문은 다섯으로 나눠 적었다. 가장 큰 것은 커먼 크롤이라는 사업이 수집한 웹페이지였다. 길 엘바즈가 2007년에 시작한 비영리 사업으로, 로그인하지 않고 볼 수 있는 공개 페이지만 수집했고 누구나 수집분을 내려받을 수 있었다. 내려받을 수 있다는 것과 훈련에 써도 된다는 허락을 받았는지는 별개의 일이다. GPT-3는 그중 2016년부터 2019년까지 41개월 치를 썼다. 압축한 순수 텍스트 약 45TB를 걸러 내고 약 570GB가 남았다. 나머지 네 가지는 웹텍스트2, 코드명만 붙은 도서 묶음 북스1과 북스2, 그리고 위키백과다. 훈련할 때 이 다섯에서 비율에 따라 뽑았다. 커먼 크롤 웹페이지 몫은 60퍼센트, 위키백과 몫은 3퍼센트였다. 뽑은 양을 전체를 훑은 횟수로 환산하면 웹페이지 더미는 반 번도 안 되고 위키백과는 약 세 번이었다.

웹텍스트2는 GPT-2에 쓴 웹텍스트를 확장한 것이다. 웹텍스트는 레딧에서 사람들이 올린 외부 링크를 찾았다. 글에 카르마 점수가 셋 이상 붙으면 링크가 가리키는 웹페이지의 본문을 수집했다. GPT-2 논문에 따르면 레딧 이용자의 판단을 빌려 사람들이 재미있거나 쓸모 있다고 여긴 페이지를 걸러 냈다. 2017년 12월까지 800만 편 넘게 골랐다. 위키백과 항목은 자주 쓰는 시험 문제와 겹치지 않도록 일부러 뺐다.

7. 창발

2021년, 갈수록 큰 숫자들이 나왔다. 1월에 구글의 스위치 트랜스포머는 매개변수 1조 6000억 개를 보고했다. 모형을 여러 전문가로 나누고 낱말마다 그중 하나에만 계산을 맡겼다. 4월 화웨이의 판구는 2000억 개였다. 6월 베이징 즈위안 인공지능연구원의 우다오 2는 1조 7500억 개였다. 10월 마이크로소프트와 엔비디아는 5300억 개였고, 12월 딥마인드의 고퍼는 2800억 개, 바이두는 2600억 개였다. 2022년 4월에는 구글의 팜(PaLM)이 5400억 개였다.

1972년 8월, 물리학자 필립 앤더슨은 《사이언스》에 《많아지면 달라진다》를 발표했다. 그가 썼다. ‘모든 것을 단순한 근본 법칙으로 환원할 수 있다는 사실이, 그 법칙에서 출발해 우주를 다시 지을 수 있다는 뜻은 아니다.’ 더 복잡한 층위로 올라갈 때마다 새로운 성질이 나타나고, 연구에도 새 방법이 필요하다. 그가 이야기한 것은 물리학과 화학과 생물학 같은 학문 층위였다. 50년 뒤 캐플런 팀은 이 제목을 언어 모형에 빌려 왔다.

2022년 2월 9일, 오픈AI의 수츠케버가 인터넷에 한 줄 썼다. ‘어쩌면 오늘날의 대형 신경망에는 의식이 아주 조금 있을지도 모른다.’ 사흘 뒤 열네 번째 글의 르쿤이 한마디로 답했다. ‘아니다.’ 아주 조금을 아주 작게 잡고 대형을 아주 크게 잡아도 동의하지 않는다고 덧붙였다.

그해 6월 구글의 제이슨 웨이 등은 《대형 언어 모형의 창발 능력》을 발표하며 정의를 내놓았다. ‘어떤 능력이 작은 모형에는 없고 더 큰 모형에는 있다면 창발이라 부른다.’ 많은 모형이 많은 문제에서 얻은 점수를 나란히 놓았다. 어떤 문제에서는 모형이 작을 때 줄곧 아무렇게나 찍는 수준이었는데, 어떤 크기를 넘자 점수가 갑자기 올랐다.

2023년 4월, 스탠퍼드의 라일런 셰이퍼, 브란도 미란다, 산미 코예조가 낸 글은 제목이 질문이다. 《대형 언어 모형의 창발 능력은 신기루인가?》 갑작스러움이 때로는 채점 방식에서 생긴다고 했다. 여러 자리 수를 더하는 문제에서 모든 자리 숫자가 맞아야 정답을 주면 작은 모형은 계속 0점이고 어느 크기에서 갑자기 점수를 얻는다. 정답과 비교해 몇 자리가 다른지로 채점하면 점수는 줄곧 완만하게 올라간다.

8. 크다

2019년 2월 유니콘을 소개한 블로그에 이미 대형 언어 모형이라는 말이 여러 번 나온다. 중국어권에서는 2021년 초대규모 사전 훈련 모형, 초대규모 지능 모형이라 부르다가 한 해 사이 말이 점점 짧아져 대형 모형이 됐다.

그해 8월, 스탠퍼드 연구진은 《기반 모형의 기회와 위험에 관하여》라는 긴 글을 내고 이 부류에 새 이름을 붙였다. 파운데이션 모델, 곧 기반 모형이다. 그 말을 고른 이유도 설명했다. 이 모형들이 ‘한가운데 중요한 자리에 있으면서도 완성돼 있지 않다’는 점을 드러내기 위해서였다. 기반은 다른 체계가 그 위에 올라가는 토대인 동시에 아직 다 짓지 않은 것이다. 말이 널리 퍼진 뒤 남은 것은 토대였다.

2023년 3월 14일, 오픈AI는 GPT-4를 공개했다. 기술 문서에는 경쟁 상황과 이런 대형 모형이 안전에 끼칠 영향을 고려해 구조에 관한 세부 사항을 더는 내놓지 않는다고 쓰였다. 모형 크기, 하드웨어, 훈련 연산량, 데이터 구성 등이 포함된다. 15억부터 1750억까지 몇 해 동안 내내 공개했던 숫자를 여기서 더는 쓰지 않았다.

글은 어디서 왔나. 그해 이를 알아본 사람이 있다. 2020년 말, 일루서AI라는 공개 소스 단체가 더 파일이라는 말뭉치를 정리했다. 한 묶음은 북스3으로, 비블리오틱이라는 웹사이트의 도서 모음에서 가져왔다. 2023년 9월 25일, 《애틀랜틱》의 앨릭스 라이스너는 그 모음의 책 18만 3000권을 검색할 수 있는 도구로 만들었다. 작가 이름을 입력하면 그중 어떤 책이 들어 있는지 볼 수 있었다. 이틀 뒤 미국작가조합은 작가들을 위해 글 하나를 썼다. ‘당신의 책이 AI 훈련에 쓰였음을 방금 알았다면 이제 어떻게 해야 하나요?’

그해 책을 쓴 사람들이 차례로 법원에 갔다. 6월 28일, 소설가 폴 트렘블레이와 모나 아와드는 오픈AI를 상대로, 자기 책이 허락 없이 복제돼 훈련에 쓰였다고 주장하며 소송을 냈다. 7월 7일에는 세라 실버먼 등 작가 세 명이 오픈AI와 메타에 각각 소송을 냈다. 9월 19일 미국작가조합과 조지 마틴, 존 그리셤, 조디 피코, 조너선 프랜즌 등 작가들이 뉴욕에서 오픈AI를 상대로 소송을 냈다. 12월 27일에는 《뉴욕 타임스》가 마이크로소프트와 오픈AI를 상대로 소송을 냈다.

링크를 올리고 점수를 주는 쪽에서도 움직임이 있었다. 4월에 레딧은 자사 자료에 대량으로 접속하는 인터페이스 이용에 돈을 받겠다고 밝혔다. 최고경영자 스티브 허프먼은 《뉴욕 타임스》에 레딧의 말뭉치는 ‘정말 가치가 크다’며 세계에서 가장 큰 회사 몇 곳에 그 가치를 공짜로 줄 이유는 없다고 했다. 같은 달 스택 오버플로의 최고경영자 프라샨트 찬드라세카르는 커뮤니티에 사람들이 쓴 문답이 대형 언어 모형의 원료이니 플랫폼도 대가를 받아야 한다고 했다. 8월에 오픈AI는 웹페이지 수집 프로그램 GPTBot과 웹사이트가 robots.txt에서 그 프로그램의 수집을 거절할 수 있는 방식을 공개했다. robots.txt는 수집 프로그램에 들어오지 말아야 할 곳을 알리는 작은 파일이다. 그 뒤 여러 출판 웹사이트가 문을 걸어 잠갔다.

GPT-3 논문 끝에는 감사 인사가 있다. 마지막으로 감사를 전한 것은 수백만 명이다. 훈련에 쓴 내용을 만든 사람들과, 그 내용에 색인을 달고 점수를 준 사람들이다. 저자란에는 이름 31개가 있다. 웹페이지를 쓴 사람, 위키백과 항목을 작성한 사람, 레딧에서 추천을 한 번 누른 사람, 그 책들을 쓴 사람은 거기 한 명도 없다.

매개변수가 15억에서 1750억으로 늘고, 더 뒤에는 숫자를 적지 않았다. 이들이 쓴 글은 안에 들어갔고 사람은 바깥에 남았다. 이 연재는 아무리 크게 만들어도 안에 넣을 수 없는 이 부분을 ‘남는 몫’이라 부른다.

기계는 계속 만들어지고, 경계가 어디인지는 세대마다 다시 말한다.