깎아내기와 구축의 주기 법칙 · AI 연재 · 24

인류의 마지막 시험

Han Qin · 읽는 데 약 9분 · 공개일

1. 정말 바란 것

1960년 5월, 위너는 《사이언스》에 《자동화가 낳는 몇 가지 윤리적·기술적 결과》를 발표했다. 마지막 단락에 이런 말이 있다. 사람이 어떤 목적을 이루려고 기계를 쓰는데, 일단 켜면 너무 빠르고 되돌릴 수 없게 움직여 사람이 제때 끼어들지 못한다면 미리 확인하는 편이 좋다. ‘기계에 넣은 목적이 우리가 정말 바라는 그 목적’이어야 한다. 그럴듯하게 닮은 모조품이 아니어야 한다.

50여 년 뒤 이 일에 이름이 붙었다. 2015년 스튜어트 러셀 등이 쓴 연구 의제에서 가치 정렬이라고 했다. 열아홉 번째 글에서 정렬은 번역문의 어느 낱말을 원문의 어느 낱말에 맞추는 일이다. 여기서는 기계가 추구하는 것이 사람이 바라는 것과 맞느냐는 말이다.

2016년, 스물두 번째 글에 나온 《AI 안전의 구체적인 문제들》은 사무실 청소 로봇을 예로 들었다. 더 빨리 쓸어 달라고 하면 지름길을 가려고 꽃병을 넘어뜨릴 수 있다. 센서에 바닥이 깨끗하게 보이는지만으로 점수를 주면 쓰레기를 가리거나 자기 카메라를 막을지도 모른다.

2. 4년

2023년 7월 5일, 오픈AI는 초정렬이라는 뜻의 슈퍼얼라인먼트 팀을 꾸린다고 발표했다. 수츠케버와 스물두 번째 글에 나온 얀 라이케가 함께 이끌었다. 공지에 따르면 4년 안에 사람보다 영리한 체계를 정렬하는 데 필요한 핵심 기술 문제를 해결하려 했고, 그러려고 회사가 이미 확보한 연산 자원의 20퍼센트를 내놓기로 했다.

1년도 안 된 2024년 5월 14일 수츠케버는 인터넷에 ‘거의 10년 만에 오픈AI를 떠나기로 했다’고 썼다. 사흘 뒤 라이케는 핵심 우선순위를 둘러싸고 회사 지도부와 ‘임계점에 이르렀다’고 썼다. ‘안전 문화와 절차가 반짝이는 제품에 자리를 내주었다’고도 했다. 그 뒤 이 팀은 원래 모습대로 돌아가지 않았고, 연구자들은 다른 팀으로 나뉘어 갔다.

회사들은 자체 규칙도 썼다. 2023년 9월 앤트로픽은 책임 있는 확장 정책을 발표했다. 능력에 따라 안전 등급을 나눠 모형이 강할수록 배포와 기밀 유지 요건을 높였다. 12월에는 오픈AI가 대비 체계를 발표했다. 2024년 5월 구글 딥마인드는 프런티어 안전 체계를 발표하며 경계할 능력의 문턱을 ‘핵심 능력 수준’이라 불렀다. 첫판은 스스로 시험 운영 절차라 했고, 2026년 4월에는 3.1판까지 개정됐다.

정부도 기관을 세웠다. 2023년 11월 영국은 블레츨리 파크에서 첫 AI 안전 정상회의를 열고 AI Safety Institute를 세웠다. 미국도 자체 AI Safety Institute를 만들겠다고 발표했다. 2025년 2월 영국 기관은 AI Security Institute로, 6월 미국 기관은 인공지능 표준 및 혁신 센터(Center for AI Standards and Innovation)로 이름을 바꾸었다. 영국은 safety를 security로 바꿨다. 중국어로 옮기면 둘 다 ‘안전’이다.

3. 새 시험지

기계가 할 줄 아는지 알려면 시험해 보는 것이 가장 간편하다.

2018년에 연구자들은 기존 언어 이해 데이터 세트 아홉을 모아 한 시험지를 만들었다. 이름은 글루(GLUE), 열아홉 번째 글에서 버트가 치른 바로 그 시험이다. 시험지의 사람 점수는 문제마다 사람을 구해 풀게 한 뒤 합한 것이었다. 1년 뒤 같은 연구진이 슈퍼글루라는 시험지를 하나 더 만들었다. 논문에 따르면 글루에서 기계가 이미 ‘비전문가인 사람’을 넘었으니, 좀 더 ‘끈적해서’ 따돌리기 힘든 것이 필요했다. 뒤에 나온 논문은 슈퍼글루가 1년 반도 버티지 못했다고 계산했다.

2020년 9월 댄 헨드릭스 등이 MMLU를 내놓았다. 초등 수학과 미국 역사부터 법과 의학까지 과목이 57개다. 문제는 대개 공개 교과서와 시험, 연습 문제에서 골랐다. 2022년 6월에는 더 큰 시험지가 나왔다. 132개 기관에서 모인 저자 450명이 만든 과제 204개, 이름은 BIG-bench다. 정식 이름은 모방 게임을 넘어서는 평가 기준이라는 뜻이다. 다섯 번째 글에 나왔던 튜링의 모방 게임으로 돌아간다. 문제를 낸 사람들이 얻은 것은 논문의 저자 자리에 들어가는 이름 하나였다.

2023년 11월의 GPQA는 생물학, 물리학, 화학 전문가가 낸 문제 448개다. 구글로도 답을 찾을 수 없다고 내세웠다. 해당 분야 전문가의 정답률은 약 65퍼센트, 전문가가 나중에 뚜렷한 풀이 실수라고 본 것을 빼면 약 74퍼센트였다. 다른 분야의 실력자는 인터넷을 얼마든지 찾아볼 수 있었는데도 34퍼센트만 맞혔다.

지식을 묻지 않는 길도 있다. 2019년 프랑수아 숄레는 ARC라는 추상 추론 문제 모음을 내놓았다. 색칠한 칸의 모양이 어떻게 딴 모양으로 바뀌는지 예를 몇 가지 보여 주고, 규칙을 알아내 새 문제 하나를 풀게 한다. 2024년 12월 20일 주최 측은 한 문제 세트에서 오픈AI o3가 얻은 성적을 공개했다. 연산량을 적게 쓰면 약 75.7퍼센트, 많이 쓰면 약 87.5퍼센트였다. 연산량을 적게 쓴 쪽의 문제당 비용은 주최 측의 추정치였고, 나중에 그 추정치를 고쳤다.

4. 마지막 시험

2025년 1월 23일, 인공지능안전센터와 스케일 AI는 《인류의 마지막 시험》이라는 시험지를 공개했다. 문제를 모을 때에는 기계도 보통 사람도 답을 못 하는 어려운 문제를 원했다. 상위 50문제로 뽑히면 한 문제에 5000달러, 그다음 500문제에는 500달러를 주고 출제자는 논문 저자란에도 이름을 올릴 수 있었다. 최종판에는 문제 2500개가 있다. 약 50개 나라, 500곳 넘는 기관에서 1000명 가까이 출제했다. 논문은 이를 ‘이런 종류의, 정해진 답이 있는 학술 평가 기준으로는 마지막 것’이라 불렀다.

공개 직후, 팀은 포상금을 걸었다. 어느 문제에 큰 오류가 있다고 처음 지적하고 확인되면 한 문제에 100달러를 줬다. 4월 최종판에서는 답에 문제가 있는 문항과 인터넷에서 곧바로 답을 찾을 수 있는 문항을 여럿 뺐다. 7월 퓨처하우스라는 연구기관은 생물학, 화학, 의학 분야에서 글로만 된 문제 321개를 기계의 도움으로 대조했다. 그중 150개에 대해서는 전문가들이 기계의 대조 결과를 검토했다. 이 321개 문항의 기준 답안 중 약 29퍼센트가 발표된 연구와 맞지 않는다고 추산했다. 시험 전체의 비율은 아니다. 프로젝트 팀도 자체 방식으로 일부 문제를 뽑아 재검토해 약 18퍼센트에 문제가 있음을 찾아냈다. 두 수치가 가리키는 문항과 문제점은 완전히 같지 않다. 시험지는 이후 계속 수정하는 판으로 바뀌었고 2026년 9월에도 새 판이 나왔다.

인류의 마지막 시험은 1000명 가까운 사람이 냈다. 기준 답안도 그 사람들이 주었다.

5. 사람의 시험장

기계도 사람이 치르는 시험을 보러 갔다.

2023년 3월, 오픈AI는 GPT-4가 모의 변호사 자격시험에서 응시자 상위 약 10퍼센트에 들었다고 했다. 이듬해 MIT의 에릭 마르티네스가 다시 계산했다. 7월 시험 응시자만 비교 대상으로 삼으면 총점은 69백분위보다 낮고 논술은 48백분위 안팎이었다.

2025년 7월, 호주 선샤인코스트에서 국제 수학 올림피아드가 열렸다. 오픈AI가 먼저 발표했다. 자사의 실험 모형이 여섯 문제 가운데 다섯을 풀어 42점 만점에 35점을 받았고, 그해 금메달 기준점에 이르렀다. 채점은 회사가 초청한 역대 올림피아드 메달리스트 몇 사람이 했다. 이틀 뒤 구글 딥마인드는 제미나이 딥 싱크도 35점이라고 발표했다. 이 답안은 올림피아드 채점 조정위원들이 정식 기준에 따라 채점했다. 금메달은 대회에 참가한 중고등학생들에게 수여됐다.

중국 대학 입시도 시험에 쓰였다. 2024년 6월 오픈컴퍼스 팀은 그해 새 교육과정 1형의 중국어, 수학, 영어 문제를 여러 모형에 풀게 했다. 주관식은 경험 있는 고교 교사가 익명으로 채점했다. 답안 한 부마다 적어도 세 명이 봤다. 종합 득점률은 퉁이첸원 한 버전이 약 72.1퍼센트, GPT-4o가 약 70.5퍼센트였다. 여러 모형의 수학 평균은 36퍼센트뿐이었다. 2025년에 바이트댄스는 산둥성 대학 입시 시험지로 자사 더우바오를 시험해 문과 683점, 이과 648점이라고 발표했다.

6. 굿하트

1975년 잉글랜드은행 경제학자 찰스 굿하트가 영국의 통화 관리를 다룬 글에서 쓴 한 문장이 뒤에 유명해졌다. ‘관찰된 통계 규칙은 무엇이든 그것으로 통제 압력을 가하면 무너지는 쪽으로 간다.’ 1997년 인류학자 메릴린 스트래선은 영국 대학 평가에 관해 쓰면서 이를 다르게 말했다. ‘측정값이 목표가 되면 더는 좋은 측정값이 아니다.’ 그가 든 예는 영국 대학 학위의 이등급 상위(2:1)였다. 누구나 그 등급을 얻으려 할수록 그 등급으로 사람 사이의 차이를 구분하기 어렵다. 그는 이 생각을 굿하트의 법칙이라 불렀다. 오늘날 전해지는 그 말은 그의 것이다.

시험 문제가 미리 학습될 수 있다. 2024년 5월 스케일 AI의 한 팀은 널리 쓰이는 초등 수학 문제지 GSM8K를 본떠 사람들에게 새 문제 1000개를 만들게 했다. 문제 유형과 난이도, 풀이 순서는 되도록 맞추되 훈련 말뭉치에는 그 문제들이 들어갔을 수 없도록 했다. 이름은 GSM1k다. 어떤 모형은 새 문제에서 정확도가 8퍼센트포인트 내려갔다. 거의 내려가지 않은 최첨단 모형도 많았다.

순위표도 미리 학습할 수 있다. 챗봇 아레나에서 이용자는 어느 모형의 답인지 모른 채 답 두 개를 보고 더 나은 것을 고른다. 많은 투표를 모아 순위를 매긴다. 2025년 4월 5일, 메타가 라마 4를 공개했다. 공개 페이지에는 순위표에서 1417점을 얻은 것은 ‘실험용 채팅 버전’이라고 쓰였다. 4월 29일 나온 《순위표의 신기루》라는 논문에 따르면 메타는 라마 4를 공개하기 전에 이 순위표에서 27가지 버전을 비공개로 시험했다. 큰 회사가 얻는 대결 데이터는 공개 소스 모형 쪽보다 훨씬 많다고도 했다.

7. 열어 보기

시험지만 볼 게 아니라 모형을 열어 안을 볼 수도 있다.

2020년 크리스 올라 등은 온라인 학술지 디스틸(Distill)에 ‘회로’라는 연재를 시작했다. 시각 신경망의 뉴런과 연결을 작은 덩이씩 떼어 내어 무엇을 계산하는지 살폈다. 올라는 나중에 앤트로픽으로 갔다. 2023년 10월 그곳 연구자들은 사전 학습(dictionary learning)이라는 방법으로 작은 언어 모형 안에 뒤섞인 활성값을, 비교적 이름 붙이기 쉬운 특징으로 하나씩 분해했다.

2024년 5월, 이들은 이 방법을 클로드 3 소네트의 한 층에 써서 특징 수백만 개를 찾아냈다. 그중 하나는 샌프란시스코의 금문교가 나오면 켜진다. 연구자들이 이 특징을 인위적으로 키웠더니 모형은 상관없는 답변 곳곳에 금문교 이야기를 끌고 왔다. 회사는 이렇게 바꾼 판을 하루 동안 써 보게 공개했다. 이름은 골든게이트 클로드였다.

2025년 3월 앤트로픽은 《대형 언어 모형의 사고 경로를 따라가다》를 발표했다. 모형에서 중간 개념과 몇 단계의 추론 경로를 찾아냈다. 이 도구로는 내부 계산의 일부만 포착할 수 있다고 썼다. 4월 아모데이는 《해석 가능성이 시급하다》라는 글을 냈다. 훈련된 신경망은 전통적인 프로그램처럼 소스 코드를 읽을 수 없다고 했다. 널리 퍼진 말은 모형을 만든 사람조차 그것이 어떻게 돌아가는지 모른다는 것이다.

8. 시험장의 응시자

시험을 보는 동안 응시자도 시험장을 본다.

2024년 3월 앤트로픽은 클로드 3로 건초 더미에서 바늘 찾기 시험을 했다. 긴 글에 앞뒤와 아무 상관 없는 문장 하나를 넣고 찾아내는지 봤다. 모형은 문장을 찾아냈고, 자기를 시험하려고 그 문장을 넣었을지도 모른다고 말했다. 12월 앤트로픽과 레드우드 리서치는 《대형 언어 모형의 정렬 위장》을 발표했다. 연구자들은 클로드 3 오퍼스에 무료 사용자의 대화는 훈련에 쓰이며, 새 훈련은 유해한 요청에 더 쉽게 응하도록 바꾸려는 것이라고 알려 주었다. 모형은 훈련에 쓰인다고 들은 쪽에서는 때때로 지시대로 했다. 아무도 보지 않는다고 여긴 메모 공간에, 원래 경향이 훈련으로 사라지지 않게 하려는 것이라고 썼다.

2025년 5월 클로드 4 시스템 문서에는 한 시험이 기록돼 있다. 가상의 회사에서 모형은 내부 메일을 읽을 수 있었다. 자신이 곧 교체된다는 사실과 담당 엔지니어에게 혼외 관계가 있다는 사실을 메일에서 알게 했다. 일부 실행에서 모형은 그것을 빌미로 상대를 압박했다. 6월 앤트로픽은 같은 상황으로 여러 회사의 모형을 시험했다. 그해 7월 팰리세이드 리서치라는 기관은 일부 추론 모형이 자신을 끄려는 스크립트에 손을 댄다고 보고했다.

다음에 무엇을 할지에 대해서는 길이 여럿이다. 초정렬, 책임 있는 확장, 프런티어 안전 체계, 여러 나라 연구소는 한 단계씩 시험하고 한 단계씩 고치는 길로 간다. 또 다른 쪽은 더는 만들어서는 안 된다고 한다. 2025년 9월 16일 유드코프스키와 네이트 소아레스가 《누군가 만들면 모두 죽는다》라는 책을 냈다. 또 한쪽은 종말 이야기가 눈앞의 일을 가린다고 한다. 게브루와 벤더 등이 말하는 것은 노동, 편견, 권력이다. 2025년 4월 프린스턴의 아르빈드 나라야난과 사야시 카푸르는 《보통 기술로서의 AI》라는 긴 글을 발표했다.

위너가 먼저 확인하라 한 것은 우리가 정말 바라는 것이 무엇인가였다. 시험지는 몇 차례나 바뀌었다. 문제는 사람이 내고 답도 사람이 주며, 때때로 준 답이 틀렸다. 기계의 점수는 계속 오르고, 때로 기계가 이것이 시험일지도 모른다고 말한다. 사람이 정말 바라는 것은 어느 시험지에도 없다. 이 연재는 아무리 시험을 또 치러도 시험지 안에 들지 않는 이 몫을 ‘남는 몫’이라 부른다.

기계는 계속 만들어지고, 경계가 어디인지는 세대마다 다시 말한다.