수학 · 25 / 25

인간 정신의 영예

야코비의 편지에서 인공지능의 증명까지. 수학이 무엇을 이루었는가와 수학이 누구를 위한 것인가는 서로 다른 질문이다.

Han Qin · 한국어 완역판

이 글의 차례

1 답장 한 통
2 쓸모를 위해
3 그 자체를 위해
4 사람을 되찾다
5 어느 편에 설 것인가
6 기계가 왔다
7 누가 책임지는가
8 누구를 위해
사료와 더 읽을거리

1 답장 한 통

2026년 9월 11일, 성명 하나가 인터넷에 올라왔고 테렌스 타오의 블로그에도 곧바로 실렸다. 제목은 「수학에서 인공지능이 심각하게 엇나가고 있다」였다. 발표 당시 서명자는 필즈상 수상자 스물다섯 명이었다. 성명에서 가장 중요한 대목의 뜻은 이렇다. 문제를 푸는 일은 도구일 뿐이며, 다른 목표를 대신 가늠하는 지표다. 수학이 먼저 추구해야 할 것은 개념적 이해와 통찰이다.

같은 뜻의 말을 196년 전 누군가 편지에 적었다.

1829년 4월 6일, 노르웨이의 아벨이 폐결핵으로 세상을 떠났다. 스물여섯 살이었다. 이듬해 6월, 파리 과학아카데미는 그해의 수학 대상을 아벨과 프로이센의 야코비에게 공동으로 수여했다. 한 사람은 이미 세상에 없었고, 다른 한 사람은 스물다섯 살로 쾨니히스베르크에서 학생들을 가르치고 있었다. 두 사람은 같은 몇 년 동안 각자 타원함수 연구를 크게 진전시켰다. 파리에는 이 분야를 40년 넘게 연구해 온 노수학자 르장드르가 있었다. 그는 자기 영역을 지키려 들지 않았다. 오히려 자신의 책에 보충편을 잇달아 붙여 두 젊은이의 성과를 담았다. 1829년 3월, 야코비는 르장드르에게 편지를 보내 따져 물은 적이 있었다. 아벨이 1826년 아카데미에 제출한 긴 논문은 어쩌면 이 세기 수학의 가장 중요한 발견인데, 제출한 지 2년이 되도록 어째서 주목받지 못했느냐고.

야코비는 1829년에 『타원함수론의 새로운 기초』라는 책을 냈다. 아카데미는 푸아송에게 이 책을 구두로 평가해 달라고 맡겼다. 푸아송은 평가 중에 푸리에가 생전에 했다는 말을 인용했다. 아벨과 야코비가 열의 운동을 먼저 연구하지 않았다고 나무라는 취지였다. 푸리에의 평생 업적 가운데 가장 유명한 것이 바로 열전도 이론이었다. 그는 1830년 5월 16일 파리에서 세상을 떠났다. 당시 아카데미의 종신 서기 가운데 한 사람이었다. 같은 해의 대상에는 파리에 살던 열여덟 살 학생 갈루아도 2월에 원고를 제출했다. 푸리에가 죽은 뒤 그 원고는 최종 심사에 오르지 못했고, 나중에도 발견되지 않았다.

1830년 7월 2일, 야코비가 쾨니히스베르크에서 르장드르에게 편지를 썼다. 푸아송의 평가를 언급하면서 먼저 기쁘게 읽었다고 했다. 두 가지 변환에 대한 설명이 훌륭하고, 르장드르의 보충편에서 길잡이를 얻었음이 보인다고 했다. 이어서 푸아송이 고인이 된 푸리에 선생의 그 부적절한 말을 평가 중에 다시 꺼내지는 말았어야 한다고 썼다. 그 뒤에 훗날 숱하게 인용될 문장들이 나온다. 그 뜻은 이렇다. 고인이 된 푸리에 선생은 수학의 주된 목적이 공공의 효용과 자연현상의 설명이라고 생각했다. 그러나 그만 한 철학자라면 과학의 유일한 목적이 인간 정신의 영예라는 사실을 알았어야 한다. 그런 의미에서 수에 관한 문제 하나는 우주 체계에 관한 문제 하나와 똑같이 값지다.

이번에 자료를 확인하는 동안 푸리에의 원래 발언을 직접 기록한 자료는 찾지 못했다. 여기 제시한 입장은 푸아송이 전하고, 다시 야코비가 응답하며 요약한 것이다. 야코비 쪽에는 편지가 남아 있다. 이 편지는 1875년 파리의 한 수학 학술지에 인쇄되었다.

이 문장들은 나중에 편지에서 따로 떨어져 나와 널리 퍼졌고, 퍼지는 동안 점점 짧아졌다. 과학은 수학으로 바뀌었고, 푸리에에 관한 절반은 지워졌다. 흔히 남은 것은 수학은 수학 자체를 위해 존재한다는 한마디였다. 1987년 디외도네는 『인간 정신의 영예를 위하여』를 책 제목으로 삼았다. 하지만 원래 편지로 돌아가 보면, 야코비는 수학이 그 자체를 위해 존재한다고 말하지 않았다. 그가 내세운 목적은 인간의 정신에 있었다.

한쪽은 쓸모를 위해서라고 했고, 다른 쪽은 인간의 정신을 위해서라고 했다. 수학은 무엇을 위한 것인가. 두 답은 여기서 마주쳤고, 그 뒤로 이 학문 안에서 번갈아 우세를 차지했다.

2 쓸모를 위해

쓸모를 앞세우는 쪽의 역사는 야코비의 편지보다 수천 년이나 앞선다.

메소포타미아에서 나온 가장 오래된 점토판들은 거의 모두 누가 얼마를 냈는지, 얼마를 아직 빚지고 있는지, 누구에게 지급했는지를 적은 것이다. 후세에 읽히려고 쓴 것이 아니라 다음 달에도 분명히 확인하려고 썼다. 고대 바빌로니아의 학교에서는 학생들이 베껴 쓸 문학 교재가 여럿 남았다. 그 가운데 한 편은 어느 학생의 아침으로 시작한다. 학생은 점토판을 들고 학교에 가서 소리 내어 읽고, 점심을 먹고, 새 판을 준비한다. 집에 돌아간 뒤에는 아버지 앞에서 다시 외워야 한다. 다음 날 아침, 교사가 그의 점토판을 살피다가 빠진 곳을 발견하고 매를 내린다. 이것은 교재이지 어느 날 실제로 작성한 징계 기록이 아니다. 매를 맞는 이유도 대개 떠들거나 돌아다니거나 글씨를 잘 쓰지 못해서다. 그러나 그렇게 익힌 글쓰기는 대부분 장부를 적는 데 쓰였다. 누가 얼마를 냈고, 얼마를 아직 갚지 않았는가. 곡식과 세금이 정확해야 하니 숫자도 정확해야 했다. 학생이 익혀야 하는 것은 장부에서 오류를 내지 않는 고리가 되는 일이었다.

푸리에는 이 계보의 끝에 놓인 사람이 아니라, 이쪽을 가장 떳떳하게 대표하는 사람이다. 그는 나폴레옹을 따라 이집트에 갔고, 귀국한 뒤에는 이제르 지방의 지사로 10여 년을 지냈다. 열에 관한 연구는 그르노블에서 지사로 재직하던 때에 이루어졌다. 그의 열전도 이론은 실제 물리 문제에서 나왔다. 그 문제를 풀려고 만들어 낸, 함수를 일련의 파동으로 분해하는 방법은 훗날 해석학 전체를 바꾸었다. 그에게 쓸모와 깊이는 본래 한 가지였다.

20세기에 들어 쓸모를 앞세우는 쪽은 새로운 모습으로 자라났다. 포병의 사격표, 블레츨리의 암호 해독, 거래소의 가격표. 수학자들이 무리 지어 국가와 기업으로 들어갔다. 1973년 영국 정부통신본부의 한 젊은이가 실용적인 공개 키 알고리즘을 생각해 냈다. 몇 년 뒤 매사추세츠공과대학교의 세 사람이 다시 생각해 낸 바로 그 방식이었다. 하지만 국가에 속한 성과라는 이유로 24년 동안 말할 수 없었다. 이 방향을 맨 처음 떠올린 엘리스는 그 성과가 공개되기 한 달도 채 남지 않았을 때 세상을 떠났다.

이쪽에 회계실과 병영만 있는 것은 아니다. 폰 노이만은 1947년 「수학자」라는 글에서, 수학의 한 분야가 경험적 출발점에서 너무 멀어지고 여러 세대에 걸쳐 추상화를 거듭하면 심각한 위험에 빠질 수 있다고 썼다. 저항이 가장 적은 쪽을 따라 자라다가 중요하지 않은 수많은 가지로 뻗어 버릴 수 있다는 것이다. 그는 응용만 하자고 주장하지 않았다. 순수화와 경험으로의 복귀가 번갈아 이루어져야 한다는 뜻이었다. 쓸모를 앞세우는 쪽에서 가장 무게 있는 주장 가운데 하나다. 수학은 말라 죽지 않으려면 세계를 필요로 한다.

그런데 이쪽에서는 장부를 계산하는 사람도 장부의 한 항목이다. 점토판 이야기에서 매를 맞던 학생, 비밀 유지 서약에 서명한 블레츨리의 젊은이들, 언어 담당관으로 승진해야 봉급이 오르던 여성 수학자, 24년 동안 자기 이름으로 성과를 공개할 수 없던 암호학자. 그들의 수학은 수단이었고, 그들 자신도 흔히 수단으로 취급되었다.

3 그 자체를 위해

반대쪽에도 20세기의 선언문이 있다. 전쟁이 이미 시작된 1940년, 하디가 『어느 수학자의 변명』을 썼다. 그는 수학자를 화가와 시인에 비유하고, 아름다움이 첫 번째 시험이라고 했다. 자신이 하는 진정한 수학이 전쟁에서 멀리 떨어져 있기를 바랐고, 거기서 위안을 얻었다. 자신이 가장 사랑하던 정수론이 수십 년 뒤 암호학의 토대가 되리라고는 생각하지 못했다.

하디 쪽이 택한 길은 수학이 점점 더 자기 자신에 대해서만 책임지도록 하는 것이었다. 부르바키의 책들은 이 길을 가장 끝까지 밀고 간 시도였다. 정의는 맨 앞에, 내력은 맨 뒤에 놓인다. 예는 연습문제로 물러나고, 사람은 등장하지 않는다. 대단히 큰 영향을 끼친 이 서술 방식에서 수학은 개인의 흔적을 거의 남기지 않는 구조로 제시된다. 현대 수학 전체가 사람을 배제하는 것을 목적으로 삼는다는 뜻은 아니다.

수학이 쓸모를 위한 것이든 그 자체를 위한 것이든, 계산에 넣는 것은 흔히 수학이지 사람이 아니다. 대가는 구체적인 사람들에게 돌아간다. 아주 조용히 돌아간다.

튜링의 1936년 논문에서 계산하는 존재는 처음에 산술 공책 앞에 앉은 사람이다. 정의가 취하는 것은 그 사람이 규칙을 따라 한 단계씩 수행하는 부분뿐이다. 규칙 밖에 있는 그 사람의 나머지는 모두 옆으로 밀려난다. 기계는 그렇게 얻어진다.

뇌터가 괴팅겐에서 강의하던 초기 몇 년, 강의 시간표에 올라간 이름은 힐베르트였다. 뇌터는 보조자로만 적혔다. 수강료를 받지 않는 강의였고, 강단에 서는 사람은 뇌터였다. 나중에 교수 자격을 얻어 사강사가 되었지만 고정 급여는 없었다. 한참 뒤에야 적은 강의 보수를 받았다. 1933년 4월 25일, 그녀를 정직시키라는 전보가 학교에 도착했다. 그녀를 옹호하는 사람들은 열네 명의 수학자에게 평가서를 부탁했다. 영국 케임브리지의 하디에서 도쿄의 다카기 데이지에 이르기까지, 그들은 그녀의 수학적 가치를 분명히 적었다. 학생 열두 명도 따로 연명했다. 결과는 달라지지 않았다. 처음 그녀를 가로막은 것은 여성에게 교수 자격을 허용하지 않던 낡은 규정이었다. 나중에는 정직 조치와 그 뒤의 법적 조치를 포함한, 1933년 나치 정권의 인종적·정치적 숙청이었다. 그녀의 수학이 얼마나 값진지 누구나 계산할 수 있었다. 여기서는 아무 소용도 없었다.

1976년 4색 정리의 증명이 발표될 때 목록에 오른 1,936가지 배치가 각각 환원 가능한지는 기계가 계산했다. 1977년에 출판된 판에서는 그 수가 1,482가지로 조정되었다. 기계가 출력한 배치가 맞는지는 아펠과 하켄이 두 집안에서 데려온 다섯 아이의 도움을 받아 한 장씩 확인했다. 그중에는 하켄의 딸 도로테아가 있었다. 그 몇 년은 그녀가 중등학교와 대학에 다니던 시기였고, 그보다 앞서 아버지와 아펠을 따라 몇 달 동안 손으로 계산하느라 고생했다. 아펠의 딸 로럴도 있었다. 그해 열세 살이던 그녀는 꼬박 한 달을 일했다. 훗날 하켄이 회고한 바에 따르면, 700여 쪽에서 옮겨 적기나 도식의 오류를 약 800곳 찾아냈다. 최종 원고에 남아 있던 증명의 구멍 800개라는 뜻은 아니다. 증명의 저자 명단에는 아이들의 이름이 없었다.

페렐만은 2002년부터 세 개의 파일을 인터넷에 올렸다. 누구인지 묻지 않았고, 누구나 내려받을 수 있었다. 그는 훗날 증명이 옳다면 다른 인정은 필요 없다고 말했다. 이 방향을 가장 군더더기 없이 말한 한 문장이다. 증명은 그것을 쓴 사람에게서 떨어져 나갈 수 있다. 그러나 그 자신이 눈에 띄는 인물이 되자, 더는 아무 말 없이 애완동물처럼 길러질 수 없으니 물러날 수밖에 없다고 말했다.

쓸모를 앞세우는 쪽에서 사람은 장부의 한 항목이다. 수학 그 자체를 앞세우는 쪽에서 사람은 흔히 장부에조차 없다. 두 쪽은 거의 200년을 다투었지만, 이 점에서는 같다. 어느 쪽에서도 사람이 목적의 자리에 있지 않다.

4 사람을 되찾다

그때마다 사람을 다시 데려오는 이들이 있었다.

1907년, 브라우어가 암스테르담에서 박사 논문을 제출했다. 그에게 어떤 것이 성립한다고 말하려면 완결된 구성이 손에 있어야 했다. 수학은 인간의 정신이 한 단계씩 만들어 가는 것이다. 적절한 구성적 근거가 없으면, 그의 존재관에서는 그것이 있다고 단언할 수 없다. 모든 무한 과정을 물리적 시간 안에 끝내야 한다는 요구는 아니다. 이듬해 그는 또 글을 써서, 논리의 가장 오래된 규칙 가운데 하나인 배중률을 무조건 적용할 수는 없다고 했다. 이후 그는 이 문제를 놓고 힐베르트와 여러 해 동안 논쟁했다.

바일은 힐베르트의 제자였지만 그 논쟁에서 한때 브라우어 편에 섰다. 1921년 그는 수학의 기초에 새로운 위기가 닥쳤다는 글을 썼다. 거기에 이런 문장이 있다. 브라우어, 이것이 혁명이다. 나중에는 이런 취지의 말도 남겼다. 수학화는 아마 언어나 음악처럼 원초적인 독창성을 지닌, 인간의 창조 활동일 것이다. 수학화가 역사 속에서 내린 선택들은 객관적 이유만으로 남김없이 설명할 수 없다. 1946년에는 그 논쟁으로 자신이 얼마나 소진되었는지 이야기했다. 그러면서 수학자가 자신의 연구가 인간의 온전한 존재, 곧 관심을 기울이고 알아 가고 고통받고 창조하는 삶 속에서 무엇을 뜻하는지 마음에 두고 있다면, 아마 누구든 이런 경험을 하리라고 말했다.

1976년 8월, 토론토대학교에서 열린 연례 학회에서 하켄이 단상에 올라 아펠과 함께 만든 4색 정리의 증명을 설명했다. 그 안에는 1,200시간의 기계 계산이 들어 있었다. 청중은 예의 바른 박수를 보냈다. 학회가 끝나자 수학자들이 하나둘 마음이 놓이지 않는다고 말했다. 아무도 손으로 끝까지 확인할 수 없는 증명을 안다고 할 수 있는가. 논쟁은 그 뒤로도 여러 해 이어졌다.

18년 뒤, 서스턴이 「수학의 증명과 진보에 관하여」라는 글을 썼다. 그는 먼저 수학자가 실제로 해내는 일이 무엇인지 물었다. 수학자는 어떻게 정리를 증명하는가라는 질문은 하고 싶지 않다고 했다. 차라리 수학자는 어떻게 수학에 대한 인간의 이해를 진전시키는가라고 묻고 싶다고 했다. 4색 정리가 일으킨 논쟁을 두고 그는 이렇게 설명했다. 사람들은 그 정리가 참인지, 증명이 옳은지를 의심하는 것이 아니다. 그 논쟁에는 줄곧 있어 온 바람이 드러난다. 정리가 참임을 아는 데서 더 나아가, 그 증명을 인간으로서 이해하고 싶다는 바람이다.

같은 글에서 그는 자신이 겪은 일을 이야기했다. 1970년대 초, 그는 엽층 구조 분야에서 큰 정리들을 잇달아 증명했다. 몇 년 사이에 그 분야의 사람들이 잇달아 떠났다. 누군가는 그가 이 분야를 죽이고 있다고 말했다. 불평이 아니라 찬사였다. 그는 나중에야 깨달았다. 자신의 논문은 그 뒤에 있는 생각의 체계를 온전히 설명하지 않았고, 설명할 수도 없었다. 문턱이 너무 높았다. 사람들에게 필요한 것은 지식보다도 자기 자신의 이해였다. 그는 수학자들이 자신에게 가장 배우고 싶어 한 것은 생각하는 방식이지, 기하화 추측의 큰 부류에 해당하는 경우들에 대해 자신이 내놓은 증명이 아니었다고도 했다. 기하화 추측 전체를 끝내 증명한 사람은 훗날의 페렐만이었다.

브라우어에서 서스턴에 이르는 이 길이 말하는 것은 결국 하나다. 수학은 참인 명제들의 더미만이 아니다. 사람이 하는 일이고, 사람을 위해 하는 일이다.

5 어느 편에 설 것인가

다른 견해에도 가장 강력한 주장이 있다. 그대로 내놓을 만하다.

하디는 『어느 수학자의 변명』 제24절에서, 자신에게 순수 수학은 모든 관념론이 좌초하는 암초라고 썼다. 317이 소수인 것은 사람이 그렇게 생각해서도 아니고, 인간의 머리가 다른 식이 아닌 지금의 방식으로 생겨서도 아니다. 그것이 소수이기 때문이며, 수학적 실재가 그렇게 이루어져 있기 때문이다. 괴델은 1964년에 더 멀리 나아갔다. 집합론의 대상은 감각 경험에서 아주 멀리 있지만, 인간에게는 그것들에 대해 지각과 비슷한 것이 분명히 있다고 했다. 그 증거는 공리들 자체가 사람에게 자신을 강요해, 참으로 인정하지 않을 수 없게 만든다는 데 있다.

이 입장의 힘은 단순한 사실 하나에 있다. 누구도 투표로 317을 합성수로 바꿀 수 없다. 결과가 옳으냐는 누가 먼저 발견했는지와 무관하고, 어느 해에 발견했는지와도 무관하다.

이 연작은 반대편에 선다. 수학은 구성된 것이라고 본다. 그 이유는 앞선 스물네 편에 있다.

음수와 허수, 두 이름에는 모두 상처가 남아 있다. 둘 다 무엇이 없는가라는 쪽에서 붙인 이름이다. 음수의 중국어 이름에 쓰인 ‘부(負)’는 잃는 쪽에 서 있고, 허수의 ‘허(虛)’는 그것에 대응하는 양이 없다고 말한다. 대상은 나중에 받아들여졌지만 이름은 바뀌지 않았다. 정사각형의 변과 대각선을 같은 단위로 잴 수 없자, 그리스인들은 존재하지 않는 자를 찾지 않았다. 바꾼 것은 두 비가 같다는 말의 뜻이었다. 제5공준은 2천 년 동안 미결로 남았다. 사람들은 줄곧 다른 공준에서 그것을 유도하려 했다. 그러다 누군가는 아예 그 공준을 바꾸었다. 다른 기하학도 거뜬히 성립했고, 그 뒤로 기하학은 하나만 있지 않게 되었다. 무한소는 자신이 무엇인지 제대로 설명하지 못하면서도 100년 넘게 역학과 천문학의 계산을 떠받쳤다. 나중에 많은 증명에서 무한소가 차지하던 자리를, 양화사로 유한한 증분과 오차를 통제하는 극한의 언어가 대신했다. 하지만 이 해석학도 여전히 무한 집합과 무한 과정을 다룰 수 있다. 1960년대에는 누군가 무한소를 포함하는 수 체계를 만들어, 그 안에서도 똑같이 엄밀한 미적분을 했다. 어느 길로 갈지는 사람이 선택했다. 1976년 이후에는 무엇을 증명으로 인정할지가 공개 논쟁의 대상이 되었다. 표현력을 제한한 일부 산술 이론과 기하 이론은 실제로 완전성과 결정 가능성을 함께 갖출 수 있다. 대가는 어떤 관계를 원래 언어로 표현할 수 없다는 것이다. 판정을 위한 계산이 쉽다는 뜻은 아니다. 정의를 어떻게 바꿀지, 어떤 공리를 남길지, 무엇을 증명으로 인정할지, 무엇을 안다고 할지. 매번 사람이 구체적인 어느 해에 내린 결정이었다.

317이 소수라는 말에는 사람이 먼저 수가 무엇인지, 나누어떨어진다는 것이 무엇인지, 소수가 무엇인지 정했다는 전제가 있다. 정하고 나면 결론은 사람 마음대로 되지 않는다. 317은 1과 자기 자신 외의 어떤 양의 정수로도 나누어떨어지지 않는다. 누가 계산하든, 어느 해에 계산하든 같다. 하디와 괴델이 느낀 그 강제력은 실재한다. 다만 사람을 강제하는 것은 사람이 직접 세운 체계다. 결론은 객관적일 수 있다. 객관적이라고 해서 인간에게서 독립해 있어야 하는 것은 아니다.

이 연작은 첫 글부터 한 가지 말을 써 왔다. 구축. 사람이 무언가를 담으려고 세운 틀이다. 수를 적는 방식, 공리의 묶음, 무엇을 증명으로 인정할지 정하는 규칙이다. 대학 하나, 규정 하나, 상 하나도 여기에 들어간다. 구축이 담아내지 못하는 것을 이 연작에서는 잔여항이라 부른다. √2는 잔여항이다. 제5공준도 잔여항이고, 무한소도 잔여항이며, 셀 수 없는 무한도 잔여항이다. 규정에 막혀 문밖에 남은 뇌터, 계산하는 사람에게서 정의가 옆으로 밀어 둔 규칙 밖의 것들도 잔여항이다. 이 연작은 구조가 담지 못하는 것과 제도가 담지 못하는 것을 하나의 설명 틀 안에 놓고 비교한다. 이는 저자의 철학적 유비다. 둘이 같은 과학적 기제에서 비롯된다고 증명했다는 뜻은 아니다.

사람은 담아내지 못하는 자리를 깎아 열고, 새로운 구축을 세운다. 새 구축에도 또 담아내지 못하는 것이 생긴다. 이 연작의 이름인 ‘깎아내기와 구축의 주기 법칙’은 바로 이 일을 가리킨다. 1931년의 그 정리와 몇 년 뒤 이루어진 개선은 다음을 말한다. 충분히 강하고, 공리를 하나씩 기계적으로 열거할 수 있으며, 모순이 없는 형식 체계에는 언제나 그 체계 안에서 증명도 반증도 할 수 없는 문장이 있다. 그 범위 안에서는 구축을 완전히 닫을 수 없다는 것이 증명된 정리다. 그 범위 밖에서도 구축을 완전히 닫을 수 없고 잔여항은 없앨 수 없다는 것, 그것은 이 연작의 판단이다.

구축은 사람이 세우며, 사람이 쓰도록 세운다. 사람은 목적이고 구축은 수단이다. 스물네 편을 쓰는 동안 수학사에 거듭 나타난 것은 사실 이 둘 가운데 어느 것이 앞에 와야 하는가를 둘러싼 다툼이었다.

6 기계가 왔다

2025년 7월, 오스트레일리아 선샤인코스트의 국제수학올림피아드. 110개국에서 온 중·고등학생 630명이 이틀에 걸쳐 시험을 치렀다. 하루에 4시간 반, 세 문제였다. 금메달 기준 점수는 35점이었고, 72명이 금메달을 받았다. 같은 문제를 기계 시스템들도 풀었다. 가장 먼저 발표된 두 시스템 가운데 하나는 구글 딥마인드가 만들었고, 다른 하나는 OpenAI가 만들었다. 둘 다 42점 만점에 35점을 받았다. 앞쪽의 답안은 주최 측 채점자들이 확인했고, 뒤쪽의 답안은 메달을 받은 적 있는 전 참가자 세 명에게 채점을 맡겼다.

그 전해에는 딥마인드의 두 기계 시스템이 함께 그해 문제를 풀어 28점을 받았다. 문제는 먼저 사람이 기계가 읽을 수 있는 형식 언어로 옮겼다. 은메달 구간의 맨 위에 해당하는 점수였고, 금메달 기준에는 1점이 모자랐다. 채점자는 가워스와 그해 문제선정위원회 위원장 마이어스였다. 몇몇 문제를 계산하는 데는 최대 사흘이 걸렸다.

2025년의 두 시스템은 대회 참가자가 아니었다. 국가대표 선발을 거치지 않았고, 시험장에 앉지도 않았다. 두 회사는 모두 똑같이 두 차례의 4시간 반을 지켰다고 했다. 그러나 주최 측은 사적인 시험에 쓰인 계산 자원, 사람의 개입 정도, 재현 가능성을 독립적으로 확인할 수 없다고 분명히 밝혔다. 답안을 채점했다고 해서 답을 만들어 낸 전 과정이 학생들의 대회와 완전히 같았다고 인증한 것은 아니다. 따라서 정확히 말하면 점수가 금메달 기준에 이른 것이지, 금메달을 받은 것이 아니다. 주최 측은 학생들이 관심을 받을 시간을 남겨 두려고 연구소들에 발표를 늦춰 달라고 했다. 구체적인 지연 일정과 허가에 관한 각 당사자의 설명은 완전히 일치하지 않는다. 주최 측과 채점에 협력하지 않은 OpenAI는 폐막 당일 밤에 소식을 발표했다. 이사회 위원 한 사람이 요구한 것은 폐막 이후까지 기다리는 일이었다고 했다. 주최 측과 협력한 딥마인드는 월요일에 주최 측이 발표를 허락할 때까지 기다렸다. 수학 공동체에는 자기만의 시계가 있다. 투고, 심사, 인용, 뒤따르는 연구에서 쓰이는 일. 기업에도 자기만의 시계가 있다. 발표일, 최초. 그 토요일, 두 시계가 정면으로 부딪쳤다.

석 달 뒤 다시 부딪쳤다. 2025년 10월, OpenAI의 한 부사장이 자사 모델이 그동안 풀리지 않은 에르되시 문제 열 개의 답을 찾았다고 인터넷에 썼다. 에르되시는 20세기에 가장 많은 성과를 낸 수학자 중 하나로, 1천 개가 넘는 문제를 남겼다. 영국 수학자 블룸은 웹사이트를 만들어 문제 하나하나의 상태를 기록했다. 블룸은 곧 심각하게 오해를 부르는 말이라고 답했다. 모델이 찾은 것은 이미 그 문제들을 해결한 옛 논문이었다. 자신이 이전에 몰랐을 뿐이었다. 사이트에 ‘미해결’이라고 적혀 있다는 것은, 자신이 아직 그 문제를 푼 논문을 모르고 있다는 뜻일 뿐이었다. 그 게시물은 나중에 삭제되었다. 그 며칠 동안, 옛 논문을 쓴 사람들은 한 줄의 글에 거의 지워질 뻔했다.

기계가 실제로 해낸 일도 있다. 2026년 5월, OpenAI 내부의 한 모델이 단위 거리에 관한 에르되시의 추측을 뒤집었다. 평면의 n개 점으로 만들 수 있는, 거리가 정확히 1인 점 쌍의 최대 개수를 u(n)이라 하자. 추측이 제시한 상한은 n^(1+o(1))이다. 지수에서 1을 넘는 부분이 0으로 간다는 뜻이다. 반례는 점점 커지는 n의 수열을 따라 n^(1+ε)에 도달했다. 여기서 ε은 고정된 양수다. 줄어들지 않는 것은 지수에서 더해진 부분이지, 점 쌍의 수에서 점의 수를 뺀 실제 차이가 아니다. 논문은 반례를 만들어 낸 핵심 기여를 모델에 돌렸다. 저자로 이름을 올린 수학자 아홉 명은 검증과 개선, 일정 범위의 일반화, 사람이 읽을 수 있는 설명을 맡았다. 블룸도 그중 하나였다. 논문은 또한 반례가 의존하는 기존의 수학적 구성들을 밝혔다.

7 누가 책임지는가

2023년 1월, 『네이처』는 대규모 언어 모델에 관한 몇 가지 규칙을 정했다. 첫 번째는 그런 도구를 연구 논문의 저자로 올릴 수 없다는 것이었다. 이유는 짧았다. 저자로 이름을 올린다는 것은 그 연구에 책임을 진다는 뜻인데, 이 도구들은 그런 책임을 질 수 없기 때문이다. 뒤이어 여러 주요 출판사가 비슷한 규칙을 채택했다. 이런 저자 규정에 따르면 책임은 사람이 져야 하고, 도구에 넘길 수 없다.

2026년 9월 4일, 앤트로픽은 수십 개의 클로드 에이전트가 페르마의 마지막 정리에 대해 처음부터 끝까지 컴퓨터로 검증한 최초의 증명을 만들었다고 발표했다. 회사 보고에 따르면 11일이 걸렸고, 코드는 약 1,300만 줄이었다. 약 30,300개의 중간 결과를 증명했으며, 그중 약 29,500개가 최종 증명에 들어갔다. 페르마의 마지막 정리를 새로 증명한 것은 아니다. 이 정리는 1990년대에 사람이 이미 증명했다. 회사가 발표한 새 성과는 이미 사람이 증명한 이 정리에 최초의 완전한 형식화 증명이 생겼다는 것이었다. 버저드는 뒤이어 컴파일과 정리의 명제 비교 검사를 마쳤다고 보고했다. 1,300만 줄을 사람이 한 줄씩 읽고 검토했다는 뜻은 아니다.

런던 임페리얼칼리지의 버저드는 이 일을 벌써 여러 해 해 오고 있었다. 그는 영국 연구협의회에서 5년 기한으로 100만 파운드를 지원받아 2024년 10월에 시작했다. 약속한 목표는 페르마의 마지막 정리를 1980년대의 성과들로 환원하는 것이었다. 그는 그날 블로그에 축하한다고 썼다. 그 코드는 자신의 프로젝트가 세운 목표 일부를 이루었고, 거기서 훨씬 더 나아갔다고 했다. 이어 자신이 할 일은 사람들이 들어가 현대의 증명을 탐구할 수 있는, 살아 있는 문서를 만드는 것이라고 했다. 검증 프로그램이 알아보는 것은 코드 속 명제가 코드 속 공리에서 도출되는지뿐이다. 그 명제가 사람이 머릿속에 품은 바로 그 페르마의 마지막 정리인지는 사람이 대조해야 한다. 증명이 왜 성립하는지, 핵심은 어디에 있는지, 어떤 생각을 다른 문제로 옮겨 갈 수 있는지. 검증 프로그램은 그 어느 것도 다루지 않는다.

3년 전에는 대조적인 사례가 있었다. 2023년 11월, 가워스와 그린, 매너스, 테렌스 타오가 조합론의 한 추측을 증명한 글을 올렸다. 며칠 뒤 타오는 프로젝트를 시작했다. 증명을 청사진으로 그려 보조정리마다 한 구획을 주고, 누구나 맡을 수 있게 했다. 3주 뒤 증명 전체가 기계 검증을 통과했다. 참여자는 모두 스물다섯 명이었다. 그 청사진은 지금도 남아 있다. 사람들은 그것을 따라가며 증명이 어떻게 세워졌는지 이해할 수 있다.

2026년 9월 8일, OpenAI가 나비에–스토크스 방정식에 관한 밀레니엄 문제의 후보 해답을 발표했다. 회사 보고에 따르면 약 1만 개의 에이전트가 9월 1일부터 작업해 약 88시간 만에 후보 해답을 얻었고, 그 뒤 약 17시간을 더 써 Lean 형식화를 마쳤다. 매끄러운 외력이 작용할 때 유체의 속도가 유한한 시간 안에 통제 불능으로 치달을 수 있다는 내용이었다. 클레이 연구소의 문제 서술에 따르면 허용되는 답의 한 형태다. 그 증명이 모든 조건을 충족하는지는 여전히 확인 중이었다. 회사는 100만 달러를 받으러 가지 않겠다고 했다. 클레이 연구소는 9월 11일 성명에서 문제가 답을 얻은 것으로 보이며 평가를 의도적으로 천천히 진행하겠다고 했다. 성명은 100만 달러의 상금과 수상 규정을 언급했지만, 수상을 발표하지는 않았다.

발표 전날 밤, 뉴욕대학교 수학자 버크마스터와 그의 공동 연구자 알푀게는 서둘러 프리프린트 한 편을 올렸다. 두 사람은 8월 중순에 몇몇 비슷한 방정식에서 비슷한 결과를 얻었다. 알푀게는 앤트로픽에서 일하지만 이 연구는 개인적으로 한 것이며 회사를 위해 한 일이 아니었다. 다음 날 OpenAI가 발표하자 버크마스터는 성명을 냈다. 자신이 아직 공개하지 않은 진전이 어떤 경로를 거쳐 그 회사에 도달했을 가능성이 있는지 물었다. 그가 회사의 코딩 도구를 쓰며 남긴 데이터도 그런 경로에 포함했다. 동시에 누구에게도 혐의를 제기하는 것은 아니라고 명시했다. 그는 상대가 타협안을 제시했고, 그 조건 가운데 하나가 알푀게의 이름을 저자 명단에서 빼는 일이었다고도 했다. 이 대목들은 버크마스터 한쪽이 내놓은 설명이다. OpenAI는 두 사람의 연구를 본 적이 없다고 부인하며, 두 증명이 크게 다르다고 했다. 9월 10일에 갱신한 회사 설명에서 OpenAI는 내부 조사 결과, 관련 코딩 도구 사용 자료가 학습을 거쳐 이 결과에 영향을 주는 것은 불가능했다고 밝혔다. 이는 회사의 조사 결론이다. 독립적인 제삼자가 이미 판정한 사실로 써서는 안 된다. 이번 확인의 기준일인 2026년 10월 1일까지, 독립적인 조사가 결론을 내렸다는 공개 기록은 찾지 못했다. 회사의 내부 조사도 당사자의 성명도 독립적인 판정을 대신할 수 없다. 그러나 질문은 이미 놓여 있다. 기계의 작업 과정에서 어떤 생각이 누구에게서 왔는지 알아내는 일은, 마지막 글자들을 누가 입력했는지 알아내는 일보다 훨씬 어렵다.

필즈상 수상자 스물다섯 명의 성명은 그로부터 사흘 뒤에 나왔다. 그들이 반대한 것은 갈수록 빨라지는 대량 생산과 성급한 발표, 그리고 제대로 글을 쓰고, 새로운 방법과 생각을 따로 추려 내고, 앞선 연구를 인용하는 단계를 건너뛰는 일이었다. 그들은 이렇게 가면 수학자들 사이에서 사람과 사람을 잇는 중요한 전승의 고리가 끊어질 것이라고 했다. 수학자들이 그 생각들을 공들여 발전시키고 기존 수학에 이어 붙이지 않으면, 그 생각들은 끝내 진정으로 살아나지 못한다고 했다.

8 누구를 위해

1830년에서 2026년까지, 두 문장 사이에는 196년이 있다. 야코비가 말한 것은 인간 정신의 영예였다. 필즈상 수상자 스물다섯 명은 문제 풀이는 도구일 뿐이고 목적은 이해라고 했다. 두 문장은 같은 곳에 닿는다. 목적은 인간에게 속한 무엇이다.

기계가 수학을 하기 시작한 뒤, 여러 쪽의 반응은 약속이라도 한 듯 사람을 두 자리에 놓았다. 한쪽 끝에는 책임지는 사람이 있다. 학술지는 저자로 이름을 올린다는 것은 책임지는 일이라고 한다. 클레이 연구소는 천천히 평가하겠다고 한다. 형식화를 하는 사람은 코드 속 명제가 인간이 생각한 바로 그 정리인지 대조해야 한다. 다른 쪽 끝에는 이해하는 사람이 있다. 버저드는 사람들이 들어가 탐구할 수 있는 문서를 만들려 한다. 수학자 아홉 명은 반례 하나를 사람이 읽을 수 있는 논문으로 쓴다. 그 성명은 생각이 인간의 수학에 이어져야 살아난다고 한다. 기계가 가운데서 점점 더 많은 일을 하지만, 양 끝에 서 있는 것은 여전히 사람이다.

선샤인코스트의 그 이틀, 학생 630명이 각자 시험장에 앉아 있었다. 기계의 35점은 하나의 결과다. 그 이틀 동안 학생들의 머릿속에서 일어난 일, 그것이 이 학문이 이 시험을 여는 이유다.

수학은 사람이 구성한 것이다. 사람은 목적이다. 이 학문의 역사는 수학과 사람 가운데 무엇이 목적인가를 거듭 되묻는 역사다. 때로는 수학이 목적이 되어, 계산하는 사람에게서 규칙 밖의 것들이 밀려나고 도식을 확인하던 사람들은 저자 명단에서 사라진다. 때로는 수학이 수단이 되어 세금과 곡식, 전쟁의 승패, 거래소의 가격 차이를 얻는 데 쓰인다. 계산하는 사람까지 함께 수단이 된다. 기계는 가장 최근의 되풀이이며, 마지막 되풀이가 아닐 것이다. 기계는 하나의 구축을 사람에게서 아주 멀리 밀어내 스스로 돌아가게 할 수 있다. 1,300만 줄, 1만 개의 에이전트, 88시간. 멀리 밀어낼수록 더욱 물어야 한다. 이것은 누구를 위해 세운 것인가.

야코비의 편지에 있던 그 말은 나중에 수학은 수학을 위한다는 말로 깎여 나갔다. 원래 문장 속의 사람은 줄곧 거기에 있었다.

어떤 것이 사람을 떠나 스스로 돌아갈 수 있을수록, 누구를 위해 만들었는지 더욱 기억해야 한다.

1843년, 한 백작부인이 아직 만들어지지 않은 기계에 관한 글을 번역했다. 그녀가 덧붙인 주석은 원문의 약 세 배 길이였다. 그중 한 주석에는 이 기계는 어떤 일도 스스로 시작할 수 없다고 적혀 있다.

수는 계속 계산된다. 왜 계산하는지 묻는 일은 여전히 사람이 내려놓을 수 없는 책임이다.

이 글에서 다룬 인공지능의 새로운 성과와 논쟁은 2026년 10월 1일까지의 상태를 기준으로 한다. 회사 발표, 컴파일 검사, 공동체의 검증, 공식적인 수상은 서로 다른 단계다.

사료와 더 읽을거리

다음 자료는 본문의 역사적 세부 사항과 해석의 차이에 대응한다. 소장 기록, 고대 문학, 현대의 재구성은 같은 종류의 증거가 아니다.

이전 글: 거부