한 사람이 붙들 수 없는 증명

1. 예의 바른 박수

1976년 7월 22일, 일리노이 대학교의 수학자 케네스 아펠과 볼프강 하켄이 한 가지 사실을 발표했다. 평면 지도가 갖춰야 할 통상적인 조건 아래에서는 네 가지 색이면 충분하다는 것이었다. 경계선의 일부를 공유하는 이웃 지역끼리 색이 겹치지 않게 칠할 수 있었다. 한 점에서만 만나는 지역은 이웃으로 치지 않았다. 그해 8월, 미국수학회와 미국수학협회의 여름 연례 학술대회가 열린 토론토 대학교에서 하켄은 이 증명을 설명하러 연단에 섰다. 베를린에서 태어난 마흔여덟 살의 수학자였다. 본래 전공은 위상수학이었고, 삼차원 공간의 모양을 다루는 분야에서는 이미 이름이 널리 알려져 있었다. 강연장은 사람들로 가득 찼다. 124년 동안 매듭짓지 못했던 문제가 마침내 풀렸다.

도널드 앨버스도 그날 강연장에 있었다. 그의 기록에 따르면, 하켄이 말을 마쳤을 때 앨버스는 뜨거운 환호가 터져 나올 줄 알았다. 실제로 들린 것은 예의 바른 박수였다. 강연이 끝난 뒤 수학자들은 하나둘 마음이 놓이지 않는다고 털어놓았다. 그들을 불안하게 한 것은 증명의 생김새였다. 증명의 커다란 덩어리 하나를 기계가 계산했다. 1,200시간이 걸렸고, 사람이 처음부터 끝까지 손으로 다시 확인할 수는 없었다. 수백 쪽에 이르는 컴퓨터 출력물 어딘가에 오류가 숨어 있을지 모른다는 말이 자주 나왔다. 앨버스는 거기에 자신의 물음을 끼워 넣었다. 혹시 그들은 오류가 있기를 바라는 것 아닐까. 이 글은 1981년 봄 한 수학 학술지에 실렸다. 제목의 앞부분은 ‘예의 바른 박수’, 뒷부분은 ‘오늘날 증명이란 무엇인가’였다.

문제 자체는 한 번 들려주면 어린아이도 알아들을 수 있다. 시작도 소박했다. 1852년, 프랜시스 거스리라는 청년이 잉글랜드의 주별 지도에 색을 칠하다 보니 네 가지 색이면 언제나 충분한 듯했다. 그는 동생 프레더릭에게 그 이야기를 했고, 동생은 스승 드모르간에게 물었다. 10월 23일, 드모르간은 더블린의 해밀턴에게 편지를 보내 그 문제를 전했다. 편지 첫머리의 뜻은 이랬다. 오늘 한 학생이 어떤 사실에 이유를 대 달라고 했는데, 자신은 그것이 사실인지 전에는 몰랐고 지금도 모른다는 것이었다. 사흘 뒤 해밀턴이 답장을 보냈다. 요컨대 당신의 이 색깔 사원수를 곧 다루게 될 것 같지는 않다는 답이었다. 사원수는 그가 9년 전에 생각해 낸 것이었다. 생각이 떠오른 날, 그는 지나가던 다리의 돌에 식을 새겼다. 그 무렵 그의 온 정신은 사원수에 가 있었다.

문제를 처음 꺼낸 청년은 그해 스물한 살이었고, 막 법학 학위를 받은 참이었다. 그는 그 뒤로 이 문제를 다시 다루지 않았고, 그에 관해 단 한 줄도 쓰지 않았다. 남아프리카로 건너가 케이프타운의 남아프리카 칼리지에서 20년 넘게 수학 교수로 일했다. 그 밖의 마음은 케이프 지역의 에리카속 식물들에 쏟았다. 식물학자 한 사람과 함께 시작한 연구를 죽을 때까지 계속했다. 식물의 한 속에는 그의 성을 딴 이름이 붙었다.

설명하는 데 1분도 걸리지 않는 문제를 증명하는 데 124년이 걸렸다. 그런데 그날 토론토의 불안을 이해하려면 이야기를 처음으로 되돌려야 한다. 이 문제에는 이미 한 차례 증명이 나왔던 적이 있었다.

2. 열한 해를 버틴 증명

문제는 20년 넘게 서랍 속에 머물렀다. 1878년 6월 13일, 런던수학회 모임에서 케일리가 물었다. 이 문제를 해결한 사람이 있느냐고. 이듬해 그의 옛 제자 한 사람이 나섰다. 1879년 7월, 런던의 법정 변호사 앨프리드 켐프가 《네이처》에 증명을 발표했고, 뒤이어 미국의 한 수학 학술지에 전문을 실었다. 본업은 소송이었고, 수학은 케임브리지에서 케일리에게 배웠다. 증명은 명료했고 방법도 영리했다. 지도에서 두 색이 번갈아 이어지는 지역들을 하나의 사슬로 묶으면, 다른 곳에는 손대지 않고 그 사슬 전체의 두 색을 맞바꿀 수 있었다. 훗날 ‘켐프 사슬’이라고 부르게 된 것이다. 증명은 받아들여졌다. 그렇게 열한 해가 갔다. 이듬해에는 스코틀랜드의 물리학자 테이트가 두 가지 증명을 더 내놓았다. 번뜩이는 착상도 있었지만 기초적인 오류도 있었다. 그 시절 많은 사람이 문제는 끝났다고 생각했다.

1890년, 더럼에서 수학을 가르치던 강사 히우드가 켐프의 증명에 난 구멍을 찾아냈다. 다섯 이웃에게 둘러싸인 지역을 처리하려면 색 맞바꾸기를 두 번 연달아 해야 했다. 켐프는 두 번의 교환이 서로 간섭하지 않는다고 생각했다. 하지만 지도 위에서 두 사슬은 얽힐 수 있었다. 첫 번째 교환이 두 번째 교환에 필요한 조건을 무너뜨릴 수 있었던 것이다. 증명이 주저앉았다.

히우드는 무너뜨리는 데서 그치지 않았다. 남아 있는 방법을 살려 조금 약한 결론을 증명했다. 다섯 가지 색이면 반드시 충분했다. 사슬 전체의 색을 맞바꾸는 기술도 살아남아 그래프 이론의 단골 도구가 되었다. 실패한 증명이 쓸모 있는 것을 남기는 일은 수학사에서 드물지 않다. 히우드는 더럼에서 강사를 거쳐 교수가 되었고, 1926년부터 1928년까지 부총장을 맡았다. 지도 색칠 연구는 거의 60년을 더 이어 갔다. 이 주제의 마지막 논문이 나온 것은 1949년이었다. 그때 그는 여든일곱, 여든여덟쯤이었다. 동료들의 기억 속 그는 수염이 대단히 무성하고, 몸집은 작고 마른 데다 등이 조금 굽은 사람이었다. 모양이 기묘하고 누가 보아도 낡은 망토를 자주 걸쳤다. 수업 시간에는 개 한 마리가 허락을 받고 교실에 머물렀다.

드문 것은 그 시간이었다. 명료하게 적힌 증명이 일류 수학자들 눈앞에 열한 해 동안 놓여 있었는데, 아무도 어디가 잘못됐는지 알아보지 못했다. 사람이 읽을 수 있는 증명이라고 해서 누군가 실제로 확인했다는 뜻은 아니었다. 토론토의 불안은 절반쯤 여기서 나왔다. 읽을 수 있는 증명도 이런데, 읽을 수 없는 증명은 무엇을 믿고 받아들여야 하는가.

3. 일리노이의 전산실

아펠과 하켄에 앞서 독일의 하인리히 헤슈가 이미 이 길에 컴퓨터를 들여놓고 있었다. 1960년대에 그는 핵심이 될 방법 하나를 정리했다. 1967년, 하켄이 이 문제를 놓고 그를 찾아갔다. 이후 4년 동안 헤슈는 미국을 여러 차례 방문했다. 그곳 컴퓨터들이 더 크고 빨랐기 때문이다. 함께 일한 사람들 가운데 하켄도 있었다. 그런데 가장 중요한 고비에서 독일연구재단이 그의 지원금을 끊었다.

1970년대 초, 하켄은 한 강연에서 브룩헤이븐 연구소의 컴퓨터로 했던 시도를 이야기했다. 컴퓨터 전문가들에게 물어보니 계산으로 밀고 나가는 길에는 가망이 없다고 했다는 것이었다. 강연이 끝나자 같은 학과의 아펠이 그를 찾아왔다. 전문가들이 틀렸다고 했다. 시간이 걸리겠지만 할 수 있는 일이라는 것이었다. 두 사람은 1972년에 함께 일하기 시작했다. 아펠은 주로 계산을, 하켄은 이론 쪽을 맡았다.

이들은 보통 방식으로 증명을 다 써 놓고 마지막에 기계로 숫자 몇 개만 계산한 것이 아니었다. 처음부터 끝까지 기계가 작업의 순환 속에 들어 있었다. 사람이 규칙을 정하면 기계가 시험했다. 시험하다 드러난 문제를 사람이 받아 규칙을 고친 뒤 다시 기계에 넣었다. 이 왕복이 몇 년 동안 계속되었다. 마지막에 남은 숫자는 이랬다. 규칙 487개, 사람이 살펴본 국소적인 경우 약 1만 개, 기계가 하나씩 검사한 배열 약 2천 종류. 어떤 배열은 느린 기계에서 90분을 계산해야 했고, 빠른 기계로 옮겨도 30분이 걸렸다. 모두 합쳐 기계 시간은 약 1,200시간이었다. 두 사람의 표현에 따르면 그동안 기계가 내린 논리적 판단은 약 100억 번이었다. 마지막 단계에는 일리노이 대학교가 1976년 3월 행정 업무용으로 새로 들여온 대형 컴퓨터를 썼다. 두 사람에게도 그 기계를 쓸 시간이 배정되었다.

사람이 맡은 몫도 두 사람의 손에서만 나온 것은 아니었다. 규칙의 최종판은 손으로 도출했다. 1976년 상반기, 아펠과 하켄, 그리고 하켄의 딸 도로테아는 몇 달을 매달려 나중에 그 목록을 이룰 1,936가지 배열을 하나씩 훑었다. 도로테아는 이 일이 이어지던 시기에 중등학교와 대학을 다녔고, 훗날 컴퓨터를 연구하는 학자가 되었다. 증명을 공개하기 전 두 집안은 자녀 다섯을 불러 모았다. 도로테아와 아르민 하켄, 로럴과 피터, 앤드루 아펠이었다. 아이들은 기계 출력물과 논문을 한 쪽씩 맞대고, 논문에 그린 배열이 제대로 옮겨졌는지 확인했다. 아펠의 딸 로럴은 그해 열세 살이었다. 맡은 분량은 700쪽 남짓이었다. 하켄은 나중에 이런 취지로 회상했다. 아이가 꼬박 한 달을 일해서 오류를 약 800개 찾아냈는데, 700쪽에서 800개면 많은 것도 아니었다. 그중 650개는 아이가 직접 고쳤다. 나머지를 하켄과 아펠이 손보는 데는 닷새밖에 걸리지 않았다.

목록은 계속 바뀌었다. 사전 공개 원고에는 1,936가지였던 배열이 정식 발표 때는 1,482가지로 줄었고, 나중에는 다시 1,405가지쯤으로 정리되었다. 정식 논문은 1977년 두 부분으로 나뉘어 나왔다. 검증을 다룬 부분에는 존 코크도 참여했다. 방대한 그림과 확인 기록을 담은 약 450쪽 분량의 마이크로필름이 별도로 딸려 있었다. 아펠과 하켄은 직접 계산해 본 적이 있었다. 까다로운 배열 하나에 대해 기계가 내놓은 출력을 전부 확인하려면, 한 사람이 매주 40시간씩 일해도 몇 년이 걸린다는 계산이었다. 십수 년 뒤인 1989년, 두 사람은 증명 전체를 한 권의 책으로도 펴냈다.

다시 1976년 가을로 돌아가 보자. 일리노이 대학교 수학과는 편지에 우편요금을 찍는 기계를 손봤다. 그 뒤 학과에서 나가는 모든 편지에는 한 줄이 찍혔다. 네 가지 색이면 충분하다.

4. 하나의 목록

기계는 목록에 든 항목들을 하나씩 계산하고 있었다. 그 목록이 무엇이며 왜 꼭 필요했는지 알려면, 켐프의 증명 구조로 돌아가야 한다. 1976년의 증명과 1879년의 증명은 뼈대가 같았다. 우선 네 가지 색으로는 충분하지 않다고 가정한다. 그렇다면 최소 반례가 반드시 있다. 다섯 가지 색이 필요한 지도 가운데 지역 수가 가장 적은 지도다. 이제 두 가지를 준비한다. 첫째, 국소적인 배열들의 목록을 만들고 어떤 지도에나 그중 적어도 하나는 반드시 나타난다는 것을 보인다. 이것이 ‘불가피성’이다. 이를 증명하는 방법을 ‘방전법’이라고 한다. 먼저 이웃의 수에 따라 각 지역에 수를 하나씩 배정하고, 정해진 규칙에 따라 이웃한 지역 사이에서 그 수들을 옮긴다. 다 옮기고 나면 어딘가에는 양수가 남는다. 그리고 그 자리에는 반드시 목록에 실린 배열 하나가 있다. 둘째, 목록의 각 배열이 최소 반례 안에는 나타날 수 없음을 보인다. 그런 배열이 나타나면 그 부분을 줄여 더 작은 지도를 만들 수 있다. 최소 반례보다 작으니 이 지도는 네 가지 색으로 칠할 수 있어야 한다. 줄여 놓았던 부분을 되살려도 색을 알맞게 조정할 수 있다. 이것이 ‘가약성’이다. 두 가지를 합치면 최소 반례에는 목록 속 배열이 반드시 들어 있어야 하는 동시에, 하나도 들어 있을 수 없다. 따라서 최소 반례는 아예 존재하지 않는다. 아펠과 하켄이 방전법을 이어받은 상대가 바로 헤슈였다.

켐프의 목록은 짧았다. 어떤 지도에나 이웃이 다섯 이하인 지역이 적어도 하나 있다는 것을 먼저 보였다. 이웃이 넷 이하라면 그가 고안한 색 맞바꾸기로 모두 처리할 수 있었다. 히우드가 구멍을 찾아낸 곳은 이웃이 다섯인 경우였다.

그 뒤의 길은 그 다섯 이웃짜리 경우를 다시 나누는 것이었다. 더 크고 더 세밀한 배열들로 바꾸고, 각각의 가약성을 따로 증명하는 길이었다. 하지만 잘게 나눌수록 목록은 길어졌고, 배열 하나를 검사하는 일도 무거워졌다. 배열 바깥에는 지역들이 고리처럼 둘러서 있었다. 그 고리에 네 가지 색을 배치하는 모든 경우를 시험하여 색을 알맞게 바꿀 수 있는지 봐야 했다. 고리에 지역이 14개면 배치 수가 거의 20만 가지였다. 18개면 1,600만 가지를 넘었다.

아펠과 하켄이 기계를 써야만 했던 이유가 여기에 있었다. 쓰고 싶어서 선택한 일이 아니었다. 켐프 때부터 정해진 뼈대는 두 길만 남겼다. 짧은 목록을 찾아내거나, 긴 목록을 한 항목씩 끝까지 검사하거나. 백 년 동안 아무도 짧은 목록을 찾지 못했다.

5. 세 갈래의 불안

그날 토론토에서 느낀 불안은 훗날 세 갈래로 나뉘었다. 서로 같은 이야기가 아니었다.

첫 번째는 이것을 증명이라고 부를 수 없다는 주장이었다. 1979년, 철학자 토머스 티모츠코가 가장 유명한 형태로 이 문제를 제기했다. 그는 사색 정리가 아마 틀렸을 거라고 말하지 않았다. 증명에는 본래 두 가지 구실이 있다는 이야기였다. 하나는 결론을 믿게 하는 것, 다른 하나는 논증 전체를 처음부터 끝까지 살펴 그 이유를 보게 하는 것이었다. 그가 두 번째 구실에 붙인 이름은 ‘한눈에 훑어볼 수 있음’, 곧 통람 가능성에 가까웠다. 한 사람이 한자리에 서서 전체를 조망할 수 있어야 한다는 뜻이었다. 1976년의 증명은 첫 번째를 해냈지만 두 번째를 잃었다. 통람할 수 없는 계산까지 증명으로 받아들이는 순간, ‘증명’이라는 말의 뜻은 이미 넓어진 셈이었다.

두 번째는 증명이기는 하나 아름답지 않다는 주장이었다. 왜 하필 네 가지 색이면 충분한지 알려주지 않는다는 것이다. 토론토 강연장의 많은 사람은 언젠가 짧으면서도 이유를 납득시켜 주는 증명이 나올 날을 기다렸다.

세 번째가 가장 현실적이었다. 증명일 수는 있다. 하지만 정말 오류가 없는지 검사할 길이 없다는 것이었다. 프로그램은 멀쩡한가. 목록에서 빠진 항목은 없는가. 수천 건의 출력 가운데 잘못 처리한 것은 없는가. 인쇄된 데이터를 옮기는 사이에 서로 어긋난 것은 없는가. 같은 1979년, 드밀로와 립턴, 펄리스는 논문을 발표해, 증명의 신뢰성이 본래 형식적인 추론에서만 나오는 것은 아니라고 말했다. 수학계 안으로 들어가 비판받고, 간소해지고, 다시 쓰이고, 가르쳐지는 일련의 과정도 그 신뢰성을 만든다는 것이었다. 아무도 통째로 재검토할 수 없는 증명이라면, 그 과정은 어디서 시작해야 할까.

이후의 전개가 제대로 답한 것은 세 번째 불안뿐이었다. 1990년대, 로버트슨과 샌더스, 시모어, 토머스는 처음에 아펠과 하켄의 증명을 확인하려 했지만 곧 포기했다. 훗날 이들이 쓴 설명의 요지는 이랬다. 컴퓨터를 쓴 부분은 손으로 확인할 수 없고, 손으로 확인할 수 있다는 부분은 놀랄 만큼 복잡하고 자질구레했다. 천 가지가 넘는 배열의 설명을 하나하나 입력하는 것만도 거대한 작업이었다. 그래서 스스로 다시 만들었다. 1996년에 완성한 새 증명에서 목록은 633가지로 줄었다. 수백 개였던 방전 규칙은 32개가 되었다. 프로그램과 데이터를 공개해 다른 사람도 직접 실행할 수 있게 했다. 이들의 설명에 따르면, 불가피성을 증명하는 절반은 손으로 검사하면 몇 달이 걸리지만 컴퓨터로는 20분쯤이면 되었다. 기계가 사라진 것은 아니었다. 다만 기계가 맡은 부분이 처음으로 다른 사람도 별도로 검사할 수 있는 대상이 되었다. 2005년, 공티에는 ‘증명 보조기’라는 프로그램 안에서 이 현대적 증명 전체를 형식 체계로 옮겨 적었다. 아주 작은 핵심 프로그램이 한 단계씩 확인했다. 검사한 것은 1996년의 증명 경로였다. 1976년 아펠과 하켄이 돌렸던 프로그램들을 검사한 것이 아니었다. 그 옛 프로그램들에 오류가 없다는 것을 이런 방식으로 증명한 사람은 지금까지 없다. 이제 믿어야 하는 대상은 수천수만의 개별 사례와 길다란 전용 프로그램이 아니라, 작은 핵심부와 형식화된 정의들, 그리고 원래의 명제를 형식 언어로 옮긴 바로 그 단계였다. 신뢰가 필요 없어지지는 않았다. 믿어야 할 범위가 작아지고 한곳으로 모였으며, 사람을 바꿔 가며 확인할 수도 있게 되었다.

두 번째 불안에는 아직 답이 없었다. 2026년 3월, 여섯 명의 저자가 사전 공개 논문에서 새로운 증명과 훨씬 빠른 색칠 방법을 제안했다. 간단한 두 경우를 포함해 가약적인 배열 8,202가지를 쓰는 방법이었다. 2026년 10월 1일을 기준으로, 이것은 저자들이 제안한 새 증명이라고 불러야 한다. 오랜 독립 검증을 거쳐 합의에 이른 정설이라고 할 수는 없다. 그렇다고 이런 신중함이 그 증명을 틀렸다고 판정하는 것은 아니다. 참여자 가운데 한 사람인 토마센은 자신이 원하는 것은 컴퓨터를 쓰지 않는 증명이며, 그 생각을 한 번도 놓은 적이 없다고 말했다.

6. 한 권의 책에 담을 수 없는 정리

두 번째 사례는 더 크다. 한 권의 책으로는 도저히 담을 수 없을 만큼 크다.

지난 글에서 그 뼈대를 보았다. 둘씩 합성할 수 있고, 아무것도 바꾸지 않는 것이 하나 있으며, 어느 것이든 그 작용을 되돌릴 수 있다. 수학자들은 이를 군이라고 부른다. 군은 정규부분군과 그에 대응하는 몫군을 따라 분해해 간다. 자명한 부분군과 자기 자신을 제외하면 정규부분군이 없는 군을 단순군이라고 한다. 자명하지 않은 부분군이 전혀 없다는 말은 아니다. 단순군의 자리는 소수의 자리와 조금 닮았다. 정수마다 소수의 곱으로 분해되듯, 모든 유한군에는 단순군을 인자로 갖는 조성열이 있다. 다만 그 인자들을 안다고 원래의 군을 어떻게 조립했는지까지 하나로 정해지지는 않는다. 그렇다면 유한한 단순군에는 도대체 무엇이 있는가.

가장 작은 단순군들은 소박하다. 원소의 수가 소수인 순환군들이다. 정오각형을 한 바퀴의 5분의 1씩 돌리면 다섯 번에 제자리로 돌아온다. 돌리지 않는 경우를 포함한 다섯 가지 회전이 하나의 단순군을 이룬다. 순서를 맞바꿀 수 없는 최초의 단순군에는 원소가 60개 있다. 정이십면체의 모든 회전으로 이루어진 군이다. 10편에서 본, 일반적인 5차 방정식에 근의 공식이 없다는 이야기의 바닥까지 내려가면, 길을 막고 있는 것도 바로 이 원소 60개의 단순군이었다.

답은 하나의 명단이다. 일정한 규칙을 따라 끝없이 이어지는 몇몇 가문, 그리고 어느 가문에도 속하지 않는 예외 스물여섯. 가장 큰 예외에는 나중에 ‘괴물’이라는 이름이 붙었다. 원소 수를 적으면 54자리 숫자가 된다. 1973년 무렵 피셔와 그리스가 그 존재를 예측했다. 1980년 1월 14일, 그리스는 앤아버에서 마침내 그것을 만들었다고 발표했다. 196,883차원 대상의 모든 대칭으로 만들어 낸 것이었다. 1982년 논문을 발표할 때 그는 그것을 ‘친근한 거인’이라고 불렀다.

먼저 논문 한 편의 길이부터 늘어나기 시작했다. 1963년, 페이트와 톰프슨은 홀수 차수의 유한군은 모두 가해군이라는 사실을 증명했다. 따라서 가환적이지 않은 유한 단순군의 차수는 반드시 짝수다. 논문은 255쪽이었다. 학술지 한 호를 통째로 차지했다. 훗날 공티에가 이끄는 팀이 그 논문 전체를 증명 보조기에 옮겼고, 그 결과를 2013년에 발표했다.

그 명단에 빠진 것이 없다는 증명이 유한 단순군 분류 정리다. 논문 한 편도, 책 한 권도 아니다. 수백 편의 논문이며, 주요 저자만 백 명 남짓이다. 본문은 1만 쪽 안팎이고, 꼭 필요한 배경 결과까지 합치면 1만 5천 쪽이라는 추산도 흔하다. 숫자를 세는 통일된 방식은 없다. 이 증명이 어디서 끝나는지부터 명확하지 않기 때문이다.

1980년대 초, 대니얼 고런스틴이 책 한 권을 펴냈다. 제목을 옮기면 《유한 단순군: 분류 입문》이다. 20여 년에 걸친 작업을 완성된 하나의 전체로 정리한 책이었다. 그 20여 년 동안 고런스틴은 줄곧 큰 그림을 살피고 방향을 잡았다. 작업에 가장 깊이 관여한 사람 가운데 하나인 아슈바허는 훗날 되돌아보며, 분류는 1980년 무렵 이미 끝났다는 것이 수학계의 일반적인 생각이었다고 썼다.

완성이란 어느 날 누군가 연단에서 외친 한마디가 아니었다. 연구 계획 하나가 서서히 공인된 결과로 바뀌는 과정이었다. 큰 가지들은 모두 다뤘다고 여겨졌고, 남은 부분도 해당 전문가들은 어떻게 마무리할지 알고 있다는 판단이 그 바탕에 있었다.

전문가들이 끝내는 방법을 안다는 말과, 논거를 하나씩 인용할 수 있는 완전한 증명이 이미 발표되어 있다는 말은 다르다. 문제는 바로 그 두 문장 사이에 숨어 있었다.

7. 비어 있던 자리

분류의 나무에는 ‘준얇은 군’, 영어로 quasithin group이라 부르는 경우들이 한 갈래를 차지하고 있었다. 첫 세대의 계획에서 이 부분은 제프 메이슨이 맡았다. 그는 1980년 이 갈래의 분류를 발표했고, 1981년에는 800쪽쯤 되는 원고를 남겼다. 출판되지는 않았다. 나중에야 원고가 완전하지 않으며 심각한 공백이 있다는 사실이 분명해졌다.

이 공백에는 발견 날짜가 없다. 1890년 히우드가 켐프의 증명 한 대목을 짚으며 여기가 틀렸다고 말한 것과는 달랐다. 조금씩 윤곽이 드러났다. 1980년대 말부터 1990년대까지 분류 증명을 새로 정리하는 동안, 이 부분을 이미 닫힌 고리로 간주하기가 점점 어려워졌다. 다들 오래전에 끝났다고 생각한 부분이 실은 끝나 있지 않았다.

그 자리를 메운 사람은 아슈바허와 스티븐 스미스였다. 2004년, 두 사람은 《준얇은 군의 분류》를 두 권으로 출판했다. 합쳐서 약 1,220쪽이었다. 정오표 한 장을 보탠 것이 아니라 새 책을 쓴 셈이었다. 그 뒤에도 비교적 작은 누락이 몇 군데 드러났지만, 모두 하나씩 메워졌다.

그러므로 이 일에 관해 확실히 할 수 있는 말은 셋이다. 명단은 1980년대 초에 이미 옳은 것으로 수학계에 받아들여졌다. 첫 세대가 공개한 증명 문헌에는 실제로 완성되지 않은 커다란 덩어리가 있었다. 2004년의 두 권은 그 부분을 온전히 다룬 증명을 출판물로 남겼다.

고런스틴은 일찍부터 알고 있었다. 첫 세대의 증명이 옳더라도, 그대로는 제대로 된 최종 형태가 될 수 없었다. 그는 리처드 라이언스, 로널드 솔로몬과 함께 두 번째 세대의 계획을 시작했다. 수백 편의 논문에 흩어진 증명을 다시 써서, 체계적이고 되도록 자족적이며 결과들 사이의 의존 관계가 뚜렷한 일련의 전문서로 묶는 일이었다. 1992년 8월, 고런스틴이 세상을 떠났다. 두 번째 세대의 첫 권은 그 뒤인 1994년에야 나왔다. 출판사의 소개문은 이 총서가 세심하고 대체로 자족적인 증명을 목표로 한다고 설명했다. 제10권은 2023년에 출간되었다. 다시 쓰는 작업은 그 뒤로도 이어지고 있으므로, 정확한 권수와 총 쪽수는 출판 기록에 맞춰 갱신해야 한다. 라이언스와 솔로몬은 주된 논증의 마지막 부분을 쓰고 있으며, 독일의 슈트로트도 마지막 구간을 맡은 두꺼운 원고를 갖고 있다. 처음 예상했던 열두 권, 5천 쪽은 이제 아주 빠듯해 보인다.

첫 세대의 증명과 그것이 기대고 있는 모든 결과를, 단 한 사람이라도 처음부터 끝까지 한 줄씩 읽었을까. 그렇게 했다고 말한 사람은 찾을 수 없다. 아슈바허, 라이언스, 솔로몬은 전체 구조를 남다르게 꿰고 있다. 각 영역에는 또 그곳의 전문가들이 있다. 그러나 구조를 꿰고 있는 일과 수백 편의 논문을 한 쪽씩 대조하며 확인하는 일은 규모부터가 다르다.

수학계가 실제로 택한 방법은 초인적인 독자 한 명을 구하는 일이 아니었다. 각 영역의 전문가가 자기 몫을 책임진다. 서로 다른 논문들이 거듭 서로의 결과를 불러 쓰고, 그때마다 다시 살필 기회가 생긴다. 그렇다고 인용할 때마다 누군가 한 줄씩 재검사한다는 보장은 없다. 큰 공백이 나오면 다시 쓴다. 마지막으로 개관 논문과 두 번째 세대의 전문서를 통해, 누가 누구를 믿는가 하는 관계를 어떤 결과가 어떤 결과에 의존하는가 하는 관계로 최대한 바꿔 놓는다. 어떤 정리가 알려져 있다는 말은 그 정리의 모든 세부를 한 사람이 알고 있다는 뜻이 아니다.

8. 세 가지 완성

세 번째 사례도 있다. 1611년, 케플러는 육각형 눈송이를 다룬 작은 책을 써 후원자에게 새해 선물로 보냈다. 그 책에서 곁들여 짐작한 것이 하나 있었다. 과일 가게에서 오렌지를 층층이 피라미드처럼 쌓는 방식이 공간에서 가장 빽빽하게 쌓는 방식이라는 것이었다. 문제의 출발점은 포탄이었다. 월터 롤리가 조수 해리엇에게 포탄 더미의 개수를 셀 방법을 생각해 보라고 했고, 해리엇은 1606년부터 케플러와 편지를 주고받았다. 1900년, 힐베르트는 자신의 문제 목록에서 열여덟 번째 문제 안에 이것을 넣었다. 1998년, 토머스 헤일스가 증명에 성공했다고 발표했다. 증명의 절반은 전통적인 추론이었고, 나머지 절반은 숱한 부등식의 검증과 선형계획법, 유한한 경우의 열거였다. 제자 새뮤얼 퍼거슨이 핵심 부분에서 크게 기여했다.

《수학연보》는 이를 위해 열두 명쯤 되는 심사단을 꾸렸고, 심사는 약 4년 동안 이어졌다. 2003년, 심사단을 이끈 페예시 토트는 증명이 옳다고 99퍼센트 확신하지만 계산 전부를 인증할 수는 없다고 말했다. 그 숫자는 이후 수없이 인용되었다. 동료 심사에서 평소 입 밖에 내지 않던 사실 하나를 수치로 드러냈기 때문이다. 심사는 옳음과 틀림 두 상태만 오가는 스위치였던 적이 없다. 2005년, 《수학연보》는 주요 논증을 실었다. 1065쪽부터 1185쪽까지, 모두 121쪽이었다. 계산 자료와 관련 계산 논문은 별도로 제공되거나 발표되었다.

헤일스는 거기서 멈추지 않았다. 증명 전체를 형식 체계 안으로 옮기는 프로젝트를 시작했다. 기계의 작은 핵심부에 검사를 맡겨, 심사위원 누구에게도 그 계산들을 믿어 달라고 요구하지 않겠다는 것이었다. 2014년 8월 10일, 프로젝트는 완료를 선언했다. 증명 보조기 두 개가 쓰였다. 2017년에는 그 형식 증명이 정식으로 발표되었다. 저자로 이름을 올린 사람은 스물둘이었다.

같은 정리, 세 날짜, 세 가지 뜻의 완성이다. 1998년에는 저자가 다 했다고 판단했다. 2005년에는 학술지가 발표해도 좋을 만큼 신뢰할 수 있다고 판단했다. 2014년에는 형식 검증의 핵심부가 검사를 끝냈다.

이 연재에서 이 물음과 마주친 것은 네 번째다. 3편에서는 그 책을 공리화의 시작으로 칠 수 있는지 물었고, 5편에서는 그 주석들을 증명으로 칠 수 있는지 물었으며, 9편에서는 그 급수들을 미적분으로 칠 수 있는지 물었다. 앞선 세 번은 모두 어떤 것에 무슨 이름을 붙여야 하는가의 문제였다. 모두 후대의 사람들이 돌아보며 던진 질문이기도 했다. 이번은 다르다. 대상은 눈앞에 있고 이름에도 다툼이 없다. 묻는 것은 그것을 안다고 할 수 있느냐는 것이다. 질문을 던지는 사람도 동시대인이다. 1976년 토론토의 학술대회가 끝날 때, 그 자리에 있던 수학자들은 벌써 마음이 놓이지 않는다고 말하고 있었다. 3년 뒤 티모츠코는 그 불안을 하나의 문제로 적어 냈다.

반대편의 목소리도 줄곧 있었다. 1980년 크라코프스키는 티모츠코에게 답하면서, 유한한 길이의 형식 증명은 원칙적으로 모두 통람할 수 있으니 인간이 조금 더 오래 사는 법을 배우기만 하면 된다고 말했다. 빈정거림이지만 그 안에는 단단한 논점이 있었다. 수학은 증명의 배경 전체가 한 사람의 머릿속에 동시에 들어 있어야 한다고 요구한 적이 없다. 스무 쪽짜리 논문이 수천 쪽의 책에 나오는 정리들을 불러 쓸 수 있다. 그렇다고 그 스무 쪽은 증명이 아니라고 하지는 않는다. 1994년, 서스턴은 수학자들이 찾는 것은 사람들이 수학을 이해하고 생각하게 하는 방식이라고 썼다. 이 관점에서 증명은 결론이 참임을 보장하는 데 더해, 사람이 붙잡고 생각할 무언가를 건네야 한다. 거대한 증명이 곤란한 까닭은 아무도 전체를 소유하지 못해서가 아니다. 평소의 수학에서도 전체를 소유하는 사람은 없다. 곤란한 것은 신뢰의 사슬이 아주 길어진다는 점이다. 좋은 방법은 그 사슬의 고리를 하나하나 되도록 작게 만들고, 다른 사람이 맡아서도 확인할 수 있게 하는 것이다.

그러므로 1976년부터 오늘까지 일어난 진짜 변화는 수학이 사람 손에서 기계로 넘어갔다는 데 있지 않다. 본래 한데 묶여 있던 세 가지가 처음으로 커다란 규모에서 갈라졌다는 데 있다. 논증이 성립하는가. 사람에게 이해를 주는가. 실제로 검사할 수 있는가. 사색 정리는 계산을 한 사람의 시야 밖으로 밀어냈고, 분류 정리는 문헌과 전문 지식을 한 사람의 시야 밖으로 밀어냈다. 형식화는 그것들을 다시, 기계가 한 단계씩 대조할 수 있는 하나의 대상으로 모으려 한다. 이로써 무엇을 근거로 믿을 수 있느냐는 물음의 상당 부분에는 답을 했다. 나머지 물음은 그대로 남는다. 수학계가 어떤 사실이 참임을 믿을 만하게 알고 있다면, 왜 참인지도 이해한 것일까.

한 사람이 붙들 수 없는 것도, 누군가 한 조각씩은 붙들 수 있도록 나눌 수 있다.

1977년, 매사추세츠 공과대학교의 젊은이 세 명이 암호화 방법 하나를 공개했다. 그 바탕에는 수학적으로 어려운 일이 있었다. 큰 소수 둘을 곱하기는 쉽지만, 그 곱에서 두 소수를 거꾸로 찾아내기는 어렵다. 5년 뒤 이 방법으로 회사가 생겼고, 그 이듬해에는 특허가 생겼다.

수는 여전히 계산되고 있다. 무엇을 수학으로 칠지는, 아직 한 번도 셈이 끝난 적이 없다.

사료와 더 읽을거리

아래 자료들은 본문에 나오는 역사적 세부와 해석의 차이를 뒷받침한다. 소장 기록과 고대의 문학 기록, 현대의 재구성은 같은 종류의 증거가 아니다.

• 2026년 사색 정리와 준선형 시간 색칠에 관한 사전 공개 논문
• 사색 정리의 새 증명에 관한 1996년 연구 발표
• 공티에의 사색 정리 형식 증명
• 기계로 검증한 홀수 차수 정리의 원 논문
• 《준얇은 군의 분류》 원서
• 《수학연보》에 실린 헤일스의 케플러 추측 증명
• 2017년 케플러 추측의 형식 증명