배중률 논쟁

1. 커피잔

널리 알려진 이야기가 하나 있다. 커피 한 잔을 놓고 숟가락으로 휘젓는다. 어떻게 저어도 좋다. 빠르게든 느리게든, 시계 방향으로든 그 반대로든. 커피의 움직임이 멎으면, 그 안의 어느 한 점은 반드시 처음 있던 자리로 정확히 돌아와 있다.

더 쉽게 와닿는 설명도 있다. 지금 있는 방의 지도를 구겨서 그 방 바닥에 던진다. 그러면 지도 위의 어느 한 점은 반드시 그 점이 나타내는 실제 장소 바로 위에 놓인다. 어떻게 구기고 어떻게 던지든 그렇다.

두 이야기는 같은 정리를 말한다. 유한 차원 유클리드 공간에 닫힌 공이 있고, 연속인 사상이 그 공 전체를 다시 그 공 안으로 보낸다면, 적어도 하나의 고정점이 반드시 있다는 정리다. 더 일반적으로는 그 영역이 공집합이 아닌 콤팩트 볼록 집합이어도 된다. 닫혀 있다는 조건만으로는 부족하다.

이 정리에는 한 사람의 이름이 붙어 있다. 브라우어. 네덜란드 사람으로, 위상수학에서 이름을 알렸다. 이 성과를 냈을 때는 스물몇 살의 청년이었다. 박사 논문을 제출한 지 몇 년 지나지 않았을 무렵이다.

커피잔 이야기가 어디서 왔는지도 짚어 둘 필요가 있다. 후대의 수업에서 즐겨 쓰는 비유인 것은 맞다. 하지만 “브라우어가 커피를 젓다가 이 정리를 생각해 냈다”는 이야기는 믿을 만한 출처까지 거슬러 올라가지 못한다. 대중서마다 등장하는데, 정작 어디서 들었는지는 밝히지 않는다. 구겨진 지도도 마찬가지다. 강의에 쓰는 비유이지 역사적 증거는 아니다.

이제 정리가 실제로 무엇을 말하는지 보자.

움직이지 않는 그 점이 반드시 있다고 말한다.

어느 점인지는 말하지 않는다.

손에 구겨진 지도가 있다. 정리는 그 위에 그런 점이 있다고 알려 주지만, 그 점을 짚어 낼 방법은 내놓지 않는다. 지도를 펴서 구석구석 찾아볼 수는 있다. 그래도 정리는 찾을 수 있다고 보장하지 않는다. 있다고만 보장한다. 다시 구겨서 다시 던져도 된다. 던질 때마다 그런 점은 있고, 그 점은 번번이 제 위치를 알려 주지 않는다.

평소에는 이 둘을 굳이 구별하지 않는다. 일상에서는 있다고 하는 것이라면 꺼내 보일 수 있기 때문이다.

그런데 바로 이 정리를 쓴 사람이, 그 뒤 사십여 년에 걸쳐 이런 종류의 증명에 맞섰다.

이 글은 그 이야기와 그 뒤에 놓인 논쟁을 따라간다. 무엇을 다투었는지는 평범한 말 한마디로 물을 수 있다. 무언가가 있다고 한다는 것은 대체 무슨 뜻인가.

15편은 이런 말 앞에서 끝났다. 누군가 “우리 체계에서는 모순이 나오지 않는다”는 것을 증명할 과제로 삼기 전에, 먼저 나서서 이렇게 말한 사람이 있었다. 당신들이 지키려는 그것은 애초에 지켜서는 안 되는 것이라고. 그가 바로 브라우어였다.

2. 수학은 사람이 하는 일이다

1907년, 브라우어는 박사 논문을 제출했다. 제목은 「수학의 기초에 관하여」라는 뜻이었다. 훗날 직관주의라 불릴 사상의 철학적 뼈대가 이 논문에 이미 서 있었다.

그는 세 가지 생각을 거부했다. 수학은 무엇보다 종이 위에 적힌 기호 체계가 아니다. 몇 개의 논리 공리에서 끌어낸 언어도 아니다. 더구나 인간과 상관없이 완성된 채 놓여 있어서, 사람이 찾아가 발견하기만 하면 되는 세계도 아니다.

그렇다면 수학은 무엇인가. 그가 보기에 수학은 무엇보다 사람의 마음속에서 이루어지는 활동이다.

그는 그 활동의 근원을 아주 소박한 경험에서 찾았다. 내면의 시간이다. 한순간이 지나가면서 동시에 기억 속에 남는다. 거기서 “하나”와 “다른 하나”라는 가장 원초적인 구별이 생겨난다. 수학의 대상은 이 활동 속에서 한 걸음씩 만들어진다.

얼핏 철학적인 견해 차이로 들린다. 하지만 여기에는 아주 구체적인 결과가 따른다. 그리고 그 결과가 이 글 전체의 핵심이다.

수학적 대상은 누군가 만들어 내기 전에도 이미 거기 있는가. 그렇다는 답이 있다. 수학자는 그저 다가가 발견할 뿐이라는 것이다. 브라우어의 대답은 “아니다”였다. 그 대상은 만들어지는 것이며, 만드는 것은 인간의 활동이다.

그러니 그에게 “존재한다”는 말은 새로 해석되어야 한다. 무언가가 존재한다는 것은 어딘가에서 기다리고 있다는 뜻이 아니다. 이미 만들어졌거나, 만들어 낼 방법이 있다는 뜻이다.

언어와 논리는 어디에 놓이는가. 그가 보기에 둘은 이 활동이 일어난 뒤에 오는 것이다. 이미 만들어 놓은 대상을 표현하고 정리하는 수단이다. 이로써 논리의 자리가 완전히 뒤집힌다. 수학이 무엇을 할 수 있는지 논리가 정해 주는 것이 아니라, 이 자리에서 어떤 논리적 추론이 정당한지를 수학적 활동이 정한다.

앞선 글과 나란히 놓으면 이 뒤집힘이 더 선명하다. 프레게는 산술을 논리에서 이끌어 내려고 이십 년을 썼다. 논리가 아래에 있고 산술이 그 위에 있었다. 브라우어는 정확히 반대로 말한다. 논리는 수학적 활동의 산물이지 수학을 받치는 기초가 아니다.

1907년에는 아직 이 입장을 하나의 구체적인 결론까지 밀고 나가지 않았다. 그 한 걸음을 내디딘 것은 이듬해였다. 1908년, 그는 「논리 원리의 신뢰 불가능성」이라는 뜻의 제목으로 짧은 글을 발표했다. 배중률이 보편적으로 타당하다는 주장에 처음 공개적으로 반대한 글이었다.

그보다 앞서 몰크도 비슷한 문제에 의문을 제기한 적이 있었다. 1908년의 글은 브라우어가 자기 나름의 체계적인 비판을 처음 공개한 글이다. 인류가 배중률을 처음 의심한 순간은 아니다.

3. 그가 반대한 것은 무엇인가

배중률은 굳이 증명할 필요도 없어 보이는 말을 한다. 어떤 일은 성립하거나 성립하지 않는다. 제삼의 가능성은 없다. 탁자 위에 책이 있거나 없다. 오늘 비가 오거나 오지 않는다. 너무 평범해서 아무도 따져 볼 생각을 하지 않는 말이다.

이런 설명을 흔히 듣는다. 브라우어는 어떤 일이 참도 거짓도 아닐 수 있다고 보았으므로 배중률이 틀렸다고 했다는 것이다. 하지만 그가 물은 것은 참이냐 거짓이냐가 아니었다. 질문은 따로 있었다. 당신은 무슨 근거로 그 말을 할 수 있는가.

그에게 “이것은 성립한다”고 말하려면 완성된 구성이 손에 있어야 한다. “이것은 성립하지 않는다”는 말도 “아직 증명을 못 찾았다”는 뜻이 아니다. 그것이 성립한다고 가정하면 불가능한 데 이르게 된다는 것을 보여 주는 구성이 있어야 한다.

그렇다면 논리합을 구성적으로 해석할 때, “이것 또는 이것의 부정이 성립한다”고 주장하려면 어느 한쪽의 증명을 내놓아야 하고, 지금 내놓은 것이 어느 쪽인지도 알아야 한다. 여기서 고전적인 배중률 자체를 모든 수학 문제를 판정하는 만능 알고리즘과 같다고 여겨서는 안 된다. 고전 논리는 배중률을 허용하지만, 모든 문제를 판정할 수 있다고 약속하지는 않는다.

브라우어는 무한한 대상에 대해서는 그런 방법이 있다고 가정할 근거가 없다고 말한다.

검사하는 단계마다 판정이 가능한 유한 탐색이라면 왜 문제가 없는지 쉽게 설명할 수 있다. 대상이 유한 개이므로 하나씩 검사하면 절차는 언젠가 끝난다. 끝났을 때 답은 반드시 어느 한쪽에 속한다. 그리고 그때는 그 한쪽을 실제로 손에 넣은 상태다.

무한에서는 사정이 다르다. 바로 살펴볼 수 있는 예가 있다.

원주율의 소수 전개는 끝없이 이어지며 순환하지 않는다. 여기에 질문 하나를 던져 보자. 소수점 아래 어딘가에 7이 연달아 백 번 나오는가.

아직 탐색으로 해결되지 않은 문제라고 놓고 보자. 아무리 계산을 계속해서 소수점 아래 일조 자리까지 갔는데도 나오지 않았다고 하자. 그 탐색만으로 앞으로도 영영 나오지 않는다고 증명할 수는 없다. “지금까지 못 찾았다”는 말이 저절로 “영원히 나오지 않는다”는 말로 바뀌는 일은 없기 때문이다. 유한한 단계를 거쳐 긍정이든 부정이든 답을 줄 방법이 손에 없다면, 두 답 가운데 어느 쪽도 얻은 것이 아니다.

하지만 배중률에 따르면 “있다”와 “없다” 가운데 어느 하나는 반드시 성립한다. 증명에서 이 양자택일을 그대로 이용할 수도 있다. 먼저 있다고 가정하고 추론해 본다. 그다음에는 없다고 가정하고 추론해 본다. 양쪽이 같은 결론에 닿으면 그 결론은 성립한다.

브라우어가 막으려 한 것은 바로 이 움직임이다. 일상의 양자택일을 반대한 것이 아니다. “나는 아직 어느 쪽도 얻지 못했다”에서 “그래도 어느 한쪽은 반드시 맞으니, 증명에서 이 둘로 마음껏 나누어도 된다”로 건너뛰는 것을 반대했다.

그 자신은 더 날카롭게 말했다. 배중률이 보편적으로 믿을 만한가 하는 문제는, 영원히 풀리지 않는 수학 문제란 없는가 하는 문제와 사실상 같다는 것이다. 그런데 뒤의 주장은 누구도 증명한 적이 없다.

그렇다고 배중률이 어디서나 틀렸다고 한 것도 아니다. 항목마다 판정할 수 있는 유한 탐색, 그 밖에 실제로 판정 가능한 문제에서는 그대로 써도 된다. 그가 막아선 곳은 답을 손에 넣지 못하는 그 영역뿐이었다.

4. 있다고 증명해도 꺼내 보일 수는 없다

여기까지는 여전히 추상적인 말을 놓고 다투고 있다. 제대로 보려면 한 번은 직접 확인해야 한다. 이 한 번만 보고 나면 뒤의 이야기를 전부 따라갈 수 있다. 더는 수학 한 줄을 보탤 필요도 없다.

먼저 말 두 개를 준비하자. 하나는 무리수다. 2편에서 살펴봤듯이 루트 2는 두 정수의 비로 나타낼 수 없다. 이런 수를 무리수라고 한다. 다른 하나는 거듭제곱이다. 2의 세제곱은 2를 세 번 곱한 것이다. 지수가 꼭 정수일 필요는 없다. 다른 수라면 뜻을 따로 정의해야 하지만, 정의하고 나면 그 결과도 정해진 하나의 수다. 뒤에서 쓸 규칙도 하나 있다. 거듭제곱한 것을 다시 거듭제곱할 때는 두 지수를 곱한다.

이제 질문이다. 두 무리수가 있을 때, 앞의 수를 밑으로 하고 뒤의 수를 지수로 하여 거듭제곱한 결과가 유리수가 될 수 있을까.

고전적인 증명은 두 줄이면 된다.

먼저 루트 2를 밑으로, 루트 2를 지수로 하여 거듭제곱한다. 이렇게 얻은 수를 잠시 “그 수”라고 부르자.

그 수는 유리수이거나 유리수가 아니다.

그 수가 유리수라면 끝났다. 밑은 루트 2이니 무리수다. 지수도 루트 2이니 무리수다. 그런데 결과는 유리수다. 찾던 한 쌍이 여기 있다.

그 수가 유리수가 아니라면 무리수다. 이번에는 쓰임을 바꿔 그 수를 밑으로 삼고, 루트 2를 지수로 하여 다시 거듭제곱한다. 두 지수를 곱하면 루트 2 곱하기 루트 2이므로 정확히 2가 된다. 따라서 결과는 루트 2의 제곱, 곧 2다. 2는 유리수다. 밑은 그 수이니 무리수, 지수는 루트 2이니 무리수다. 이쪽에도 찾던 한 쌍이 있다.

두 경우를 합치면 가능한 경우가 전부 들어간다. 그러므로 그런 무리수 한 쌍은 반드시 존재한다.

이제 이 증명이 무엇을 손에 쥐여 주었는지 보자.

그 한 쌍이 반드시 있다는 것은 증명했다. 어느 한 쌍인지는 알려 주지 않았다. 처음부터 끝까지 그 수가 유리수인지 아닌지를 판정하지 않았기 때문이다. 어느 경우든 한 쌍이 있다고만 말했다.

브라우어가 하려던 말은 전부 여기에 있다.

한쪽은 이렇게 말한다. 조건을 만족하는 대상이 반드시 있어야 한다. 그렇지 않으면 모순이 생긴다. 다른 쪽은 이렇게 말한다. 바로 이것이 그 대상이다. 내가 만들어 보여 주겠다. 고전 수학에서는 둘 다 그 대상의 존재를 증명한 것으로 인정한다. 브라우어에게는 둘이 같은 일이 아니다.

이 예가 어디서 왔는지는 밝혀 두자. 후대의 교육에서 널리 쓰인 예이지, 1908년의 그 짧은 글에 실린 사례는 아니다. 당시 브라우어가 논한 것은 일반적인 원리였다. 이 구체적인 예는 그 원리를 일 분 안에 눈으로 확인할 수 있는 일로 압축해 준다. 그래서 쓸모가 있다.

비구성적이라고 해서 그 대상을 영영 찾아낼 수 없다는 뜻도 아니다. 이 양분된 증명에서 결정하지 못한 단계는 나중에 나온 정리로 판정할 수 있게 되었다. 힐베르트가 1900년에 내놓은 문제 목록의 일곱 번째가 바로 이런 종류의 수를 묻고 있었다. 1934년, 소련의 겔폰트와 독일의 슈나이더가 각각 답을 내놓았다. 덕분에 그 수가 유리수가 아니라는 것을 알게 되었다. 실제로 답이 되는 쌍은 두 번째 경우에 있다. 밑은 그 수이고, 지수는 루트 2다. 그래도 나중의 발견이 앞선 증명을 소급해서 구성적인 증명으로 바꾸지는 못한다. 다투는 것은 애초부터 그 대상의 운명이 아니었다. 바로 이 증명이 무엇을 내놓았느냐였다.

여기까지 오면 누구에게든 이 논쟁의 전모를 보여 줄 수 있다. 남은 것은 사람들의 일이다.

5. 힐베르트는 요구의 자리를 옮겼다

힐베르트가 기초 문제를 붙든 것은 훨씬 전부터였다. 1900년 파리에서 내놓은 문제 목록에 이미 산술 공리의 무모순성이 들어 있었다. 1904년에서 1905년에는 산술과 논리가 함께 딛고 있는 토대를 직접 다루려 했다. 1917년에는 다시 체계적으로 이 문제에 몰두했다. 흔히 힐베르트 프로그램이라고 부르는 구상이 형태를 갖춘 것은 1920년 무렵이다. 1921년에 강연했고, 1922년에 발표했다.

프로그램을 떠받치는 기둥은 둘이었다. 첫째, 고전 수학의 충분히 넓은 부분을 형식화한다. 둘째, 엄격하게 제한된 유한적 수단으로 이 형식 체계들에서 모순을 이끌어 낼 수 없음을 증명한다.

이 구상의 가장 절묘한 점은 상대의 압박을 일부 받아들였다는 데 있다.

그는 수학을 두 층으로 나누었다. 아래층에는 내용이 있는 유한 수학이 있다. 구체적인 수 기호, 유한한 길이의 기호열, 유한한 단계의 절차다. 직접 보고, 세고, 확인할 수 있다. 위층에는 고전 해석학과 집합론이 다루는 무한한 것들이 있다. 그는 이 층을 “이상적 요소”라고 불렀다.

브라우어는 구성적 의미가 없는 부분을 지우라고 요구했다. 힐베르트의 답은 이랬다. 지울 필요는 없다. 아래층의 확실한 방법으로 그것이 모순을 낳지 않는다는 것만 증명하면 된다.

그러니 그는 구성의 요구를 거부한 것이 아니었다. 그 요구를 다른 자리에 놓았다.

브라우어는 수학 전체가 구성에서 출발해야 한다고 요구했다. 힐베르트는 수학을 연구하는 그 층이 구성에서 출발하면 된다고 했다. 그리고 그 층을 통해 고전 수학을 보증하려 했다. 더 짧게 말하면 이렇다. 힐베르트는 구성적인 방법으로 비구성적인 수학을 지키고 싶었다.

두 사람을 “형식주의 대 구성주의”로 줄 세우면 공통점 하나가 가려지는 까닭도 여기에 있다. 양쪽 모두 궁극적인 확실성은 인간이 파악할 수 있는 어떤 구성 활동에 놓여야 한다고 요구했다. 차이는 그 요구를 어느 층에 두느냐였다.

그는 모든 것이 뜻 없는 기호일 뿐이라고 말한 적도 없다. 논리적 추론을 믿으려면 먼저 직접 파악하고 남김없이 살필 수 있는 이산적 대상이 있어야 한다고 분명히 말했다. 그의 증명론에서 그 대상은 숫자 표기, 공식, 증명처럼 유한하게 배열된 기호들이었다. 형식주의라는 말은 진영을 짧게 부르는 데는 편리하다. 그의 철학을 정의하는 말로는 맞지 않는다.

1921년, 건너편에서 누군가 한마디를 외쳤다. 그 소리가 유난히 크게 울린 것은 외친 사람이 자기편이었기 때문이다.

바일은 힐베르트가 길러 낸 가장 뛰어난 제자 가운데 한 사람이었다. 그해 그는 「수학의 새로운 기초 위기에 관하여」를 발표하고 공개적으로 브라우어 쪽에 섰다. 그 글에서 가장 유명한 구절의 뜻은 이렇다. 브라우어, 이것이야말로 혁명이다.

여기서 혁명은 장식으로 붙인 말이 아니다. 바일이 보기에 브라우어는 수학이 익숙하게 사용하던 무한에 관한 추론을 대거 포기하라고 요구하고 있었다. 구멍 몇 개를 메우자는 것이 아니었다. 무엇을 의미 있는 증명이라고 부를지 다시 정하자는 것이었다.

누군가 반대한다는 사실이 아팠던 것은 아니다. 그 말을 한 사람이 크로네커 같은 구세대 보수주의자가 아니라는 사실이 아팠다. 자기 손으로 길러 낸 제자, 게다가 당대에 가장 창조적인 수학자 가운데 한 사람이었다.

힐베르트는 곧 함부르크 강연에서 응답했고, 이듬해 「수학의 새로운 정초」를 발표했다. 그의 말은 대략 이랬다. 바일과 브라우어는 크로네커의 발자취를 따르고 있다. 수학을 구하겠다며 골치 아픈 것을 모조리 배 밖으로 던지는 일은 이 학문을 토막 내는 일이다. 브라우어가 하는 일은 바일이 말한 혁명이 아니다. 낡은 수법으로 실패한 쿠데타를 재연하는 것일 뿐이다. 지난번의 공격은 더 거셌는데도 완전히 실패했다. 이제 이 나라는 프레게와 데데킨트와 칸토어 덕분에 무장을 갖추었고 방어도 단단하니, 이번 시도는 처음부터 성공할 가망이 없다. 완숙한 형태의 힐베르트 프로그램은 바로 이 대치 속에서 자신이 할 일을 확고히 못 박았다.

그러니 1921년의 꽤 전문적인 문제를 진영 간 사건으로 바꾼 사람은 브라우어 자신이라기보다, 상당 부분 바일이었다. 힐베르트의 학문을 이어받은 바로 그 제자가 나서서, 반대편에 혁명이 있다고 선언한 것이다.

6. 1928년

지금까지는 두 사람이 지면 위에서 벌인 논쟁이었다. 이제부터의 사건은 지면에서 시작되지 않았다. 제1차 세계대전이 끝난 뒤의 국제 학술 질서에서부터 이야기해야 한다. 배중률에서 시작해서는 안 된다.

전쟁이 끝난 뒤에도 꽤 오랫동안 독일과 전쟁 당시 독일의 동맹국에 속했던 과학자들은 새로 세워진 몇몇 공식 국제 협력 기구에서 배제되어 있었다. 1928년 볼로냐에서 열린 세계수학자대회는 이 시기가 대체로 끝났음을 알리는 자리였다. 최종적으로 독일 수학자가 칠십여 명 참석했다. 개최국 이탈리아 다음으로 큰 대표단이었다. 그 독일 쪽을 사실상 이끈 사람이 힐베르트였다.

브라우어는 반대편에 섰다. 그는 독일인들이 국제 학술계에 다시 받아들여지는 데 동의해서는 안 된다고 보았다. 조건이 여전히 불평등하다고 여겼기 때문이다. 그는 독일 수학자들에게 적극적으로 대회를 거부하라고 권했다.

이 대목에서 두 사람의 위치는 흥미롭다. 브라우어는 네덜란드인이면서 독일 수학계의 명예를 지키는 자리에 스스로 섰다. 원래부터 독일어권 수학계와 깊이 얽혀 있던 사람이었다. 주요 논문을 오랫동안 독일 학술지에 실었고, 가장 중요한 독일 수학 학술지의 편집진에도 속해 있었다. 그러니 “독일이 대회를 거부해야 하는가”라는 문제에 끼어든 것이 아무 상관 없는 외국인의 불쑥 튀어나온 발언은 아니었다. 다만 독일인이 아니라는 바로 그 이유 때문에, 독일 동료들에게는 선을 넘는 개입으로 보이기 쉬웠다. 한편 독일 수학계에서 가장 명망 높은 사람 가운데 하나였던 힐베르트는 대회에 가서 교류를 다시 열자고 주장했다. 결국 독일 수학자 대다수는 힐베르트의 길을 택했다.

이쯤 되면 이 대립을 배중률 논쟁이라고 부르기는 어렵다.

괴팅겐의 문서고에는 세 쪽짜리 정치 연설 원고가 남아 있다. 힐베르트의 아내가 옮겨 적었을 가능성이 크다. 끝부분은 수학에 인종의 구분은 없으며, 수학에게는 문화 세계 전체가 하나의 나라라는 뜻으로 맺는다. 그러나 대회 회의록과 당시 보도, 관련 편지들을 하나하나 대조해 보아도 힐베르트가 볼로냐에서 이 원고를 실제로 읽었다고 입증하는 자료는 없다.

이 장면만으로도 잠시 멈춰 볼 만하다. 국제주의를 담은 원고는 남았다. 그 말이 공개적으로 입 밖에 나왔다는 증거는 남지 않았다.

브라우어는 1914년부터 《마테마티셰 아날렌》 편집진에서 일했다. 그해 가을이면 십사 년이 흐른 뒤였다.

같은 해 10월 27일, 라런의 그의 집으로 뜻밖의 전보 한 통이 날아들었다. 그 전보를 통해 브라우어는 《마테마티셰 아날렌》 편집진을 재편하는 일이 이미 시작되었음을 알게 되었다.

논쟁은 공개된 철학 논문으로 폭발하지 않았다. 편집부의 행정 통지라는 모습으로 한 사람의 집 안에 들이닥쳤다.

절차상 힐베르트에게는 사장처럼 다른 편집위원을 일방적으로 해임할 권한이 없었다. 결국 동원된 것은 더 철저하고 더 논란의 여지가 큰 방식이었다. 출판사가 나서서 기존 편집위원회를 통째로 해산한 뒤 곧바로 새 위원회를 꾸렸다. 새 명단에는 브라우어가 없었다.

다른 편집위원들이 모두 지지한 것도 아니다. 카라테오도리는 힐베르트의 처사에 강력히 반대했고, 아인슈타인도 강제로 배제하는 방식에 반대하는 편에 섰다. 전보를 받은 지 며칠 뒤인 11월 2일, 브라우어는 블루멘탈과 카라테오도리에게 각각 편지를 보내 자신을 변호하고 그 조치에 맞섰다. 문서가 완전하게 남아 있는 것은 아니지만 적어도 한 통은 사본이 전한다. 그는 말없이 받아들이지 않았다.

동기까지 판결할 수는 없다.

이런 설명이 있다. 힐베르트는 나이가 들었고 자기 건강을 염려했다. 자신이 죽고 나면 브라우어가 그 학술지에서 지나치게 큰 결정권을 쥐게 될까 두려워했다는 것이다. 근거 없이 지어낸 설명은 아니다. 카라테오도리, 블루멘탈, 보른처럼 힐베르트와 가까웠던 사람들이 당시 편지에서 그렇게 말했다. 11월 16일 블루멘탈이 출판사와 편집위원들에게 보낸 편지, 11월 20일 보른이 아인슈타인에게 보낸 편지 모두 같은 설명을 담고 있다. 하지만 그 편지들이 기록한 것은 주변 사람들이 그때 어떻게 해석했느냐이지, 힐베르트 본인이 무엇을 인정했느냐가 아니다.

브라우어의 설명은 달랐다. 그는 힐베르트가 품은 적의의 일부를 1919년으로 거슬러 올라가 설명했다. 자신이 괴팅겐 쪽의 자리 제안을 받아들이지 않았던 일 때문이라는 것이다. 학술지의 통제권을 놓고 설명한 힐베르트 주변 사람들의 이야기와는 다르다. 남아 있는 자료로는 두 설명을 나란히 놓을 수 있다. 어느 한쪽의 심리 해석만이 유일한 진실이라고 판정할 수는 없다.

사실의 뼈대는 오히려 단단하다. 힐베르트가 일을 시작했다. 카라테오도리와 아인슈타인이 반대했다. 출판사는 해산과 재구성이라는 절차를 썼다. 브라우어는 배제되었고, 항의했다. 불분명한 것은 힐베르트의 마음속에서 여러 생각이 각각 어느 만큼의 무게를 차지했느냐뿐이다.

이것 하나는 따로 기억해 둘 만하다. 문서에 적힌 날짜가 인물의 동기보다 믿을 만할 때가 많다. 당사자가 실제로 남긴 말이, 후대가 인과관계를 맞춰 쓴 드라마보다 믿을 만할 때가 많다.

전통적인 서술은 이런 사슬을 만든다. 브라우어가 배중률에 반대했다. 힐베르트가 고전 수학을 지켰다. 둘의 싸움이 갈수록 거세졌고, 마침내 힐베르트가 브라우어를 편집진에서 쫓아냈다.

너무 매끄러운 사슬이라 의심스럽다. 1928년 전후의 편지와 문서를 다시 늘어놓으면 연결이 느슨해진다. 시간상 편집부 위기의 가까운 계기는 볼로냐 대회 거부를 둘러싼 다툼이었다. 그리고 그 다툼은 논리학이 아니라 전후의 국제 정치였다. 최근의 문서 연구는 바이마르 시대 독일 수학계 내부의 긴장과 학술지 통제권을 둘러싼 다툼에 무게를 두고, 마지막 충돌에서 순수한 사상적 차이가 차지한 비중을 낮추었다. 사상적 차이가 중요하지 않았다는 뜻은 아니다. 사상적 차이만으로 편집부 개편이 저절로 일어나지는 않는다는 뜻이다.

좀 더 신중하게 나누면 세 문장이 된다. 철학적 차이는 오랜 적대 관계가 사용할 언어를 주었다. 국제 정치는 1928년의 도화선을 주었다. 편집 권한과 후계에 대한 불안은 충돌이 왜 “편집진에서 사람을 빼는” 모습으로 터졌는지 이해하는 데 도움을 주지만, 여러 동기가 실제로 어느 만큼씩 작용했는지는 여전히 판정할 수 없다.

7. 그 정리로 돌아가다

그 일은 브라우어에게 큰 타격이었다. 이후 그는 국제 수학계의 공개 무대에서 훨씬 덜 활동했다. 전기에는 “고립”, “퇴장” 같은 말이 자주 등장한다. 그보다 더 무거운 심리 묘사를 뒷받침할 자료는 없다. 확실한 것은 힐베르트 주변과 이어 오던 협력 관계가 완전히 끊어졌다는 사실이다.

그렇다고 1928년 이후 그가 멈춘 것은 아니다. 제자 하이팅이 그의 생각을 이어 갔고, 1930년 무렵 직관주의 논리는 형식화된 표현을 얻었다. 브라우어 자신도 선택 수열 같은 개념을 계속 발전시켰다. 1934년에는 새 학술지 창간에 참여했고, 1935년부터는 블라리쿰의 지역 정치에도 들어섰다. 1928년에 그가 잃은 것은 국제적인 권력망 안의 자리였지, 자신의 사상이 아니었다.

이제 커피잔으로 돌아갈 수 있다.

먼저 이 정리가 나오기까지의 과정을 분명히 하자. 한 사람이 어느 날 혼자 만들어 낸 정리가 아니기 때문이다. 1904년에 볼은 이미 삼차원에서 관련 결과를 얻었다. 브라우어는 1909년 무렵부터 이에 해당하는 결과를 얻기 시작했고, 아다마르는 1910년에 일반 차원에서의 논증을 내놓았다. 그 뒤 브라우어가 자기만의 위상수학적 방법으로 정립한 판본이 그의 이름과 단단히 결합했다. 문헌마다 적힌 연도는 하나가 아니다. 1909년도, 1910년도, 1911년도 나온다. 논문이 다르고 정리의 서술도 다르기 때문이다. 이 정리에는 하나의 발명일이 없다. 하나의 과정이 있다.

중요한 것은 다른 사실이다. 이 초기의 증명들은 고전적인 증명이었다. 훗날 무르익은 그의 기준을 충족하지 못했다.

젊었을 때는 아직 직관주의자가 아니었기 때문이 아니다. 1907년에서 1908년 사이에 핵심 입장은 이미 형성되어 있었다. 실제 순서는 이랬다. 먼저 기초에 관한 철학을 제시했다. 이어 몇 년 동안 고전 위상수학에 힘을 쏟으며, 당시에 통상적으로 쓰던 고전적 방법으로 거대한 성과를 냈다. 그런 다음에야 직관주의 수학을 체계적으로 다시 세우는 작업으로 돌아왔다.

그를 유명하게 만든 정리는 그래서 아주 구체적인 한 가지를 보여 준다. 고전적인 증명은 “움직이지 않는 점이 반드시 하나는 있다”는 사실을 받아들이게 할 수 있다. 그렇다고 주어진 이동 방식에서 그 점의 위치를 계산해 낼 방법까지 반드시 주는 것은 아니다. 바로 이 지점에서 훗날 그가 “있다”는 말에 내건 요구와 부딪힌다.

1952년, 그는 직접 두 쪽짜리 짧은 논문을 영국 왕립학회 학술지에 발표했다. 제목은 「구면 위 고정점 정리의 직관주의적 수정」이라는 뜻이었다.

그가 택한 방향은 근사를 말하는 것이었다. 가장 일반적인 조건 아래에서 정확한 고정점을 구성할 수 있다고 단언하는 대신, 다른 것을 증명한다. 미리 아무리 작은 거리를 정해 주더라도, 움직인 거리가 그보다 작은 점을 구성해 낼 수 있다는 것이다.

이 두 말이 어떤 관계에 놓이는지 살펴볼 필요가 있다. 앞선 여러 절의 이야기가 전부 여기서 이어지기 때문이다.

“원하는 만큼 가까이 갈 수 있다”에서 “정확히 움직이지 않는 점이 있다”로 건너가는 일은 고전 수학에서 가능하다. 콤팩트성에 관한 원리가 그 다리를 놓는다. 점들의 수열이 콤팩트한 영역 안에 놓이면, 고전 수학에서는 수렴하는 부분 수열을 골라낼 수 있다. 그런 다음 연속성을 써서 고정점을 얻는다. 하지만 이처럼 조건 없이 쓰는 수열 콤팩트성을 직관주의 수학에 일반적으로 그대로 옮길 수는 없다. 필요한 부분 수열과 극한점을 구성할 수 있다는 보장이 없기 때문이다.

따라서 고전 이론에서 정확한 고정점이 존재한다는 결론이 반박된 것은 아니다. 달라진 것은 직관주의 안에서 허용되는 논증과 결론이다. 아무리 정밀하게 근사할 수 있어도, 거기서 무조건 정확한 고정점을 구성했다고 넘어갈 수는 없다.

브라우어가 나중에 자기 고정점 정리를 부정했다는 말은 널리 퍼져 있다. 실제로 그가 한 일은 그 말보다 범위가 좁다. 직관주의적 수정을 발표하면서, 고전적인 논증을 고쳐야 한다고 했다. 고전 정리의 참됨을 부정하는 일과, 직관주의의 기준에 맞춰 명제의 서술과 증명을 수정하는 일은 같지 않다.

그는 그 정리가 틀렸다고 말하지 않았다. 그 증명이 자신이 요구하는 방식의 “있다”를 내놓지 못했다고 말했다.

1952년의 그 제목을 1907년의 박사 논문 곁에 놓아 보자. 한 사람이 사십여 년에 걸쳐, 스물몇 살 때 자기를 유명하게 만든 일로 돌아가 그것을 고쳤다. 고친 이유는 바로 스물몇 살 때 이미 입 밖에 냈던 그 말이었다.

8. 무엇이 남았는가

먼저 일어나지 않은 일부터 말하자.

배중률은 수학에서 추방되지 않았다. 오늘날의 해석학, 대수학, 집합론도 비구성적인 존재 논증을 널리 쓴다. 그런 의미에서 브라우어는 수학계가 고전적 방법을 버리도록 설득하지 못했다. 수학자들의 일상적인 작업 방식도 크게 달라지지 않았다. 1908년의 그 짧은 글 때문에 보통의 해석학자, 대수학자, 기하학자가 증명에서 배중률을 쓰던 습관을 버린 것도 아니다. 직관주의는 중요한 전통으로 자랐지만 주류를 대체하지는 않았다.

앞선 글에서 마주친 것과 같은 함정이다.

당사자들이 쓰던 말부터 이미 전쟁의 언어였다. 바일은 위기와 혁명을 썼고, 힐베르트는 쿠데타를 썼다. 나중에는 편집부 파동에도 “개구리와 쥐의 전쟁”이라는 제목이 붙었다. 그러니 1920년대를 두 진영이 정면으로 돌격하는 전쟁처럼 쓰기 쉽다. 개구리와 쥐라는 표현에는 실제 편지의 근거가 있다. 판 달런의 문서 연구는 아인슈타인이 1928년 11월 27일 보른에게 보낸 편지를 인용한다. 아인슈타인은 그 표현으로 이 다툼을 묘사하면서, 어느 편에도 가담하고 싶지 않다고 밝혔다.

그렇다면 정말로 바뀐 것은 무엇인가.

깊이 바뀐 것은 증명 그 자체를 수학으로 연구할 수 있는 능력이었다. 어떤 원리를 쓰려면 얼마나 강한 논리가 필요한가. 어떤 정리에 구성적 내용이 담겨 있는가. 한 체계가 자기 자신의 안전을 증명할 수 있는가. 한때 철학 쪽에 가까웠던 이런 물음들이 기술적인 연구 분야가 되었다. 달리 말하면, 수학자가 평소에는 생각하지 않아도 되던 문제로 새로운 수학을 만들었다.

브라우어가 얻어 낸 것은 따로 있었다. 이제 사람들은 “존재를 증명한다”와 “그 대상을 만들어 낸다” 사이에 아무 차이도 없는 척할 수 없었다. 직관주의 논리는 나중에 정밀하게 연구할 수 있는 독립적인 논리가 되었다. “존재 증명에서 조건을 만족하는 구체적인 대상을 꺼낼 수 있는가”, “증명에 실제 방법이 담겨 있는가”는 이후 논리학과 컴퓨터 과학에서 일상적으로 묻는 문제가 되었다.

힐베르트 역시 역사의 패배자가 아니다. 처음의 거대한 목표는 훗날 넘을 수 없는 한계에 부딪혔다. 하지만 증명론, 형식화, 상대적 무모순성과 같은 분야들은 그의 프로그램에서 자라났다.

혁명이라고 외쳤던 바일 자신도 끝까지 그편에 서 있지는 않았다. 브라우어의 요구를 따르면 바일이 가장 중시하던 이론물리학을 지탱할 수학을 찾을 수 없었다. 1920년대 중반에 이르면 그는 서서히 돌아서고 있었다. 1946년에 이 논쟁을 돌아보며 한 말은 대략 이렇다. 위기는 거의 오십 년째 이어지고 있다. 겉으로는 일상의 연구를 방해하지 않는 듯하지만, 자신의 수학 인생에 실제로 영향을 미쳤음을 인정해야 한다. 더 안전하다고 여긴 분야로 관심을 돌리게 했고, 연구의 열정과 결의를 줄곧 갉아먹었다. 그는 덧붙였다. 인간이 관심을 기울이고 알아 가며, 고통받고 창조하는 삶 전체 속에서 자기 연구가 무엇을 뜻하는지 무심하지 않은 수학자라면, 다른 이들도 아마 비슷한 경험을 했을 것이라고.

직관주의가 하나, 둘, 셋을 세는 데 그치는 수학인 것도 아니다. 브라우어는 1918년에서 1919년 무렵부터 집합, 연속체, 해석학을 다시 세우고 있었고, 이후 선택 수열 같은 도구를 발전시켰다. 빈약한 수학은 아니었다. 사라지거나 달라진 것은 일부 고전 정리의 형태다. 하나의 고전 명제가 그쪽으로 가면 서로 다른 여러 명제로 갈라진다. 정확한 대상이 존재한다는 말이, 존재하지 않을 수는 없다는 말로 약해질 수 있다. 정확한 영점이 반드시 있다는 말이, 영점에 얼마든지 가까이 갈 수 있다는 말로 약해질 수 있다.

오늘날의 구성 수학도 그의 수학을 그대로 복제한 것이 아니다. 하이팅은 1930년 무렵 직관주의가 허용하는 추론 규칙을 형식화했다. 그 일 자체에 브라우어를 조금 거스르는 구석이 있다. 그는 수학이 언어와 논리보다 앞선다고 생각했다. 그런데 후대의 사람들은 그의 관점을 연구하고 사용하기 위해 그것을 하나의 형식 논리로 정리해야 했다. 더 뒤에는 다른 길들도 나왔다. “증명에는 계산 가능한 내용이 있어야 한다”는 요구는 지키되, 인간의 마음에 관한 그의 철학 전체를 받아들이지는 않는 길들이었다.

브라우어의 수학이 가장 보수적인 것도 아니었다. 그는 연속체와 선택 수열에 관한 아주 특수한 원리들을 허용했다. 그중 일부는 후대에 계산 가능한 것만 인정한 구성주의자들이 보기에 오히려 너무 강했다. 그러므로 직관주의, 유한주의, 계산 가능성이라는 세 말은 동의어로 쓸 수 없다.

결국 남은 질문은 “배중률을 믿어야 하는가”가 아니다. 더 세밀한 질문이다. 무언가가 있다고 말할 때, 당신 손에는 대체 무엇이 들어 있는가.

무언가가 있다고 말하는 일과 그것을 꺼내 놓는 일은 서로 다르다.

일상에서는 이 둘이 언제나 겹치므로 굳이 나누지 않는다. 냉장고에 우유가 있다고 말하는 것은 꺼내 올 수 있기 때문이다. 그런데 한곳에서만 둘이 갈라진다. 반드시 있어야 한다고 증명할 수는 있는데, 그 앞까지 다가갈 길은 한 걸음도 열리지 않는다.

1908년에 이 차이를 꺼냈을 때, 그것을 문제라고 느낀 사람은 극히 적었다. 오늘날에는 매일 이 물음에 답하고 있다. 기계에 증명을 맡겨 검사하고, 증명에서 프로그램을 추출해야 하기 때문이다. 이쯤 되면 “이 증명에는 방법이 담겨 있는가”는 더 이상 철학적인 말 한마디가 아니다. 측정할 수 있는 지표다. 그런 도구는 이미 있다. 형식 증명을 넣으면 그 안의 방법을 뽑아 곧바로 실행할 수 있는 코드로 바꾸어 준다. 어떤 프로그램을 뽑을 수 있는지는 형식 체계, 사용한 공리, 명제의 형태, 계산적 해석에 달려 있다. 배중률을 썼는지는 그중 한 요인이지 유일한 스위치는 아니다. 일부 고전적 증명에서도 번역을 거쳐 계산적 내용을 추출할 수 있다. 그리고 증명을 검사하는 일과 프로그램을 추출하는 일 자체가 서로 다른 작업이다.

이번 글에서는 무엇을 두고 “있다”고 할지 그 기준을 세웠다. 아직 정하지 못한 것이 하나 남아 있다. 증명 자체의 경계는 어디인가.

힐베르트의 방법으로 가려면 먼저 해내야 할 일이 있었다. 이 체계들에서는 모순을 끌어낼 수 없다는 것을 증명하는 일이다. 그것도 가장 확실한 수단으로 증명해야 했다. 1928년 볼로냐에서 그는 여전히 꽤 낙관적이었다. 산술의 무모순성이 곧 해결되리라고 보았다.

두 해 뒤, 쾨니히스베르크의 한 학회에서 스물네 살의, 당시에는 아직 거의 알려지지 않았던 청년이 한 가지 사실을 발표했다.

수의 계산은 계속된다. 무엇을 수학으로 칠 것인지는, 아직 한 번도 셈이 끝난 적이 없다.

사료와 더 읽을거리

아래 자료는 본문에서 다룬 역사적 세부와 해석의 차이에 관한 것이다. 소장 기록, 고대 문학, 현대의 재구성은 같은 종류의 증거가 아니다.

• 스탠퍼드 철학 백과사전: 직관주의
• 힐베르트 프로그램
• 판 달런, 「개구리와 쥐의 전쟁」, 1990
• 브라우어 대 힐베르트, 1907–1928
• 판 달런의 브라우어 전기
• 브라우어 고정점 정리의 계산 가능한 반례 연구
• 구성적 근사 고정점 연구
• 브라우어의 1952년 수정 논문 서지