집합론의 위기

1. 인쇄 중이던 책

1902년 6월 16일, 영국에서 예나로 편지 한 통이 발송됐다.

보낸 사람은 막 서른이 된 영국인이었다. 받는 사람은 쉰을 넘긴 독일의 논리학자였다. 편지는 도전장이 아니라 찬사로 시작했다. 당신의 책을 읽었고, 높이 평가한다는 말이었다. 그 뒤에 질문 하나가 붙었다. 몇 줄이면 다 물을 수 있는 질문이었다.

편지를 받은 사람은 예나에서 가르치던 프레게였다. 그는 스무 해 동안 한 가지 일에 매달려 있었다.

그 일이 무엇이었는지 일상적인 말로 풀면 이렇다. 하나에 하나를 더하면 둘이라는 것은 누구나 어릴 때부터 안다. 그런데 왜 그런가. 세어 보면 알지 않느냐는 대답이 가장 간단하다. 프레게는 그 대답을 받아들이지 않았다. 세려면 눈과 손을 써야 하는데, 그가 원한 것은 눈으로 보지 않아도 되는 이유였기 때문이다. 그는 그 이유가 오직 추론 자체에서 나올 수 있다고 믿었다. 세상에 관한 어떤 경험도, 어떤 그림도 빌려 오지 않고서 말이다. 그래서 수보다 더 소박한 것에서 출발해 수를 하나씩 만들어 내고, 거기서 산술의 모든 법칙을 이끌어 내려고 했다.

그렇게 스무 해를 보냈다. 『산술의 기본 법칙』 제1권은 1893년에 나왔고, 제2권은 인쇄소에서 거의 다 찍혀 가고 있었다. 당시 그의 글을 읽는 사람은 많지 않았다. 러셀은 그 몇 안 되는 독자 가운데 하나였다.

프레게는 보자마자 알아들었다.

엿새 뒤인 6월 22일, 그가 답장을 보냈다. 그 모순을 보고 몹시 놀랐으며 거의 경악했다고 해도 좋겠다는 취지의 말에 이어, 어디서 문제가 생겼는지 따져 보기 시작했다. 그리고 좀처럼 보기 힘든 일을 했다. 곧 나올 자기 책의 맨 뒤에 이 일을 써넣은 것이다. 학자로서 이보다 더 맞닥뜨리기 싫은 일도 드물 것이다. 작업을 다 마친 뒤에야 자신이 세운 건물의 기초 한 부분이 흔들린다는 사실을 알게 되는 일 말이다. 러셀 씨의 편지가 왔을 때 제2권의 인쇄는 거의 끝나 가고 있었고, 바로 그런 일이 자신에게 일어났다. 대략 이런 내용이었다.

나중에 널리 퍼진 이야기보다 이 대목이 더 좋다. 나중의 이야기는 편지 한 통이 한 사람의 일생을 무너뜨렸다고 말한다. 실제로 벌어진 일은 이렇다. 책은 이미 인쇄 중이었고, 그는 나쁜 소식을 직접 그 책의 끝에 덧붙였다.

이 글에서 살펴볼 것은 그 편지가 훗날 어떤 이야기로 바뀌었는지, 그리고 실제로 무엇을 바꾸었는지다. 흔히 이런 말을 듣는다. 1902년의 그 편지가 집합론의 위기를 터뜨렸고, 그때부터 수학계 전체가 자신이 딛고 선 기초를 믿지 못하게 됐다는 것이다. 반은 맞는 말이다. 중요한 것은 어느 반이 맞느냐다.

2편에서도 같은 이름의 사건을 다뤘다. 거슬러 찾아가 보면, 전설 속 그 충격을 전하는 당대의 말은 한마디도 남아 있지 않다. 이야기는 점점 완전해졌는데, 정작 일어났는지는 말하기 어려워졌다.

이번에도 그 결론을 그대로 가져다 쓸 수는 없다. 이번에는 그때의 종이가 남아 있다.

2. 러셀이 처음은 아니었다

먼저 한 가지를 분명히 해 두자. 여기서부터 이야기 전체의 모양이 달라지기 때문이다. 집합론에서 모순이 나올 수 있다는 사실을 처음 알아본 사람은 러셀이 아니었다. 그보다 앞선 사람이 적어도 셋은 있었고, 세 사람의 사정도 제각각이었다.

첫 번째는 부랄리포르티다. 1897년 그는 팔레르모 수학회 회보에 짧은 논문 한 편을 실었다. 제목은 초한수에 관한 한 문제라는 뜻이었다. 논문에서 실제로 모순이 도출됐고, 그것은 나중에 그의 이름을 딴, 오늘날의 역설을 만드는 재료가 됐다.

하지만 정작 그는 당시 그렇게 이해하지 않았다. 그는 논문에서 자신이 말하는 완전 순서와 칸토어의 정렬 순서를 구분했고, 문제는 서수들을 서로 비교할 수 있느냐는 별도의 명제에 있다고 생각했다. 그에게는 귀류에 더 가까웠다. 모순이 나오니 그 명제가 성립하지 않는다는 것이다. 같은 해 10월에는 논문의 오류 한 곳을 바로잡는 정정문도 냈다.

그러니 1897년에 첫 폭탄이 터지고 유럽 전역의 수학자들이 공포에 빠지는 장면은 없었다. 오늘날 교과서에 나오는 그 역설은 훗날 조금씩 모양을 갖췄다. 역설이라는 지위로 처음 인쇄된 곳도 러셀이 1903년에 낸 책이었다. 1905년 초만 해도 집합론을 하던 사람들이 두루 관심을 쏟는 문제는 아니었다. 그해 말에 가서야 영국, 독일, 프랑스에서 동시에 공개 논쟁이 됐다.

두 번째는 칸토어 자신이다. 이 사실이 가장 결정적이다. 집합이라는 생각에서 모순이 생길 수 있음을 러셀이 처음 발견했다는 말을 정면으로 뒤집기 때문이다.

칸토어의 편지를 따라가면 적어도 1896년 무렵까지 거슬러 올라갈 수 있다. 1897년에는 이미 데데킨트와 이 문제를 논의하려 했고, 모든 알레프를 한데 모은 것과 같은 총체가 일으킬 문제를 힐베르트에게도 알렸다. 1899년 데데킨트에게 쓴 몇 통의 긴 편지에는 훨씬 더 온전한 설명이 남아 있다.

그는 편지에서 둘을 구별했다. 어떤 ‘여럿’은 완결된 하나의 전체로 묶어도 된다. 그는 이를 정합적이라고 불렀다. 반면 어떤 것들은 기어이 완결된 전체 하나로 취급하려 들면 모순이 생긴다. 이런 것들은 비정합적이라고 불렀다.

그는 이 때문에 자신의 이론이 파산했다고 선언하지 않았다. 그 대신, 하나로 총괄할 수 있어야 한다는 것 자체가 집합이 되기 위한 추가 조건이라고 말했다. 모순은 바로 그 점을 알려 준다. 아무리 분명하게 정의된 총체라도 집합이 아닐 수 있다는 것이다.

이 말은 훗날의 해결 방식에 상당히 가까이 가 있다. 그렇다고 나중의 이론을 그에게 거꾸로 집어넣어서는 안 된다. 어떤 총체가 정합적이고 어떤 것이 비정합적인지 형식적으로 가려낼 규칙은 아직 없었다. 그에게 있었던 것은 하나의 판단이었다.

그는 이 내용을 발표하지도 않았다. 주로 편지 속에 남아 있던 내용은 1932년 전집이 나오고서야 공개된 자료가 됐다. 그 전집을 편집한 사람이 체르멜로였다.

세 번째가 바로 체르멜로다. 그는 훗날 러셀과는 독립적으로, 러셀보다 먼저 같은 종류의 모순을 얻었다고 말했다. 예전 문헌에는 대개 1899년이라고 나온다. 다만 이 연도는 조금 유보해서 받아들여야 한다. 주된 근거가 훗날 본인이 한 회고이기 때문이다.

단단한 증거는 따로 있다. 1981년, 후설의 1902년 노트 한 권이 발견됐다. 거기에는 체르멜로가 얻은 형태의 모순이 제법 자세히 적혀 있었다. 이것으로 적어도 두 가지는 알 수 있다. 러셀의 결과가 공개된 글이 되기 전에 체르멜로의 논증이 이미 독일어권 학술망을 돌고 있었다는 것. 그리고 체르멜로가 1903년의 그 책을 읽고서야 떠올린 것은 결코 아니라는 것. 철학자가 그때그때 적어 둔 메모가 거의 여든 해 뒤, 수학자 한 사람의 발견 날짜를 되찾아 준 셈이다.

왜 수십 년 동안 알려지지 않았을까. 이유는 단순하다. 제때 발표하지 않았기 때문이다. 그 결과는 주로 괴팅겐의 구두 토론과 사적인 편지, 노트 속에서 살아 있었다. 14편에서 다룬, 반쯤만 공개된 종이의 세계가 여기에도 있다. 그 세계의 힘을 보여 주는 사례이면서 동시에 그 한계를 보여 주는 사례다. 집단 안에서는 퍼졌지만 인용할 수 있는 책 한 권에 들어가지 못했다. 결국 이름을 붙일 권리는 공개된 글을 가진 쪽에 돌아갔다.

러셀이 그 몇 줄을 떠올린 때는 1901년 5월이다. 해당 연월이 적힌 원고가 있으니 상당히 믿을 만하다. 프레게에게 편지를 쓴 해는 1902년이다. 둘 사이에는 1년이 넘는 간격이 있다. 흔히 같은 해의 일로 기억하는 것이 바로 이 두 날짜다.

그러므로 러셀이 한 일은 남보다 먼저 알아본 것이 아니었다. 그가 한 일은 따로 두 가지가 있었다. 모순을 단 몇 줄로 압축했고, 그 몇 줄을 이미 물러설 여지 없이 자기 주장을 세워 놓은 사람에게 보냈다. 둘이 합쳐졌을 때 비로소 우리가 아는 그 파장이 생겼다.

3. 그 몇 줄

그 몇 줄을 이해하려면 먼저 규칙 하나가 필요하다. 당시에는 조금도 수상해 보이지 않던 규칙이다. 규칙이라기보다 하나 마나 한 소리에 가까웠다.

어떤 조건을 분명히 말할 수 있기만 하면, 그 조건을 만족하는 것은 모두 저절로 하나의 묶음을 이룬다.

빨간 것들을 전부 모으면 한 묶음이다. 3보다 큰 정수들을 전부 모아도 한 묶음이다. 내가 아는 사람들을 전부 모아도 한 묶음이다. 이 말에 이의를 제기할 사람은 없을 것이다.

이제 그 규칙을 한 번 써 보자. 어떤 묶음은 자기 자신까지 품고 있다. 중국어로 명확히 말할 수 있는 것을 모두 모은 묶음은 그 자신도 중국어로 명확히 말할 수 있다. 그러니 자기 안에 들어간다. 어떤 묶음은 자신을 품지 않는다. 빨간 것을 모두 모은 묶음 자체는 빨갛지 않다. 그러니 그 묶음은 자기 안에 들어가지 않는다.

이제 조건 하나를 만들 수 있다. 자기 자신을 포함하지 않는다는 조건이다.

앞의 규칙에 따르면 자신을 포함하지 않는 묶음들도 모두 한데 모여 하나의 묶음을 이뤄야 한다. 그것을 ‘그 묶음’이라고 부르자.

한 가지만 묻자. 그 묶음은 자기 자신을 포함하는가.

자신을 포함한다면, 그것은 자신을 포함하는 묶음이다. 하지만 그 묶음에는 자신을 포함하지 않는 묶음만 들어갈 수 있다. 그러니 자기는 들어가면 안 된다.

자신을 포함하지 않는다면, 바로 그 조건을 충족한다. 그러니 자기는 들어가야 한다.

어느 길로 가도 출발할 때 한 말의 반대편으로 돌아온다.

그 묶음이 얼마나 기이한지가 문제는 아니다. 문제는 규칙이다. 그 규칙을 그대로 두는 한, 같은 몇 줄을 언제든 다시 쓸 수 있다.

이 몇 줄은 앞서 나온 모순들보다 훨씬 떨쳐 내기 어렵다. 필요한 것이 너무 적기 때문이다. 부랄리포르티의 모순을 얻으려면 먼저 서수에 관한 이론을 갖춰야 한다. 칸토어의 모순은 어떤 묶음의 부분집합을 전부 한데 모으면 원래의 묶음보다 더 커진다는 사실부터 알아야 한다. 러셀의 모순에는 그런 것이 하나도 필요 없다. 맨 앞의 하나 마나 해 보이는 말만 받아들이면 성립한다.

칸토어에게는 이런 일을 만났을 때 빠져나갈 길이 있었다. 지나치게 큰 총체는 애초에 집합이 아니라고 말할 수 있었다. 그의 이론은 규칙을 명문으로 못 박아 둔 형식 체계가 아니었으므로 움직일 여지가 있었다. 프레게에게는 없었다. 프레게 체계의 기본 법칙 V는 ‘값의 영역’이 서로 같아지는 조건을 정한 형식적 법칙으로, 현대 집합론의 포괄 원리를 그대로 적은 문장은 아니다. 그러나 체계 안의 개념 형성 방식 및 논리 규칙과 함께 쓰면 해당 모순을 도출하기에 충분했다. 러셀은 프레게의 체계 바깥에서 공격할 필요가 없었다. 그 안에 서서 모순을 끌어낼 수 있었다.

시대가 어긋나는 부분도 하나 짚고 가자. 우리는 편하게 집합이라고 말하지만, 당시 러셀과 프레게가 쓰던 말은 클래스, 개념, 개념의 외연이었다. 오늘날의 집합과 완전히 같은 것은 아니다. 집합으로 설명하면 이해하기는 쉽다. 다만 현대의 말로 옮겨 설명한 것임을 기억해야 한다.

그 뒤 서른 해 동안 들어간 노력의 상당 부분은 한 가지 문제를 향했다. 쓸모 있는 것까지 함께 버리지 않으면서, 어떻게 그 규칙을 다른 규칙으로 바꿀 것인가.

4. 프레게는 무너지지 않았다

먼저 가장 널리 퍼진 이야기부터 걷어 내자. 편지 한 통이 프레게의 일생을 망쳤고, 그는 정신적으로 무너져 그 뒤로는 아무것도 해내지 못했다는 이야기다.

앞부분의 기술적인 내용은 사실이다. 그는 문제가 얼마나 심각한지 곧바로 이해했고, 곧바로 고치려 했다. 제2권 끝에 붙인 부록에는 보완책도 내놓았다. 그러나 그 보완책으로 원래의 체계를 살릴 수 없었다는 것은 나중에 분명해졌다. 논리만으로 산술을 이끌어 내려던 그의 구체적인 방안은 실제로 끝이 났다.

뒷부분은 자료에서 끌어낸 결론이 아니다.

1903년 이후에도 그는 물러나지 않았다. 예나에서 계속 가르쳤다. 1903년부터 1917년까지 여러 편의 논문을 냈다. 1904년에 쓴 함수에 관한 글도 그중 하나다. 기하학의 기초를 어떻게 세울 것인지 힐베르트와의 논쟁도 이어 갔다. 은퇴 뒤인 1918년에는 「사상」을 발표했고, 이어 「부정」과 「사상의 구조」를 내놓았다. 지금도 논리학과 언어철학에서 읽어야 할 글들이다.

말년에 입장이 달라진 것은 맞다. 기존의 기본 법칙으로 원래의 계획을 완수할 수 없다는 점은 명백했다. 1920년대의 미발표 유고를 보면 그는 수학적 지식이 도대체 어디서 오는지 다시 생각하고 있었다. 기하학과 직관 쪽에서 산술의 뿌리를 찾아보려 했다. 하지만 유고 한두 쪽을 근거로 갑자기 신념을 갈아탔다고 말할 수는 없다. 우리가 할 수 있는 말은 두 문장이다. 뒤의 문장으로 갈수록 주장할 수 있는 범위는 좁아진다.

러셀의 모순은 프레게가 이미 출판한 산술 기초의 구상을 무너뜨렸다.

프레게를 무너뜨린 것은 아니다.

그렇다고 여기서 덩달아 안도할 수는 없다. 책 끝의 그 문장은 그가 직접 쓰고 자기 책에 실었다. 후세가 대신 꾸며 낸 감정이 아니다. 한 사람은 계속 가르치고, 계속 글을 쓰고, 스무 해를 더 살 수 있다. 그러면서 자신이 스무 해 동안 세운 건물의 기초 일부가 흔들린다는 사실을 인정할 수도 있다. 두 사실은 서로를 지워 주지 않는다. 뒤에서도 같은 난처함을 만나게 된다. 어떤 사람이 무너지지 않았음을 입증했다고 해서 아무 일도 일어나지 않았음이 입증되는 것은 아니다.

종이에 얽힌 일 하나를 더 적어 둘 만하다. 러셀과 프레게는 1902년부터 1904년까지 계속 편지를 주고받았다. 유명한 첫 편지 한 통이 전부가 아니다. 러셀 쪽에는 프레게에게서 받은 편지의 사진 복사본이 보관됐다. 그래서 일부 원본이 전해진 경위가 복잡하더라도 두 사람이 주고받은 내용은 재구성할 수 있다.

프레게의 유고는 그만큼 운이 좋지 못했다. 주로 논리학사 연구자 한 사람이 남긴 필사본과 복제 자료를 통해 전해졌으며, 그 사이 전쟁과 자료를 옮기는 과정에서 손실도 있었다. 오늘 우리가 볼 수 있는 유고는 처음의 모습 그대로가 아니다.

따라서 1902년의 사건은 수십 년 뒤의 회고에 기대어 재구성한 이야기가 아니다. 결정적인 그 편지들이 바로 당시의 종이다. 날짜와 선후 관계를 이렇게 단정해서 말할 수 있는 이유도 거기에 있다.

5. 프랑스인 네 사람의 논쟁

1904년, 체르멜로는 칸토어가 여러 해 주장하면서도 증명하지 못했던 말을 증명했다. 곧바로 논쟁이 벌어졌다. 소란은 역설 자체를 둘러싼 논쟁보다도 컸다.

우선 어떤 말이었는지 보자. 자연수에는 아주 소박한 성질이 있다. 그 안에서 비어 있지 않은 부분집합을 아무거나 고르면 언제나 가장 작은 원소가 있다. 하나, 둘, 셋 하고 세어 나가는 수에서는 어느 부분을 잡아도 첫머리가 있다.

실수에는 이 성질이 없다. 0보다 큰 실수 중에는 가장 작은 것이 없다. 무엇을 골라도 그보다 작으면서 여전히 0보다는 큰 실수를 찾을 수 있다.

칸토어의 주장은 이랬다. 실수 같은 것에도 어떤 순서를 매기는 방법이 있어서, 그 방법대로 늘어놓으면 이 성질이 생긴다. 비어 있지 않은 부분집합을 아무거나 골라도 그 안에서 맨 먼저 오는 것이 있다. 그는 여러 해 이 말을 했지만 증명하지는 못했다.

1904년 체르멜로가 증명에 성공했다. 그가 쓴 방법은 이렇다. 비어 있지 않은 각각의 묶음에서 하나씩 고른다.

훗날 선택 공리라고 부르게 되는 것이 바로 이 말이다. 여기에 쏟아진 반대는 한 종류가 아니었다. 여러 갈래였고, 각각 나름의 이유가 있었다.

한쪽에서는 체르멜로가 묶음마다 하나씩 고르라고만 할 뿐 어떻게 고르는지는 말하지 않았다고 지적했다. 그러니 규칙도 정의도 없는 대상을 놓고 증명하는 듯 보였다. 다른 쪽에서는 이렇게 거대한 규모로 한꺼번에 선택하는 행위 자체를 걱정했다. 집합론의 그 기이한 결과들을 만들어 낸 위험한 조작과 같은 종류가 아니냐는 것이다. 푸앵카레가 걱정한 것은 세 번째 문제였다. 무엇인가를 정의하면서 그 대상 자체가 들어 있는 전체를 슬그머니 끌어다 쓰지는 않았느냐는 것이다. 페아노의 반대에는 그가 따르는 체계의 입장이 담겨 있었다. 자신이 인정하는 형식적 원리들에서 도출할 수 없다면, 무슨 근거로 이 원리를 정당한 추론으로 받아들이느냐는 것이었다.

프랑스의 몇 사람은 특히 따로 적어야 한다. 이들은 흔히 한편으로 묶이기 때문이다. 1905년, 네 사람이 주고받은 편지가 「집합론에 관한 다섯 통의 편지」라는 제목으로 프랑스 수학회 회보에 실렸다. 베르, 보렐, 아다마르, 르베그였다.

보렐의 지적은 이랬다. 이 증명에는 실제로 고를 방법이 제시돼 있지 않고, 그렇게 얻는 순서도 구체적으로 적혀 있지 않다. 그의 입장은 다음 한 문장에 가깝다. 어떤 것이 있다고 선언하는 일과, 그것을 확정할 방법을 분명히 내놓는 일은 다르다.

베르는 대체로 보렐 쪽에 섰지만, 같은 말을 되풀이한 것은 아니다. 그는 특히 무한히 거듭하는 선택을 경계하며 두 경우를 구별하려 했다. 수학적으로 한 단계씩 실제로 붙잡아 갈 수 있는 선택과, 무한히 많은 선택이 이미 모두 끝났다고 통째로 가정하는 경우다. 그를 모든 선택 원리에 반대한 사람으로 그리면 지나치다. 이 프랑스 해석학자들 자신도 초기 연구에서 더 약한 형태의 선택을 암묵적으로 사용한 적이 있었다.

르베그는 ‘존재한다고 하려면 어떤 식으로든 지정할 수 있는 성질이 따라야 한다’는 입장에 가장 가까웠다. 그는 함수가 존재한다는 말과, 적어도 그것이 무엇인지 말할 수 있다는 요구를 완전히 떼어 놓고 싶어 하지 않았다. 당시 그는 측도와 정의 가능한 집합에 관한 연구의 한복판에 있었다. 그러니 이것은 나중에 철학을 갖다 붙인 설명이 아니다. 그가 날마다 하던 일이었다.

아다마르는 반대편에 섰다. 그가 보기에 진짜 쟁점은 유한 개를 고르느냐, 가산 개를 고르느냐, 비가산 개를 고르느냐가 아니었다. 존재한다는 것과, 유일하게 특정되도록 명확히 기술한다는 것을 같은 요구로 잘못 취급하고 있지는 않느냐가 쟁점이었다. 수학은 어떤 대상이 존재함을 증명할 수 있고, 그러고도 그 대상을 써낼 규칙까지 곧바로 제시할 의무는 없다는 것이 그의 생각이었다. 1905년의 그 서신들에서 그는 이 원리를 가장 힘 있게 옹호한 사람이었다.

따라서 ‘프랑스 수학자들은 선택 공리에 반대했다’는 말은 틀렸다. 네 사람 중 한 사람은 그 원리의 옹호자였고, 반대한 세 사람도 이유가 제각각이었다. 그 이유들끼리도 일치하지 않았다.

당시 사람들을 정말 불편하게 만든 것은 결론이 이상하게 들린다는 점이 아니었다. 증명과 제시 사이가 갈라졌다는 점이었다. 가장 선명한 예가 실수다. 체르멜로는 어떤 순서가 존재함을 증명할 수 있었지만, 그 순서가 어떻게 생겼는지는 전혀 보여 주지 않았다. 정의 가능성, 측도 가능성, 구체적인 함수 같은 문제를 막 현대 해석학 안으로 들여온 사람들에게 ‘있다는 것은 증명하지만 무엇인지는 알려 주지 않겠다’는 존재관은 몹시 거슬렸다.

13편의 끝은 바로 이 ‘있다’라는 말에 머물렀다. 1874년의 결과는 크기 비교에서 존재에 관한 결론을 이끌어 냈지만, 원문에 제시된 구간 절차로는 목록에서 빠진 실수를 구성할 수도 있었다. 반면 1904년의 정렬 정리 증명은 존재한다는 것과 구체적인 순서를 보여 달라는 요구를 한층 직접적으로 갈라놓았다. 일상의 말에서 ‘있다’는 뜻은 하나뿐이다. 일상에서는 그것을 실제로 꺼내 놓을 수 있기 때문이다.

1905년에 이르면 이 차이는 슬쩍 비켜 가도 되는 감상 한마디가 아니었다. 네 사람이 편지에서 정면으로 다투는 쟁점이 됐다. 그리고 그들이 다투는 물음은 하나였다. 수학에서 어떤 것이 존재한다고 말하려면, 대체 무엇을 갖춰야 하는가.

6. 그 규칙을 바꾸다

1908년, 체르멜로는 공리 체계 하나를 발표했다. 무엇을 하려는지 스스로 아주 솔직하게 밝혔다. 한편으로는 집합을 만드는 방식을 제한하되, 이미 알려진 모순을 막을 만큼 충분히 제한한다. 다른 한편으로는 칸토어의 이론에서 값진 것을 최대한 살려 둔다.

결정적인 한 걸음은 안전한 집합의 정의를 찾아낸 데 있지 않았다. 느슨했던 그 규칙을 폐기한 데 있었다.

새 방식은 이렇다. 어떤 조건에 맞는 모든 것이 저절로 한 묶음이 된다고 말해서는 안 된다. 먼저 주어진 묶음이 있어야 한다. 그 안에서 조건에 맞는 것을 골라 새 묶음을 만드는 것만 허용된다.

그러면 러셀의 그 몇 줄은 더 이상 써 내려갈 수 없다. 그 논증에는 세상의 모든 것을 한꺼번에 담는 큰 묶음이 필요하다. 그래야 자신을 포함하지 않는 것들을 전부 골라낼 자리가 생긴다. 이제 그런 큰 묶음은 없다. 체르멜로 자신도 이 점을 특별히 설명했다. 어떤 묶음이 주어졌을 때, 그 안에서 자기 자신에 속하지 않는 것들을 골라도 모순은 생기지 않는다. 오히려 이 방법은 모든 것을 담을 수 있는 보편집합이 존재하지 않음을 정확히 증명해 준다.

체르멜로는 자신이 하지 못한 일이 무엇인지도 잘 알고 있었다.

1908년 그가 한 말은 절제돼 있었다. 알려진 역설들은 이 제한 아래에서 만들어 낼 수 없다는 것이었다. 이 체계에서 다른 모순이 다시는 나오지 않으리라고 말한 것은 아니다. 후대의 설명은 이 말을 체르멜로가 집합론의 무모순성을 증명했다는 말로 바꾸어 놓곤 한다. 성립하지 않는 말이다. 차이도 아주 크다.

체계가 받아들여지는 과정도 한 번에 끝나지 않았다. 비판은 계속됐고, 특히 ‘확정된 성질’이라는 말이 정확히 무엇을 허용하는지 충분히 못 박지 않았다는 지적이 집중됐다. 1920년대에는 프렝켈과 스콜렘이 각각 기존 체계로 더 높은 단계의 집합을 만들기에는 부족하다고 지적하며, 훗날 치환 원리라고 불리는 것을 더하는 데 힘을 보탰다. 스콜렘은 ‘확정된 성질’을 일차 논리의 논리식으로 다루는 방법도 명시했다. 프렝켈이 치환의 발상을 제시한 것은 1922년 무렵이다. 스콜렘의 연구는 같은 해 헬싱키의 스칸디나비아 수학자 대회에서 발표됐고, 이듬해 출판됐다. 체르멜로는 처음에는 이런 수정에 전적으로 동의하지 않았지만, 나중에는 치환을 수용했다. 1930년 자신이 새로 내놓은 공리화에도 그에 해당하는 형식을 사용했다.

그러니 오늘날 두 사람의 이름을 달고 있는 그 공리 체계는 1908년의 논문 한 편에서 단번에 완성된 것이 아니다. 스무 해 넘게 고치고 뜻을 분명히 한 결과다. 그리고 세 번째 사람의 공헌은 그 이름에 들어 있지 않다.

러셀은 다른 길로 갔다. 1903년의 책에도 초기의, 비교적 단순한 층위 구분 구상이 있었다. 훗날 분지 유형 이론이라 불리는 형태가 갖춰진 것은 1908년 논문에 이르러서다. 이어 그것은 러셀이 화이트헤드와 함께 1910년부터 1913년까지 펴낸 세 권의 『수학 원리』에 들어갔다.

방식은 이렇다. 어떤 표현을 자신과 같은 층위의 대상에 아무 제한 없이 적용하는 일을 더 이상 허용하지 않는다. 대상들이 한 층위에 있다면, 대상들의 성질은 다른 층위에 있다. 그 성질들의 성질은 다시 또 다른 층위에 있다. 나중에는 이 층위 위로 ‘차수’라는 제한까지 더했다. 그러면 러셀의 그 몇 줄을 만들어 냈던 자기 지시의 조합은 애초에 적법하게 적어 낼 수 없게 된다.

값은 비쌌다. 순환을 막느라 층위 구조가 매우 복잡해졌고, 그 제한들은 보통의 수학에서 익숙하게 쓰던 정의들까지 함께 막아 버렸다. 충분히 풍부한 고전 수학을 되찾으려면 러셀과 화이트헤드는 가정을 하나 더 넣어야 했다. 환원 공리라고 부르는 가정이다.

그 가정을 넣는 순간 원래의 계획에는 금이 갔다. 목표는 수학을 오직 논리에서 이끌어 내는 것이었다. 그런데 늘 하던 수학을 되찾기 위해 순수한 논리적 진리처럼 보이지 않는 강한 가정을 더해야 했다.

길은 둘이었고, 치를 값도 둘이었다.

체르멜로 쪽에서 치른 값은 이렇다. 집합론은 ‘분명히 말할 수 있는 것은 무엇이든 한데 묶을 수 있다’는 자연스러운 생각에 더 이상 머무를 수 없었다. 먼저 명시해 두어야 하는 규칙들의 체계가 됐다. 러셀 쪽에서는 수학을 되찾기 위해 순수하지 않은 가정 하나를 인정해야 했다.

선택 공리가 훗날 어떤 자리를 얻었는지도 잠깐 볼 만하다. 1930년대에는 점점 더 자주 쓰였지만, 후대처럼 따로 말하지 않아도 당연히 깔고 가는 지위는 아직 아니었다. 당시에는 일종의 예의를 지켰다. 정리 하나를 증명할 때 선택 공리를 썼다면 썼다고 밝혔다. 철학적 반론이 사라진 것은 아니었다. 다만 표시해 둘 수 있는 자리에 놓인 것이다. 매우 실용적인 처리였다. 이견을 해결하는 대신, 어디에 이견이 있는지 밝혀 두라고 요구했다.

그리고 양쪽 모두 하지 못한 일이 하나 있었다. 자기 체계에서 모순이 나오지 않음을 증명하는 일이었다.

7. 위기라는 말

이제 그 낱말로 돌아갈 수 있다. 1921년, 바일이 발표한 글의 제목은 바로 「수학의 새로운 기초 위기에 관하여」였다. 『마테마티셰 차이츠슈리프트』 제10권에 실렸다. 그 말이 제목에 적혀 있다. 이보다 단단한 증거는 없다.

여기서 두 가지를 똑똑히 보아야 한다. 첫째, 1921년이다. 1901년도 1902년도 아니다. 사이에 거의 스무 해가 있다. 둘째, 바일은 ‘새로운’ 기초 위기라고 썼다. 이 글의 직접적인 배경은 러셀의 몇 줄이 아니었다. 고전 수학과 전통적인 논리 원리에 대한 브라우어의 도전이었다. 그 논쟁은 다음 편에서 따로 다룰 것이다.

따라서 1921년의 제목을 1901년으로 거슬러 붙여, 러셀이 역설을 발견하자마자 수학계가 그것을 집합론의 위기라고 불렀다고 쓰면 믿을 수 없는 설명이 된다. 1900년대의 당사자들이 쓰던 말은 달랐다. 모순, 이율배반, 역설, 기초였다.

그렇다면 당시 이 문제에 관여한 사람은 도대체 몇 명이었을까. 믿을 만한 통계는 없다. 당시 수학자가 몇 명이었고 그중 몇 퍼센트가 집합론의 위기에 참여했다는 식의 문장은 받아들이지 말아야 한다. 그런 수치를 뒷받침해 줄 명부가 없기 때문이다.

셀 수 있는 것은 글을 남긴 사람들이다. 1905년 프랑스의 편지 다섯 통에는 저자가 네 명 있었다. 여기에 1904년부터 1906년 사이 정렬과 역설에 관한 공개 논문을 쓴 체르멜로, 러셀, 조던, 베른슈타인, 홉슨, 하디, 푸앵카레, 페아노, 쇤플리스를 더하면, 실제로 글을 남긴 핵심 참여자가 금세 열댓 명에 이른다. 영국, 프랑스, 독일, 이탈리아에 걸친 사람들이다. 1920년대로 가서 힐베르트와 브라우어의 논쟁에 바일, 베르나이스, 아커만, 폰 노이만, 스콜렘까지 모두 넣으면 수십 명의 전문가가 연결된 연구망으로 커진다.

전문가 수십 명의 연결망도 하나의 수학 공동체다. 그러나 그것이 수학계 전체는 아니다.

이 논쟁의 지도도 뚜렷하다. 이탈리아 쪽에서는 페아노 학파와 팔레르모 수학회에서 시작됐다. 독일의 가장 중요한 중심지는 괴팅겐이었다. 힐베르트가 칸토어와 편지를 주고받았고, 체르멜로가 그곳에서 활동했다. 프랑스의 논쟁은 프랑스 수학회의 출판망을 탔다. 영국에서는 러셀이 1903년의 책과 조던, 하디 등과의 토론을 통해 이 문제를 수학계와 철학계 안으로 들여왔다.

반면 예나는 프레게 한 사람의 자리였다. 러셀이 1902년에 보낸 편지는 잘 갖춰진 연구소로 간 것이 아니었다. 상당히 고립된 한 개인의 계획으로 들어갔다. 14편에서 이야기한 그 기계는 프레게 곁에 한 대도 없었다.

눈에 띄는 시점이 하나 더 있다. 1936년 기호논리학회가 설립됐고, 같은 해 『기호논리학 저널』이 창간됐다. 이 분야에 자체 국제 학회와 전문 학술지가 생긴 것은 그때에 이르러서였다. 그 전까지 관련 글들은 일반 수학 학술지, 철학 학술지, 수학회 회보, 단행본, 사적인 편지에 흩어져 있었다. 소식이 그토록 불균등하게 퍼진 이유도 알 수 있다. 초기의 가장 중요한 내용들을 전한 것은 편지와 개인적인 왕래, 몇몇 종합 학술지였다. 이미 조직돼 있던 국제 논리학계가 아니었다.

그 수십 명 밖의 수학자들은 무엇을 하고 있었을까. 굵직한 정리 몇 개를 나열하는 것만으로 수학 전체가 중단되지 않았음을 증명할 수는 없다. 하지만 정말 모든 사람에게 번진 작업 중단이 있었다면 적어도 이런 흔적은 보여야 한다. 연구 계획이 멈추고, 학술지의 주제가 크게 바뀌고, 주요 학회가 기초 문제에 집중하고, 보통의 논문들이 대거 증명의 기준을 고치는 흔적 말이다. 그런 흔적은 찾아볼 수 없다.

폭발의 중심과 가장 가까운 해석학이 오히려 가장 강력한 반증을 준다. 1897년 제1회 국제수학자대회에서 아다마르와 후르비츠는 이미 집합론적 방법이 해석학에서 갖는 가치를 공개적으로 옹호했다. 1900년 전후에는 보렐, 베르, 르베그가 점집합, 함수 분류, 측도와 적분을 계속 밀고 나갔다. 이 연구들은 1897년에도, 1901년에도, 1902년에도 멈추지 않았다.

가장 기억할 만한 대비가 여기에 있다. 바로 그 프랑스 해석학자들이 편지에서는 체르멜로의 원칙을 따져 물으면서, 연구에서는 칸토어식 집합의 발상을 계속 폭넓게 활용했다. 논쟁이 바꾼 것은 그들이 무한에 관해 어떤 종류의 존재 논증을 받아들일 것인가였다. 르베그가 적분론을 그만둔 것도, 보렐이 집합을 손에서 놓은 것도 아니었다.

1930년대에 이르면 이 문제는 두 층으로 나뉘어 있었다. 기술적인 층은 안정됐다. 집합론은 뜻이 명확해지고 힘이 보강되면서 위상수학이나 실변수 함수론 같은 분야의 일상적인 도구가 됐다. 날마다 쓰였다. 철학적인 층에서는 어느 문제도 온전히 해결되지 않았다. 논쟁은 1930년대에 끝난 것이 아니다. 다만 놓일 자리를 얻었다.

역설을 발견한 당사자조차 그렇게까지 긴장하고 있지는 않았다. 러셀은 훗날 조던에게 보낸 편지에서, 부랄리포르티의 모순을 정말 진지하게 연구한 것은 1905년이 되어서였다는 취지로 말했다. 그 전에는 그 모순이 자신의 몇 줄보다 훨씬 복잡하며, 아마 기술적으로 풀 수 있는 문제에 지나지 않거나 자신의 모순부터 해결한 뒤에 살필 문제일 것이라고 생각했다.

널리 퍼진 멋진 말들도 잠깐 짚자. 푸앵카레가 후세는 집합론을 이미 완치된 병으로 보게 될 것이라고 말했다는 구절이 자주 인용된다. 신랄하면서도 멋진 말이라 여기저기 쓰인다. 하지만 푸앵카레가 실제로 했다는 믿을 만한 출처는 찾을 수 없다. 그 말을 인용하는 책은 꼬리를 물지만, 어느 책도 어디서 가져왔는지 밝히지 않는다.

이런 문장은 극적인 장면을 만드는 데 쓰인다. 증거로 쓰이는 것이 아니다.

8. 위기의 경계

2편에서도 같은 이름의 사건을 다뤘다. 그때는 일어났는지부터가 문제였다.

문제는 종이에 있다. 두 선분을 하나의 공통 단위로 남김없이 잴 수 없다는 것은 사실이다. 하지만 그 때문에 누군가가 발밑의 기초까지 무너지는 충격을 받았다는 당대의 종이는 남아 있지 않다. 익사 이야기는 한참 뒤에 나타났고, 보편적인 위기라는 이야기는 더 늦게 나왔다. 후대의 이야기가 왜 이런 구성을 좋아했는지는 짐작하기 어렵지 않다. 구조에 관한 사실에는 주인공도 반전도 없다. 사람 하나를 집어넣어야 주인공이 생기고, 한 차례의 붕괴를 집어넣어야 반전이 생긴다.

이번에는 그 결론을 복사할 수 없다.

이번에는 그때의 종이가 있다. 한 장만 있는 것도 아니다. 1902년부터 1903년 사이 프레게가 쓴 답장과 그 부록은 본인이 쓴 것이다. 1905년 프랑스의 네 사람이 벌인 공개 논쟁은 수학회 회보에 실렸다. 푸앵카레도 이 기이한 결과들을 놓고 글을 썼다. 체르멜로는 1908년 공리화의 목표 가운데 하나가 모순을 막는 것이라고 직접 명시했다. 아다마르는 1905년의 편지에서 가장 큰 서수의 모순을 이야기하며 대략 이렇게 말했다. 만약 이 모순이 정말 근본적인 데다 고칠 수조차 없다면 이성주의에 얼마나 처참한 패배가 되겠는가. 거기에 비하면 칸트의 이율배반들은 아무것도 아닐 것이다. 그리고 1921년에는 바일이 아예 ‘새로운 기초 위기’를 글의 제목에 넣었다.

고대 그리스의 사례에는 없던 것들이다. 따라서 둘 다 후세가 없는 일을 지어냈다고 말할 수는 없다.

하지만 두 이야기에는 같은 모양의 함정이 있다. 벗겨 내야 할 것은 바로 그것이다. 두 사건에 대한 현대의 설명은 부분적이고, 오래 걸렸고, 서로 성격도 다른 변화를 똑같은 극의 구조로 압축하기 쉽다. 하나의 발견, 한 차례의 위기, 모두의 동요, 새로운 기초의 탄생.

이번에 갈라 보아야 할 것은 세 층이다. 시기도 다르고, 사람들도 다르고, 다투는 대상도 다르다.

1890년대 말부터 1908년까지 다툰 것은 집합론과 논리학에서 나타난 기이한 결과들, 선택 공리, 그리고 공리화를 어떻게 할 것인가였다. 1910년대에서 1920년대로 넘어가면 논쟁의 범위가 넓어진다. 논리주의, 직관주의, 형식주의가 무엇을 정당한 수학으로 인정할 것인지를 놓고 맞선다. ‘위기’가 당사자들 스스로 입에 올리는 말이 된 것은 1920년대에 이르러서다. 그것도 이 세 번째 논쟁에서였다.

이 세 층을 한 겹으로 눌러 놓으면 익숙한 이야기가 완성된다. 1902년, 편지 한 통. 그 뒤로 수학계는 공포에 빠졌다.

그러므로 이 글의 판정은 2편과 다르다. 그리고 네 문장을 써야 끝낼 수 있다.

위기는 지어낸 것이 아니다.

1902년 하룻밤 사이에 생긴 것도 아니다.

수학 전체의 기초를 세우려던 소수에게는 깊은 영향을 미쳤지만, 날마다 수학을 하던 사람들에게 미친 영향은 훨씬 작았다.

후대에 주로 부풀려진 것은 범위와 극적인 효과였지, 역설들과 기초를 둘러싼 논쟁 자체는 아니었다.

전설 속 그 위기는 어쩌면 일어나지 않았을지도 모른다. 이번 위기는 일어났다. 다만 그 영향은 전해지는 이야기보다 훨씬 좁았다. 둘은 같은 해체처럼 보이지만 다르다. 앞의 경우에는 그 이야기가 일어났는지부터 물어야 한다. 뒤의 경우에는 실제로 있었던 이야기의 경계를 다시 그어야 한다. 뒤의 작업이 글로 쓰기는 더 어렵다. 독자에게 속 시원한 결론을 주지 못하기 때문이다.

여기까지 벗겨 내고 나면, 그래도 건져 갈 만한 것이 하나 있다. 앞의 네 문장보다도 오래 쓸 수 있는 것이다.

그 서른 해가 정말 해낸 일은 한바탕의 공포를 치료한 것이 아니었다. 모두가 당연히 받아들이던 말 하나를 찾아내고, 그것이 버티지 못한다는 것을 알아낸 뒤, 다른 말로 바꾼 일이었다.

그 말은 대략 이랬다. 조건 하나를 분명히 말할 수만 있으면, 그 조건에 맞는 것들은 저절로 하나의 묶음이 된다.

그토록 오래 아무도 의심하지 않은 까닭은 바로 그것이 너무도 하나 마나 한 소리 같았기 때문이다. 하나 마나 한 말을 굳이 점검할 사람은 없다. 많은 비형식적 설명에서는 이 말을 당연한 것으로 받아들였다. 반면 프레게는 그와 관련된 값의 영역 원리를 이미 정식으로 공리에 적어 넣었다. 그래서 그 결과도 한층 더 분명하게 떠안았다.

탈이 나는 곳은 대개 누가 보아도 수상한 곳이 아니다. 누구도 점검해 볼 생각을 하지 않은 그 한 문장이다.

이 연재에서 이런 일이 드러난 것은 처음이 아니다. 3편의 공리 같지 않던 공준도, 9편의 0이면서 0이 아니던 것도, 위에서 누르는 무게에 문제가 드러난 뒤에야 사람들이 돌아보았다. 이번에 중요한 점은 사람들이 직관적으로 허용하던 집합 형성과 이미 명시돼 있던 값의 영역 원리를 함께 점검했다는 것이다. 그것들이 정확히 무엇을 허용하는지 가려낸 뒤 규칙을 다시 썼다.

두 갈래의 수선 작업은 모두 끝났다. 하지만 양쪽에 남은 빈틈은 같았다. 어느 쪽도 자기 체계에서 모순이 생기지 않는다는 것을 증명하지 못했다.

이 빈틈을 메우는 일은 훗날 정식 과제로 제기된다. 하지만 그 전에, 누군가 먼저 나서서 다른 말을 했다. 당신들이 지키려는 그것은, 애초에 지켜서는 안 되는 것이라고.

수의 계산은 계속된다. 무엇을 수학으로 쳐야 하는지는, 여태 한 번도 결판난 적이 없다.

사료와 더 읽을거리

아래 자료는 본문에 나오는 역사적 세부 사항과 해석의 차이에 대응한다. 소장 기록, 고대 문학, 현대의 재구성은 같은 종류의 증거가 아니다.

• 맥마스터대학교 러셀 아카이브: 1902년 6월 16일 프레게에게 보낸 편지
• 베르·보렐·아다마르·르베그, 「집합론에 관한 다섯 통의 편지」 원문
• 체르멜로, 「집합론의 기초에 관한 연구」(1908) 원문
• 바일, 「수학의 새로운 기초 위기에 관하여」(1921) 원문
• 스탠퍼드 철학 백과사전: 러셀의 역설
• 1905년의 위기 이전 프랑스의 집합론 연구