칸토어, 무한보다 더 크게

I. 무한에도 크기가 있을까

백만까지 세었다고 해 보자. 거기에 하나를 더할 수 있다. 그다음에도 하나를 더할 수 있다. 아무리 멀리 가도 다음 수가 기다리고 있다.

우리는 대개 이런 식으로 무한을 만난다. 끝나지 않는 길이다. 그런데 두 무한 가운데 어느 쪽이 더 크냐고 묻는다면, 질문부터 잘못된 것처럼 들린다. 둘 다 끝까지 갈 수 없다면 무엇을 비교한다는 말인가.

칸토어는 방향을 바꾸었다. 끝에 도착하려는 일은 잠시 접어 두자. 한쪽의 모든 것을 다른 쪽의 것과 하나씩 짝지었을 때 어느 쪽에도 남는 것이 없다면, 두 모임의 크기가 같다고 해도 되지 않을까.

수학을 뒤집기보다는 의자를 배치하는 이야기 같다. 하지만 그 소박한 질문 안에서 새로운 땅이 열린다. 무한은 먼 곳을 가리키는 손짓에 머물지 않고, 따져 볼 수 있는 모양을 얻기 시작한다.

칸토어가 실수의 비가산성에 관한 결과를 발표한 것은 1874년이다. 널리 알려진 대각선 논법은 1891년에 나왔다. 그 사이에는 계산과 편지, 수정과 다른 사람의 작업이 있었다. 무한의 역사가 한 번의 번뜩임으로 바뀐 것은 아니다.

비극을 먼저 덧씌우지 말고 논증부터 따라가 보자. 수학적 주장은 증명을 필요로 하고, 정신질환을 겪는 사람은 돌봄을 필요로 한다. 하나로 다른 하나를 설명하려 할 때 이야기는 깊어지는 것이 아니라 사실에서 멀어진다.

II. 모두에게 의자가 하나씩

사람이 가득한 방에서 의자 수와 사람 수가 같은지 알아보려면 반드시 두 숫자를 먼저 셀 필요는 없다. 한 사람씩 서로 다른 의자에 앉으면 된다. 서 있는 사람도, 빈 의자도 없다면 수가 맞는다. 일대일 대응은 이 익숙한 장면에서 출발한다.

이제 양의 정수 1, 2, 3, 4를 2, 4, 6, 8과 짝지어 보자. 모든 정수에는 두 배인 짝수가 있고, 모든 양의 짝수도 제 짝을 찾는다. 우리가 끝까지 실행할 수 없다는 이유로 이 규칙이 멈추지는 않는다.

짝수는 여전히 양의 정수의 일부다. 홀수는 빠져 있다. 그런데 두 집합의 기수, 곧 이런 방식으로 비교한 크기는 같다. 유한한 모임에서는 분명하던 상식이 그대로 옮겨지지 않는다. 일부를 덜어 냈다고 반드시 크기가 작아지는 것은 아니다.

분수는 더 곤란해 보인다. 서로 다른 두 유리수 사이에는 또 다른 유리수가 있다. 이렇게 빽빽한 풍경을 어떻게 한 줄로 세워 저마다 정수 번호표를 나눠 줄 수 있을까.

양의 분수를 분자와 분모에 따라 격자에 놓고 대각선을 차례로 훑으면 된다. 1/2과 2/4처럼 같은 수는 건너뛴다. 여기에 0과 음의 분수까지 포함하면 모든 유리수가 자리를 얻는다. 이 대각선은 격자를 지나가는 경로다. 곧 나올, 어떤 목록에도 빠지는 수가 있다는 논법과는 다른 쓰임이다.

이 크기를 ℵ₀, 알레프 영이라고 부른다. 셀 수 있는 무한이다. 정수도 양의 짝수도 유리수도 여기에 들어간다. 그렇다면 모든 무한이 결국 같은 크기는 아닐까. 이제 우리는 답을 미리 정하는 대신 질문할 근거를 얻었다.

III. 목록에 없는 수 하나

누군가 0과 1 사이의 실수를 전부 적었다며 목록을 내민다고 하자. 첫째 줄에도 소수 하나, 둘째 줄에도 소수 하나가 있다. 줄에는 1, 2, 3처럼 양의 정수 번호가 붙어 있다.

목록 전체를 검사할 필요는 없다. 첫째 줄의 소수 첫째 자리, 둘째 줄의 둘째 자리, 셋째 줄의 셋째 자리를 읽는다. 대각선으로 내려가면 각 줄에서 그 줄과 달라질 자리 하나를 얻는다.

새 소수는 1과 2만 써서 만든다. 읽은 숫자가 1이면 2를 쓰고, 그 밖의 숫자면 1을 쓴다. 그러면 새 수는 첫째 줄과 첫째 자리에서, 둘째 줄과 둘째 자리에서, n번째 줄과 n번째 자리에서 반드시 달라진다.

굳이 1과 2만 고르는 데는 이유가 있다. 0.4999…와 0.5000…은 겉모습은 다르지만 같은 실수다. 숫자 표기가 다르다고 언제나 다른 수인 것은 아니다. 아름다운 논증도 이런 작은 구멍을 막아야 한다.

새 수는 어느 줄에 있을까. 첫째 줄에는 없다. 첫째 자리가 다르다. 둘째 줄에도 없다. 둘째 자리가 다르다. 어느 줄을 가리키든 바로 그 줄을 피할 장치를 이미 마련해 놓았다.

그런데 새 수 역시 0과 1 사이의 실수다. 모든 수를 적었다던 목록에 없는 수가 생겼다. 종이가 부족했던 것도 아니고 이 목록만 서툴렀던 것도 아니다. 양의 정수로 줄을 매긴 어떤 목록에도 같은 방법이 통한다.

이는 1891년 논법을 소수로 설명하는 현대적인 방식이지 칸토어의 원문을 그대로 옮긴 것이 아니다. 1874년의 증명은 다른 길을 택했다. 핵심은 끝까지 세지 못했다는 경험에서, 이런 방식으로는 전부 셀 수 없다는 증명으로 넘어가는 데 있다.

훗날 튜링의 뒤집기에서도 닮은 움직임을 볼 수 있다. 하지만 거기서는 프로그램과 보편적인 판정 절차가 문제이지, 목록에서 빠진 소수 하나가 문제가 아니다. 방법이 건너갈 수는 있다. 대상과 전제와 결론은 그때마다 새로 밝혀야 한다.

IV. 한 계단 더 만드는 법

자연수의 크기를 ℵ₀, 실수의 크기를 c라고 하자. c가 더 크다는 사실은 알았다. 그렇다면 c가 마지막 무한일까.

칸토어는 되풀이할 수 있는 작업을 제시한다. 어떤 집합에서 만들 수 있는 부분집합을 전부 모으는 것이다. 이를 멱집합이라고 한다. 두 사람이 있는 모임에서는 아무도 고르지 않거나, 첫 사람만, 둘째 사람만, 두 사람 모두를 고를 수 있다. 네 가지다.

어떤 집합이든 멱집합은 원래 집합보다 크다. 각 원소에 부분집합 하나를 배정해서 모든 부분집합을 빠짐없이 대응시켰다고 해 보자. 이제 자신에게 배정된 부분집합 안에 들어 있지 않은 원소들만 모은다. 이 새 부분집합을 어느 원소에 배정해도 그 원소의 포함 여부에 모순이 생긴다.

어떤 집합을 내놓아도 더 큰 크기가 있다. 가장 큰 기수가 정상에서 기다리며 이제 그만 올라오라고 말해 주지 않는다.

하지만 기호를 조심해야 한다. ℵ₀, ℵ₁, ℵ₂는 차례로 이어지는 무한 기수들이다. 멱집합을 만드는 일이 반드시 바로 다음 알레프로 이동하는 것은 아니다. 둘을 같은 계단 그림으로 그리면 어려운 질문의 답을 슬쩍 넣어 버리게 된다.

무한은 정밀해졌지 완전히 정복된 것이 아니다. 모든 것을 내려다보는 마지막 전망대가 주어진 것도 아니다. 대신 계속 작업할 수 있는 도구를 얻었다. 다음에 무엇이 가능한지 정확히 묻는 방법이다.

V. 두 계단 사이

ℵ₁은 ℵ₀보다 큰 무한 기수 가운데 가장 작은 것이다. c는 ℵ₁과 같을까. 다시 말해 셀 수 있는 무한과 연속체 사이에 또 다른 크기가 있을까.

이것이 연속체 가설이다. 칸토어는 여러 해 동안 이 문제를 풀려고 애썼다. 다시 출발할 때의 피로를 짐작할 수는 있다. 그렇다고 어려운 문제가 그 사람의 질환을 설명하는 진단서가 되는 것은 아니다.

힐베르트는 1900년의 유명한 문제 목록에서 이 질문을 첫 자리에 놓았다. 칸토어가 해결하지 못했다고 질문이 사라지지 않았다. 뒤의 수학자들은 무엇을 해결이라고 부를 수 있는지부터 바꾸어 놓았다.

괴델은 1938년 상대적 무모순성 결과를 얻었고 1940년에 이를 다룬 저서를 냈다. 코언은 1963년 상보적인 결과를 내놓았다. 둘을 합치면, 통상적인 집합론 공리계 ZFC가 무모순일 경우 ZFC 안에서는 연속체 가설도 그 부정도 증명할 수 없다는 뜻이다.

ZFC 안에서라는 말을 빼면 안 된다. 가능한 모든 수학적 틀이 영원히 이 질문을 다룰 수 없다는 뜻은 아니다. 이후에는 새로운 공리와 여러 모형을 검토하는 연구가 이어졌다. 어떤 공리를 택할지도 원하는 답이 나오는가만으로 결정할 일은 아니다.

아직 찾지 못한 추론이 남아 있을 때가 있다. 채택한 규칙만으로는 답이 정해지지 않을 때도 있다. 둘을 구별하는 것 역시 진전이다. 풀리지 않은 문제가 한 사람의 무능을 증명할 필요는 없으며, 그를 모욕할 자격을 주지는 더더욱 않는다.

VI. 두 개의 책상

크로네커는 중요한 반대자였다. 수학에서 무엇을 대상으로 인정하고 어떤 방법을 허용할지에 관해 훨씬 엄격한 기준을 가졌다. 논쟁에는 실제 지적 쟁점이 있었고, 동시에 학계의 권력이 불균등하게 나뉜 현실도 있었다.

그렇다고 칸토어의 경력이 악의적인 문지기 한 명과 모든 사람의 거부로 설명되지는 않는다. 바이어슈트라스 등은 그를 지지했다. 칸토어는 할레에서 수십 년을 일했고 수학 공동체를 만드는 데 참여했다. 지지와 적대, 좌절과 질환에는 하나의 원인만 있지 않았다.

데데킨트도 있었다. 1873년의 편지는 천재가 청중에게 발견을 일방적으로 알린 기록이 아니다. 두 수학자가 질문과 증명과 개선안을 주고받았다. 두 책상 사이를 종이가 오갔기에 생각이 이어졌다.

여기에는 제대로 갚지 않은 인정의 빚도 남는다. 데데킨트는 자신의 증명과 개선이 칸토어의 1874년 논문에 들어갔지만 충분한 공개적 공로 표기를 받지 못했다고 기록했다. 칸토어의 큰 업적이 그 기록을 없애 주지는 않는다.

2026년 콴타는 오래 잃어버린 것으로 여겨졌던 편지를 데미안 고스가 2025년 할레에서 찾아냈다고 보도했다. 1873년 11월 30일 자 편지에는 데데킨트가 대수적 수의 가산성을 증명한 내용이 들어 있다. 최근의 보도, 남아 있는 문서, 동기에 관한 추측을 같은 종류의 증거로 취급해서는 안 된다.

그렇다고 모든 것이 훔친 업적이었다는 반전도 아니다. 비가산성과 초한수에 대한 기여는 각각 따져야 한다. 데데킨트 역시 칸토어를 더 복잡한 인물로 꾸미는 조연이어서는 안 된다. 그가 한 일에는 그의 이름이 놓여야 한다.

부당한 대우를 받은 사람이 다른 사람에게 부당하게 행동할 수 있다. 그 사실은 분명히 말해야 한다. 하지만 상처가 반드시 다른 상처로 옮겨 간다는 법칙은 없다. 피해를 입었다고 다음 잘못이 불가피해지거나 용서되는 것은 아니다.

한 생애를 이해하는 일은 무조건 옹호하는 일보다 어렵다. 성취가 들어갈 자리, 고통이 들어갈 자리, 충분히 인정받지 못한 다른 사람의 자리를 함께 남겨야 한다.

VII. 서로 다른 세 가지 경계

칸토어, 괴델, 튜링. 이름을 나란히 놓고 싶어진다. 세 사람 모두 완전하게 끝낼 수 있으리라는 강한 기대가 엄밀한 한계와 만나게 했다.

칸토어는 모든 실수를 자연수로 열거할 수 없음을 보인다. 괴델은 산술을 담을 만큼 강하고 효과적으로 공리화된 형식 체계를 연구한다. 튜링은 특정 문제의 모든 경우를 판정하는 보편 알고리즘이 있는지를 묻는다. 하나의 정리를 세 번 말한 것이 아니다.

대각선 구성과 부호화와 자기 언급은 중요한 연결을 만든다. 하지만 목록과 증명 체계와 프로그램은 다른 대상이다. 연속체 가설의 독립성이 이름만 바꾼 정지 문제인 것은 아니다.

철학 독자는 여기서 겸손의 실마리를 얻을 수 있다. 강력한 도구를 이해한 뒤 그 힘이 어디까지 미치는지 묻는 것이다. 이는 수학에 대한 해석이지 우리가 바라는 모든 철학적 결론의 수학적 증명이 아니다.

무엇보다 질병과 박해와 죽음을 따름정리로 붙이면 안 된다. 한계를 발견한 사람은 그 한계에 파괴된다는 식으로 말이다. 튜링은 국가의 박해를 받았고 칸토어는 반복되는 질환을 겪었다. 그들의 생애는 정리 옆에 붙인 삽화가 아니다.

방법에 한계가 있다는 사실과 사람에게 친구, 휴식, 일, 돌봄이 필요하다는 사실은 함께 있다. 고통을 통찰의 깊이를 인증하는 표지로 만들면, 기억하겠다는 사람에게 또 다른 짐을 얹게 된다.

VIII. 꼭대기가 없다고 길도 없는 것은 아니다

계단으로 돌아가 보자. 어느 지점에서든 더 큰 집합이 있는지 물을 수 있다. 충분히 높은 곳에 올라섰다고 그 답이 갑자기 없다고 바뀌지는 않는다.

플라톤의 선이나 헤겔의 체계 같은 거대한 사유의 건축물을 떠올릴 수 있다. 비교는 거기서 시작할 수 있지만 거기서 끝나지는 않는다. 기수에 관한 정리가 이데아론을 곧장 반박하거나 역사의 목적지를 결정해 주지는 않는다.

칸토어 자신도 종교적 물음에 깊이 관여했다. 그는 수학의 초한과 신학의 절대적 무한을 구별했다. 그를 모든 궁극적 질문을 폐기한 사람으로 그리면 정작 자신의 생각에서 중요한 부분을 지워 버린다.

그의 작업은 아무것도 할 수 없다는 발견보다는 더 나은 측정 도구를 만드는 일에 가깝다. 가산성, 비가산성, 멱집합. 구별이 하나 생길 때마다 발을 디딜 자리가 조금 더 단단해진다.

눈앞의 일을 하려면 먼저 모든 것을 가져야 하는 것은 아니다. 집합론 전체를 익히지 않아도 변화는 보인다. 막연한 영원히가 사람들이 함께 다투고 고치고 연구할 수 있는 무엇이 되었다.

계단에 가장 높은 칸은 없다. 그렇다고 오늘 한 칸도 오를 수 없다는 뜻은 아니다. 칸토어의 수학이 남기는 것은 앞의 말이지, 뒤의 말까지 받아들이라는 명령이 아니다.

IX. 여기 앉아도 된다

칸토어는 1918년 1월 6일 할레의 정신병원에서 일흔두 살로 세상을 떠났다. 반복되는 질환이 만년에 영향을 주었고 전쟁은 생활 여건을 악화시켰다. 무한이 마침내 그의 정신을 가져갔다는 해설을 붙이지 않고도 그 사실을 기억할 수 있다.

힐베르트가 칸토어의 낙원을 말한 유명한 표현은 칸토어 사후의 것이다. 수학에 열린 공간을 가리키는 말이지, 그 공간을 연 사람의 일상을 설명하는 말은 아니다. 한 분야의 뒤늦은 승리는 과거로 돌아가 환자의 곁을 지켜 줄 수 없다.

이 연작의 상상 속 다리에서 칸토어는 여전히 위를 바라본다. 펜으로 공중에 ℵ₀과 ℵ₁을 그린다. 그 너머에도 자리가 있다.

너무 많이 보아서 미쳐 버린 눈을 그에게 줄 필요는 없다. 설명하다가 신이 나서 누군가 알아듣기를 바라는 사람일 수 있다.

체호프가 조금 다가온다. 흄은 백개먼을 내려놓는다. 튜링은 기호가 적힌 종이를 들고 있다. 누구도 그에게 인생 전체를 마지막 교훈 하나로 줄여 말하라고 하지 않는다.

칸토어는 계속해도 되고 잠깐 멈춰도 된다. 또 하나의 놀라운 정리를 입장료로 요구하지 않고 들어 줄 사람이 있다.

쉬는 동안 계단은 사라지지 않는다. 자신이 열어 놓은 길에 완전히 소진된 몸을 바쳐야 할 의무도 없다.

위로는 더 갈 수 있다. 여기에는 의자가 있어도 된다.