괴델, 닫힘의 한계

1. 빈

1906년. 쿠르트 괴델은 오스트리아·헝가리 제국의 브륀에서 태어났다.

어린 시절 가족은 그를 ‘왜 선생’이라고 불렀다. 무엇이든 왜 그런지 물었다. 답 하나가 돌아오면 그 뒤에 또 다른 질문이 따라왔다.

아이는 그 버릇을 훗날 수학으로 가져갔다.

빈 대학교에서 그는 수학과 논리학으로 방향을 잡았다. 1920년대의 빈에는 지식의 토대를 다시 묻는 사람들이 모여 있었다. 빈 학단은 경험과 논리적 분석으로 과학을 명료하게 만들고자 했다. 세계에 관한 주장은 경험의 검증을 받아야 하며, 논리와 수학은 분석적인 것으로 이해했다. 그런 토대로 내려올 수 없는 거대한 말들은 과연 무언가를 말하고 있는가.

괴델도 이 토론들에 참여했지만 학단의 입장을 전부 받아들이지는 않았다. 먼저 그 젊은 청자를 기억해 두자. 명료하게 만드는 힘을 확신하던 시대에, 그는 명료화에 쓰이는 도구를 계속 물었다.

1931년 그는 불완전성 논문을 발표했다. 그해 스물다섯 살이 되었다. 그가 발견한 것은 논리의 실패가 아니라, 특정한 종류의 형식 이론에 놓인 경계였다.

2. 힐베르트의 꿈

괴델이 무엇을 했는지 알려면, 먼저 어디에 정을 댔는지 알아야 한다.

다비트 힐베르트. 당시 가장 영향력 있는 수학자 가운데 한 사람이었다. 1900년의 스물세 가지 문제는 이후 수학 연구에 여러 방향을 제시했다. 그는 수학이 ‘우리는 영원히 모를 것이다’ 앞에서 멈춰서는 안 된다고 믿었다. 문제가 거기 있다면 답을 찾거나, 요구된 일이 불가능함을 증명해야 한다.

뒤에 힐베르트 프로그램이라 불린 계획의 핵심 목표 하나는 수학을 형식화하고, 믿을 만한 유한주의적 방법으로 모순이 나오지 않음을 증명하는 것이었다. 완전성과 기계적 결정에 대한 포부도 여기에 연결되어 있었다. 한 벌의 규칙이 자기 영역의 모든 문제를 처리할 수 있을까. 서로 관련된 목표였지만 같은 요구는 아니었다.

그 포부를 책상 위에 올려 보자. 공리를 놓고 규칙을 적으며, 한 걸음 한 걸음을 확인할 수 있게 한다. 모든 산술적 참이 이 규칙을 따라 도달할 수 있는 곳에 있고 규칙끼리 결코 충돌하지 않는다면, 책상 위에는 빠진 것이 없는 세계가 놓인 듯할 것이다.

참으로 거대한 구축의 꿈이다. 여기서 ‘구축’은 먼저 우리가 세우는 공리와 규칙, 증명의 질서를 뜻한다. 전제에서 결론으로 가는 길이 보이고, 발을 디딜 근거가 있다.

칸트는 철학에서 물자체의 경계를 그었다. 그러나 이 수학의 꿈 안에서는 이런 물음이 솟는다. 순수한 형식은 우리가 직접 정하는데, 그래도 손아귀를 벗어나는 것이 있을까. 이것은 이 글이 놓는 대조이지, 두 사람의 문제를 그대로 맞바꿀 수 있다는 뜻은 아니다.

힐베르트의 확신은 깊은 영향을 주었지만, 수학의 기초로 향하는 길에서는 늘 논쟁이 있었다. 전 세계가 하나의 꿈을 꾼 것은 아니었다.

괴델의 두 정리는 그 포부의 가장 단단한 곳을 파고들었다. 기초를 탐구하는 일은 끝나지 않았다. 다만 모든 것을 단번에 마무리할 수 있으리라는 어떤 희망은 달라져야 했다.

3. 제1불완전성 정리

1931년 괴델은 「『수학 원리』 및 관련 체계의 형식적으로 결정 불가능한 명제들에 관하여 I」를 발표했다. 한 젊은이의 논문이 증명이 약속할 수 있는 범위를 바꾸었다.

오늘날 제1정리는 뒤에 로서가 강화한 결과를 포함하여 보통 이렇게 설명한다.

형식 이론의 공리들을 프로그램으로 효과적으로 열거할 수 있고, 그 이론이 충분한 초등 산술을 포함하며 무모순이라면, 즉 어떤 문장과 그 부정을 동시에 증명하지 않는다면, 그 이론 안에서 증명도 반증도 할 수 없는 산술 문장이 반드시 있다. 이것이 불완전성이다.

이론을 고정하면, 이 경계는 수학자의 머리가 아직 모자란다는 문제가 아니다. 자연수를 통상적으로 해석할 때 참과 증명 가능성은 다르다. 참인 산술 문장인데도 그 이론 안에는 증명이 없을 수 있다.

오늘은 못 찾았지만 내일 밤을 새우면 찾으리라는 이야기가 아니다. 공리와 규칙을 바꾸지 않는 한 그 증명은 존재하지 않는다. 더 강한 이론으로 바꾸면 전에 풀리지 않던 문제 일부를 풀 수 있다. 그러나 새 이론도 그 조건들을 만족한다면, 그 안에도 새롭게 미결인 문장이 생긴다.

괴델은 어떻게 했을까. 공식과 증명을 자연수로 부호화하여 산술이 증명에 관해 말할 수 있게 했다. 그런 다음 대략 ‘이 이론 안에는 나의 증명이 없다’라는 뜻을 가진 산술 문장을 구성했다. 말장난으로 만든 역설이 아니라, 단계마다 확인할 수 있는 수학적 구성이다.

만약 이 문장에 이론 내부의 증명이 있다면, 부호화된 증명 관계는 그 문장이 주장하는 증명 불가능성과 충돌한다. 따라서 무모순성은 그런 증명을 배제한다.

이론 밖에서 보면, 이론이 무모순이라는 전제 아래 실제로 그런 증명은 없다. 그러므로 그 괴델 문장은 통상적인 자연수에 관해 참이다. 그 부정 역시 증명할 수 없음을 보이는 데에는 괴델의 원래 논증에서 더 강한 조건을 썼다. 로서는 뒤에 구성을 바꾸어, 보통의 무모순성만으로 충분하도록 만들었다.

따라서 효과적으로 공리화할 수 있고 충분한 산술 능력을 갖춘다는 조건 아래에서는 무모순성과 완전성을 함께 가질 수 없다. 이 조건을 슬쩍 지워서는 안 된다. 더 약한 이론 가운데 완전한 것도 있다. 모든 참인 산술 문장을 공리로 삼아도 무모순이고 완전한 이론을 얻지만, 그 공리들을 효과적으로 열거하는 절차는 가질 수 없다.

힐베르트식 포부가 여기서 마주친 것은 수학이 이제 할 말을 잃었다는 사실이 아니다. 이런 종류의 고정된 규칙 한 벌로는 산술이 할 말을 모두 끝낼 수 없다는 경계다.

4. 제2불완전성 정리

두 번째 정리는 증명하는 사람의 발밑으로 문제를 돌려보낸다.

효과적으로 공리화할 수 있고 충분한 산술 능력을 갖추며 증명에 관한 통상적인 조건들을 만족하는 이론은, 무모순이라면 ‘이 이론은 무모순이다’를 표준적인 방식으로 표현한 산술 문장을 자기 내부에서 증명할 수 없다.

자기 어깨를 밟고 서서 자신을 들어 올리려는 것과 비슷하다. 비유는 짧아도 정리의 조건을 생략할 수는 없다.

힐베르트는 수학에 믿을 만한 무모순성 증명을 주고 싶었다. 괴델의 결과는 그 희망에 경계를 그었다. 사용하는 유한주의적 추론이 이미 대상 이론 안에서 표현될 수 있다면, 그 추론만으로는 이 일을 마칠 수 없다. 더 강한 틀에서 상대적인 무모순성 증명을 찾을 수는 있지만, 그러면 그 새로운 틀의 근거를 설명해야 한다. 수학이 이 때문에 멈춘 것도, 모든 근거를 잃은 것도 아니다.

특정한 자기 보증을 어떤 내부 도구들만으로는 해낼 수 없다는 말이다. 이 생각을 삶으로 가져가는 순간, 우리는 증명에서 비유로 넘어간다.

사람들은 흔히 소크라테스의 태도를 ‘자기가 모른다는 것을 안다’고 요약한다. 그는 질문으로 아는 체하는 자세를 드러낸다. 한 사람이 앎에 어떻게 대면하는가의 문제다.

괴델의 질문은 다르다. 훨씬 엄밀하게 정해져 있고 범위도 좁다. 그래도 함께 읽으면 한 가지 자세 앞에서 머뭇거리게 된다. 자기 설명을 충분히 아름답게 정리하기만 하면, 필요한 보증을 이미 모두 마련했다고 믿는 자세다.

장자의 우화에서는 일곱 구멍이 뚫리고 혼돈이 죽는다. 선의로 형태를 만드는 일도 눈앞의 생명을 파괴할 수 있다. 그 대가를 논리적 모순으로 환산할 수는 없다.

괴델에게서는 효과적인 규칙, 충분한 산술, 무모순성을 유지하려면 ‘이 규칙들이 모든 것을 결정해야 한다’는 요구를 내려놓아야 한다. 이것은 정확한 경계이지, 완전한 것은 무엇이든 무너진다는 말이 아니다.

우화 속 혼돈은 죽었다. 하지만 뒤에 읽는 사람들에게는 질문이 남는다. 우리가 질서를 세우며 놓친 것은 무엇인가. 이 글은 정리 곁에서 빛을 빌려 그 질문을 비춘다. ‘닫힘의 한계’는 여기서 읽기의 실마리이지, 모든 것을 해결하는 정리가 아니다.

5. 산책

1940년 괴델과 아내 아델레는 나치 지배 아래의 유럽을 떠나 미국에 도착했고, 프린스턴에 정착했다. 괴델은 그전에도 고등연구소를 방문한 적이 있었다.

그곳에서 아인슈타인과의 우정이 깊어졌다.

두 사람은 연구소와 집 사이를 자주 함께 걸었다. 한 사람은 산술의 형식화에 경계를 그었고, 다른 사람은 물리학이 공간과 시간, 중력을 이해하는 방식을 바꾸었다. 서로 다른 두 질문이 같은 길을 걸었다.

1905년 아인슈타인의 특수상대성이론은 뉴턴식 절대 시간과 공간의 그림을 바꾸었다. 1915년 일반상대성이론은 중력을 평탄한 배경 위에 작용하는 힘만으로 다루는 대신, 시공간의 기하로 기술했다. 그는 20세기에 가장 깊숙이 정을 댄 사람 가운데 하나였다.

그러나 양자이론 앞에서 그는 확률을 마지막 답으로 삼지 않는 기술을 계속 찾았다.

양자역학은 측정 결과의 확률을 제시하며, 위치와 운동량이 동시에 얼마나 확정될 수 있는지에 제약을 둔다. 하지만 측정 이전의 물리적 실재를 어떻게 이해할지는 해석에 따라 다르다. ‘측정 전에는 아예 답이 없다’를 모든 물리학자의 공통 결론으로 말할 수는 없다.

주사위를 던지지 않는 신의 이미지는 아인슈타인의 불만을 드러냈다. 그는 포돌스키, 로젠과 함께 쓴 1935년 논문에서 파동함수가 물리적 실재를 완전하게 기술하는지 물었다. 문제는 무작위성뿐 아니라, 멀리 떨어진 계들이 어떻게 저마다의 실재를 가질 수 있는지에도 있었다. 말년의 통일장 탐구 역시 빠뜨린 변수 하나를 찾는 일에 그치지 않았다.

여기서 ‘완전한 기술’과 괴델이 말한 형식 이론의 완전성은 서로 다른 문제다. 수학 정리 하나가 두 사람을 대신해 양자이론의 논쟁을 판결할 수는 없다.

그러므로 길 위의 두 사람을 ‘이미 한계를 받아들인 사람’과 ‘죽을 때까지 받아들이지 않은 사람’으로 나눌 필요가 없다. 둘 다 여전히 묻고 있었다. 괴델 자신도 수학과 철학의 작업을 계속했다. 불완전성을 발견한 뒤 모든 질문을 내려놓은 것이 아니었다.

그래도 이 장면은 다정하다. 두 사상가가 함께 걷는다. 친구가 되기 전에 세계관을 하나의 답으로 합칠 필요는 없다. 기록되지 않은 논쟁을 그 산책에 써넣을 필요도 없다.

널리 전해지는 회상에 따르면, 아인슈타인은 말년에 괴델과 함께 걸어서 집에 돌아가는 즐거움 때문에 연구소에 간다고 말했다고 한다. 거대한 이론들 바깥에 이 길 한 구간도 있었다.

6. 굶주림 속의 죽음

괴델은 오랫동안 신체적·정신적 질환으로 고통받았다. 말년에는 특히 박해받는다는 두려움이 심각해졌다.

그는 음식에 독이 들어 있을까 봐 두려워했다. 아델레는 오랜 세월 그의 식사를 도왔고, 그를 위해 먼저 음식을 먹어 보기도 했다. 그녀는 아내이자 중요한 의지처였다. 천재를 계속 작동시키는 장치가 아니었다.

1977년 아델레 자신도 중병으로 입원하여 이전처럼 돌볼 수 없게 되었다.

괴델의 식사와 건강 상태는 더 나빠졌다. 친구들과 의료진이 도움을 주려 했다. 이 이야기의 잔혹함은 세상에 실제로 요리할 줄 아는 사람이 한 명밖에 남지 않았다는 데 있지 않다. 병 때문에 가까이 온 도움을 받아들이기 어려워졌다는 데 있다.

1978년 1월 14일, 괴델은 프린스턴에서 영양실조와 기아로 인한 쇠약으로 사망했다. 도슨의 전기에 따르면 사망 당시 체중은 65파운드, 약 29.5킬로그램에 불과했다.

증명을 이토록 명료하게 보는 사람도 생각만으로 병에서 벗어나지는 못할 수 있다. 정리를 이해한다고 무엇이든 견디는 몸이 생기는 것은 아니다.

계속 ‘구축’이라는 말을 빌리자면, 여기서 가장 보아야 할 것은 삶이 관계와 돌봄에 의존한다는 사실이다. 병은 도움을 받아들이는 능력을 손상했다. 하지만 그 자체로 목적인 사람의 지위를 취소한 것은 아니며, 비난받아야 할 철학적 선택도 아니었다.

그러므로 우리는 병상 앞에서 멈추되, 그의 죽음을 ‘불완전성 정리가 육신이 된 모습’으로 만들지 않는다. 정리는 형식적 증명의 한계를 다루고, 돌봄은 구체적인 한 사람을 향한다. 둘 사이에 의학과 생애 연구를 대신할 인과의 지름길은 없다.

소크라테스의 독배, 예수의 십자가, 괴델의 굶주림은 이 연작 안에서 서로를 비출 수 있다. 그러나 ‘누구를 믿었기에 어떻게 죽었다’는 표로 줄일 수는 없다. 재판과 처형, 중병에는 각각 지워서는 안 되는 사정이 있다.

신뢰와 두려움, 구축과 나머지는 실제로 삶 안으로 들어온다. 여기서 사유는 그 사람을 더 많이 보게 해야 한다. 증명의 예시 하나만 남기는 대신에.

7. 나머지의 보존

이제 괴델을 이 연작 안에 놓을 수 있다.

소크라테스는 빈터까지 파고들었다. 안다고 여기는 것을 깎아 냈다.
공자는 인을 향해 파고들었다. 각자가 서는 땅을 향해.
노자는 언어의 가장자리에 이르러 전설 속에서 떠났다.
장자는 혼돈을 돌아보며 정을 대는 일의 대가를 보았다.
칸트는 깎은 뒤에 세웠다. 인식에 경계를 긋고 물자체를 남겼다.
니체는 바닥까지 파고들었다. 신은 죽었다.
왕양명은 방향을 바꾸었다. 안으로, 양지로 향했다.
석가모니는 뗏목으로 강을 건넜다. 저편에 이른 뒤에는 뗏목을 짊어지지 않았다.
십자가의 예수는 용서의 목소리를 남겼다.

괴델은 이 자리에 다른 종류의 작업을 가져온다. 앞선 아홉 사람의 삶에 수학으로 인증을 찍어 주는 것이 아니다. 명확히 정해진 영역 안에서 어떤 한계를 증명한다.

소크라테스는 안다고 여기는 것을 앎으로 착각하지 않으며, 괴델은 어떤 이론이 무엇을 증명할 수 있는지 구분한다. 두 질문 모두 자만을 흔들 수 있다. 그렇다고 소크라테스의 삶이 하나의 정리로 환원되지는 않는다.

장자의 일곱 구멍과 혼돈은 선의로 형태를 만드는 일의 대가를 보여 준다. 괴델의 결과는 어떤 형식화 목표들을 동시에 이룰 수 없음을 인정하게 한다. 함께 읽는 힘은 각각의 경계를 비추는 데 있지, 우화를 방정식으로 옮기는 데 있지 않다.

칸트는 인식의 조건을 묻고, 괴델은 특정 이론들의 내부적 무모순성 증명에 한계를 둔다. 같은 도구만으로는 그 아래 놓인 땅의 모든 보증을 마련하지 못할 수 있다. 우리는 그 울림을 듣는 동시에 물자체와 형식적 증명 사이의 거리를 지킬 수 있다.

노자는 언어가 자신이 가리키는 것을 어떻게 가리는지 묻고, 괴델은 참과 증명 가능성을 구분한다. 증명할 수 없는 그 문장은 바로 글로 적을 수 있다. 한 벌의 규칙으로 증명할 수 없다는 것은 말할 수 없다는 뜻이 아니다. 언어와 증명의 경계는 여기서 이웃하지만 겹치지 않는다.

석가모니는 강을 건넌 뗏목에 집착하지 말라고 가르치고, 괴델은 고정된 규칙의 한계를 드러낸다. 이것은 독자가 도구에 대한 맹신을 내려놓게 할 수 있지만, 무상을 수학적 결론으로 바꾸지는 않는다.

이 연작이 엮는 그림에서 그들은 서로 다른 곳에서 벽을 만지는 듯하다. 벽은 저자가 그들을 잇는 비유다. 괴델이 실제로 남긴 것은 명확한 전제가 있고 단계마다 확인할 수 있는 증명이다.

‘나머지의 보존’은 다 거두어 넣지 못한 것에 이 글이 붙인 이름이지, 괴델이 증명한 보존 법칙이 아니다. 수학은 여기서 엄밀한 사례를 하나 제공한다. 고정된 이론 안의 결정 불가능성은 탐색 시간이 짧아서 생기는 문제가 아니라 구조적인 것이다. 어디에도 답이 없다는 말도, 더구나 진리가 없다는 말도 아니다.

닫힘의 한계. 눈앞의 구축물이 온 세계를 대신하는 척하지 못하게 하자는 뜻으로 읽는다면, 그것은 이 글이 맡고 싶은 당부다.

나쁜 소식일 필요는 없다. 다시 시작할 이유가 될 수도 있다.

누군가 모든 사람을 설명했다고 주장하는 완벽한 체계를 건넨다고 상상해 보자. 나머지도 사각지대도 없다. 공자와 소크라테스, 예수와 장자는 각주로만 배치될 것이다. 이 연작이 저항하는 것은 바로 다른 사람이 계속 말할 자격을 빼앗는 그런 봉쇄다.

우리는 각자가 정을 댄 작업과 실제로 열린 틈을 남겨 두고 싶다. 정리가 모든 생각의 옳음을 보증해서가 아니다. 어느 누구의 삶도 다른 사람의 체계에 달린 각주로만 취급되어서는 안 되기 때문이다.

다리 어귀에는 사람들이 가득 서 있어야 한다. 수를 채우려는 것이 아니라, 서로 다른 사람들이 계속 만나고 묻고 서로를 고칠 수 있도록. 각자는 목적이며 단순한 수단이 아니다. 이것은 이 글의 윤리적 입장이지 산술에서 연역한 결론이 아니다.

괴델은 형식 이론의 어떤 한계를 증명했다. 뒤에 그는 병과 굶주림 속에서 죽었다. 그의 삶은 정리의 부록만이 아니다.

그의 증명은 아직 살아 있다.