산술이 자신을 말하게 하다

1. 하루 차이

1930년 9월 7일, 쾨니히스베르크. 스물네 살의 한 청년이 학회 마지막 날 종합 토론에서 짤막한 말을 꺼냈다.

그를 위해 마련한 학회도, 그가 얻은 결과를 발표하는 강연도 아니었다. 이름은 제2회 정밀과학 인식론 학회. 9월 5일부터 7일까지 열린 이 모임은 현지 수학자 라이데마이스터 등이 주도했다. 의제는 크게 둘이었다. 수학의 기초, 그리고 양자론이 불러온 인식론적 문제. 수학 기초를 다루는 자리에서는 당시의 주요 입장을 의도적으로 나란히 놓았다. 카르나프는 논리주의를, 하이팅은 직관주의를, 폰 노이만은 힐베르트의 구상을, 바이스만은 비트겐슈타인의 영향을 받은 입장을 이야기했다. 한도 이쪽 토론에 참여했다.

정식 프로그램에 올라 있던 괴델의 발표 주제는 다른 결과였다. 일차 논리의 완전성. 전해에 막 이루어 낸, 무엇이 가능하다는 쪽의 성과였다. 여기서 완전하다는 말은 일차 논리의 모든 의미론적 귀결에 형식적 유도가 있다는 뜻이다. 어떤 산술 공리계가 그 언어의 모든 문장에 대해 그 문장 또는 그 부정을 증명할 수 있다는 뜻이 아니다. 이 두 가지 완전성을 뒤섞어서는 안 된다.

불완전성 이야기는 마지막 날 종합 토론에서 나왔다. 발표 제목도, 따로 배정된 시간도 없었다. 회의록에도 일요일 토론과 보충 기록에 들어가 있다. 그가 한 말의 요지는 이랬다. 형식 체계가 모순 없이 유지되더라도, 그 안에서는 증명할 수도 반박할 수도 없는 산술 명제가 생길 수 있다.

다음 날인 9월 8일, 같은 도시의 다른 회의장. 독일 자연과학자·의사 협회 총회에서 힐베르트가 「자연 인식과 논리」라는 제목으로 강연했다. 그해 그의 나이는 예순여덟이었다. 맺음말 두 문장은 이후 셀 수 없이 인용되었다. 우리는 알아야 한다. 우리는 알게 될 것이다. 그 앞에는 흔히 빠뜨리는 말도 있었다. 앎의 영역에 원리적인 ‘우리는 알지 못할 것이다’는 없다는 취지였다. 이 대목은 정식으로 출판된 강연 원고에 있고, 당시의 라디오 방송 녹음도 남아 있다.

두 일의 간격은 하루. 순서는 괴델이 먼저, 힐베르트가 나중이다.

가장 널리 퍼진 이야기는 이렇다. 힐베르트가 우리는 알게 될 것이라고 외쳤지만, 실은 그 전날 한 청년이 이미 그가 틀렸음을 증명해 놓았다.

이 이야기에는 사실이 다 들어 있다. 딱 하나, 증거가 없는 것이 있다. 둘 사이의 인과관계다.

힐베르트가 9월 8일 강연 전에 전날의 짤막한 발언을 알고 있었다고 입증할 만한 신뢰할 수 있는 자료는 없다. 그 맺음말이 누군가에 대한 응답이었다는 증거는 더더욱 없다. 강연에는 그 나름의 내력이 있었다. 제목도 논지도 이 일 때문에 급히 써 넣은 것이 아니었다. 같은 도시에 머물며 이웃한 학회에 참석했다고 해서 그 자리에 있었다는 뜻은 아니다.

더 중요한 문제도 있다. 힐베르트의 두 문장은 수학과 과학의 인식 능력에 관한 넓은 신념이었다. 괴델의 정리는 주어진 하나의 형식 체계 안에서 무엇을 증명할 수 있는가에 관한 정리였다. 실제로 날짜가 하루 차이라고 해도, 두 주장이 논리적으로 서로를 부정하는 한 쌍이 되는 것은 아니다.

날짜가 붙어 있었던 것은 사실이다. 두 사람 사이에 벌어졌다는 그 극적인 장면에는 증거가 없다.

이 정리는 훗날 수학사에서 가장 자주 끌어다 쓰는 정리 가운데 하나가 되었다. 그렇게 빌려 쓸 때 사람들이 하는 말은 대개 정리 자체가 했던 말이 아니다.

2. 정리가 겨눈 것은 무엇인가

정리가 어디를 겨누었는지 보려면 힐베르트가 하려던 일부터 되짚어야 한다. 앞 글에서 보았듯, 그는 수학을 두 층으로 나누었다. 아래층에는 구체적인 내용을 지닌 유한적 수학이 있다. 눈앞의 기호, 길이가 유한한 기호열, 유한한 단계로 끝나는 절차. 직접 보고, 세고, 확인할 수 있는 것들이다. 위층에는 고전 해석학과 집합론에 등장하는 무한한 것들이 있다. 그는 이것들을 ‘이상적 요소’라고 불렀다.

위층은 있어도 그만, 없어도 그만인 부스러기가 아니었다. 13편에서 만난 셀 수 없는 집합들, 15편에서 공리로 다시 경계를 세운 대상들, 미적분 전체와 현대 해석학이 그 층에 있었다. 이를 포기하면 지난 200년 동안 이루어 놓은 수학의 태반을 도로 내놓는 셈이었다. 브라우어가 요구한 것이 바로 구성적 의미가 없는 부분을 걷어 내자는 것이었고, 대다수 수학자는 받아들이려 하지 않았다.

힐베르트는 없애는 대신 보증하자고 했다. 아래층에서 출발해 위층에서는 모순이 나오지 않는다는 것을 증명하자는 구상이었다.

모순이라고 하면 어딘가 계산을 틀렸다는 뜻처럼 들린다. 그런 정도의 일이 아니다. 한 체계에서 모순이 도출된다는 것은 어떤 문장 하나와 그 부정을 모두 증명할 수 있다는 뜻이다. 통상적인 논리에서는 이런 일이 한 번 생기면 한 군데의 오류로 끝나지 않는다. 체계 전체가 쓸모없어진다. 서로 모순되는 두 문장에서 출발하면 아무 문장이나 도출할 수 있기 때문이다. 무엇이든 증명할 수 있다면 아무것도 증명하지 못한 것이나 마찬가지다.

그가 원한 것은 틀린 데가 없는지 한 번 더 점검하는 일이 아니었다. 이 체계에서는 앞으로도 영원히 모순이 나오지 않는다는 보증서였다. 그 보증서 자체도 가장 확실한 수단으로 작성해야 했다. 지금 안전을 보증해 주려는 바로 그 수단들을 다시 빌려 써서는 안 되었다.

요구는 절제되어 있었고 분명했다. 수학적 대상이 정말 존재하느냐고 묻지 않았다. 무한을 써도 되는지 따지지도 않았다. 물음은 하나였다. 이 방법대로 계산을 계속해 나가다 보면 언젠가 0과 1이 같다는 결과가 나오지는 않는가.

1928년 볼로냐에서도 그는 상당히 낙관적이었다. 산술의 무모순성 문제가 곧 풀릴 것이라고 보았다. 아커만은 1920년대에 중요한 증명을 시도했지만, 그 증명들에 빈틈이 있다는 사실은 나중에야 드러났다.

1930년 9월의 그 짧은 발언이 겨눈 곳은 여기였다.

3. 구문을 수로 바꾸다

이제 이 글에서 독자가 정말로 주의를 기울여야 할 유일한 대목에 왔다. 해야 할 일은 한 가지뿐이다. 우선 두 층을 구별하자. 형식화된 산술은 본래 무엇을 이야기하는가. 자연수, 덧셈, 곱셈, 그리고 수에 관한 진술이다. 1 더하기 1은 2라는 말은 이 층에 속한다.

다른 층에는 우리가 체계 바깥에 서서 그 체계를 두고 하는 말들이 있다. 이 기호열은 올바르게 구성된 논리식이다. 이 줄은 공리다. 이 수십 줄을 합치면 하나의 증명이 된다. 저 논리식은 증명할 수 있다. 이 층을 보통 메타수학이라고 부른다. 여기서 말하는 대상은 수가 아니라 기호와 증명이다.

괴델이 한 일은 둘째 층을 첫째 층의 말로 옮기는 것이었다. 어떻게 옮길까.

먼저 형식 언어의 기본 기호마다 번호를 하나씩 붙인다.

다음으로 기호열 하나, 곧 논리식 하나를 통째로 하나의 수로 부호화한다.

그다음에는 논리식들의 열, 곧 증명이 될 후보 하나도 하나의 수로 부호화한다.

부호화 방식을 고르는 데 무슨 신비가 있는 것은 아니다. 후대에는 여러 다른 방식을 썼어도 결과는 달라지지 않았다. 중요한 것은 두 가지다. 부호화한 뒤 원래의 것으로 유일하게 되돌릴 수 있어야 하고, 되돌리는 데 쓰는 연산은 모두 초등적인 계산이어야 한다. 이보다 더 쉬운 말로 대신하기는 어렵다. 다만 이것 하나는 붙잡을 수 있다. 집어넣은 것을 그대로 꺼낼 수 있다면, 기호 하나도 잃지 않았다는 뜻이다.

부호화를 마치면 이런 일이 일어난다. “이것은 올바르게 구성된 논리식이다”가 “이 수는 어떤 성질을 가진다”로 바뀐다. “이것은 공리다”는 수의 또 다른 성질이 된다. “이 수가 나타내는 것은 증명이고, 그 마지막 줄은 다른 수가 나타내는 바로 그 문장이다”는 두 수 사이의 관계가 된다.

수에 관한 이 성질과 관계는 충분히 강한 산술 안에서 모두 표현할 수 있다. 이유는 단순하다. 형식적 증명이 올바른지 확인하는 일 자체가 한 단계씩 기계적으로 진행하는 유한한 작업이기 때문이다.

산술은 여전히 자연수만을 이야기한다. 말을 할 줄 알게 된 것은 아니다. 달라진 점은 이제 어떤 자연수들이 논리식과 증명의 이름이기도 하다는 것이다. 그래서 자연수에 관한 산술 문장 하나가 간접적으로 “어떤 문장에는 증명이 있다”거나 “그 문장의 증명을 부호화한 수는 없다”는 뜻을 말할 수 있게 된다.

마지막으로 한 단계가 더 필요하다. 가장 정교한 단계이기도 하다. “문장의 부호를 그 문장 자체에 대입한다”는 조작마저 산술로 부호화하는 것이다. 여기까지 해내면, 그 문장이 말하는 산술적 사실이 정확히 “어떤 자연수도 이 문장의 증명을 부호화하지 않는다”에 대응하도록 문장 하나를 만들 수 있다.

교과서에서는 흔히 이를 한마디로 줄인다. 이 문장은 자신이 증명 불가능하다고 말한다. 기억하기 위한 문구로는 괜찮다. 다만 그것이 1931년 논문에 등장하는 문장의 문자 그대로의 내용은 아니다. 그 문장은 처음부터 끝까지 자연수를 다룬다. 부호화와 증명 사이의 어떤 산술적 관계를 말한다. 일상 언어의 “이 문장은 거짓이다”와는 다른 것이다. 바로 그 차이 때문에, 모순 없는 체계 안에서 곧장 모순을 터뜨리지 않는다.

이 글의 제목은 정확히 그 뜻이다. 산술에 의식이 생긴 것이 아니다. 기호와 증명을 수로 부호화하자, 원래 체계 바깥에 서서 하던 말의 일부를 안으로 옮길 수 있게 된 것이다.

4. 세 가지 조건

이제 정리가 무엇을 말하는지 이야기할 수 있다. 그 논문은 1931년 수학과 물리학을 다루는 월간 학술지 제38권에 실렸다. 원 학술지의 쪽수로 26쪽이며, 원고에는 1930년 11월 17일에 접수했다고 적혀 있다. 제목을 옮기면 대략 「『수학 원리』 및 관련 체계의 형식적으로 결정 불가능한 명제들에 관하여, 제1부」다. 여기서 『수학 원리』는 화이트헤드와 러셀이 쓴 세 권의 책을 가리킨다. 수학의 원리를 통칭하는 말이 아니다. ‘관련 체계’란 이 증명이 특정한 기호 체계 하나에만 통하는 것이 아니라, 상당히 넓은 범위의 형식화된 산술과 집합론에도 적용된다는 뜻이다. 끝에 붙은 ‘제1부’에도 실제 사연이 있다. 괴델은 후속 논문을 생각했지만, 처음 구상한 대로 쓰지는 않았다.

오늘날 흔히 쓰는 정리의 진술은 대략 이렇다. 모순이 없고, 효과적으로 공리화할 수 있으며, 충분한 초등 산술을 표현할 수 있는 모든 형식 이론에는 그 이론의 언어로 쓰인 어떤 문장이 있어서, 이론은 그 문장도 그 부정도 증명하지 못한다.

세 조건 가운데 어느 하나도 빼서는 안 된다. 하나씩 보자.

모순이 없어야 하는 이유는 앞에서 설명했다. 이미 모순을 도출하는 체계라면 무엇이든 도출할 수 있다. 거기서는 ‘증명하지 못하는 문장이 있는가’라는 질문 자체가 의미가 없다. 괴델이 한 말은 모순이 있든 없든 독립적인 명제가 있다는 것이 아니다. 아직 스스로 무너지지 않은 체계에서도 완전성에 도달할 수 없다는 것이다.

효과적으로 공리화할 수 있어야 한다는 조건은, 아무도 손에 넣을 수 없는 진리의 목록을 가져다가 공리와 증명을 미리 정해 놓는 일을 막는다. 엄밀히 말해 현대의 정리는 어떤 문장이 공리인지를 곧바로 판정하는 알고리즘까지 요구하지 않는다. 공리나 정리들을 기계적인 절차로 하나씩 열거할 수 있으면 충분하다. 공리 집합을 효과적으로 열거할 수는 있어도 그것이 판정 가능하지는 않을 수 있다. 그럴 때는 증명에 각 공리가 열거 과정에서 실제로 나왔다는 유한한 증거를 함께 붙이면 된다. 그러면 증명 전체를 확인하는 작업은 여전히 유한한 기계적 절차가 되고, “어떤 수가 증명 하나를 부호화한다”는 말도 산술 안에 넣을 수 있다.

이 조건이 무엇을 막는지는 반례 하나를 보면 가장 분명해진다. 표준 자연수에서 참인 산술 문장을 전부 모아 하나의 이론으로 삼아 보자. 이 이론은 어떤 의미에서는 완전하다. 모든 문장에 올바른 답을 준다. 그러나 바로 그 목록은 효과적으로 공리화할 수 있는 이론이 아니다. 우리에게는 그 목록을 손에 넣을 방법이 없다.

충분히 강해야 한다는 조건은, 이론이 앞서 본 부호화를 감당할 만큼 초등 수론의 능력을 갖추어야 한다는 뜻이다. 유한한 수열과 대입, 기본적인 계산을 처리하고, “이 수는 저 문장의 증명을 나타내는 부호다” 같은 관계를 표현할 수 있어야 한다.

미적분도, 실해석학도, 고등 수론도 필요하지 않다. 이 문턱은 놀랄 만큼 낮다.

문턱을 어디까지 낮출 수 있는지는 다른 글에서 다룰 일이다. 여기서는 어느 쪽에 문턱이 놓여 있는지만 기억하면 된다. 고등 수학을 많이 포함하는지가 아니라, 상당히 기초적인 계산과 유한한 구문을 부호화할 수 있는지가 기준이다.

오늘날 이렇게 말끔히 정리된 진술은 1931년 논문에 실린 그대로의 모습은 아니다. 괴델의 원래 증명은 ‘이 문장도 그 부정도 증명할 수 없다’는 양방향 결론을 얻기 위해 보통의 무모순성보다 강한 조건을 썼다. 1936년 로서는 자기 지시 문장을 바꾸어, 조건을 보통의 무모순성으로 낮추었다. 오늘날 교과서에 실린 판본의 이름 아래에는 사실 두 사람이 있는 셈이다.

세 조건을 다 살펴보았지만, 아직 말하지 않은 낱말이 하나 있다. ‘참’이다. 제1정리의 가장 기본적인 결론은 특정 이론 안에서 어떤 문장을 증명할 수도 반박할 수도 없다는 것이다. 그 문장이 표준 자연수에서 참인지 말하려면, 바깥에서 어떤 해석과 가정을 쓰는지 밝혀야 한다. 통상적으로 구성하는 괴델 문장이라면 그 이론의 무모순성만으로도 바깥에서 그것이 표준 자연수에서 참임을 도출할 수 있다. 이론의 모든 정리가 참이라는 조건까지 더할 필요는 없다. 하지만 그렇다고 우리가 그 무모순성을 아무 전제 없이 안다는 보장이 저절로 생기지는 않는다. 그러니 ‘이 체계 안에서 결정 불가능하다’고 쓰는 것은 정확하다. ‘인류가 영원히 증명할 수 없는 절대적 진리를 보았다’고 쓰는 것은 전혀 다른 이야기다.

5. 사흘

제2정리의 요지는 이렇다. 모순이 없고, 효과적으로 공리화되어 있으며, 충분히 강한 산술 이론은 통상적인 증명의 부호화와 해당 유도 가능성 조건을 만족하는 증명 가능성 술어, 표준적인 무모순성 문장을 사용할 때, “이 체계에서는 모순이 나오지 않는다”는 주장을 자기 내부에서 증명할 수 없다.

가장 힘주어 읽어야 할 말은 ‘자기 내부에서’다. 어떤 이론의 무모순성도 증명할 수 없다는 말이 결코 아니다. 더 강한 이론은 더 약한 이론에 모순이 없음을 얼마든지 증명할 수 있다. 이후 증명론에서는 일상적으로 하는 일이다. 정리가 막는 것은 특정한 자기 보증의 고리다. 어떤 이론이 자신의 증명을 부호화할 만큼 강하고 실제로 모순도 없다면, 자신이 인정하는 통상적인 수단만으로 자기 전체의 안전을 보증하는 문서를 완성할 수는 없다.

1936년에 겐첸이 한 일은 바로 이 지점을 선명하게 비춘다. 그는 특정 순서수에 이르기까지의 초한 귀납법을 써서 페아노 산술의 무모순성을 증명했다. 그 과정에는 페아노 산술 내부에서 정당성을 완전히 증명할 수 없는 더 강한 원리들이 필요했다. 따라서 이는 제2정리의 반례가 아니었다. 오히려 정리가 허용하는 바로 그 일이었다. 더 강한 곳에 서서 더 약한 곳을 보증하는 것.

이 정리는 힐베르트 구상에서 가장 야심 찬 부분을 건드렸다. 다만 거기에는 ‘만약’이 하나 붙는다. 당시에는 그 조건이 이미 해결되었다고 여기지 않았다.

제2정리로 곧장 그 계획에 불가능 판정을 내리려면, 먼저 한 가지를 받아들여야 한다. 가장 확실하다고 여긴 유한적 추론 방법들을, 연구 대상인 그 산술 체계 안에서 충실하게 형식화할 수 있다는 것이다.

1931년 1월 베르나이스는 괴델에게 보낸 편지에서 신중하게 말했다. 폰 노이만은 모든 유한적 사고를 체계 안에 형식화할 수 있다고 보는 쪽이었지만, 자신과 괴델은 아직 결론 난 문제로 여기지 않았다는 것이다. 1930년대 중반에 이르러서야 전통적인 유한적 방법들은 적어도 상당히 약한 산술 안에서 형식화할 수 있다는 견해가 널리 받아들여졌다. 그때 비로소 이 정리가 준 타격도 논리학계의 표준적인 이해가 되었다.

따라서 ‘1931년 괴델이 단번에 힐베르트 프로그램을 끝냈다’는 말을 당시 당사자 모두가 동의했던 판단처럼 써서는 안 된다. 폰 노이만은 아주 일찍 강한 부정적 결론에 이르렀다. 반면 베르나이스와 괴델은 처음에는 유한적 방법을 전부 형식화할 수 있는지에 관해 여지를 남겨 두었다.

흔히 빠뜨리는 사실이 하나 더 있어 여기서 짚고 가야 한다. 실패한 것은 그 구상의 가장 야심 찬 목표였지, 거기서 남겨진 것들까지 함께 사라진 것은 아니었다. 형식적 증명 자체를 연구하고, 이상적 요소를 제거하고, 서로 다른 이론의 강도를 비교하는 일. 이 기술적 연구 노선 전체는 살아남았다. 현대 증명론은 상당 부분 그 전통이 충격을 겪은 뒤에도 계속 자라나 만들어진 학문이다. 그 전통의 묘비가 아니다.

이 이야기에서 폰 노이만에 관한 대목은 증거가 가장 탄탄하다. 날짜가 적힌 편지들이 있기 때문이다. 쾨니히스베르크의 토론을 마치고 돌아간 그는 계속 생각하다가 더 날카로운 귀결을 보았다. 충분히 강한 산술 체계에 모순이 없다면, 자연스러운 내부 부호화 방식으로 자신의 무모순성을 증명할 수 없다는 것이었다. 1930년 11월 20일, 그는 괴델에게 편지를 보내 기록해 둘 만한 이 따름정리를 발견했다고 알렸다.

그런데 괴델의 논문 원고는 이미 11월 17일 학술지에 도착해 있었다. 그 결과도 들어 있었다.

사흘 차이였다.

이 사흘 덕분에 한 가지는 확정된다. 투고된 괴델의 원고가 시간상 앞섰고, 폰 노이만은 그 부분의 세부 내용을 받지 못한 상태에서 같은 귀결을 대단히 빨리 독자적으로 발견했다. 투고의 선후가 그의 독립적인 발견을 무효로 만들지는 않는다. 그렇다고 두 사람이 함께 만들어 낸 결과도 아니다. 폰 노이만이 먼저 발견한 정리를 괴델이 나중에 논문에 끼워 넣었다는 이야기는 이 사흘을 넘어설 수 없다.

“그 자리에서 알아들은 사람은 폰 노이만뿐이었다”는 말은 멋있다. 하지만 뒷받침해 줄 명단은 없다. 자료로 분명히 확인되는 것은 하나다. 그가 깊은 귀결을 빠르게 포착했다는 데에는 유난히 명확한 서신 증거가 있다. 나머지 수십 명이 각각 얼마나 이해했는지는 알려 줄 자료가 없다.

6. 소식은 어떻게 퍼졌는가

1931년의 그 논문은 청년 한 사람이 아무도 없는 허공으로 띄운 원고가 아니었다. 그 시절 괴델이 지내던 빈에는 촘촘한 인적 연결망이 있었다. 대학의 한스 한은 그의 지도교수이자 수리논리학과 수학 기초론, 빈 학단을 잇는 인물이었다. 괴델은 카르나프에게도 논리학을 배웠다. 학생 때부터 슐리크를 중심으로 모인 사람들의 토론을 들으러 다녔다. 다만 토론에 참석했다는 것과 그 학파에 속했다는 것은 다르다. 훗날 그의 철학은 카르나프와 아주 다른 방향으로 나아갔다.

흔히 빠뜨리는 또 하나의 모임은 멩거의 수학 세미나다. 이곳은 수학에 무게가 실린 자리였다. 슐리크의 철학 모임과 겹치는 부분은 있었지만 같은 모임은 아니었다. 세미나에서는 자체적으로 논문집도 냈고, 나중에는 괴델의 짧은 논문도 실었다. 짧은 논문, 세미나, 학회, 학술지. 빈에서는 이것들이 서로 맞물려 빠르게 돌아갔다.

그러니 소식이 처음 바깥으로 퍼진 곳은 쾨니히스베르크가 아니라 빈이었다. 초기의 일정은 촘촘하다. 1930년 8월 26일 괴델은 카르나프 등에게 핵심 결과를 알렸다. 9월 7일 쾨니히스베르크의 종합 토론에서 공개적으로 언급했다. 11월에는 투고했고, 1931년에 정식으로 출판되었다. 각각 사적인 전달, 학회 발언, 투고, 출판이다. 서로 바꾸어 쓸 수 없고, 넷을 모두 ‘최초 발표’라고 부를 수도 없다.

힐베르트 본인이 어느 날 알게 되었는지는 특정할 수 없다.

폰 노이만과 베르나이스, 괴델 사이의 편지들은 힐베르트 진영 내부에 소식이 빠르게 전해졌음을 보여 준다. 그렇다고 힐베르트 자신이 언제 읽었는지, 언제 들었는지, 언제 제대로 이해했는지까지 알 수 있는 것은 아니다. 이 일에 관해 괴델과 힐베르트가 주고받은 편지는 발견되지 않았다. 두 사람이 정식으로 만났다고 확실히 입증할 수 있는 사례도 한 번조차 없다.

가장 자주 인용되는 반응은 베르나이스에게서 나온다. 힐베르트가 제2정리를 듣고 몹시 화를 냈다는 것이다. 하지만 이는 한참 뒤에 전해진 이야기다. 그날 힐베르트가 쓴 일기나 편지, 당시의 회의록이 아니다.

그 자신이 공개적으로 남긴 비교적 분명한 흔적은 훨씬 뒤의 일이며, 극적이지도 않다. 1934년 『수학의 기초』 제1권 서문에 짧은 논평이 있다. 그가 이 문제를 직접 언급한 공개 글은 아주 드문데, 어쩌면 이것이 유일할 수도 있다. 태도는 패배를 인정하는 쪽이 아니었다. 계속해서 계획을 옹호하면서 조정할 길을 찾았다. 이 결과들을 본격적이고 체계적으로 받아들인 것은 베르나이스가 주로 집필한 제2권이었고, 출판은 1939년이었다.

한 사람이 역사 속 인물로 기록될 때 후세가 가장 손쉽게 덧그리는 것은 그 사람의 표정이다. 여기 남은 자료로는 그가 나중에 무엇을 썼는지까지는 말할 수 있다. 그 순간 어떤 얼굴이었는지를 그려 낼 수는 없다.

다른 사람들의 수용 과정은 뒤섞여 있었다. 곧바로 이해한 사람도 있었고, 오해하거나 저항한 사람도 있었다. 수용이 순탄치 않았던 대표적인 사례가 체르멜로다. 괴델과 주고받은 편지를 보면 그는 결론과 그 적용 범위에 이의를 제기했고, 괴델은 답장을 써서 해명해야 했다. 반대 역시 구별해서 보아야 한다. 증명의 어느 단계를 이해하지 못한 경우, 괴델이 설명한 정리의 의미를 받아들이지 않는 경우, 메타수학의 특정 전제를 의심하는 경우가 있었다. 세 경우 모두 수학적 오류를 실제로 찾아낸 것과는 다르다. 그런 오류는 끝내 발견되지 않았다.

1930년대 중반이면, 괴델이 1933년부터 1934년까지 프린스턴에서 한 강의와 처치, 클레이니, 로서 등이 계산 가능성 연구에서 이룬 진전을 거치며 정리의 수학적 핵심은 신생 수리논리학 공동체의 기본 지식으로 자리 잡았다.

받아들여지는 속도는 이렇게 정리할 수 있다. 최정상급 논리학자들은 몇 달에서 몇 년 사이에 대체로 소화했다. 그러나 수학 문화 전체에서 그것이 어떤 의미인지 해석하는 일은 훨씬 오래 걸렸다. 그 층위의 논쟁은 오늘날에도 하나의 결론에 이르지 않았다.

7. 세 가지 바꿔치기

이 정리는 수학사에서 가장 자주 빌려 쓰는 정리 가운데 하나다. 흔히 만나는 과도한 해석은 세 종류의 바꿔치기로 나눌 수 있다.

첫째, ‘특정 이론에 상대적이다’를 ‘절대적이다’로 바꿔치기한다.

가장 흔한 말은 괴델이 인류가 영원히 알 수 없는 수학적 진리의 존재를 증명했다는 것이다. 정리가 주는 것은 하나의 형식 이론을 기준으로 한 증명 불가능성이다. 더 강한 이론으로 옮기면 앞의 이론에서 독립적이던 문장이 정리가 될 수도 있다. 아예 그 문장을 공리로 추가할 수도 있다.

괴델이 영원히 증명할 수 없는 특정 명제 하나를 찾아냈다는 말도 자주 듣는다. 그렇지 않다. 조건을 만족하는 이론마다 그 이론에 해당하는 문장이 생긴다. 동일한 문장 하나가 모든 이론에서 영원히 증명 불가능하다는 뜻이 아니다.

둘째, ‘형식적으로 증명할 수 있음’을 ‘인간의 앎’으로 바꿔치기한다.

그러면 괴델이 진리는 증명할 수 없다는 것을 증명했다는 말이 나온다. 이 말에서는 두 가지가 한꺼번에 빠져 있다. 어느 체계 안에서인가. 그리고 ‘참’과 ‘증명할 수 있음’은 애초에 서로 다른 말이라는 사실이다.

괴델이 기계는 사람처럼 생각할 수 없음을 증명했다는 말도 있다. 정리가 다루는 것은 고정된 하나의 형식 이론이다. 인간의 수학적 능력을 모순 없는 하나의 고정된 형식 체계와 동일시하는 것 자체가 추가적인 철학적 전제다. 정리가 주는 전제가 아니다.

아주 편리하게 쓰이는 말도 있다. 사람은 체계 바깥에 서기만 하면 그 문장이 참임을 언제든 알아볼 수 있으므로, 언제나 체계를 뛰어넘는다는 것이다. 바깥에서 그 문장을 참이라고 받아들일 때는 대개 그 체계에 모순이 없다거나 그 체계가 옳은 말을 한다는 어떤 인식을 이미 쓰고 있다. 아무 대가 없이 어디서나 통하는 탈출법은 없다. 게다가 바깥의 더 강한 이론도 자기 차례가 되면 똑같은 일을 겪는다.

셋째, ‘충분히 강한 특정 부류의 체계’를 ‘모든 체계’로, 나아가 ‘이치를 따지는 모든 활동’으로 바꿔치기한다.

모든 형식 체계는 불완전하다는 말은 명백히 틀렸다. 명제 논리에서는 타당한 논리식인지 판정할 수 있으며, 통상적인 연역 체계는 의미론적으로 완전하다. 그렇다고 아무 명제 전제 집합이나 택해도 모든 명제 변수에 대해 그 변수 또는 그 부정을 도출할 수 있다는 뜻은 아니다. 곱셈 없이 덧셈만 있는 산술은 완전하며 판정 가능하다. 덧셈·곱셈·순서의 언어로 쓰인 실폐체의 일차 이론도 완전하며 판정 가능하다. 임의의 함수와 집합을 모두 포함하는 실해석학 전체를 말하는 것이 아니다. 일차 초등 유클리드 기하학에도 완전하고 판정 가능한 표준 공리화가 있다.

공리가 유한 개이면 반드시 불완전하다는 말도 틀렸다. 핵심은 공리의 개수가 아니다. 그 체계가 계산을 표현할 능력이 있느냐다.

수학은 불완전하다는 말은 ‘수학’이 효과적으로 공리화할 수 있는 하나의 체계가 아니라는 점에서 잘못되었다. 완전한 수학 이론도 많다. 더구나 수학이라는 활동 자체에는 공리를 바꾸고, 모형을 연구하고, 더 강한 이론을 만드는 일도 포함된다.

여기서 더 멀리 나가면 법률, 헌법, 회사 정관, 언어, 사회 제도를 ‘체계’라 부르고 곧장 정리를 들이댄다. 이때 바꿔치기하는 것은 ‘체계’라는 낱말이다. 헌법에 체계라는 이름을 붙인다고 해서, 효과적으로 공리화할 수 있고 초등 산술을 해석할 수 있는 형식 이론으로 변하지는 않는다.

세 바꿔치기는 서로 다른 것을 겨누는 듯하지만 수법은 하나다. 한정하는 말을 지운다. 어느 이론을 기준으로 하는가, 무슨 언어 안에서인가, 어떤 종류의 체계인가. 하나만 입에 올리지 않아도 주장의 범위는 훌쩍 넓어진다.

다음에 누군가 괴델이 무엇을 증명했다고 말하면 네 가지를 물어보자. 어떤 형식 언어인가. 공리들은 효과적으로 주어지는가. 이론에 모순은 없는가. 어디에서 충분한 자연수 산술을 해석하고 있는가. 이 네 물음에 답하지 못한다면 아직 이 정리를 불러올 자격이 없다. 괜한 트집이 아니다. 현대적인 불완전성 정리를 적용할 때 확인해야 하는 조건들을 네 물음으로 정리한 것이다. 이때도 1931년의 원래 판본과 나중에 로서가 강화한 판본은 구별해야 한다.

8. 그는 정작 무엇을 말했는가

마지막으로 당사자에게 물어야 한다. 가장 널리 퍼진 괴델의 모습은 이 정리로 인간 이성의 파산을 선언한 사람이기 때문이다.

기록 속 괴델은 그 모습과 거리가 멀다. 그는 분명 정리에 철학적 의미가 있다고 생각했고, 그로부터 철학적 귀결을 끌어내려 했다. 수학 정리는 수학만 말해야 한다고 주장한 사람이 아니었다. 오히려 수학적 실재론과 합리주의 성향이 아주 강했다.

가장 중요한 자료는 1951년의 강연이다. 그가 거기서 내놓은 것은 두 갈래의 선택지였다. 인간의 정신이 어떤 의미에서는 모든 유한한 기계를 능가하거나, 아니면 인간의 수학적 인식 능력으로도 절대 풀 수 없는 수론 문제가 존재한다는 것이다.

그의 결론은 앞쪽이 옳다는 것이 아니었다. 두 가지 가운데 적어도 하나는 성립한다는 것이었다.

그는 개인적으로 뒤쪽이 몹시 마음에 들지 않았고, 앞쪽에 분명히 호의적이었다. 하지만 자신의 선호를 정리가 이미 증명해 준 것처럼 내세우지는 않았다. 더욱이 이 강연은 생전에 출판되지 않았다. 훗날 전집을 편찬할 때에야 실렸다. 미출간 강연 원고에 담긴 철학적 탐색을 1931년 논문이 공식적으로 선언한 내용의 일부로 삼아서는 안 된다.

더 흥미로운 것은 말년의 철학 노트에 비관과는 제법 거리가 있는 구호도 남아 있다는 사실이다. 요컨대 문제를 푸는 체계적인 방법이 존재한다는 것이었다.

1931년 이후에도 그는 자기 정리만 연구하는 사람이 되지 않았다. 1932년 대학 강의 자격을 얻고 1933년 빈 대학교의 사강사가 된 뒤, 직관주의 논리, 양상 논리, 결정 문제, 증명의 길이에 관한 연구를 발표했다. 1930년대 후반에는 집합론으로 옮겨 가 구성 가능 우주라는 방법을 세웠다. 이를 통해 선택 공리와 일반화 연속체 가설이 체르멜로–프렝켈 집합론에 대해 상대적으로 무모순임을 증명했다.

그러나 개인적인 삶은 점점 더 힘겨워졌다. 지도교수 한이 세상을 떠났다. 1936년에는 빈 학단의 중심인물 슐리크가 한 학생에게 살해되었다. 괴델 자신도 이 시기에 심각한 건강 위기를 거듭 겪었다. 1938년 독일이 오스트리아를 병합한 뒤 대학 제도가 재편되면서, 기존의 강사 신분은 효력을 잃었다. 새로 임용 자격을 얻으려면 나치 체제의 정치적·인종적 심사를 통과해야 했다. 1940년 그는 아내와 함께 오스트리아를 떠나 미국으로 갔다.

그는 한계를 밝히는 결과를 증명했고, 그 뒤에도 오랫동안 수학적 인식 능력에 대한 합리주의적 믿음을 지켰다. 둘은 모순되지 않는다. 정리가 실제로 제한한 것은 후대 사람들이 생각한 것보다 훨씬 좁았기 때문이다.

그렇다면 이 글에서 무엇을 가져갈 수 있을까. 이 정리가 그토록 남용되는 이유는 역설적으로 너무나 단단하기 때문이다. 그 단단함은 전제가 빈틈없이 정해져 있다는 데서 나온다. 세 조건 중 하나도 빠져서는 안 된다.

그런데 정리를 빌려 쓸 때마다 하는 일은 같다. 세 조건 가운데 하나를 지운다. 그러고 나면 말은 훨씬 듣기 좋아지고, 써먹을 곳도 훨씬 많아진다. 그 대가는 더 이상 정리가 아니게 된다는 것이다.

한 문장이 어디까지 말할 수 있는지는 전제가 정한다. 전제가 줄어들수록 더 넓은 곳에 통하는 말처럼 들린다. 그러나 실제로 말해 주는 것은 더 적어진다.

괴델 자신은 그 강연에서 분명히 더 마음에 드는 답을 갖고 있었다. 그런데도 글로 남긴 것은 두 갈래의 선택지뿐이었다. 적어도 이 중요한 갈림길에서는 개인적인 선호를 그대로 정리로 써 버리지 않았다.

세 조건 가운데 이 글에서 세워 놓기만 하고 자세히 풀지 않은 것이 있다. 충분히 강하다는 조건이다. 그 문턱은 놀랍도록 낮다. 아주 기본적인 정수 계산과 구문의 부호화를 조금 해낼 수 있는 체계면 충분할 만큼 낮다.

그렇다면 반대로는 어떨까. 체계가 스스로 힘을 조금 덜어 내어, 그 부호화를 감당하지 못할 만큼 약해지면 무슨 일이 일어날까.

다음 글은 그 이야기를 다룬다. 답은 이렇다. 닫힘은 값을 치르면 얻을 수 있다. 그 값도 계산할 수 있다.

수의 계산은 계속되지만, 무엇을 수학으로 칠 것인지는 아직 한 번도 다 헤아리지 못했다.

사료와 더 읽을거리

아래 자료는 본문에서 다룬 역사적 세부 사항과 해석상의 이견에 대응한다. 소장 기록, 고대 문학, 현대의 재구성은 서로 같은 종류의 증거가 아니다.

• 괴델의 1931년 논문 원본 서지 정보
• 지크의 괴델 서신집 서론
• 미국수학협회: 힐베르트의 라디오 연설과 수학적 탐구
• 페퍼먼의 베르나이스–괴델 서신 연구
• 폰 노이만의 제2불완전성 정리 발견에 관한 역사 연구
• 스탠퍼드 철학백과: 괴델의 불완전성 정리
• 페퍼먼: 절대 풀 수 없는 문제가 있는가?
• 세인트앤드루스 대학교: 괴델의 생애
• 프린스턴 고등연구소: 괴델