제5공준이 터지다

1. 증명해 놓고 틀렸다고 말한 사람

1733년, 이탈리아의 예수회 사제 사케리가 책 한 권을 냈다. 제목을 풀어 옮기면 이렇다. 《모든 흠을 씻어 낸 유클리드》.

제목에 이미 그의 입장이 다 들어 있다. 3편에서 보았듯, 그 기하학 책은 증명하지 않고 받아들이는 다섯 가지로 시작한다. 그런데 다섯째는 증명이 필요한 결론처럼 생겼다. 이천 년 동안 대다수는 앞의 네 가지에서 그것을 이끌어 낼 수 있다고 믿었다. 아직 해낸 사람이 없을 뿐이었다. 사케리는 바로 그 일을 해내려 했다.

그가 택한 방법은 귀류법이었다. 다섯째가 성립하지 않는다고 가정하고, 모순에 부딪힐 때까지 추론을 밀고 나간다. 모순이 나오면 처음의 가정은 성립할 수 없다. 그러면 다섯째는 참일 수밖에 없다.

그는 도형 하나를 만들었다. 밑변을 긋고, 양 끝에서 밑변에 수직인 길이가 같은 두 변을 세운 뒤, 위쪽의 두 끝을 잇는다. 앞서 얻은 명제들로 위쪽 두 각이 같다는 것을 증명할 수 있다. 이제 가능성은 셋뿐이다. 두 각이 모두 직각이거나, 모두 둔각이거나, 모두 예각이다. 직각이면 유클리드로 돌아간다. 둔각인 경우는 비교적 쉽게 배제했다. 일이 꼬이기 시작한 것은 예각인 경우였다.

계속 밀고 나갔지만 모순은 나오지 않았다. 더 나아가도 마찬가지였다. 오히려 짜임새가 탄탄한 새 명제들이 줄줄이 나왔다. 삼각형의 내각의 합은 두 직각보다 작다. 만나지 않는 직선들 사이의 거리는 유클리드 기하학에서와 전혀 다른 양상을 보인다. 닮음과 합동의 관계도 통째로 달라진다. 게다가 이런 성질은 한 곳에서 성립하면 기하학 전체를 지배한다. 어느 구석에만 생기는 예외가 아니었다.

수십 쪽에 걸친 수십 개의 명제. 오늘날의 말로 하면, 그는 쌍곡평면의 초등기하학을 이미 상당 부분 만들어 놓았다.

정확히 몇 개인지는 숫자로 답할 수 없다. 중간에 등장하는 명제 가운데 어디까지를 훗날 그 기하학에 속하게 될 정리로 셀지는, 이어진 추론을 어떻게 나누느냐에 달려 있다. 정확한 숫자를 내놓는 쪽이 오히려 가짜 정밀함이다. 확실히 말할 수 있는 것은 이렇다. 한 강좌를 꾸릴 만한 분량이었고, 쌍곡삼각법의 완전한 체계는 아직 없었으며, 모형은 더더욱 없었다. 그런데 그는 책의 끝에서 예각 가설은 절대로 틀렸다고 선언했다. 거기서 따라 나오는 직선의 어떤 거동이 ‘직선의 본성에 어긋난다’는 이유였다. 이 말이 책 전체의 급소다. 그리고 이것은 모순이 아니다.

앞서 나온 수십 개의 명제는 어느 것 하나 다른 것과 충돌하지 않았다. 그가 모순이라고 부른 것은, 유클리드의 직선이라면 마땅히 이래야 한다는 모습을 다시 불러들여 판정의 잣대로 삼은 것이었다.

3편의 결론을 그대로 가져와도 된다. 글로 적힌 전제는 공격을 불러오지만, 적히지 않은 전제들은 당연해 보이는 것들 사이에 숨어들기 쉽다. 사케리는 책 한 권 내내 적힌 전제 하나를 공격했다. 그러고는 마지막 쪽에서, 한 번도 적은 적 없는 전제를 스스로 사용했다.

후대에는 그가 비유클리드 기하학을 발견하기 일보 직전에 겁을 먹고 물러섰다는 이야기가 퍼졌다. 그 설명은 그를 겁쟁이로 만들어 버린다. 그가 어떤 상황에 놓여 있었는지도 잘못 짚는다.

문제는 용기가 아니었다. 책의 제목부터 증명의 짜임까지, 그가 맡은 일은 유클리드에게 흠이 없음을 밝히는 것이었다. 그에게는 다른 기하학도 정당한 수학의 대상이 될 수 있다는 생각 자체가 없었다. 그래서 눈앞의 명제들이 아무 충돌 없이 맞물려 돌아가도, 그에게는 귀류법이 아직 마지막 한 걸음을 남겨 두고 있다는 뜻일 수밖에 없었다. 새로운 세계가 이미 지어졌다는 뜻일 수는 없었다.

2. 반지름이 허수인 구

삼십여 년 뒤, 람베르트는 더 멀리 갔고 전혀 다른 자리에서 멈췄다. 평행선에 관한 그의 원고는 대략 1766년에 완성되었다. 생전에는 출판되지 않았고, 다른 사람이 정리해 1786년에 내놓았다. 그러니 그의 작업에 연도를 붙일 때는 쓴 해와 출판된 해를 구분해야 한다.

그가 쓰는 도형은 조금 달랐다. 사각형의 세 각을 직각으로 두고, 남은 한 각이 직각일 때, 둔각일 때, 예각일 때 각각 무슨 일이 생기는지 살폈다. 발상은 사케리와 같은 전통에 속했다.

직각 셋을 놓고 나면 넷째 각은 세 경우 중 하나일 수밖에 없다. 이 장치의 역할도 사케리의 것과 같았다. 보이지 않는 문제를, 경우를 하나씩 따져 볼 수 있는 문제로 바꾸는 것이다.

그중 예각 쪽에서 얻은 결과들은 오늘날의 눈으로 보면 단번에 알아볼 수 있다.

그는 앞선 사람처럼 서둘러 이 경우를 없애려 하지 않았다. 삼각형의 내각의 합은 두 직각보다 작다. 공통 수선을 갖는 두 직선은 점점 멀어진다. 유클리드의 원과 다각형에 성립하던 성질 중 일부는 더 이상 성립하지 않는다. 기하학 자체 안에서 고유한 길이의 척도가 생겨난다. 그중에서도 가장 중요한 결과는 삼각형의 넓이가 각결손에 비례한다는 것이었다. 각결손이란 두 직각에서 세 내각의 합을 뺀 값이다. 그저 보기 좋은 결과 하나가 아니었다. 나중에 일정한 음의 곡률을 갖는 기하학이라 부르게 될 것의 가장 뚜렷한 지문 중 하나였다.

그리고 그는 그 유명한 문장을 썼다.

구면 위의 삼각형은 내각의 합이 두 직각보다 크고, 넓이는 그 초과분인 각초과와 관계가 있다. 예각 가설 아래서는 정확히 반대다. 이를 알아차린 그는 이렇게 썼다. 세 번째 가설은 반지름이 허수인 구 위에서 성립한다고 거의 결론 내릴 수밖에 없을 것이라고.

이 말이 곧 그에게 모형이 있었다는 뜻은 아니다. 우선은 대단히 예리한 유추였다. 구면의 공식에서 반지름을 형식적으로 허수로 바꾸면 여러 부호가 정확히 뒤집힌다.

8편에서 보았듯, 16세기의 음수의 제곱근은 신분이 아직 정해지지 않은 경유지가 되었다. 하필 그 근호의 길이 이곳을 지났다. 약 200년 뒤 여기서 다시 나타났다. 이번에는 기하학의 문장 속이었다. 구 하나가 있다. 그런데 그 반지름이 허수다.

람베르트가 이 말을 썼을 무렵에는 복소수 계산이 어느 정도 발전해 있었다. 하지만 그 기초와 기하학적 해석은 훗날처럼 자리 잡지 못했다. 그는 아직 발 디딜 곳을 얻지 못한 것으로, 역시 발 디딜 곳이 없던 다른 것을 설명하고 있었다.

더 중요한 것은 원고의 끝이다. 그는 사케리처럼 이것이 절대로 틀렸다고 선언하지 않았다. 남아 있는 원고의 마지막 부분은 여전히 모순을 찾고 있으며, 그 부분은 미완성이다.

그러니 그가 내리지 않은 판결을 우리가 대신 써 넣어서는 안 된다. 말할 수 있는 것은 여기까지다. 그는 정당한 새로운 기하학이 생겼다고 공개적으로 선언하지 않았다.

흔히 전해지는 이야기를 하나 더 짚자. 사케리의 책은 한 세기 반 동안 사라져 있던 책이 아니다. 꾸준히 이어지는 독서의 전통을 만들지도, 학파를 남기지도 못한 것은 사실이다. 하지만 1763년 클뤼겔은 평행선에 관한 자신의 논문에서 이 책을 인용했고, 람베르트는 클뤼겔을 읽었다. 책의 영향은 이렇게 가느다란 한 줄로만 이어지기도 한다. 한 사람이 인용하고, 다른 사람이 그 인용을 읽는다.

역사 속에서 이 책의 자리가 본격적으로 바뀐 것은 1889년 무렵이었다. 누군가 책을 눈여겨보고 벨트라미에게 알린 뒤에야, 사케리는 비유클리드 기하학의 표준적인 역사 서술에 들어갔다. 서지에 흔적을 남기는 것과, 출발점으로 읽히는 것은 별개의 일이다.

이 차이는 이 글에서 한 번 더 나타난다. 그때의 결과는 훨씬 더 무겁다.

3. 그렇다면 무엇이 새로웠나

이 대목이 이 글에서 가장 중요하다.

비유클리드 기하학의 발견이란 제5공준을 부정한 상태에서 올바른 명제들을 증명하는 일에 불과하다면, 그 일은 1733년에 이미 절반 이상 끝났고 1766년에 나머지도 조금 더 진행되었다. 19세기에 더해진 것은 다른 네 가지 층위였다.

첫째는 그 명제들의 신분이었다. 사케리는 예각 가설을 적대적 가설이라고 불렀다. 목적은 그것을 무너뜨리는 데 있었다. 람베르트 역시 모순을 찾는 틀 안에서 작업했다. 그런데 후대의 사람들은 다르게 말하기 시작했다. 처음부터 반드시 없애야 한다고 정해 두지 말자. 하나의 기하학으로 통째로 움직이게 하면 어떻게 되는지 보자.

똑같은 명제들이 한쪽에서는 처형을 기다리는 증거물이고, 다른 쪽에서는 학문의 내용이다. 차이는 종이에 무엇을 썼느냐에 있지 않다. 쓴 사람이 그것으로 무엇을 하려느냐에 있다. 얼핏 태도의 차이처럼 들리지만 그렇지 않다. 그 차이가 다음에 어디로 갈지를 결정한다. 명제들이 증거물이라면 다음에 할 일은 모순을 찾을 때까지 계속 찾는 것이다. 새 명제 하나를 얻을 때마다, 이번에도 못 찾았다는 뜻만 하나 더 늘어난다.

반대로 명제들이 학문의 내용이라면 다음에 할 일은 완전히 달라진다. 순서를 세우고, 빈틈을 채우고, 무엇이 기본이고 무엇이 거기서 따라 나오는지 가려낸다. 그런 다음 이 체계로 다른 것도 계산할 수 있는지 살핀다. 같은 종이뭉치 앞에서 다음 걸음이 둘로 갈린다.

그 종이들은 사케리와 람베르트가 이미 빼곡히 채워 놓았다.

둘째는 체계화의 정도였다. 사케리에게는 수많은 초등적인 명제가 있었고, 람베르트에게는 넓이와 각결손을 잇는 깊은 통찰이 있었다. 하지만 어느 쪽도 거듭 꺼내 쓸 수 있는 계산 이론을 이루지는 못했다. 후대의 사람들은 평행각, 거리, 삼각함수 사이의 관계를 완전하게 세우고, 평면의 결과를 공간으로 넓혔다. 유클리드 기하학이 어떤 극한이나 특수한 경우로 나타나는지도 설명했다.

이 단계에 이르자 새로운 기하학은 귀류법을 쓰다 튀어나온 기묘한 결론들의 행렬을 벗어났다. 구면삼각법처럼 일상적으로 꺼내 계산할 수 있는 체계가 되었다.

여기에는 부산물도 있었다. 계산이 가능한 체계는 스스로를 검산할 수 있다. 서로 다른 경로로 같은 양을 계산했는데 답이 맞지 않으면 어딘가 잘못된 것이다. 귀류법 도중에 얻은 명제들도 이미 논리적으로 연결되어 있기는 했다. 다만 이처럼 완결되어 있고 반복해서 쓰기 편한 계산 체계까지 이루지는 못했다.

셋째는 입장이었다. 이 사람들의 목표는 사실 서로 달랐다. 어떤 이는 기하학을 온전히 선험적으로 세울 수 있는지에 관심을 뒀다. 생각만으로 공간이 반드시 어떤 종류여야 하는지 확정할 수 있느냐는 물음이다. 어떤 이는 평행공준에 기대지 않는 부분만 따로 떼어 더 근본적인 학문을 만들고, 유클리드 기하학과 비유클리드 기하학을 거기서 갈라지는 두 갈래로 놓으려 했다. 또 어떤 이는 계속 추론하고 계산할 수 있는 상상의 기하학으로 삼아, 일단 계산부터 해 보려 했다. 그래도 모두 같은 선을 넘었다. 더 이상 그것을 무너뜨리기 위해 가정하지는 않았다.

넷째는 가장 늦게 나타났고, 가장 결정적이었다. 모형이다.

서로 잘 맞아떨어지는 공식을 몇백 개 증명해도, 의심하는 사람은 이렇게 되물을 수 있다. 모순은 그다음 명제에서 나올지도 모르지 않느냐고. 정리를 더 보태는 것으로는 이 말을 반박할 수 없다. 아무리 많아도 유한한 수의 정리이기 때문이다. 모형은 질문 자체를 바꾼다. 그 일은 1868년까지 기다려야 했다.

그러니 나중에 새로워진 것은 주로 정리의 수가 아니었다. 이 정리들은 대체 무엇인가, 그 물음의 답이었다.

4. 세 갈래의 길

가우스, 보야이, 로바쳅스키를 나란히 놓고 동시대에 각자 독립적으로 발견한 세 사람이라 부르곤 한다. 기념하기에는 편한 말이지만 이해하기에는 불편하다. 가우스에 관한 자료부터 두 층으로 나눠 읽어야 한다.

그는 말년에 이 문제를 삼십 년, 삼십오 년, 거의 사십 년 동안 생각해 왔다고 거듭 말했다. 1846년에는 비슷한 믿음을 품은 지 오십사 년이나 되었다고까지 했다. 이 숫자들을 거꾸로 세면 시작점은 그가 소년이던 1790년대로 돌아간다.

그 회고 자체는 진짜 사료다. 편지는 그가 썼고, 날짜도 분명하다. 문제는 그것이 회고이지 그때의 기록은 아니라는 점이다. 누군가 삼십 년 전에 이미 어떤 생각을 했다고 말한다면, 그 말은 말하는 시점에 그가 그렇게 믿었다는 증거다. 삼십 년 전 그날 무엇을 손에 쥐고 있었는지까지 증명하지는 않는다.

연대를 확정할 수 있는 원고들은 그 회고에서 짐작되는 만큼 완전하지 않다. 1796년부터 1814년까지 쓴 그의 수학 일기는 매우 중요하다. 그러나 소년 가우스가 훗날의 의미에서 쌍곡기하학 전체를 이미 갖추고 있었다고 입증할 만한 대목은 하나도 없다. 오히려 1828년부터 1832년 사이에, 작성 시점을 믿을 만하게 정할 수 있는 평행선과 기하학의 기초에 관한 노트들이 나타난다.

좀 더 확실한 사실을 시간순으로 짚어 보자. 1790년대 말, 그는 이미 아버지 보야이와 기하학의 기초를 논의하고 있었다.

이 사람은 뒤에서 다시 등장한다. 그때는 아버지의 자리에서다. 1816년 무렵의 서신에는 유클리드 기하학의 반대편, 미지의 상수, 초월적 삼각법 같은 생각들이 이미 가우스 주변에 나타나 있다. 1819년에는 여러 사람을 거쳐 전달된 ‘천체 기하학’ 자료에 답하면서, 그 상수만 주어지면 이런 기하학을 다룰 수 있다고 분명히 썼다.

1824년 11월 8일 타우리누스에게 보낸 편지에 이르면 자료는 아주 선명해진다. 삼각형의 내각의 합이 두 직각보다 작다고 가정하면 특별한 기하학으로 나아가게 된다고 그는 말했다. 그 기하학에서 얻은 결과 중에는 역설적으로 보이는 것이 많지만, 지금까지 불가능한 것은 하나도 발견되지 않았다는 것이다. 거기에는 특유의 길이 척도가 있고, 삼각형의 넓이는 각결손과 연결된다.

1829년 1월 27일 베셀에게 쓴 편지는 문제를 한 층위 위로 끌어올린다. 가우스는 기하학을 온전히 선험적으로 세울 수 없다는 확신이 점점 강해진다고 썼다. 이 문제를 폭넓게 연구해 왔지만, 생전에 정리해서 발표할지는 모르겠다고도 했다. 바로 뒤에 가장 유명한 말이 나온다. 그는 보이오티아인들의 고함이 두렵다고 했다.

보이오티아는 고대 그리스의 지명이다. 아테네인들의 틀에 박힌 조롱 속에서 보이오티아인은 둔하고 거칠며 풍류를 모르는 사람을 뜻했다. 이 말은 실제로 남아 있다. 출처도 확실하다. 바로 그 편지 안에 있다.

하지만 그것으로 전부 설명되지는 않는다. 수학사가 그레이는 중요한 수정을 제안했다. 작성 시점을 정확히 알 수 있는 가우스의 초기 자료는 후대 사람들이 그를 위해 재구성한 완전한 이론에 비해 훨씬 빈약하다. 그는 1828년과 1831년에도 기초에 관한 새로운 노트를 쓰고 있었다. 1790년대에 완성한 책 한 권을 서랍에 넣어 둔 사람이라기보다, 계속 연구하고 있던 사람의 모습에 가깝다.

그러므로 확실히 말할 수 있는 것은 이렇다. 고함이 두려웠다는 것은 전설이 아니라 가우스 자신이 내놓은 설명 중 하나다. 다만 그것을 유일한 이유로 삼고, 남아 있지 않은 그의 수학까지 그 말로 모두 채워 넣는 것은 후대의 영웅 만들기다. 이제 다른 길로 가 보자. 그 길에는 아버지와 아들이 있었다.

1820년 4월 4일, 아버지 보야이는 빈에 있던 아들에게 편지를 썼다. 그도 젊어서 평행선에 많은 힘을 쏟았고 가우스와 논의한 적이 있었다. 편지에 담긴 것은 아버지라면 으레 할 법한 만류가 아니었다. 상처를 입어 본 사람이 보내는 구체적인 경고였다. 평행선을 좇아 이 길로 들어오지 말아라. 여기는 바닥 없는 밤이며, 네 시간과 건강과 삶을 삼켜 버릴 것이다.

편지를 쓰는 그는 자신이 무슨 말을 하는지 알고 있었다. 젊은 날 같은 길에서 여러 해를 써 버렸다. 게다가 가우스와 그 문제를 논의했으니, 가우스조차 해결하지 못했다는 것도 알았다. 삼 년 뒤에는 상황이 거꾸로 돌아갔다. 1823년 11월 3일, 아들이 아버지에게 편지를 보냈다. 무에서 기묘한 새 세계를 만들어 냈다는 소식이었다.

그 글은 훗날 아버지가 쓴 두 권짜리 책의 뒤에 부록으로 실렸다. 전체 제목의 뜻은 대략 ‘절대적으로 참된 공간의 학문을 제시하는 부록’이다. 이십여 쪽에 불과한, 극도로 압축된 글이었다. 그 안에 평행각과 쌍곡삼각법, 공간에서의 결과까지 들어 있었다.

그의 진정한 새로움 중 하나는 물음 자체를 고친 데 있었다. 제5공준이 참인가 거짓인가를 묻는 대신, 어떤 기하학적 사실들은 애초에 제5공준을 필요로 하지 않는지, 그리고 나머지는 어디서 갈라지는지를 물었다.

1831년 6월 20일, 아버지는 한 부를 가우스에게 보냈지만 도착하지 않았다. 두 번째로 보낸 것이 1832년 1월에 닿았다. 가우스는 1832년 3월 6일 답장을 썼다.

그 답장에서 가장 유명한 대목의 요지는 이렇다. 내가 자네 아들의 연구를 칭찬할 수 없다고 하면 놀랄지도 모르겠네. 하지만 그것을 칭찬하는 일은 거의 나 자신을 칭찬하는 일과 같네. 이 글의 내용과 걸어간 길, 얻어 낸 결과가 내가 삼십 년에서 삼십오 년 동안 해 온 생각과 거의 완전히 일치하기 때문이네.

이 편지 자체는 확실한 사료다. 그러나 가우스가 1832년에 우선권을 주장했다는 사실을 입증할 뿐이다. 이것 하나만으로 1797년의 가우스가 그 부록의 모든 내용을 이미 갖고 있었다고 증명할 수는 없다.

이후 아들이 보인 반응에도 실제 자료는 있다. 다만 널리 알려진 이야기는 종종 지나치게 극적이다. 이 편지는 부자 사이를 더 멀어지게 했고, 아들에게 더 발표해 봐야 소용없다는 생각도 안겼다. 그렇다고 그가 그날 이후 손을 놓은 것은 아니다. 1848년 로바쳅스키의 책을 읽은 뒤에는 비판과 비교의 노트를 대량으로 남겼다. 한때는 가우스와 로바쳅스키 사이에 무슨 관계가 있는 것 아닌가 의심하기도 했다. 지금도 남아 있는 유고가 매우 많다.

그러므로 가우스의 편지 한 통이 천재 한 사람을 망가뜨렸다는 말은 사실에 맞지 않는다. 실제로 일어난 일은 이렇다. 그의 공개 발표 경력은 사실상 그 부록에서 멈췄지만, 그는 그 뒤에도 계속 썼다. 편지를 읽은 바로 그 자리에서 무슨 행동을 하고 무슨 말을 했는지는 출처를 거슬러 올라갈 수 있는 자료가 없다. 후대에 그려진 생생한 장면들의 출처는 모두 후대다.

세 번째 길을 걸은 사람은 가장 많이, 가장 공개적으로 발표했다.

로바쳅스키의 첫 단계는 1829년부터 1830년까지, 카잔에서였다. 그는 ‘기하학의 원리에 관하여’라는 글을 다섯 차례로 나누어 카잔 대학교의 지역 학술지에 실었다. 정식으로 인쇄되어 나온 최초의 체계적인 비유클리드 기하학 저술이다. 그보다 앞선 1826년 2월 11일에는 이미 카잔 대학교에서 새 기하학을 발표하고 심사에 넘겼지만, 그 원고는 나중에 사라졌다.

이 발표 경로가 진짜 병목이었다. 지방 대학의 학술지였고, 러시아어였으며, 유통량도 매우 적었다. 러시아 안에서도 널리 돌지 않았다. 서유럽에 알려지지 않았다는 말을 우편물이 가는 데 십 년씩 걸렸다는 뜻으로 이해해서는 안 된다. 언어, 자료 교환망, 학술지의 위상, 학계 안의 유통 경로가 문제였다.

두 번째 단계는 1837년이다. 그는 베를린의 중요한 연구 학술지에 프랑스어로 글을 발표했다. 아벨의 연구가 실린 적 있는 학술지였고, 프랑스어는 당시 국경을 넘어 통하던 과학의 언어였다.

10편에서 아벨이 자비로 찍은 소책자를 이야기했다. 그 뒤 더 완전한 판본을 실은 학술지가 바로 이 학술지이고, 로바쳅스키의 이 논문도 여기에 실렸다. 그러니 1837년 이후에도 그의 연구가 물리적으로 서유럽에 닿을 수 없었다고 말할 수는 없다.

세 번째 단계는 1840년 베를린에서 나온 독일어 소책자다. 육십여 쪽으로, 그의 설명 가운데 가장 명료하고 퍼뜨리기에도 가장 편한 판본이었다. 가우스가 실제로 읽고 진지하게 평가한 책도 이것이다.

가우스는 이 책을 높이 샀다. 사적인 편지에서는 진정한 기하학의 정신이 담겼다고 칭찬했고, 로바쳅스키를 괴팅겐의 한 학술단체 회원 후보로 추천하기도 했다. 그러나 사적으로 인정하는 것과 공개적으로 지지에 나서는 것은 별개다. 그는 로바쳅스키를 옹호하는 글을 발표한 적이 없다.

1855년, 로바쳅스키는 시력을 완전히 잃은 상태에서 자신의 연구를 마지막으로 체계 있게 정리해 구술했다. 이 사실은 그의 비참한 말년을 둘러싼 여러 이야기보다 증거가 탄탄하다. 반면, 극도의 빈곤 속에서 모든 이에게 버림받았다는 이야기를 뒷받침할 자료는 없다.

현대의 기록 연구는 그의 재산과 재정, 대학 측의 태도에 관한 여러 과장을 바로잡았다. 실명과 질병, 장남의 죽음은 사실이다. 모두에게 버림받았다는 것은 아니다.

5. 발표되었지만 받아들여지지 않았다

아무도 거들떠보지 않았다는 말은 틀리다. 널리 받아들여지지 않았다는 말은 맞다.

로바쳅스키의 초기 원고는 페테르부르크 과학원의 심사를 거쳤다. 심사자는 그곳에서 가장 이름난 수학자 오스트로그라츠키였고, 평가는 부정적이었다. 과학원은 원고를 인쇄하지 않았다. 1834년에는 페테르부르크의 한 잡지에 그것을 조롱하는 글도 실렸다. 거부당했다는 사실 자체가 누군가는 읽었다는 뜻이다. 1837년에는 베를린의 학술지에 발표했다. 1840년 독일어 소책자가 나오자 가우스는 곧 주목했고 그를 회원 후보로 추천했다. 보야이의 부록도 적어도 가우스는 읽고 자세한 답장을 보냈다.

그런데도 논문 인용과 교재, 수업을 통해 이어지는 연결망은 거의 없었다. 1830~1840년대의 평범한 유럽 수학 학생이 정규 과정에서 이 기하학을 접했으리라는 증거는 찾을 수 없다.

이 사정을 가장 잘 드러내는 것은 한 가지 우연이다. 1830년대, 민딩은 일정한 음의 곡률을 갖는 회전곡면을 연구하다가 쌍곡삼각법에 대응하는 공식까지 얻었다. 그러나 그것을 로바쳅스키와 연결하지 않았다. 같은 공식을 두 사람이 각자 얻었는데, 두 지식의 연결망은 만나지 못했다.

여기서는 잠깐 더 멈춰 볼 필요가 있다. 민딩은 변두리 인물이 아니었고, 그가 연구한 곡면 이론도 외진 분야가 아니었다. 그의 손에 그 공식들이 있었고, 로바쳅스키는 몇 년 전에 이미 같은 관계를 인쇄해 놓았다. 지금까지의 서술만으로 두 쪽이 관련 자료를 어디까지 읽었는지는 단정할 수 없다. 확인할 수 있는 것은 당시 두 연구 경로가 제대로 이어지지 않았다는 사실이다. 이론이 받아들여지려면 옳기만 해서는 부족하고, 발표되었다는 것만으로도 부족하다. 원래는 서로 상관없던 두 곳 사이를 누군가 한 번은 오가야 한다.

그레이는 이 시기를 한마디로 정리했다. 발표되었지만 받아들여지지 않았다. 출판물은 있었고 몇몇 사람이 접하기도 했다. 그러나 학문 전체의 판단을 바꿀 만한 실질적인 연결망은 만들어지지 않았다.

전환은 1855년 가우스가 죽은 뒤부터 시작되었다. 그가 생전에 이 기하학을 사적으로 지지했다는 사실이 서신과 유고를 통해 조금씩 드러났다. 1860년대에는 프랑스의 우엘이 번역과 논평, 연락을 맡았다. 1866년에는 로바쳅스키의 독일어 책을 프랑스어로 번역해 출판했고, 가우스의 관련 서신도 널리 알렸다. 우엘이 남긴 방대한 서신은 오늘날 이 수용의 역사를 재구성하는 핵심 자료로 꼽힌다.

우엘이 한 일은 말로 풀면 조금도 화려하지 않다. 번역하고, 논평을 쓰고, 편지를 쓰고, 이 사람의 글을 저 사람에게 보내고, 그 답장을 다시 다른 사람에게 전한다.

하지만 그가 맡은 이 중간의 일이 없었다면, 앞선 수십 년의 사정은 계속되었을 것이다. 인쇄된 글은 거기 놓여 있는데, 읽어야 할 사람들은 그런 글이 있는 줄도 모르는 사정 말이다.

1870년에 이르면 바이어슈트라스는 베를린에서 로바쳅스키 기하학을 다루는 세미나를 열었고, 젊은 클라인이 여기에 참여했다. 이제 그것은 가르칠 수 있고 연구할 수 있는 것이 되어 있었다. 그리고 그 젊은이는 이듬해 한 걸음 더 멀리 갔다.

1871년, 클라인은 이 여러 기하학을 한꺼번에 사영기하학의 틀 안에 넣었다. 이차곡선 하나를 기준으로 정하고 복비로 거리를 정의하면, 유클리드 기하학과 쌍곡기하학, 또 다른 기하학이 같은 구조에서 기준을 달리한 서로 다른 거리 체계로 나타난다.

같은 생각이 여기서 다시 한 번 힘을 얻었다. 이 기하학들은 더 이상 서로 적대하는 우주들처럼 보이지 않았다. 같은 것을 읽는 여러 방식이었고, 그 사이에는 정확한 번역 관계가 있었다.

그 뒤 1880년대에 푸앵카레는 또 다른 부류의 모형을 복소함수와 군의 이론에 연결했다. 교과서에서는 흔히 그 모형들에 푸앵카레의 이름을 붙인다. 하지만 그가 처음 만든 것은 아니다. 벨트라미의 1868년 연구에 이미 동등한 해석적 형태가 있었다. 푸앵카레가 바꾼 것은 쓰임새와 자리였다. 이쯤 되면 비유클리드 기하학은 더 이상 기이한 평행선 이론이 아니었다. 사영기하학과 미분기하학, 복소해석학이 함께 쓰는 것이 되어 있었다.

서로 다른 세 곳에서 쓸모를 얻은 것은, 더 이상 자신의 존재를 변호할 필요가 없다.

6. 모형

1854년 6월 10일, 리만은 괴팅겐에서 ‘기하학의 기초에 놓인 가설들에 관하여’라는 제목으로 취임 강연을 했다. 절차에 따라 미리 몇 가지 주제를 제출했고, 그중 가우스가 이 주제를 골랐다.

그가 물은 것은 평행선이 아니었다. 물음의 층위가 더 높았다. 여러 방향으로 펼쳐지는 양을 어떻게 정의할 것인가. 그 위에서 길이를 어떻게 정할 것인가. 측정의 규칙은 위치에 따라 어떻게 달라지는가. 곡률을 어떻게 이해해야 하는가. 그리고 물리적 공간이 실제로 어떤 거리 구조를 갖는지는 개념을 분석하는 것만으로 결정할 수 없었다.

이것은 하나의 틀이었지, 앞의 기하학을 달리 부르는 말이 아니었다. 앞선 사람들이 구체적인 대안 기하학 하나를 내놓았다면, 리만은 여러 기하학을 일반적인 거리 구조들의 한 계열로 끌어올렸다. 1854년에 한 이 강연은 생전에 정식 논문으로 출판되지 않았다. 그는 1866년에 죽었다. 데데킨트 등이 유고를 정리한 뒤, 그 강연은 1868년 무렵 정식으로 공개되었다. 같은 해, 벨트라미가 결정적인 일을 했다.

그가 한 일은 조심스럽게 한 문장으로 말할 수 있다. 비유클리드 기하학의 대상과 관계를, 이미 받아들여진 유클리드 기하학의 대상과 관계로 해석했다.

가장 눈에 잘 들어오는 부분은 ‘의구면’이라는 곡면이다. 이 곡면의 곡률은 어디서나 음수이며 일정하다. 곡면 자체 안에서 거리를 재고 그 위의 최단 경로를 따라가면, 비유클리드 평면기하학의 일부가 실제로 모습을 드러낸다. 직선의 역할은 곡면 위의 측지선이 맡는다. 각과 거리, 삼각형의 관계는 모두 쌍곡기하학의 형태를 보인다.

전에는 순전히 기호로만 된 괴물처럼 보이던 공식들이, 이제 평범한 3차원 공간 안에서 구체적으로 해석될 길을 찾은 것이다.

하지만 의구면 자체가 완전한 쌍곡평면은 아니다. 경계도 있고 특이한 곳도 있어서, 끝없이 펼쳐지는 쌍곡평면 전체를 3차원 공간 안에 온전히 펼쳐 놓을 수 없다. 벨트라미의 연구를 나팔 모양의 곡면 하나로 줄여 설명하면 그가 실제로 한 일을 과소평가하게 된다.

이 점은 나중에 더 철저히 밝혀졌다. 20세기 초, 일정한 음의 곡률을 갖는 완비 곡면은 보통의 3차원 공간 속에 매끄럽게, 그 거리를 그대로 보존하며 넣을 수 없다는 것이 증명되었다. 그러니 실물 하나로 쌍곡평면 전체를 눈앞에 보이려는 길은 애초에 통하지 않는다.

따라서 그의 진짜 작업은 그 곡면 하나에 있지 않았다.

더 깊은 기여는 해석적 모형이었다. 평범한 원판 안에서 어떤 곡선을 직선으로 취급할지, 거리를 어떻게 잴지를 새로 정하면 비유클리드 기하학의 모든 관계가 성립하게 만들 수 있다.

이렇게 들으면 속임수 같다. 직선이라고 부르기만 하면 무엇이든 직선이 된다는 말 아닌가.

그러나 규칙을 정하고 나면 나머지는 그의 마음대로 되지 않는다. 직선으로 지정한 곡선들은 서로 만나고 도형을 둘러싼다. 그 도형에는 정해진 각과 넓이가 있다. 이런 관계들은 계산해서 얻는 것이지, 마음대로 정하는 것이 아니다. 그리고 계산한 결과가 정확히 비유클리드 기하학의 그 관계들이다.

자유롭게 정할 수 있는 것은 맨 처음의 한마디뿐이다. 그다음 모든 걸음은 보통의 유클리드 기하학에 묶인다.

이 일의 논리적 의미는 대다수의 첫 반응과 다르다. 의구면이 눈에 보이니 실제 공간도 비유클리드적이라는 이야기가 아니다.

뜻은 이렇다. 비유클리드 기하학에서 모순을 이끌어 낼 수 있다면, 그 추론을 한 문장씩 원판의 언어로 옮겨 보라. 그러면 보통의 유클리드 기하학에서도 그에 대응하는 모순을 이끌어 낼 수 있다.

따라서 모형을 떠받치는 보통의 수학이 무모순이라면, 그 안에서 해석되는 비유클리드 기하학도 무모순이다.

이것을 상대적 무모순성이라고 한다. 절대적 무모순성을 준 것은 아니다. 모형 자체가 다른 수학 위에 서 있기 때문이다. 현실의 공간이 어떤 기하학을 따르는지를 증명한 것은 더더욱 아니다. 이 역사에서 그것이 한 일은 입증 책임을 통째로 뒤집어 놓은 것이었다.

그전까지는 비유클리드 기하학 쪽에서 끊임없이 증명해야 했다. 보시오, 명제를 하나 더 얻었는데 여전히 모순이 없지 않소. 이 일은 영원히 끝날 수 없다. 의심하는 사람은 언제든 다음 명제를 기다리면 되기 때문이다. 모형이 나온 뒤에는 의심하는 쪽이 먼저 답해야 했다. 그렇다면 그것을 떠받치는 보통의 수학도 동시에 모순에 빠지지 않는 이유를 설명해 보시오. 정리가 하나 더 늘어난 것이 아니다. 누가 먼저 설명해야 하느냐가 달라졌다.

벨트라미 자신이 1868년에 목표를 서술할 때 쓴 말은 20세기의 형식논리 언어가 아니었다. 그의 논문을 현대적인 무모순성 증명이라고 부르는 것은 사후의 재구성이다. 그가 실제로 이룬 것은, 훗날 상대적 무모순성으로 이해하게 된 수학적 구조를 자신의 해석 속에 마련한 일이었다.

7. 이천 년은 어떻게 끝났나

모형이 생기고서야 제5공준의 독립성은 처음으로 정말 강력한 근거를 얻었다.

여기서 독립이라는 말의 뜻은 구체적이다. 제5공준을 정말 나머지 공준들에서 이끌어 낼 수 있다면, 나머지를 만족하는 모든 해석 안에서 제5공준도 성립해야 한다. 그런데 벨트라미는 다른 해석을 내놓았다. 나머지 기본 관계들은 모두 성립하지만, 평행선은 쌍곡기하학의 방식으로 움직이는 해석이었다.

다시 말해 그는 반례를 만들었다. 기하학 문제 하나의 반례가 아니라, 증명이 가능한가에 관한 반례다. 전제는 전부 만족하지만 결론은 성립하지 않는 경우가 여기 있다. 그러므로 그 결론을 이 전제들에서 이끌어 낼 수 없다.

따라서 제5공준은 나머지 공준들만으로 증명할 수 없다.

다만 여기에는 조건을 붙여야 한다. 그 조건은 3편에서 다룬 바로 그 문제다. 유클리드가 처음 제시한 다섯 공준은 빠짐없이 명시된 형식 체계가 아니었다. 순서, 연속성, 합동, 교점의 존재에 관한 많은 가정을 그는 명시하지 않았다. 그러므로 오늘날처럼 엄밀한 뜻으로 독립성을 말하려면 19세기 말, 체계 전체를 다시 공리화하는 작업까지 기다려야 했다.

이제 이천 년 묵은 질문에 답할 수 있다. 왜 그렇게 많은 사람이 증명하지 못했는가. 사람들이 줄곧 충분히 똑똑하지 못했던 것이 아니다. 목표 자체가 도달할 수 없는 곳에 있었던 것이다.

이 두 말의 무게는 전혀 다르다. 앞의 말은 사람들의 능력을 말하고, 뒤의 말은 일 자체의 성질을 말한다. 그런데 이천 년 내내 모두가 당연하게 여긴 것은 앞의 말이었다.

어떤 명제가 나머지 전제들로부터 독립이라면, 그 전제들에서 출발해서는 영원히 그 명제를 이끌어 낼 수 없다. 성공했다고 주장하는 증명에는 반드시 추론의 오류가 있거나, 밝히지 않은 전제가 있거나, 어느 단계에서 제5공준을 이끌어 내기에 충분한 무언가를 다시 집어넣은 부분이 있다.

그렇기에 사케리가 마지막에 했던 ‘직선의 본성에 어긋난다’는 말을 돌아보면, 무슨 일이었는지가 유난히 또렷해진다.

그것은 한 개인이 나약해진 순간이 아니었다. 수백 년 동안 실패한 모든 증명에 공통으로 나타난 모양이었다. 결정적인 한 걸음에서, 한 번도 명시하지 않았던 유클리드적 직관을 다른 이름으로 다시 불러들인다. 그렇게 불러들이는 사람은 매번 자신이 그저 명백한 사실 하나를 말하고 있다고 생각한다.

가장 막기 어려운 부분이 여기에 있다. 전제가 글로 적히지 않은 까닭은 대개 굳이 적을 필요가 없어 보이기 때문이다. 적을 필요조차 없어 보이는 것은 쓸 때도 경계심을 일으키지 않는다.

3편의 예를 여기 놓고 보아도 된다. 그 책의 첫 번째 문제부터 두 원의 교점을 잡아야 하는데, 그 두 원이 반드시 만난다고 허락해 주는 조항은 어디에도 없다. 그림을 그리면 교점이 바로 거기 있으니, 굳이 더 말할 필요가 없어 보이기 쉽다. 나중에는 이 한마디까지 분명히 하겠다고 나서는 사람이 생겼다.

사케리가 마지막에 쓴 것도 같은 종류의 것이었다. 다만 이번에는 그것으로 문을 닫았다. 이천 년 동안 사람들은 계속 그 한 걸음을 밟았다. 그리고 매번 굳이 말할 가치도 없는 한 걸음으로 여겼다.

8. 입증 책임

이 글에 등장한 사람들이 한 일은 순서대로 또렷하게 늘어놓을 수 있다.

사케리는 많은 명제를 증명한 뒤 그것들을 인정하지 않았다. 람베르트는 더 많이 증명했고 놀라운 유추를 보았지만 판결을 내리지는 않았다. 가우스는 이 기하학에 모순이 없을 수 있다고 믿었지만, 다른 사람을 설득할 만한 체계를 내놓지 않았다. 보야이와 로바쳅스키는 처음으로 그것을 독립해서 움직이는 학문으로 써냈다. 그 사이에는 또 한 무리의 사람들이 있다. 흔히 쓰는 세 발견자의 틀에서는 통째로 지워지는 사람들이다.

1820년대에 슈바이카르트와 타우리누스는 이미 비슷한 일을 하고 있었다. 법학 교수였던 슈바이카르트는 자신이 구상한 기하학을 ‘천체 기하학’이라 불렀고, 중간 사람을 통해 가우스에게 보냈다. 타우리누스는 더 이른 시기의 평행선 문헌에서 출발해 가우스와도 편지를 주고받았다. 그가 적은 공식들은 이미 쌍곡삼각법에 아주 가까웠다.

두 사람 모두 훗날처럼 새 기하학을 공개적이고 지속적으로 연구하는 기획을 세우지는 못했다. 그래도 한 가지는 보여 주었다. 이것은 세 천재가 저마다 진공 속에서 생각해 낸 것이 아니었다. 끊이지 않고 이어져 온 사람들의 흐름 속에서 몇 사람이 두각을 드러낸 것이었다.

그런데 이 네 단계를 모두 합쳐도 수학계가 받아들이기에는 모자랐다.

다섯 사람, 백 년, 몇백 개의 명제. 그래도 모자랐다.

이 연구들의 목표가 모두 같았던 것은 아니다. 그러나 서로 들어맞는 명제를 계속 얻는 것만으로는, 앞으로도 영원히 모순과 만나지 않으리라고 보장할 수 없었다. 끝낼 수 없는 일이었다. 명제를 하나 더 증명할 때마다 의심하는 사람은 다음 것을 기다렸다. 일을 정말 끝낸 것은 몇백 개 뒤에 더해진 명제 하나가 아니었다. 누군가 그 질문에 더는 답하지 않고 다른 질문을 던진 일이었다. 모순이 있는가를 묻는 대신, 이미 받아들여진 것과 번역 관계를 맺을 수 있는가를 물었다. 번역 관계가 세워지는 순간, 원래의 문제는 다른 사람의 문제가 되었다.

이 걸음이 가능하려면 연결할 수 있는 다른 무엇이 먼저 있어야 한다. 당시 유클리드 기하학과 해석적 방법 자체가 흔들리고 있었다면, 거기에 연결해 보아야 소용없었을 것이다.

그러니 아무 때나 꺼내 쓸 수 있는 방법은 아니다. 논리적으로는 모형을 떠받칠 이론이 필요하다. 당시의 수용 역사에서는 그 이론이 널리 신뢰받고 있었다는 사실이 특히 중요했다. 그렇다고 편법이었던 것도 아니다.

모형은 문제를 피하지 않았다. 문제를 조금도 바꾸지 않고 다른 곳으로 옮겼다. 비유클리드 기하학에 정말 모순이 있다면, 그 모순은 보통의 유클리드 기하학에도 그대로 나타난다. 누구의 부담도 줄지 않았다. 달라진 것은 이것뿐이다. 이제 그 부담을 지는 것은 이미 이천 년 동안 사용해 왔고, 아무도 의심할 생각이 없는 수학이었다.

2편 끝에서 이런 이야기를 했다. 무엇에 닿을 수 없다면, 닿았다고 치는 기준을 바꿀 수 있다고. 이 글은 같은 동작의 다른 모습이다. 다만 이번에 바뀐 것은 기준이 아니라 누가 입증해야 하는가였다. 둘 다 기억해 둘 만하다. 이런 일은 수학 안에서만 일어나지 않기 때문이다.

오랫동안 증명도 반증도 되지 않은 주장은, 증거 하나가 더 생겼다고 끝나는 경우가 드물다. 끝날 때는 대개 누군가 그것을 이미 받아들여진 다른 것에 연결한다. 그러면 문제의 주인이 바뀐다.

연결되었다고 해서 더 참이 된 것은 아니다. 다른 것만큼 참이 되었을 뿐이다. 혹은 다른 것만큼 참이 아니게 되었을 뿐이다.

계산은 계속된다. 하지만 무엇을 수학으로 칠 것인지는, 아직 한 번도 셈이 끝난 적이 없다.

사료와 더 읽을거리

아래 자료는 본문의 역사적 세부 사항과 해석이 엇갈리는 지점에 대응한다. 소장 기록, 고대의 문학적 기록, 현대의 재구성은 서로 같은 종류의 증거가 아니다.

• 벨트라미의 1868년 논문을 옮긴 1869년 프랑스어 번역 초간본
• 제러미 그레이, 비유클리드 기하학의 재해석
• 프랑스 고등사범학교 CultureMath, 유클리드 기하학과 비유클리드 기하학
• 피렌체 대학교, 벨트라미의 1868년 논문
• 수학 백과사전, 벨트라미 해석