무한소를 내쫓다

1. 그림으로 증명해서는 안 되는 정리

1817년, 프라하에서 작은 책 한 권이 나왔다. 제목은 길었다. 대략 이런 뜻이었다. 어떤 식이 서로 반대 부호를 갖게 하는 두 값 사이에는 그 방정식의 실근이 적어도 하나 있다는 정리를 순수하게 해석적인 방법으로 증명한다. 이 긴 제목에서 눈여겨볼 대목은 ‘순수하게 해석적인 방법’이다.

정리 자체를 의심하는 사람은 없었다. 끊어지지 않는 곡선을 하나 그려 보자. 왼쪽 끝은 가로축 아래에, 오른쪽 끝은 가로축 위에 있다면, 그 사이 어디에선가는 반드시 가로축을 지난다. 굳이 말할 필요도 없어 보인다. 이 책을 쓴 사람은 볼차노였다. 그가 못마땅해한 것은 바로 그 ‘굳이 말할 필요도 없다’는 생각이었다.

곡선 하나가 선 하나를 가로지른다. 이것은 그림이다. 그 그림이 우리에게 알려 주는 것은 어디서 왔을까. 눈에서 왔다. 하지만 이 정리는 다른 증명에도 쓰여야 한다. 들여다볼 그림이 없는 곳에서도 쓰여야 한다.

그래서 그가 하려던 일은 이랬다. 그림을 그리지 않는다. 수란 무엇인지, 함수란 무엇인지, 연속이란 무엇인지 말로 밝혀 둔 것에서 출발해, 그 결론을 이끌어 낸다.

3편에서도 이와 닮은 문제를 다뤘다. 그 기하학 책의 첫 문제부터 두 원의 교점을 잡아야 하는데, 두 원이 반드시 만난다고 보장해 주는 조항은 어디에도 없었다. 그리면 눈에 보였으니까. 그림은 여전히 글이 할 일의 일부를 대신할 수 있었다. 나중에는 그 부분까지 한 문장씩 분명히 말해야 했다.

이번 글은 그림이 이 정리를 대신 증언하게 둘 수 없다고 나선 사람의 이야기다. 그 싸움이 순탄하게 풀린 것은 아니었다.

먼저 그가 무엇을 허물려 했는지 분명히 해 두자. 정리를 허물려던 것이 아니다. 정리는 옳다. 그가 허물려던 것은 그 정리를 증명하는 방식이었다.

곡선이 아래에서 위로 가면 그 사이에 반드시 가로축을 지난다는 말이 안심을 주는 까닭은, 읽는 사람의 머릿속에 그림이 있기 때문이다. 그런데 그림이 증언할 수 있는 범위는 꼭 그만큼이다. 그림으로 그릴 수 있는 경우들만큼.

19세기에 들어서자 해석학에는 그릴 수 없는 것이 점점 많아졌다. 무한히 많은 항을 더한 식, 곳곳에서 뛰어오르는 함수, 끝없이 되풀이해 취해야 하는 극한. 이런 곳에서 그림은 아무 말도 하지 못한다. 그래도 증명은 계속되어야 한다.

볼차노는 수학 교수가 아니었다. 가톨릭 사제였고, 프라하 대학교 철학부에서 가르친 것은 종교 교리였다. 수학은 그가 꾸준히 힘을 쏟은 분야였지만, 그의 교수직에 붙은 이름은 아니었다. 1819년, 설교와 사상에 드러난 자유주의적 성향이 위험하다는 이유로 그는 해임되었다. 이후 여러 해 동안 조사와 감시를 받았고, 서신은 검열당했으며 출판에도 제약이 따랐다.

그의 작은 책이 오랫동안 영향력을 얻지 못한 데에는 그러니 이유가 하나만 있었던 것이 아니다. 여러 이유가 줄줄이 이어져 있었다.

그렇다고 아무도 그 책을 보지 못했다고 하면 지나친 말이다. 독일어권의 서평지에 소개되었고, 프라하의 몇몇 수학자는 그 책을 알았다. 아벨도 볼차노의 저술 가운데 일부를 알고 있었다. 모자랐던 것은 독자가 아니라 그 독서들을 이어 줄 전통이었다. 학파가 생기지 않았고, 교과서에 들어가지 않았고, 다른 사람의 증명이 출발하는 자리가 되지 못했다.

그를 다시 고전의 자리에 올려놓는 일은 훨씬 뒤에야 이루어졌다. 19세기 후반, 몇몇 사람이 잇따라 급수와 수렴 문제에서 그가 앞서갔음을 공개적으로 인정했다. 1881년에는 이 역사 속에서 그의 자리를 따로 다룬 글도 나왔다. 서지에 흔적을 남기는 것과 누군가의 출발점이 되는 것은 다르다. 지난 글에서 한 말이다. 여기서도 한 번 더 해야 한다.

이번에 잃어버린 것은 좀 더 구체적이었다. 그 작은 책에는 훗날 해석학의 기본 기법으로 인정받을 논증이 이미 들어 있었다. 그때 교과서에 들어갔더라면, 뒤이은 수십 년 동안 여러 사람이 저마다 같은 길을 다시 걸을 필요는 없었을 것이다.

2. 코시는 무한소를 내쫓지 않았다

이 글의 제목에는 따옴표가 필요하다. 이 점은 지금 밝혀 두는 편이 좋겠다.

흔히 들려주는 이야기는 이렇다. 18세기의 미적분은 0은 아니면서 더 작아질 수 없을 만큼 작은 무언가에 기대고 있었고, 그것이 무엇인지 제대로 설명하지 못했다. 19세기 초 코시가 극한으로 그것을 대신했다. 뒤이어 바이어슈트라스가 그 언어를 철저히 형식화하면서 마침내 엄밀성이 확립되었다.

첫걸음부터 틀렸다.

1821년 코시는 파리의 한 공학 교육기관에서 쓸 교과서를 출판했다. 서문에서 그는 함수의 연속성을 논할 때 무한소량의 주요 성질을 피해 갈 수 없다고 했다. 바로 그 성질들이 무한소 계산의 기초를 이루기 때문이다. 책에는 이런 규정도 있었다. 변수의 수치가 한없이 작아지면서 0을 극한으로 가지면, 그 변수는 무한소가 된다. 2년 뒤 그는 같은 학교에서 가르친 무한소 계산 강의의 요약본을 또 펴냈다. 제목부터 ‘무한소 계산’이었다.

그는 이 말을 내쫓기는커녕 기초를 세우는 재료로 썼고, 강의 이름으로도 삼았다. 무한소를 없애 버렸다는 사람이 자기 강의 제목에 무한소를 써넣은 것이다. 그렇다면 그가 한 일은 무엇이었을까.

그가 내린 극한의 정의는 과정을 따라간다. 변수가 차례로 취하는 값들이 어떤 고정된 값에 한없이 가까워져, 마침내 그 값과의 차이를 원하는 만큼 작게 만들 수 있을 때, 그 고정된 값을 변수의 극한이라 부른다. 한 번 읽으면 이해된다. 읽고 나면 제대로 이해했다는 확신도 든다. 무언가가 일어나고 있기 때문이다. 한 양이 움직이고, 움직일수록 다른 양에 가까워진다.

연속성을 설명하는 방식은 두 가지였고, 둘은 이어져 있었다. 하나는 증분이 계속 작아지면 두 지점에서의 함수값의 차이도 계속 작아진다는 것이다. 더 널리 알려진 다른 하나는 이렇다. 주어진 구간 안에서 변수의 무한소 증분은 언제나 함수의 무한소 증분을 낳는다.

급수의 수렴은 부분합으로 설명했다. 앞에서부터 몇 개 항을 더한 값이 항의 수가 늘어날수록 어떤 유한한 값에 가까워지면, 그 급수는 수렴하며 그 값이 급수의 합이라는 것이다. 이 세 가지 설명에는 훗날의 언어를 이루는 재료가 이미 다 들어 있다. 얼마든지 작게, 제어, 가까워짐. 아직 없었던 것은 이 재료들을 일정한 순서로 배치하는 문법이었다.

재료는 갖춰졌지만 문법이 정해지지 않았다는 것은, 쓸 때마다 쓰는 사람이 스스로 순서를 맞춰야 한다는 뜻이다. 제대로 맞추면 엄밀한 논증이 된다. 잘못 놓아도 그 잘못이 반드시 눈에 보이는 것은 아니다.

게다가 코시는 실제 증명에서 매우 정교한 부등식 추정을 많이 사용했다. 그러니 그를 오직 직관에 의존한 사람으로 그리는 것도, 후대가 해야 할 일을 이미 모두 끝낸 사람으로 그리는 것도 똑같이 잘못이다. 그가 쓴 무한소가 대체 무엇이었는지를 놓고는 실제로 논쟁이 있다. 지금도 끝나지 않은 논쟁이다.

한쪽 해석에 따르면, 그 무한소들은 사실 0으로 다가가는 변수이지 독립적으로 존재하는 고정된 작은 수가 아니다. 이렇게 읽으면 코시의 글 대부분을 후대의 언어로 옮길 수 있다. 무한소라는 표현은 말버릇일 뿐이며 언제든 지워도 된다는 것이다.

다른 해석은 바로 그 마지막 대목에 반대한다. 코시는 때로 무한소를 함수에 직접 대입했다. 차수가 다른 무한소들을 비교하기도 했다. 1853년에는 오래된 문제를 다시 다루면서 어떤 양에 항의 수가 늘어날수록 작아지는 값을 넣고, 항의 수를 무한히 늘렸다. 이런 연산들까지 모두 지워도 되는 말버릇으로 처리한다면, 나중에 얻은 답을 과거에 거꾸로 밀어 넣는 셈이라는 것이다.

이 해석에 대한 반론도 진지하게 받아들여야 한다. 20세기의 도구로 19세기의 논증을 충실히 구현하는 모형을 찾을 수 있다는 것과, 그 19세기 사람이 실제로 그런 존재론을 갖고 있었다는 것은 다른 일이다. 코시에게는 그 모형도, 후대의 수 체계도, 거기에 대응하는 전이 규칙도 없었다.

그러므로 가장 확실하게 할 수 있는 말은 어느 한쪽 편을 드는 말이 아니다. 어느 쪽도 코시가 무한소를 쓰지 않았다고 할 수는 없다. 쟁점은 그 무한소들이 단지 과정을 말하는 언어였느냐, 아니면 다른 언어로 옮겼을 때 무언가를 잃을 수밖에 없는 역할까지 맡고 있었느냐다.

이 논쟁 자체를 눈여겨볼 만하다. 이 연재에서 비슷한 모양의 문제가 몇 번이나 나왔기 때문이다. 누군가가 써 놓은 것을 후대의 사람이 자기 언어로 다시 말할 수 있다. 말도 매끄럽게 이어지고 결론도 맞는다. 하지만 다시 말할 수 있다는 사실이, 처음 쓴 사람이 바로 그것을 생각했다는 뜻은 아니다.

5편에서도 같은 문제를 다뤘다. 그때의 말은 이랬다. 후대가 재구성한 것으로 옛사람이 직접 써 놓은 것을 대신할 수는 없다.

3. 예외가 있다

1821년의 그 책에는 대략 이런 정리가 실려 있다. 급수의 각 항이 모두 같은 변수를 갖는 연속함수이고, 그 급수가 어떤 점의 근방에서 수렴한다면, 그 합도 그 근방에서 연속이다. 후대의 표준적인 방식으로 읽으면 이 정리는 성립하지 않는다. 1826년 아벨이 이를 지적했다. 그때 그가 고른 말을 기억해 둘 만하다. 아벨은 당시 스물서너 살로 유럽을 돌아다니며 공부하고 있었고, 코시는 당시 프랑스에서 가장 영향력 있는 해석학자 가운데 하나였다.

아벨은 정리가 틀렸다고 하지 않았다. 정리에 예외가 있다고 했다. 그가 든 예외는 삼각급수였다. 푸리에가 열을 연구하면서 함수를 풀어 나누는 데 썼던 바로 그런 급수다. 각 항은 모두 연속인데, 더해서 얻은 주기함수는 특정한 점들에서 불연속이었다.

여기서 흔히 벌어지는 바꿔치기가 있다. 나중의 강의에서는 거듭제곱들을 늘어놓은 급수를 예로 들며 이것이 아벨의 1826년 반례라고 하곤 한다. 아니다. 아벨이 쓴 것은 삼각급수였다.

‘예외’라는 말도 예의를 차리느라 고른 것이 아니었다. 1820년대의 수학에는 이 정리가 참인지 거짓인지 판정하는 데 쓸 수 있는, 후대에 정립된 의미의 균등수렴 개념이 아직 없었다. 그때는 정리에 말을 듣지 않는 경우가 몇 개 있다는 것과 정리가 반증되었다는 것이 같은 일이 아니었다.

1853년, 코시 자신이 이 문제로 돌아왔다. 그는 조건을 하나 더했다. 항의 수를 무한히 늘리면 급수의 나머지 부분이 ‘언제나’ 무한소가 되어야 한다는 조건이었다. ‘언제나’가 핵심이다. 그런 뒤 아벨이 쓴 것과 비슷한 삼각급수를 살펴보면서, 논증 도중 어떤 양에 항의 수가 늘어날수록 작아지는 값을 넣었다.

오늘날 이 대목을 읽는 방식은 둘이다.

한쪽은 이렇게 읽는다. 1821년의 조건은 너무 약했고, 아벨이 그 빈틈을 드러냈다. 이후 여러 사람이 차츰 ‘균등수렴’이라 불리게 될 조건을 따로 가려냈다. 1853년의 코시는 ‘언제나’라는 말을 통해 사실상 가정을 강화했다.

다른 쪽은 이렇게 읽는다. 코시 자신의 무한소 언어에 맞춰 ‘모든’이라는 말을 이해하고, 거기에 무한소인 값들도 포함시키면, 1853년의 조건은 옳다. 심지어 1821년의 증명마저 그저 틀렸다고 할 일은 아닐 수 있다. 후대 사람들이 그 증명에서 쓰인 변수와 근방의 의미를 다른 틀에 억지로 집어넣었기 때문에 오류로 보일 수도 있다는 것이다. 다만 이 두 번째 해석으로 입증할 수 있는 것은 충실한 재구성이 가능하다는 점이다. 1821년의 코시가 이미 그런 의미 체계를 갖고 있었다는 점까지 입증할 수는 없다.

어느 해석을 택하든 분명한 사실이 하나 있다. 문제는 1821년에 제기되었고, 1826년에 예외가 있다는 지적을 받았다. 실제로 필요한 조건이 공개된 것은 1847년 무렵에 이르러서였고, 1853년에는 코시 자신이 다시 돌아왔다. 그것이 표준 개념으로 정리되기까지는 시간이 더 필요했다. 30년이다. 이 정리를 둘러싸고 변수, 근방, 수렴 조건의 정확한 의미가 조금씩 갈라져 나왔다. 이를 하나의 고정된 현대적 명제 앞에서 사람들이 오랫동안 판정을 못 내린 일로 줄여서는 안 된다. 이런 상태는 오늘날 수학에서는 거의 찾아볼 수 없다. 오늘날에는 먼저 명제의 뜻과 가정을 분명히 밝히라고 요구한다. 그렇다고 모든 문제가 해결되는 것은 아니다. 아직 미해결일 수도 있고, 정해 놓은 공리계에 대해 독립일 수도 있다. 증명이 있다는 것과 반례가 있다는 것만으로 우리가 무엇을 알고 있는지 모두 설명할 수는 없다.

그 30년 동안에는 제3의 상태가 오히려 일상이었다. 대체로 맞고, 가끔 말을 듣지 않는데, 그 ‘가끔’이 무엇인지 누구도 분명히 말하지 못하는 상태.

몇몇 정리만의 흠도 아니었다. 18세기에서 물려받은 많은 결과가 이 상태에 놓여 있었다. 써먹을 때는 잘 맞는데, 캐묻기 시작하면 어디까지 통하는지 말할 수 없었다. 이후에 일어난 일의 태반은 바로 이 제3의 상태를 없애기 위한 것이었다.

그것을 없애는 방법은 말을 듣지 않는 경우를 하나하나 찾아내는 것이 아니었다. 정리를 충분히 정확하게 고쳐 말함으로써, 말을 듣지 않는다는 일 자체가 생길 수 없게 하는 것이었다. 무엇이 필요한지 조건에 명시한다. 그러고 나면 조건을 만족하는 것들은 모두 말을 듣고, 만족하지 않는 것들은 애초에 그 정리의 관할 밖에 있다.

대신 조건은 길어진다. 보기에도 몹시 흉해진다.

4. 어느 중등학교 교사

바이어슈트라스의 길은 천재 소년이 막힘없이 출세하는 이야기와는 정반대였다.

젊은 시절 그는 아버지의 뜻에 따라 본으로 공부하러 갔다. 대학 생활은 성공적이지 못했고, 나중에는 교사 자격을 얻기 위한 교육으로 방향을 틀었다. 1840년대 내내 그는 프로이센의 중등학교에서 가르쳤다. 근무지는 두 곳이었다. 초기 연구 가운데는 상당히 수준 높은 것들도 있었지만, 일부는 학교 연보처럼 눈에 잘 띄지 않는 곳에 실렸다. 유럽 수학계의 주류는 거의 알아보지 못했다.

전환점은 1854년이었다. 그해 특정한 종류의 함수를 다룬 논문 하나가 주목받았고, 쾨니히스베르크 대학교는 그에게 명예박사 학위를 주었다. 1856년에는 베를린으로 자리를 옮겨 먼저 한 산업 교육기관에서 일했고, 같은 해 베를린 대학교의 부교수가 되는 동시에 학술원 회원이 되었다. 정교수가 된 것은 1864년이었다. 마흔 안팎이 되어서야 중등학교 교사가 수도의 대학에서 이름난 학자로 떠오른 셈이다.

이 이력은 뒤에서 살펴볼 그의 언어와 관련이 있다. 중등학교에서 십수 년을 가르친 사람은 말을 한마디 했을 때 학생이 알아듣는지에 민감하다. 대학 안에서 자라난 사람에게는 꼭 있으리라 할 수 없는 감각이다. 그가 훗날 마련한 정의들이 그런 모양을 갖춘 것도, 강의실에서 한 걸음씩 앞으로 나아갈 수 있게 하기 위해서였다. 완성된 기초 강의는 젊어서 단번에 만든 체계가 아니었다. 베를린에 들어간 뒤 거듭 고쳐 써 가며 쌓아 올린 강의였다.

여기서 이 글의 물질적 흔적을 따라갈 단서가 하나 나온다. 그는 발표를 아주 적게 했다.

전혀 발표하지 않았다는 말은 아니다. 1854년의 논문이야말로 그가 중등학교를 떠날 수 있게 한 계기였다. 다만 실제 영향력에 비하면, 그는 오랫동안 자신이 세운 해석학의 기초를 공개 교과서로 펴내지 않았다. 베를린에 온 뒤에도 함수론의 기초를 다루는 강의를 계속 고쳤지만, 체계 전체를 정식으로 출판하지는 않았다.

그래서 오늘날 우리가 1860년대부터 1880년대까지 그의 생각을 아는 데 쓰는 주된 증거는 학생들의 강의 필기다. 이 문장은 천천히 읽어야 한다. 필기에서 보충 자료를 조금 얻는다는 뜻이 아니다. 주된 증거가 필기라는 뜻이다. 1861년, 젊은 슈바르츠가 그의 미분학 강의를 적어 두었다. 슈바르츠 자신은 나중에 그 자료를 결점이 있고 불완전한 압축 요약이라고 평했다. 이 말이 중요하다. 오늘날 ‘바이어슈트라스는 1861년에 무엇을 정의했다’고 쓰는 문장 중 상당수는 그가 1861년에 인쇄한 책을 근거로 삼지 않는다. 한 학생이 손으로 쓴 노트에 기대고 있다.

1860년대 이후 그의 건강이 나빠지자, 오히려 이 방식은 더 단단히 자리 잡았다. 기록에 남은 장면은 구체적이다. 그는 앉아서 강의하고, 지명된 학생이 그가 불러 주는 내용을 칠판에 썼다. 다른 수강생들은 그것을 다시 베꼈다. 그렇게 생긴 필사본은 베를린 밖으로, 심지어 독일 밖으로도 흘러갔다.

이 필사본들은 개인적인 기념품도 아니었다. 다시 베껴지고, 교환되고, 매매되기도 했다. 슈바르츠가 남긴 자료에는 다른 사람이 쓴 1868년 강의록을 얻으려고 돈을 지불한 흔적이 있다. 바이어슈트라스 자신도 학생 필기를 꺼리지 않았다. 몇몇 유통본보다 훨씬 잘 정리된 수강생의 자료를 가지고 있다고 말한 적도 있고, 자기 강의를 준비하려고 학생의 노트를 빌리기도 했다.

그러니 발표를 적게 했다고 생각을 감춘 것은 아니다. 그에게는 다른 전달 경로가 있었다. 교수의 강좌에서 시작해, 강의실의 구술, 칠판, 학생의 필사본, 재필사와 거래, 다른 지역의 수학자들을 거쳐, 마지막에야 편집과 출판에 도달하는 길이었다.

4편에 나왔던, 글을 긁어낸 뒤 그 위에 기도문을 다시 쓴 양피지. 9편에 나왔던, 출판할 생각 없이 남긴 개인 작업지. 그리고 여기의 강의 필기. 셋은 하나의 선 위에 놓여 있다. 정작 중요한 내용은 정식 출판물 바깥에 있을 때가 많다. 차이라면 앞의 두 경우는 우연히 살아남았다는 것이고, 이번에는 하나의 온전한 제도가 움직이고 있었다는 것이다.

그 제도에는 비용도 들었다. 노트 한 권이 만들어지려면 누군가는 듣고, 누군가는 쓰고, 누군가는 베껴야 했다. 때로는 누군가 돈도 내야 했다. 그것이 어디까지 퍼질 수 있는지는 얼마나 많은 사람이 그런 수고와 비용을 감수하느냐에 달려 있었다.

출판되지 않은 생각이 모두의 재산이 될 수 있는지는, 그러므로 그 생각이 옳으냐에만 달려 있지 않다.

5. 오차를 하나 주면

이제 그 언어 자체를 보자. 먼저 걷어 내야 할 이야기는 이것이다. 어느 해 어느 논문에서 바이어슈트라스가 현대적인 극한을 정의했다는 이야기. 그런 논문은 없다. 그리고 그 언어가 하는 일은 기호 하나 쓰지 않고도 설명할 수 있다.

코시는 변수의 값이 어떤 고정된 값에 한없이 가까워져, 마침내 그 차이를 원하는 만큼 작게 만들 수 있다고 했다. 이 말에는 동작이 하나 있다. 가까워지는 동작이다. 가까워짐은 시간 속에서 일어나는 과정이며, 독자는 머릿속으로 그 과정을 따라가야 한다. 새로운 설명은 그 동작을 없앴다.

대신 이렇게 말한다. 먼저 오차를 하나 내놓아 보라. 아무리 작아도 좋다. 그러면 나는 범위를 하나 찾아 주겠다. 독립변수가 지정된 점의 그 근방 안에 들어오되 그 점 자체와는 다르기만 하면, 함수값과 극한이라고 제시한 값 사이의 거리는 당신이 내놓은 오차보다 작아진다. 당신이 어떤 오차를 내놓더라도, 나는 그런 범위를 찾을 수 있다.

여기서 무엇이 바뀌었는지 보자. 원래의 문장은 어떤 양의 움직임을 말한다. 움직이고, 가까워진다. 새 문장은 주고받기를 말한다. 당신이 수 하나를 내면 나도 수 하나를 낸다. 당신이 내놓을 수 있는 모든 수에 내가 답할 수 있다고 보장한다. 바로 이것을 그 값을 극한으로 갖는다고 부른다.

여기에는 ‘가까워진다’도, ‘마침내’도, ‘점점’도 없다. 두 가지만 있다. 당신이 무엇을 내놓는가. 나는 무엇으로 답하는가. 과정을 묘사하던 문장이 승패의 규칙을 갖춘 문답으로 바뀌었다.

좋은 점은 검사가 가능하다는 것이다. 어떤 과정이 맞는지 알려면 머릿속에서 직접 따라가 보아야 한다. 문답에서 이겼는지는 하나하나 대조해 확인할 수 있다.

당신을 모르는 사람도 확인할 수 있다. 백 년 뒤의 사람도, 당신에게 전혀 동의하지 않는 사람도 확인할 수 있다. 그가 당신이 걸은 길을 다시 걸을 필요는 없다. 매번 내놓은 답이 맞는지만 검사하면 된다.

3편에서도 다른 모습으로 같은 일이 한 번 있었다. 그때는 증명에서 그림을 내보내 누구의 눈에도 기대지 않게 했다. 이번에는 정의에서 과정을 내보내 누구의 상상에도 기대지 않게 한다. 대가는 있다. 읽어도 무언가가 일어나는 것 같지는 않다.

이 언어도 한 번에 나타난 것이 아니다. 지금 남아 있는 가장 이른 명확한 증거는 1861년의 미분학 강의 필기다. 1863년 이후 그는 핵심 강좌를 거듭 가르치기 시작했고, 이것이 베를린에서 유명했던 순환 강의 체계를 이루었다. 이후 여러 해의 필기를 보면 정의들이 조금씩 표준화되었음을 알 수 있다. 한 번에 굳어 버린 것이 아니었다.

이런 층위를 가장 잘 드러내는 개념이 균등수렴이다. 1838년에 이미 다른 문제를 다루며 ‘균등한 방식으로 수렴한다’는 식의 표현을 쓴 사람이 있었다. 1841년이라는 연도가 붙은 바이어슈트라스의 논문은 1894년에야 출판되었는데, 거기에도 그에 해당하는 표현이 나온다. 다만 최근 연구는 인쇄본이 수정된 것임을 지적한다. 따라서 그 완전한 서술이 1841년에 이미 있었다고 아무 제한 없이 거슬러 올라갈 수는 없다. 1847년 무렵에는 또 다른 두 사람이 각각 함수항 급수의 연속성 문제에서 출발해, 훗날 핵심으로 인정받을 조건을 공개적으로 썼다. 1853년에는 코시가 자신의 언어로 다시 돌아왔다.

그러니 누가 먼저였는지는 무엇을 묻느냐에 달려 있다.

누가 그 현상을 맨 처음 보았는가. 누가 비슷한 조건을 맨 처음 적었는가. 누가 맨 처음 공개 발표했는가. 누가 그것이 해석학 전반의 기초 개념임을 맨 처음 알아보았는가. 이 네 질문의 답이 같은 사람은 아니다.

6. 1872년

1872년 7월 18일, 바이어슈트라스는 베를린 학술원에서 함수 하나를 발표했다. 모든 점에서 연속이면서, 어느 점에서도 도함숫값을 갖지 않는 함수였다. 당시에는 이 두 성질을 한데 묶는 말이 거의 자기모순처럼 들렸다.

그전까지 사람들이 떠올리는 연속곡선은 펜을 떼지 않고 한 번에 그을 수 있는 선이었다. 그렇게 그을 수 있는 선이라면 몇몇 모서리를 빼고는 어디에나 접선을 댈 수 있다고 생각했다. 이것은 정리가 아니었다. 그림이 준 확신이었다.

연속이라는 말은 곡선이 끊어지지 않는다는 뜻이다. 도함숫값이 있다는 말은 그 점에서 기울기가 유한한 접선을 그을 수 있다는 뜻이다. 끊어지지 않는 곡선인데, 어느 점에서도 그런 접선을 그을 수 없다.

그전에 매끄럽지 않은 곡선을 생각한 사람이 없었다는 말은 아니다. 꺾은선의 모서리에도 접선은 없다. 다만 꺾은선은 유한 개의 지점에서만 문제가 생기고, 나머지에서는 매끈하다. 이 함수는 어디에서도 유한한 도함숫값을 갖지 않으면서 여전히 연속이었다. 그렇다고 보통 말하는 의미의 모서리가 모든 곳에 있다는 뜻은 아니다.

충격은 기이한 예가 하나 늘어났다는 데 있지 않았다. 이제부터는 곡선이 연속으로 보인다는 사실만으로 접선, 국소적인 매끄러움, 미분 가능성에 관한 직관을 마음대로 써도 된다는 허가를 받을 수 없다는 데 있었다.

흔히 1872년에 있었던 일로 한데 묶지만, 실제로는 그해가 아닌 일이 두 가지 있다.

첫째, 이 예가 널리 전해진 것은 1872년의 그 발표 자리에서가 아니었다. 바이어슈트라스의 글이 곧장 보통의 논문처럼 유통된 것도 아니다. 이를 공개적으로 전한 것은 1875년 뒤부아레몽의 출판물이었다.

둘째, ‘수학의 괴물’이라는 말은 그날 나온 반응이 아니다. ‘논리는 때때로 괴물을 낳는다’는 가장 유명한 말은 푸앵카레가 1899년 무렵에 한 말이다. 에르미트는 1893년 스틸체스에게 보낸 편지에서 도함수가 없는 이 연속함수들을 두고 두려움과 혐오라는 말을 썼다. 두 자료 모두 확실하다. 하지만 둘 다 1872년보다 20년 안팎 뒤의 자료다. 그것을 그날 학술원 회의장의 반응인 양 가져다 놓을 수는 없다. 다시 1872년으로 돌아가면, 그해에는 또 다른 일도 있었다. 하나가 아니라 여러 가지였다.

데데킨트는 『연속성과 무리수』라는 작은 책을 펴냈다. 출발점은 1858년 강의하면서 부딪힌 어려움이었다. 연속성에 관한 정리를 증명할 때마다 기하학의 직선을 빌려 수 체계를 보증하게 할 수는 없었다. 그는 유리수들을 특정한 순서 조건을 만족하는 두 부분으로 나누고, 이 ‘절단’으로 그에 해당하는 무리수를 만들었다. 직선의 연속성이 수 체계 자체의 성질이 된 것이다.

같은 해, 칸토어는 한 학술지에 실은 논문에서 특정한 종류의 유리수 수열을 출발점으로 삼아, 같은 방식으로 가까워지는 수열들을 묶어 새로운 수를 만들었다. 하이네도 그해 다른 학술지에서 비슷한 수열 방법으로 무리수와 함수론을 다뤘다.

이 세 가지 일을 세 사람이 동시에, 서로 독립적으로 실수를 발명했다고 읽어서는 안 된다. 하이네와 칸토어 주변의 생각들은 긴밀하게 연결되어 있었다. 이 길에 있던 사람들도 더 많았다. 방법이 셋뿐이었던 것도 아니다.

1872년은 오히려 합류점에 가까웠다. 수십 년 동안 극한, 무리수, 함수, 연속성을 둘러싸고 쌓인 압력이 그해 한꺼번에 여러 방안으로 모습을 드러냈다. 인쇄해서 내놓을 수 있고, 서로 견주어 볼 수도 있는 방안들이었다. 그래서 무엇이 달라졌을까.

그전의 수학자들이 무리수를 몰랐다는 이야기가 아니다. 그전에는 해석학의 증명을 끝까지 밀고 가다 보면, 기하학의 직선을 한 번 빌리거나 어떤 극한은 당연히 존재하리라는 직관을 한 번 빌려야 할 때가 많았다. 그 직선이나 극한의 존재를 더 기초적인 데서 따로 구성해 놓지 않았기 때문이다.

이제는 그럴 수 있었다. 공집합이 아니며 위로 유계인 실수 집합에는 상한이 있다. 실수로 이루어진 코시 수열에는 실수인 극한이 있다. 이런 명제들을 더는 직선 그림이 보증해 줄 필요가 없었다. 수 체계의 구성 안에 직접 넣을 수 있었다.

여기서도 신화를 만들지는 말자. 절단과 수열이 자연 속에 숨어 있던 똑같은 무언가를 발견한 것은 아니다. 사람들이 실수에 요구하는 성질을 어떤 구조가 갖추도록 만드는, 서로 다른 두 방법이다.

7. 산술화라는 말

‘해석학의 산술화’라는 말은 오늘날 입에 잘 붙는다. 하지만 이 말에는 구체적인 내력이 있고, 그 내력은 오늘의 용법과 맞아떨어지지 않는다. 추적할 수 있는 이른 용례 가운데 하나는 크로네커가 1887년에 쓴 글에 나온다. 문제는 그가 말한 산술화와, 후대의 역사책에서 ‘바이어슈트라스, 데데킨트, 칸토어가 해석학의 산술화를 완수했다’고 할 때의 산술화가 같은 것이 아니라는 데 있다.

크로네커는 정수와 유한하게 구성할 수 있는 절차 위에 수학을 세우고 싶어 했다. 반면 칸토어 계열의 집합론과 일부 무한한 대상들은 바로 그가 받아들이는 데 강한 의구심을 품었던 것들이었다.

따라서 산술화를 1870년대의 이 진영 전체가 함께 내건 구호로 삼으면, 연대도 입장도 모두 틀린다. 이 말은 1895년 클라인이 글 제목으로 쓴 뒤에야 차츰 역사 전체를 묶는 이름이 되었다. 굳이 이 내력을 짚는 데는 이유가 있다. 후대가 어떤 역사를 요약하는 데 쓰는 말이, 정작 그 역사 속의 반대자에게서 나올 때가 많기 때문이다. 그는 ‘산술화’라는 말에는 찬성했다. 하지만 오늘날 그 말 아래 들어 있는 것 대부분에는 찬성하지 않았다.

6편에서도 비슷한 일이 있었다. 지금은 사라진 책을 옮긴 번역본의 첫 문장에서 말 하나가 자라났는데, 그 말이 오늘날 가리키는 것은 원래의 책과 관계가 없었다. 이번에는 다른 방식이다. 반대자가 만든 말을, 나중에 그가 반대한 일을 아우르는 이름으로 썼다. 같은 시기, 또 하나의 흐름도 움직이고 있었다. 위에서 본 흐름들과 이어져 있는 흐름이다.

리만은 1854년에 쓴 삼각급수에 관한 교수자격 논문에서 정적분의 개념과 적용 범위를 따로 논했다. 이 글은 그가 죽은 뒤인 1867년에야 출판되었다. 그의 관심은 더 이상 ‘연속함수는 당연히 적분할 수 있다’는 데 있지 않았다. 불연속점이 아주 많을 수도 있는 함수에서 어떤 조건을 만족해야 여전히 적분을 정의할 수 있느냐는 것이었다. 1875년 다르부는 이 방향을 더 다루기 쉬운 형태로 만들었다. 구간을 쪼갠 다음 작은 구간마다 함수의 상한과 하한을 취해 두 개의 합을 구성했다.

그러니 이 수십 년 동안 움직인 것은 하나가 아니다. 무엇을 함수로 허용할 것인가, 무엇을 적분할 것인가, 급수의 극한은 무엇인가, 수 체계는 어떻게 완비성을 갖추는가. 이 모든 것이 함께 움직였다.

병적인 함수들이 갈수록 중요해진 이유도 여기에 있다. 정의가 이제 수학자들에게 이런 질문을 진지하게 던질 수 있도록 해 주었기 때문이다. 가장 극단적인 경우에까지 갔을 때, 그 정리에는 무엇이 남는가.

8. 울타리를 옮긴 뒤

이제 대가를 말할 차례다. 다만 여기에는 비워 두어야 할 자리가 하나 있다. 흔한 설명 가운데 이런 말이 있다. 새 언어 때문에 해석학은 읽을 수도 가르칠 수도 없게 되었고, 당시에도 불평이 나왔다는 것이다. 그런데 1880년대 이전으로 범위를 한정하면, 그렇게 쓸 만큼 믿을 만한 자료를 찾을 수 없다. 뒤에 나온 말을 십수 년 앞으로 옮겨 놓느니 빈칸으로 남겨 두는 편이 낫다. 확실히 손에 잡히는 것은 바로 뒤 세대의 자료 두 가지다.

1893년 에르미트는 스틸체스에게 편지를 보내, 도함수가 없는 연속함수들에 거의 공포에 가까운 혐오를 느낀다고 했다. 1899년 무렵 푸앵카레는 논리가 때때로 괴물을 낳는다고 하면서, 도함수가 없는 연속함수를 대표적인 예로 들었다.

다만 이 말들이 무엇을 겨냥했는지 주의해서 보아야 한다. 겨냥한 것은 그 병적인 대상들이지, 기호 체계 자체가 아니다. 푸앵카레는 한 가지를 더 말했다. 오히려 이쪽이 더 중요하다. 연구에서 가장 믿을 만한 논리의 순서가, 가르칠 때 가장 잘 이해되는 인식의 순서인 것은 아니라는 점이다.

따라서 대가는 적어도 세 겹이다.

기하학적 직관은 더 이상 최종 판결권을 갖지 못한다. 정의가 허용하는 대상은 직관이 허용하는 대상보다 훨씬 많다. 그리고 가장 엄밀한 순서와 가장 쉽게 배울 수 있는 순서는 갈라졌다. 이 가운데 두 번째에서 잠시 멈출 필요가 있다. 대부분의 예상과 반대이기 때문이다. 이 작업 전체의 동기를 들으면 문을 더 단단히 걸어 잠그려는 것처럼 보인다. 설명할 수 없는 것은 내보내고, 버틸 수 있는 것만 남겨 두려는 듯하다. 실제로 벌어진 일은 문이 더 넓게 열렸다는 것이다. 이 글에서 한 문장만 가져간다면 이 문장이어야 한다.

옛 직관은 이렇게 말한다. 연속곡선에는 당연히 대부분의 지점에 접선이 있다. 그러니 어디에도 접선이 없는 것은 애초에 존재해서는 안 된다. 새로운 정의는 존재해도 되느냐고 묻지 않는다. 한 가지만 묻는다. 당신의 정의 가운데 어느 조항이 접선의 존재를 보장하는가. 그런 조항이 없다면, 그 대상도 들어올 자격이 있다.

안정을 얻으려고 세운 기준이, 내보낸 것보다 더 많은 것을 들여보낸 셈이다.

7편에서도 다른 모습으로 같은 일이 벌어졌다. 그때 치워 버린 문턱은, 기호에는 먼저 양으로서의 해석이 있어야 한다는 요구였다. 문턱을 치우자 음수가 들어왔고, 나중에는 더 많은 것이 들어왔다.

두 경우의 작동 방식은 같다. 문턱을 내용에서 형식으로 옮기자, 들어올 수 있는 것이 줄어든 게 아니라 늘어났다.

방법이 실패한 것이 아니다. 기준이라는 것에는 원래 이런 성질이 있다. 말로 적은 규정이 그림으로부터 판결권을 넘겨받으면, 그 규정이 판정하는 대상은 더 이상 그림으로 그릴 수 있는 경우에만 머물지 않는다. 울타리를 눈에 보이는 자리에서 글로 적을 수 있는 자리로 옮기는 순간, 울타리 안에 들어오는 범위도 달라진다. 대개는 넓어진다.

마지막으로 한 가지를 더 적어 두자. 1960년대, 현대적 도구로 0이 아닌 무한소를 포함하는 확장된 수 체계를 만들고, 그 안에서 미적분을 엄밀하게 전개한 사람들이 있었다. 이것이 19세기의 길이 잘못되었음을 증명하지는 않는다. 증명하는 것은 다른 말이다. 무한소를 쓴다는 것과 수학이 엄밀하지 않다는 것은 같은 일이 아니다. 19세기 말의 길이 훗날 지배적인 길이 되었다는 것은 역사적으로 일어난 일이다. 논리적으로 허용되는 길이 그것 하나뿐이었다는 뜻은 아니다.

그러니 이 글의 제목에는 처음부터 끝까지 그 따옴표가 붙어 있어야 한다.

무한소는 쫓겨나지 않았다. 바뀐 것은 증명 안에서 무한소가 차지하는 자리, 그리고 어떤 논증이 버틸 만한지 판정할 권한을 누가 갖느냐였다.

수를 셈하는 일은 계속된다. 하지만 어디까지를 수학으로 칠 것인지는, 아직 한 번도 셈이 끝난 적이 없다.

사료와 더 읽을거리

아래 자료는 본문에 나오는 역사적 세부 사항과 해석의 차이에 대응한다. 소장 기록, 고대 문학, 현대의 재구성은 같은 종류의 증거가 아니다.

• 프랑스 국립도서관: 코시의 1821년 『해석학 강의』
• 코시의 무한소, 급수의 합 정리, 기초 패러다임에 관한 연구
• 피어텔: 바이어슈트라스의 강의록과 출판물에 나타난 균등수렴
• 데데킨트의 『수론 논문집』: 「연속성과 무리수」 수록
• 괴팅겐 소장 원간본: 리만의 1867년 삼각급수 논문
• 취리히 연방공과대학교 도서관 소장 리만의 1867년 원간본