신의 영역에 도전했던 비참한 천재의 운명

" 인간은 원래 숫자를 헤아리는 능력을 타고났고, 그래서 그들은 선사시대부터 자연수, 즉 양의 정수를 알고 있었다. 그러나 자연수에는 금지 조항이 있었다. ‘작은 수에서 큰 수를 뺄 수 없다’는 조항이 바로 그것이었다. 그런데 기술이 발전하면서 이 금지 조항은 커다란 장애가 되었다. 어제 기온이 5도였는데 오늘은 8도 떨어졌다면, 오늘의 기온은 몇 도라고 해야 하는가? 사람들은 이 해결책을 연구하던 끝에 음수라는 개념을 개발했고, 0의 사용을 제안함으로써 문제를 해결했다. 음의 정수와 양의 정수, 그리고 0으로 이루어진 숫자 체계에는 정수라는 이름이 붙여졌다. 그런데 얼마 가지 않아 정수에도 한계가 있음이 밝혀졌다. 어떤 정수를 그것의 약수가 아닌 수로 나눴더니 당장 문제가 발생한 것이었고, 이것은 측정 기술이 발달하면서 더욱 큰 문제점으로 부각되었다. 이때 개발된 새로운 숫자가 바로 분수였다.

기존의 정수에 분수를 첨가한 새로운 수 체계는 유리수로 불리었다. 그렇지만 유리수마저 금방 한계를 드러내고 말았다. 유리수 길이의 변을 가지는 정사각형의 대각선은 유리수 길이를 갖지 않음이 밝혀졌으며, 과학이 더욱 발달하여 미적분의 개념이 적용되면서 유리수는 수시로 과학의 발목을 잡았고, 이때 도입된 수가 바로 무리수였다. 기존의 유리수에 무리수를 첨가한 새로운 수 체계를 실수라고 불렀다. 그 이후, 음수의 제곱근이 필요해진 수학자들은 결국 음수의 제곱근인 허수라는 새로운 수를 또 다시 개발하여 기존의 수 체계에 포함시켰다. 실수에 허수를 첨가하여 범위가 더욱 넓어진 수 체계에는 복소수라는 이름이 붙여졌다. "

   숫자의 역사는 위에 쓴 것처럼 자연스럽게 발전되지 않았습니다. 자연수는 선사시대부터 있었던 건 사실이지만, 분수는 기원전 3,000년경에 이집트인들에 의해서 개발되었고, 무리수는 기원전 600년경에 그리스에서 피타고라스학파들에 의해 우연히 발견되었습니다. 그들은 수직선이 유리수로 이루어졌다고 종교적인 신념으로 믿었지만 결국 한 변의 길이가 1인 정사각형의 대각선의 길이를 분수로 나타낼 수 없음을 엄밀한 방식으로 증명함으로써 우주에 존재하는 모든 것들을 물리적으로나 형이상학적으로 유리수에 의해 나타낼 수 있다는 자신들의 모델의 결함, 그리고 자신들이 숭배했던 신의 결함을 발견하고 말았습니다.

하지만 피타고라스학파를 비롯한 그리스인들은 0 이란 숫자를 사용하지 않았습니다. 그들은 계산할 때의 0 의 편리함을 알고 있었지만, 0 을 고유한 수로 받아들이길 거부했고, 그 이유 중 큰 부분은 0 이라는 개념이 무(無)를 인정하지 않던 당시의 철학적 믿음과 상충되었기 때문이었습니다. 게다가 0에 어떤 수를 곱하던 0이 되고, 어떤 수를 0으로 나누면 도저히 이해할 수 없는 결과가 초래되기에 아리스토텔레스는 0을 가리켜 ‘규칙에서 벗어난 수’라고 하였으며, 훗날 오랫동안 지배해 온 아리스토텔레스의 수리철학을 위태롭게 한 것은 바로 무(無)와 무한(無限)의 두 가지 개념들이었습니다.

그리스 시대에는 아리스토텔레스, 유클리드, 아르키메데스, 디오판토스, 프톨레마이오스 등에 의해서 지금으로 말하면 수리과학의 꽃이 피었습니다. 그러나 그리스 문명의 계승자인 로마는 그처럼 화려했던 수학에 대해서 거의 관심을 보이지 않았습니다. 다만 케사르의 후계자로 여겨지던 안토니우스는 클레오파트라의 환심을 사기 위해서인지 그리스의 진귀한 책들을 알렉산드리아로 가져왔습니다. 그 후 5세기경 로마의 황제 테오도시우스의 침공에 의하여 알렉산드리아는 침공당하고, 그동안 보관했던 귀중한 도서의 상당부분이 유실되었습니다. 중세 학문의 암흑기는 이렇게 시작되었습니다.

한편 기독교도들의 무자비한 공격 속에서도 가장 중요한 책들은 복사본의 형태로 살아남아서 아랍에 전해졌습니다. 이 시점이 그리스의 학문적 전통이 아랍에 의해서 이어지는 시기가 됩니다. 아랍인들은 다양한 경로를 통하여 그리스의 과학을 수입하여 아랍어로 번역합니다. 이후 1,000 년 간 서양 세계의 수학/과학은 참담한 암흑기 속에서 거의 발전이 멈추었고, 인도와 아랍 지역에 살던 소수의 수학자들에 의해서 학문의 명목이 이어졌습니다.

무(無)의 난점은 6~7 세기에 인도의 수학자들에 의하여  해결되었으며, 0 이라는 숫자가 본격적으로 사용된 것도 이 무렵입니다. 이들은 0 으로 나눈다는 의미를 어떤 수로 나눈 다음 그 수를 0에 접근시키는 방법을 취함으로써 정당화 시킬 수 있었고, 따라서 임의의 수를 0 으로 나눈 값을 무한대라는 수학적 정의로 사용함으로써 그리스인들의 고민을 해결할 수 있었습니다. 이러한 방식으로 얻어진 무한대는 0과 매우 대조적이면서도 유사한 특성을 갖습니다. 예를 들면 0에 어떤 수를 곱해도 0이 되고, 무한대에 어떤 수를 곱해도 무한대가 됩니다. 어떤 수를 0으로 나누면 무한대가 되고, 어떤 수를 무한대로 나누면 0 이 됩니다. 어떤 수에 0을 더해도 그 수는 변하지 않으며, 무한대에 어떤 수를 더해도 무한대는 변하지 않습니다. 이제 엄연한 수로서의 0 의 등장은 그 동안의 수학을 혁명적으로 발전시킵니다.

   음수는 3세기 경 그리스의 디오판투스가 방정식의 해를 구하면서 처음 사용했고, 역시 3세기 경 중국에서도 방정식의 해법에 음수를 사용했습니다. 하지만 이들 모두는 음수를 계산 과정에서 만들어지는 불필요한 부산물 정도로 여겼습니다. 음수는 16세기 르네상스 시대에 와서 돈에 관련된 셈을 하는 과정에서 본격적으로 등장하였으며, 17세기 데카르트 이후에야 수학적으로 널리 사용되었습니다. 앞에서 제가 "어제 기온이 5도였는데 오늘은 8도 떨어졌다면, 오늘의 기온은 몇 도라고 해야 하는가?" 라는 말로 음수를 설명했으나 사실은 18세기에 온도계를 처음으로 만든 파렌하이트(Gabriel Fahrenheit)조차 일반인들에게 어려운 개념인 음수의 온도를 가급적으로 피하기 위해 자신이 실험실에서 얻을 수 있는 가장 낮은 온도를 0도로 놓았습니다.

피타고라스학파가 우연히 무리수를 발견한 이후 수백 년 동안 학자들은 무리수를 필요악이라 생각했습니다. 필요하다고 생각한 이유는 유리수만으로는 무한수열 또는 무한급수의 수렴 값을 표현할 수 없었고, 새로 도입된 미적분을 사용하려면 수직선이 연속이어야 했기 때문입니다. 반면 악이라고 생각했던 이유는 무리수의 예는 많지만 이들에 대한 수학적 정의가 없었고, 이들을 유리수와 함께 조화시켜서 이해할 수 있는 방법이 없었기 때문입니다. 무리수를 포함한 실수의 직선이 수학적으로 완성된 것은 불과 130여 년 전인  1878년 독일의 수학자 리하르트 데데킨트에 의해서입니다. 데데킨트의 실수 정의의 핵심은 완비성입니다. 실수의 완비성은 초급 해석학에서 다양한 형태로 새롭게 설명될 수 있는데, 본질적으로는 실수를 모든 무한소수의 집합으로 정의한 것과 같습니다. 위대한 수학자 가우스의 제자였던 데데킨트는 더 나은 곳으로 옮길 생각 없이 자신의 고향인 브라운슈바이크의 고등기술학교에서 50년 동안 재직했습니다.

자연의 많은 현상들은 자연수와 유리수만으로 설명되지만, 지난 한 세기동안 과학자들이 목격했듯이, 거의 모든 이론에서 자연의 속성을 과학적으로 표현하기 위해 필수적으로 사용되는 수십 개의 상수들은 소수점의 자릿수 배열에서 어떤 규칙도 발견되지 않아서 대부분이 무리수인 것처럼 보였습니다. 그래서 모든 전기량은 기본 전하의 정수배로 표시되는 이산적 현상인 것과는 달리 시간의 흐름은 실수 직선과 같은 연속성을 띠고 있다는 수학적 가설이 갈수록 설득력을 더해가고 있습니다.

하지만 대부분의 무리수는 실체가 없습니다. 실체가 있는 무리수에는 원주율 π의 함수 또는 제곱근이나, 지수 로그함수로부터 얻어지는 것들이 거의 모두입니다. 우리가 어떤 방식으로든 표현이 가능한 숫자들의 집합은 전체 무리수에 비해서 비교할 수 없을 정도로 작습니다. 자연수나 유리수와 같은 무한집합의 원소의 개수를 처음으로 비교하고 체계화 시킨 수학자는 칸토어(Georg Cantor)입니다. 칸토어는 수학역사상 가장 독창적인 천재 중 하나이고, 또한 가장 비참한 삶을 살았던 수학자입니다. 칸토어는 덴마크 국적의 유태인 부모에게 상트페테르부르크에서 태어났으며, 독일에서 교육받고 일생을 살았습니다. 칸토어의 생전에는 어느 나라도 그를 마음으로부터 거두어주지 않았는데, 그가 위대한 수학자로 추앙받는 현재는 여러 나라가 제각기 칸토어를 자기나라 사람이라고 주장하고 있습니다. 동서고금을 통해서 변하지 않는 진리는 ‘조국’은 성공한 사람은 확실히 챙긴다는 사실입니다.

칸토어의 놀라운 발견은 자연수의 개수와 유리수의 개수가 같다는 사실을 찾아냄으로써 시작됩니다. 이 아이디어는 매우 독창적이지만, 우리나라 고등학생도 손쉽게 이해할 수 있을 정도로 기본적입니다. 수십 년 동안 고등학교 참고서 ‘수학의 정석’에는 이러한 문제가 있었습니다. 이 수열은 칸토어가 고안해 낸 것으로써 유리수와 자연수의 대등함을 보여주고 있습니다.

“수열 1/1, 1/2, 2/1, 1/3, 2/2, 3/1, 1/4, 2/3, 3/2, 4/1, 1/5, 2/4, ....에서 n/m 은 몇 번째 항인가?”

이 답은 아주 손쉽게 구해집니다. 하지만 답보다 훨씬 중요한 사실은 양의 유리수에 순서를 매길 수 있는 방법이 존재한다는 사실입니다. 즉 유리수와 자연수는 같은 개수라는 발견입니다.  그 후 칸토어는 실수의 개수는 유리수의 개수보다 훨씬 많음을 그가 고안한 대각 논법을 사용해서 증명했습니다. 대각 논법은 후에 괴델이 그의 불완전성정리에서 참이지만 증명불능인 명제를 추상적으로 구성할 때 사용됩니다.

칸토어의 증명을 통해서 알려졌다시피 유리수의 개수와 실수의 개수는 비교가 안될 만큼 차이가 납니다. 유리수는 가산집합이고 실수는 이른바 비가산집합입니다. 인간이 어떤 방식으로든 표현할 수 있는 수를 다 모아도 이는 가산집합에 불과합니다. 그러니까 우리는 무리수의 거의 전부를 모른다고 해도 절대 과장이 아닌 셈입니다.

무리수는 실재하지만 그것에 우리가 다가갈 방법이 없다는 것이 인간의 한계이고 수학의 한계입니다. 칸토어가 제시한 “유리수의 개수와 무리수의 개수 사이에 어떤 기수도 존재하지 않는다.”는 소위 ‘연속체 가설’은 칸토어의 끊임없는 노력에도 증명되지 않았고 결국 그는 1884년부터 심각한 신경증 증세를 보였습니다. 병원에서 요양 후 정신쇠약에서 어느 정도 회복된 후 칸토어는 영어에 유창하지 않았음에도 셰익스피어 학자로 탈바꿈을 시도했습니다. 그는 영국의 경험주의 철학자 프란시스 베이컨이 셰익스피어 희곡작품의 진짜 저자라는 가설을 증명하기 위해 거의 10년을 매달렸고, 자신의 비용으로 불멸의 작가는 베이컨이라는 책까지 출판했습니다. 그 이후 칸토어는 1918년에 사망할 때까지 수시로 대학교와 정신병원을 오갔습니다. 그가 교수를 맡고 있었던 할레 대학교는 칸토어에게 강의를 면제시켜줬고, 병원에 입원해 있을 때와 1차 대전이 한창일 때에도 교수직을 유지시키며 꼬박꼬박 월급을 줬습니다.

그렇게 칸토어에게 호의를 베풀어 준 할레 대학교를 칸토어는 계속 떠나고 싶어 했습니다. 그는 자신이 모교이자 세계 수학의 중심지인 베를린 대학교의 교수가 되는 것을 목표로 삼았습니다. 하지만 무한에 대한 칸토어의 독창적인 접근방식은 그의 스승이었던 레오폴드 크로네커의 노여움을 샀습니다. 크로네커는 무리수의 존재성 자체를 부인하던 수학자였고 당시 학계에서 막강한 영향력을 갖고 있었습니다. 그는 칸토어의 연구가 신에게 도전하는 불경스러운 행동이기에 용납할 수 없다고 선언했습니다. 크로네커가 결사반대하는 한 칸토어의 연구논문은 어떤 학술지에도 발표될 수 없었습니다. 다행히 칸토어에게는 백기사가 나타났습니다. 그 백기사는 스웨덴의 수학자 괴스타 미타그-레플러(Goesta Mittag-Leffler)입니다.

미타그-레플러는 아주 부유한 아내 지그네 린드포즈의 재산으로 칸토어를 돕기 위해 새로운 수학전문 학술지를 창간했습니다. 수학 동향(Acta Mathematica)라는 이름의 이 학술지는 현재에도 수학에서는 첫손에 꼽히는 저널입니다. 미타그-레플러는 자신이 이름을 따서 만든 수학연구소도 설립했는데, 현재까지 유럽 최고의 수학연구소로 남아 있습니다. 미타그-레플러의 아내 지그네 린드포즈는 교양과 미모 그리고 재산까지 갖춘 스웨덴 최고의 신부감이었습니다. 미타그-레플러는 지그네 린드포즈를 놓고 어떤 스웨덴의 사업가와 연적 사이였습니다. 하지만 순수했던 미타그-레플러와는 달리 그 사업가는 사업자금을 위해 그녀의 재산에 더 관심이 많았던 모양입니다. 결국 지그네는 미타그-레플러와 결혼했고, 그 사업가는 평생 독신으로 살았습니다. 그 사업가의 이름은 알프레드 노벨입니다.

칸토어는 그의 정신질환 때문에 결국 그렇게 원했던 베를린 대학교에 교수로 부임하지 못하고 세계대전 중이던 1918년 1월 6일 할레의 정신병원 침대에서 사망했습니다.

연속체 가설은 칸토어 이후 수많은 수학자들의 노력에도 증명되지 않았고, 1963년에서야 비로소 이는 증명도 반증도 불가능하다는 것이 밝혀졌습니다. 이는 괴델의 불완전성정리가 실제 수학에서 예로 나타난 첫 번째 케이스였습니다. 무리수는 인간에게 영원히 정복되지 않을 자연속의 실체입니다.