20세기 수학을 이끌었던 천재의 안타까운 간절함

20세기의 가장 위대한 수학자 중 한명으로 손꼽히던 영국의 마이클 아티야(Michael Atiyah) 교수가 2019년 1월 12일에 세상을 떠났습니다. 1929년 4월에 태어난 아티야 교수는 89세인 2018년 9월에 리만 가설을 증명했다고 발표함으로써 세상을 떠들썩하게 만든 바 있었습니다. 수학에서 가장 중요한 미해결 문제인 리만 가설은 지금도 1년에 몇 명의 수학자가 그것을 증명했다고 주장하기 때문에 또 다른 수학자 한명이 증명했다고 주장하는 것이 별로 새롭지 않을 수 있습니다. 아래는 최근 몇 년 동안에 리만가설을 해결했다고 주장하는 수학자들과 그 논문들의 링크입니다. (그들 중에는 한국인도 포함되어 있습니다.)

http://empslocal.ex.ac.uk/people/staff/mrwatkin/zeta/RHproofs.htm

아티야 교수가 리만 가설을 증명했다고 선언한 이후 그분은 아마도 역대 수학자들 중에 가장 크게 언론의 집중적인 스포트라이트를 받았을 것입니다. 아티야 교수가 일반 수학자가 아니라 수학에서 가장 권위 있는 두 개의 상인 필즈메달과 아벨상을 모두 수상한 천재 수학자였기 때문입니다. 언론들은 아티야 교수라면 정말로 리만 가설을 증명했을 수 있다고 생각했습니다.

그리고 리만 가설은 단순히 수학의 미해결 난제 중 하나가 아니었습니다. 리만 가설이 다른 난제들과 근본적으로 다른 점은 리만 가설을 가정하고 이론을 전개한 수학 논문들이 헤아릴 수 없을 만큼 많다는 것입니다. 예를 들자면, 페르마의 마지막 정리도 지난 300여 년 동안 수학에서 가장 유명한 난제였습니다. 페르마의 마지막 정리를 증명하기 위한 시도의 결과로 수학이 크게 발전했고 또한 새로운 분야가 만들어지기까지 했습니다. 하지만 어느 수학자도 페르마의 마지막 정리가 참이라고 가정한 채로 자신의 새로운 연구결과를 발표하지는 않았습니다. 리만 가설을 제외한 다른 모든 난제들도 마찬가지입니다.

그런데 리만 가설은 탄생부터 그것이 참이라고 가정한 후 소수정리의 증명에 사용되었습니다. 20세기 중반 이후 수학자들은 이론과 컴퓨터를 이용해서 10조개가 넘는 제타함수 ζ(s)의 근을 찾아냈지만 이들은 모두 리만의 예측대로 실수부가 1/2이었습니다. 그리고 수학자들은 리만 가설이 참이라고 가정하면 정수론 등 수학이나 물리학의 여러 분야에서 새롭고 중요한 결과를 얻을 수 있다는 것을 발견했습니다. 근래의 정보통신혁명 과정에서 소수들이 결정적인 역할을 했는데, 리만 가설을 받아들이면 소수들의 분포를 더 정확히 알 수 있었습니다. 만일 어느 수학자가 리만 가설이 참이라는 것을 증명한다면 그것은 하나의 정리를 증명하는 것이 아니라, 리만가설이 참이라는 가정아래 이뤄진 모든 연구결과를 함께 증명하게 되는 셈입니다. 반대로 리만 가설의 반례가 되는 근이 발견된다면, 리만가설이 참이라는 가정아래 이뤄진 연구들 모두가 옥석을 다시 가리는 심판대에 오르게 되어 역시 수학이 큰 활기를 띠게 될 것입니다.

2018년 9월 24일 하이델베르크 수상자 포럼에서 리만 가설 증명에 대한 강연이 이루어기지 앞서 아티야 교수는 강연의 초록을 공개했는데, 자신의 증명은 물리학자 폴 디랙이 1928년에 발표한 디랙 방정식, 폰노이만이 1936년에 발표한 작용소 이론과 1954년에 발표된 히르체부르흐-리만-로흐 정리에 기반을 뒀다고 설명되어 있었습니다. 증명에 기반을 두었다는 이론들이 상당히 오래된 연구들이어서 언론과 일반 대중은 의아해 했습니다. 그런데 수학자와 물리학자의 커뮤니티에서는 이미 2~3년 전부터 아티야 교수가 오락가락하고 있음을 알고 있었습니다. 80대 후반의 수학자가 지력과 기력을 젊은 시절 못지않게 유지하는 것은 사실상 불가능합니다. 아티야 교수는 다른 수학자들과 달리 80대 중반 이후에도 거의 모든 중요한 학회에 모습을 드러내는 등 그 치열함을 잃지 않았을 뿐입니다. 아티야 교수는 리만 가설의 증명을 발표하기 2년 전인 2016년에도 60년 동안 미해결 문제인 ‘6차원 구면에서 복소구조의 비존재성(Non-existence of complex 6-spheres)’에 대한 논문을 아카이브에 발표했지만 그 내용은 너무도 빈틈이 많았고, 물론 학계에서 받아들여지지 않았습니다.

https://arxiv.org/abs/1610.09366

아티야 교수는 지난해 9월 24일에 5쪽의 논문과 함께 자신의 리만가설 증명을 발표하는 강연을 열었고, 그 강연은 스트리밍을 통해 생중계 되었습니다. 수학자들의 예상대로 그 강연은 증명이라고 부를 수 없을 정도로 허점투성이였습니다. 학자들은 그 강연의 내용에 대해 가급적 말을 아꼈고, 호기심 가득했던 언론과 일반인들은 학자들의 침묵에 혼란스러워 했습니다. 어느 후배 학자도 평생 간직한 간절함을 따라오지 못하는 노교수의 지적 능력 감퇴에 대해 비웃거나 비난하지 않았습니다. 그로부터 4개월 후 아티야 교수가 세상을 떠나자 언론과 기자들도 그간의 상황을 이해하기 시작했고 그분의 리만 가설 증명 발표는 학문적 오점이 아니라 죽음을 앞두고도 사라지지 않은 열정에서 온 해프닝으로 후학들의 기억에 남았습니다.

마이클 아티야 교수는 20세기 후반에 영국 뿐 아니라 세계의 지도적인 수학자 역할을 스스로 맡아왔습니다. 위대한 학자들 중에는 학문연구에 몰두하느라 자신이 속한 분야의 학문이 앞으로 나아가야 할 방향을 큰 목소리로 제시하지 않는 분들이 많습니다. 아티야 교수는 그렇지 않았습니다. 그분은 20세기 후반의 수학이 나아갈 길을 온몸으로 제시했고, 물리학자인 위튼 교수가 필즈메달을 수상하는 등 1990년대에 수학과 이론 입자물리학이 섞이는데 결정적인 역할을 담당해왔습니다. 그 때문에 수학계에서 미움도 많이 받아왔습니다.

아티야 교수는 40대 중반에 런던수학회 회장직을 역임했고, 1990년에 케임브리지 대학교에서 아이작 뉴턴 연구소(Isaac Newton Institute)를 창설하고 초대 소장에 취임했습니다. 같은 해에 케임브리지 대학교 트리니티 칼리지 학장에 취임했고, 영국의 과학자가 받을 수 있는 최고의 영예인 왕립학회장을 5년 동안 지냈습니다.

아티야 교수는 1929년 4월 레바논 출신 작가인 아버지와 스코틀랜드인 어머니 사이에서 태어나 수단 하르툼과 이집트 카이로와 알렉산드리아 등에서 학교를 다녔습니다. 1961년 옥스퍼드 대학 교수에 임용되었고, 1966년 37세 나이에 필즈 메달을 수상했습니다. 그의 연구는 대수기하와 위상수학에서 시작되었는데, 이후에는 해석학, 미분기하학, 복소기하학, 수리물리학 등 수학의 전 분야에 걸쳐 불멸의 업적을 남겼습니다. 아티야 교수는 그 당시 최고의 수학자들과는 달리 다른 정상급 수학자들과 공동 연구를 했습니다. 라울 보트 교수와 고정점 정리에 대한 연구로 큰 업적을 남겼고, 히르체브루흐 교수와 공동연구를 통해 대수적 위상수학의 한 분야인 위상 K이론을 창시하였습니다.

아티야 교수의 가장 큰 업적인 싱어(Isadore Singer) 교수와 공동으로 발표한 아티야-싱어 지표정리(Atiyah-Singer index theorem)입니다. 아티야와 싱어 교수는 그 업적으로 2004년 아벨상을 수상했습니다. 1963년부터 시작해서 1971년까지 6개의 논문으로 구성되어 수학의 전 분야를 관통하는 아티야-싱어 지표정리는 ‘현대 수학에서 가장 깊고 어려운 정리’로 알려져 있습니다. 아티야-싱어 지표정리는 증명까지 가기도 전에 그것을 정확히 서술하는 것만도 상당히 많은 배경 지식을 필요로 합니다. 여러 분야의 수학이 아티야-싱어 지표정리를 통해 서로 만나 서로 다른 정보의 관계를 교환합니다.

 로제타석에는 고대 이집트 문자와 그리스 문자 그리고 상형문자가 새겨져 있었는데, 이집트 문자와 그리스 문자를 이미 알고 있던 고고학자들은 이로부터 상형문자를 해독하는데 성공했습니다. 아티야-싱어 지표정리는 20세기 수학의 로제타석과 유사합니다. 수학에서 가장 멋지고도 중요한 순간은 다른 역사를 가져서 서로 관련이 없어 보이는 두 개의 분야가 수학적 다리를 통해 한 곳에서 만날 때입니다. 서로 다른 역사를 갖고 있던 타원곡선과 모듈형식이 서로 동일한 구조라는 다니야마-시무라(Taniyama-Shimura) 추측의 일부를 증명함으로써 앤드루 와일스(Andrew Wiles)는 수학에서 가장 유명한 문제였던 페르마의 마지막 정리를 정복했습니다. 제가 너무 어려운 이야기들만 한 것 같아서 이야기를 쉽게 돌려서 우리에게 익숙한 예를 들겠습니다.

요즘 고등학교나 대학교에서 함께 배우는 미분과 적분은 서로 완전히 별개의 역사를 갖고 있습니다. 적분의 역사는 최소한 2400년이 넘고, 미분의 역사는 그보다 훨씬 짧아 고작 300여년밖에 되지 않습니다. 적분법은 도형의 면적과 부피를 구하는 실질적인 필요성 때문에 발전해 왔습니다. 기원전 4세기에 에우독소스는 원에 내접하는 정다각형의 면적의 극한을 이용해서 원의 면적을 구했습니다. 당시에 극한 개념은 지금처럼 엄밀하지는 않았지만 분명히 존재했습니다. 오늘날 사용되는 적분의 아이디어를 내놓은 수학자는 기원전 3세기에 활동한 아르키메데스입니다. 아르키메데스는 에우독소스의 방법을 사용해서 원주율 π의 근삿값을 구했습니다.

 아르키메데스가 사용한 적분법은 평면도형의 넓이나 입체의 부피를 구할 때, 주어진 도형을 작게 나눈 기본 도형의 넓이나 부피의 합으로 근삿값을 구한 다음, 그 근삿값의 극한으로써 주어진 도형의 넓이나 부피를 구하는 방법과 본질적으로 같았습니다. 그러니까 고등학교에서 배우는 구분구적법이 바로 아르키메데스의 적분법입니다. 이 방법으로부터 우리가 고등학교에서 배우는 (닫힌구간 [a, b]에서) 연속함수에 대한 정적분이 아래와 같이 정의됩니다. 이 연속함수가 양수의 값을 가지면 정적분은 그 함수의 그래프와 x축으로 둘러싸인 도형의 넓이가 됩니다.

그런데 연속함수에 대한 정적분의 값을 구할 때 매번 이러한 극한을 계산하는 것은 번거롭고 불편합니다. 하지만 기원전 3세기의 아르키메데스부터 17세기의 블레즈 파스칼에 이르기까지 수학자들은 그 방식으로 도형의 넓이나 정적분의 값을 구할 수밖에 없었습니다. 그런데 17세기 말에 영국의 뉴턴과 독일의 라이프니츠에 의해 미분법이 발견되었습니다. 뉴턴은 움직이는 물체의 변화를 나타내기 위해 미분을 도입했고, 라이프니츠는 각 점에서의 기울기를 통해 곡선의 형태를 알아낼 수 있다는 것에 착안해서 도함수의 개념을 만들어 갔습니다. 그 직후 수학자들에 의해 역도함수(부정적분)의 차이를 이용하면 연속함수의 정적분을 간단히 구할 수 있다는 것이 밝혀졌습니다. 그러니까 새로 탄생된 미분이 2000년 넘는 역사를 가진 적분(면적과 체적)의 값을 구하는 데 결정적으로 사용된 것입니다. 이렇게 만들어진 공식은 미적분학의 기본정리(fundamental theorem of calculus)라고 불리는데, 닫힌구간 [a, b]에서 연속인 함수 f 의 임의의 역도함수가 F 에 대하여 다음 식이 성립함을 말해줍니다.

미적분학의 기본정리가 완성된 후 수학은 이론과 응용 모두에서 급속도로 발전하여 과학의 언어로서 자리잡아가게 되었습니다. 수학자들은 미적분학의 기본정리를 여러 방면으로 확장시켰습니다. 그런데 공식을 그대로 두고 f를 불연속함수까지 확장시키는 것은 한계가 있었습니다. 함수 f에 점프 불연속점이 있다면 그 자체로 도함수의 자격을 상실하기 때문에 미적분학의 기본정리를 적용할 수 없습니다. 따라서 미적분학의 기본정리를 확장하려면 정리의 본질적인 개념을 더 큰 대상에 적용시키는 방식을 택해야 했습니다. 미적분의 기본정리에서 F(b)-F(a)는 단순하게 연결된 집합 [a, b]의 경계점에서 함수 값의 차이를 나타내는 식이고, f는 F의 연속인 도함수라는 것이 확장 가능한 본질입니다.

미적분학의 기본정리를 2차원 좌표평면 위의 유계이면서 닫힌 영역 D에서 정의된 매끄러운 벡터장 F(x,y)로 확장한 것이 벡터미적분학에서 널리 사용되는 가우스의 발산정리(Divergence theorem)로 다음과 같이 표현됩니다.

C 가 평면 위 정방향의 (매끄러운) 단순 연결곡선이고 D는 C 의 내부로 이루어진 영역이면 D에서 정의된 매끄러운 함수 L 과 M에 대하여 다음 식이 성립한다는 것이 그린의 정리(Green's theorem)입니다. 물리학에서 많이 응용되는 그린의 정리도 미적분학의 기본정리의 확장이며 리만(Bernhard Riemann)에 의해서 최초로 증명 되었습니다.

미적분학의 기본정리를 발산정리와 그린정리 너머로 더욱 일반화시킨 것이 스토크스의 정리(Stokes’ theorem)입니다. 학부의 벡터미적분학이나 공업수학에서 나오는 스토크스의 정리는 캘빈-스토크스 정리라고 불리는 것으로 (발산정리처럼) 일반화된 스토크스 정리의 특수한 경우입니다. 스토크스의 정리를 이해하려면 최소한 학부 고학년 수준의 미분기하학이나 미분위상수학을 어느 정도 알아야 합니다. 스토크스 정리는 n차원 유향 매끄러운 다양체 위의 미분 형식의 적분에 대한 정리입니다. 스토크스 정리에 의하면 미분 형식 ω의 외미분(exterior derivative) dω을 다양체 Ω에서 적분한 값은, 그 미분 형식을 다양체의 경계에 대하여 적분한 값과 같습니다. 이를 간단히 표현하면 아래와 같습니다.

스토크스의 정리는 아주 간단한 수식으로 표현되지만 미적분학의 기본정리는 물론 발산정리와 그린정리를 모두 그 안에 담고 있습니다. 여기서 더 나아가 스토크스 정리는 매끄러운 다양체를 다루는 기본적 도구인 드람 코호몰로지(de Rham cohomology)에서 특이 코호몰로지(singular cohomology)로 가는 사슬 동형사상으로 추상화됩니다. 이런 식으로 수학의 역사는 기존의 정리와 이론을 더 넓고 깊게 일반화시키고 추상화시키면서 발전해 왔습니다.

글이 너무 길어져 오늘은 여기서 줄이겠습니다. 내일부터 출장이 있고 바빠지는 관계로 언제 다시 들어와서 글을 쓰게 될지 잘 모르겠습니다. 머지않아 마무리하는 글을 쓰겠습니다.