대본: 레베카 골드스타인(Rebecca Goldstein), 고중숙 옮김, «불완전성: 쿠르트 괴델의 증명과 역설», 승산, 2012(2007).

짐 홀트가 지은 <괴델이 아인슈타인과 함께 걸을 때>(소소, 2021)라는 책이 있다. 책 제목이 “괴델이 아인슈타인과 함께 걸을 때”이긴 하지만, 괴델과 아인슈타인 이야기는 9챕터 중 첫 챕터에만 나올 뿐이다. 9개 주제에 맞추어 수학과 물리학에서 주요한 문제들과 미증명 이론들을 두루 개괄하고 있다.

레베카 골드스타인의 책 <불완전성: 쿠르트 괴델의 증명과 역설> 역시 아인슈타인과 괴델이 함께 걷는 장면으로 이야기를 풀어간다. 서론의 제목이 “망명객들”인데 나치의 박해를 피해 미국으로 온 물리학자 아인슈타인, 오스트리아가 아닌 미국의 한적한 시골 마을을 연구 장소로 선택한 젊은 수학자 괴델 등을 일컫는 것이다.

프린스턴의 설립자 에이브 플렉스너는 전 세계의 ‘숨은 보석’ 같은 학자들을 발굴하여 고등과학원 교수로 데려오기 위해 심혈을 기울였다. 이미 전 세계적으로 저명한 학자가 된 아인슈타인이 별로 알려지지 않은 이곳을 선택하게 된 것은, 자신의 이론에 대해 학계가 무관심했던 시절 유일하게 지속적인 관심과 지지를 보여준 연구 기관이었기 때문이다. 아인슈타인이 지원서를 제출하며 희망연봉에 ‘3천 달러’를 적어내자 플렉스너는 정중히 제안을 거절하며, 1만 6천 달러 정도는 돼야 한다고 역으로 다시 제안했다. 괴델이 20대 중반에 이룬 엄청난 학문적 성취에 대해 학계는 여전히 반신반의하고 있었지만 프린스턴 고등과학원은 일찌감치 그 엄청난 가치를 알고 있었다.

프린스턴 교정에서 아인슈타인과 괴델은 항상 단 둘이 산책을 했으며, 특히 괴델은 아인슈타인 외에는 아무도 만나지 않았고, 대화를 하거나 토론을 하지 않았다. 이 둘이 나누었을 대화 주제에 관해 동료나 후대 학자들은 호기심 어린 눈길로 바라볼 뿐이었다.

20세기로 접어들고 30년 정도 지난 세계의 지적 흐름은 3가지 이론이 주도하고 있었다.

첫째, 아인슈타인의 상대성 이론
둘째, 하이젠베르크의 불확정성 원리
셋째, 괴델의 불완전성 정리

아인슈타인에 따르면, 시공간은 절대적인 것이 아니라서 관찰자의 시점이나 중력 등의 영향으로 항상 변한다.
하이젠베르크에 따르면, 전자와 같은 소립자 세계에서는 일반적인 물리 법칙이 적용되지 않아서 입자의 운동과 위치를 정확히 파악하는 것이 불가능하므로, 확률 분포 범위만 알 수 있을 뿐이다.
괴델에 따르면 인간이 고안한 형식 체계는 아무리 정교하게 구축되어도 스스로 증명할 수 없는 명제가 생길 수밖에 없으므로 항상 불완전할 수밖에 없다.

즉, 20세기 초 사상의 경향은 한마디로 ‘불확실성’이었고 그 흐름은 지금도 이어지고 있다.

20세기 초반 학술의 여러 중심지 중 오스트리아 빈을 빼놓을 수 없는데, 이른바 ‘빈 써클’이라고 불리는 실증주의 경향의 연구 그룹이 새로운 학문 흐름을 주도하고 있었다. 그 흐름이란 ‘새로운 확실성’을 향한 추구였다. 이들은 인간이 경험으로 검증할 수 있는 것이 아니면 학적인 대상이 될 수 없는 ‘무의미’한 것으로 배격했다. 이들은 <논리 철학 논고>를 1년 넘게 강독하며 토론할 정도로 비트겐슈타인 사상에 경도돼 있었는데, 비트겐슈타인이 학적으로는 “말해질 수 있는 것, 곧 자연과학적 명제”(6.53)만 다루어야 하고 [신이나 형이상학적 주제 등 검증할 수 없고] “말할 수 없는 것에 관해서는 침묵해야 한다”(7)고 선언했던 것과 자신들의 입장이 같다고 믿었기 때문이다.

그렇지만 비트겐슈타인 자신은 빈 써클에도, 논리실증주의자에 속하는 것도 거부했으며, 오히려 빈 써클에서 자기 사상을 제대로 이해하지 못했다고 불평했다. 비트겐슈타인은 그 ‘말할 수 없는’ 실재를 부정한 것이 아니라 오히려 그 실재를 믿었기 때문이다. 다만, 우리의 언어로 해명하는 것이 불가능할 뿐이라고 적은 것이다.

빈 써클에 초대되었던 학자 중에 젊은 논리학자 괴델도 있었다. 괴델은 빈 써클의 논리실증주의자들과는 의견이 매우 달랐으나 이들에 대해 반대 주장을 펼치거나 논박을 한 적이 없었고 그저 조용히 자기 사상을 다져나갈 뿐이었다. 우리 체계 밖의 실재에 대한 믿음이라는 면에서 초기 비트겐슈타인의 사상은 괴델의 생각과 지향점이 같았다. 그렇지만 그것을 수론으로 입증하는 괴델의 시도에 대해 비트겐슈타인은 ‘시시한 상상력의 소산’이라며 무시했고 끝까지 인정하지 않았다. 괴델의 ‘불완전성 정리’를 이해하지 못한 사람은 비트겐슈타인만이 아니었다. 전 세계 저명한 수학자들이 모두 모인 학회에서 괴델의 이론이 발표되었을 때에도 이를 이해한 사람은 존 폰 노이만 빼고는 아무도 없었다.

고대 그리스에서 프로타고라스가 주창했던 “인간이 만물의 척도”라는 모토는 20세기에 다시 부활하여 수학자 힐베르트에 이르러 절정에 달했다. 힐베르트는 인간이 구축한 논리적 형식 체계야말로 가장 확실한 것으로 모든 앎의 기반이 될 것이며 진리도 거기에 있을 것이라고 굳게 믿었다. 그는 우리가 세운 형식 체계 바깥에 있는 실재나 직관 같은 것을 완전히 배격했고, 자체 체계 안에서 차곡차곡 진리를 쌓아올러서 학문의 확실성을 마련하고자 했다. 힐베르트의 야망이 헛된 것이라는 점이 괴델의 증명으로 판명났다. 비트겐슈타인은 끝까지 거부했으나, 힐베르트는 ‘증명은 증명’이라며 괴델의 이론을 받아들였다. 수학이라는 배는 이제 다시 불확실성, 불확정성의 바다를 항해하게 되었다. 괴델은 기존의 수학을 무너뜨리려 한 것이 아니라, 진리의 세계가 우리가 아는 것보다 훨씬 더 넓고 깊을 거라는 암시와 믿음을 제시하고자 했다.

<황제의 새마음>, <마음의 그림자>를 쓴 수학자 로저 펜로즈는 괴델의 불완전성 정리를 적용하여 인간 사고의 방대함을 보여주고자 한다. <괴델, 에셔, 바흐>를 쓴 인지과학자 더글러스 호프스태터는 여러 지식 분야에 나타나는 역설의 동형성을 통해 인간 지능과 생명의 신비를 푸는 단서를 찾고자 한다.

60대 후반으로 접어든 무렵 괴델은 이렇게 말했다. “모든 오류는 (감정이나 교육과 같은) 외부 요인 때문이다. 이성 자체는 오류를 범하지 않는다.” 그는 우리 경험과 무관하게 어딘가에 존재하는 수학적 진리, 수학적 이데아를 계속 찾고 있었던 것이다. 그래서 그의 학문적 태도를 ‘수학적 플라톤주의’라고 일컫기도 한다.

영상 해설

---

인용문

괴델의 정리들은 인간 정신의 한계를 보여 주는 게 아니며… 모든 사고를 규칙전개로 보는 모델에 내포된 한계를 보여 준다. 그 정리들은… 인간 정신에 대한 특정의 환원적 이론을 배격하는 것이다… 괴델의 정리들은… 본래 수학적 진리이면서도… 인간의 본질에 관한 핵심적 질문, 곧 “우리가 인간이라 함은 무엇을 뜻하는가?”라는 질문을 제기한다. – 29

지적인 싸구려 겉치레는 진리뿐 아니라 도덕에 대한 모욕이기도 하다는 크라우스의 견해는 빈의 동시대인들에게 커다란 공감을 불러일으켰다. – 79

“철학자 루돌프 카르납은 ‘빈서클의 즐거운 분위기는 한없는 겸양과 인내와 다정함을 갖춘 슐리크의 인격 덕분이었다’라고 말했다. – 88

… 비트겐슈타인은 ‘말할 수 없는 것’이 실제로 있다고 보았다. … 윤리적이거나 신비적인 것들이 바로 그런 것들이었으며, 이런 것들은 실재이면서도 표현이 불가능했다. – 117

공리들의 수는 적으면 적을수록 좋은데, 왜냐하면 최대한의 확실성을 확보하기 위하여 직관에 대한 호소는 최소한으로 하고자 하기 때문이다. – 142

형식주의는, 적어도 수학의 범주 안에서, 실증주의자들의 선언서에 적힌 주장, 곧 인간은 만물의 척도라는 주장을 선포하고 있다. 우리 인간이 형식체계를 창조하며, 이로부터 모든 수학이 따라 나온다. – 152

힐베르트의 첫째 문제는 칸토어의 연속체가설에 관한 것인데, … 칸토어는 … 실수와 자연수의 개수는 모두 무한이지만 실수의 개수가 자연수의 개수보다 많다는 사실을 증명했다. … ‘대각선논법’…을 이용하면 … 자연수와 짝을 짓지 못하는 실수가 무수히 많다는 사실이 선명하게 드러난다. 따라서 실수집합은 자연수집합보다 큰 농도를 가지는데 … 자연수의 농도보다 크고 실수의 농도보다 작은 농도를 가진 무한집합은 없다는 가설을 내세웠다. 이것이 칸토어의 연속체가설이며 … 괴델과 폴 코헨은 … 연속체가설은 참이나 거짓 그 어느 것으로도 판정할 수 없음을 증명했던 것이다. … 다시 말해서 연속체가설은 증명도 반증도 할 수 없으므로 그에 대해 우리는 언제까지나 알 수 없는 상태로 남을 수밖에 없고, 이에 따라 바로 힐베르트가 있을 수 없다고 말한 무지의 한 예가 되었다. – 154

괴델의 독창적 고안을 통해 형식체계의 명제들 사이에 성립하는 모든 논리적 관계들은 그 체계 자체의 산술적 언어로 표현이 가능한 산술적 관계로 전환된다. 그리고 이것이 바로 이 증명의 숨 막힐 듯 아름다운 정수이다. – 192

괴델의 경우 각각의 형식체계에는 그 안에서 표현가능이되 증명불능인 진리들이 존재하며, 그 계에 대해 가장 중요한 진리 가운데 하나는 그 계가 무모순이더라도 이를 그 계 안에서 증명할 수 없다는 것이다. 따라서 괴델과 초기의 비트겐슈타인은 실증주의자들이 자꾸 되풀이하는 “인간은 만물의 척도”라는 고대 소피스트들의 슬로건에 대하여 공동으로 맞서는 처지이다. 두 사람 모두 인간에 대한 척도를 가진 근본적 불완전성이 존재함을 단언했던 것이다. … 괴델은 그의 불완전성정리가 신비로움, 특히 적어도 종교의 세계에서 어떤 귀결들을 내놓을 것이라는 암시에 공감하기도 했다. … 어머니에게 보낸 편지에서… “조만간 제 증명이 종교에 유용할 것이라는 예상이 듭니다. 어떤 의미로 종교는 의심할 바 없이 정당화되었다고 볼 수도 있기 때문입니다.” 최소한 괴델은 그의 제1불완전성정리가 영원한 진리들을 품은 초감각적 세계가 존재한다고 주장하는 플라톤주의를 뒷받침한다고 믿었다. – 210

힐베르트는 수학에서 직관에의 호소를 모두 제거하여 역설이 감염되지 않도록 하는 예방주사를 놓으려고 했다. 괴델은 직관에의 호소가 제거될 수 없음을 보임으로써 형식주의의 예방계획을 무너뜨렸다. … 괴델은 수학이 직관 없이 나아갈 수 없음을 보였다. – 216

… 과학적 성향을 가진 괴델 이후의 사상가들…은 괴델의 불완전성정리로부터 우리가 무엇인지, 또는 점 더 정확히 말하자면 우리가 무엇이 아닌지에 대한 결론을 이끌어 낼 수 있다고 주장했다. … 괴델의 정리는 우선 우리의 지성이 될 수 없는 것을 명확히 알려 준다고 말한다. – 218

… 수학자인 로저 펜로즈는 … 지성이 컴퓨터는 아니지만 물리적 계라고 믿었다. … 수학적 직관을 낳는 지성은, 기계적으로는 포괄할 수 없음이 밝혀졌지만, 물리적 계의 일종이다. 그러므로 우리는 우리 지성의 비계산적 측면을 수용할 수 있는 전혀 새로운 종류의 비기계적 과학을 개발하는 쪽으로 나아가야 하는데, 양자역학의 신비들은 이 과정에서 좋은 안내자가 될 것이다. – 220

물론 우리가 안다고 생각하는 모든 것을 우리가 알고 있다는 점에 대한 증거는 없다. 왜냐하면 우리가 안다고 생각하는 모든 것을 형식화할 수는 없기 때문이며, 이것도 불완전성의 한 측면이다. 그리고 이 때문에 우리는 기계가 아니란 점을 엄밀히 증명할 수 없다. 불완전성정리는 형식화의 한계를 보여 줌으로써 우리의 지성이 기계를 초월할 수도 있지만 그 점을 증명할 수는 없다는 사실을 암시하고 있다. 참으로 거의 역설에 가까운 결론이라고 하지 않을 수 없다. – 222

---

… ‘자기무한반복’의 예는 일상생활에서도 많이 찾을 수 있다. … 눈 나쁜 사람이 안경을 찾지 못하면 ‘안경 찾을 때 쓸 안경’이 있으면 좋겠다고 생각할 수 있다. … 리모컨을 찾지 못할 때 ‘리모컨을 찾는 리모컨’이 있으면 좋겠다고 생각할 수 있으며 이 과정도 안경의 예에서와 같은 무한반복을 이룬다. … 프랙탈에서 보는 ‘자기닮음성’의 본질도 사실상 이와 동등하다. – 315, 옮긴이의 말.

처음에 열역학은 에너지의 끊임없는 소산을 표현하는 열역한 제2법칙으로 시작했다. 그러나 이것만으로는 다양한 열역학적 현상을 모두 설명할 수 없었기에 독립적인 법칙들을 더해서 결국 네 가지로 귀착되었다. … 수학은 처음 기하학에서 시작했지만 이후 계속 새 분야가 더해져서 오늘날 보는 광범위한 체계를 이루었다. 물리학도 역학에서 시작했지만 이후 열역학, 전자기학, 상대성이론, 양자역학 등으로 확장되었다. … 모든 학문체계는 본질적으로 열린 체계이다. 그래서 항상 보다 넓은 체계를 지향하며, 이 과정에서 기존체계로는 증명불능인 새로운 공리들이 계속 덧붙여진다. 그리고 이 과정은 불완전성정리가 시사하는 바로 그 현상이다. 다시 말해서 불완전성정리의 내용은 우리가 너무나 잘 인식하고 있던 상식과 일치한다. … 괴델은 불완전성정리를 통해서 학문의 근본에 자리 잡은 상식을 마치 전혀 새로운 사실인 것처럼 절실히 깨닫게 하는 계기를 만들었다. … 기존 공리계로 해결할 수 없는 문제가 나타나면 이를 확장해서 풀고, 또 그 확장된 공리계를 계속 적용하고, 다시 새로운 문제가 나타나면 그에 맞추고 또 확장해 가는 과정을 되풀이하면 된다. 사실 지금까지의 학문발전 과정이 모두 그랬고 앞으로도 영원히 그럴 것이다. – 319, 옮긴이의 말.