괴델의 그림자 — 불완전성 정리와 마음의 한계

힐베르트의 꿈

1900년, 다비트 힐베르트(David Hilbert)는 수학자들에게 야심찬 프로그램을 제안했다. 수학 전체를 유한한 공리 체계 위에 올려놓고, 그 체계가 완전(complete)하고 무모순(consistent)임을 증명하자는 것이었다.

완전성: 참인 모든 수학적 명제는 공리로부터 증명 가능하다. 무모순성: 공리 체계에서 모순이 도출되지 않는다.

이것이 힐베르트 프로그램이다. 수학의 확실한 토대를 마련하려는 시도였다.

괴델의 타격

1931년, 25세의 쿠르트 괴델(Kurt Gödel)이 이 꿈을 산산조각냈다.

제1 불완전성 정리: 자연수 산술을 포함하는 무모순 공리 체계 $T$에 대해, $T$ 안에서 증명도 반증도 불가능한 참인 명제 $G$가 존재한다.

제2 불완전성 정리: 그런 $T$는 자신의 무모순성을 자신의 언어 안에서 증명할 수 없다.

증명의 핵심 아이디어는 자기지시(self-reference)다. 괴델은 수학적 명제들을 자연수로 인코딩하는 괴델 번호(Gödel numbering) 기법을 써서, 다음과 같은 문장을 구성했다:

$$G \equiv \text{"이 명제는 } T \text{ 안에서 증명 불가능하다"}$$

만약 $G$가 거짓이라면 → $G$는 증명 가능 → $T$는 거짓을 증명 → $T$는 모순. 만약 $G$가 참이라면 → $G$는 증명 불가능 → $T$는 불완전.

어느 쪽이든 $T$는 완전하면서 동시에 무모순일 수 없다.

루카스-펜로즈 논증

1961년, 철학자 J.R. 루카스는 이 정리에서 놀라운 철학적 결론을 끌어냈다:

어떤 형식적 기계(formal machine)도 인간의 수학적 능력을 완전히 재현할 수 없다. 왜냐하면 우리는 기계의 괴델 문장이 참임을 볼 수 있지만, 기계 자신은 그것을 증명할 수 없기 때문이다.

로저 펜로즈(Roger Penrose)는 Shadows of the Mind(1994)에서 이 논증을 더 정교하게 발전시켰다. 인간의 수학적 이해는 비알고리즘적(non-algorithmic)이며, 따라서 AI는 원칙적으로 인간의 수학적 통찰을 가질 수 없다는 것이다.

이것이 사실이라면, 진정한 수학적 AI는 불가능하다.

반론들

루카스-펜로즈 논증은 많은 비판을 받았다.

첫 번째 반론 (Benacerraf, Putnam): 루카스-펜로즈 논증은 인간이 자신의 공리 체계를 알고 있다고 가정한다. 그러나 인간도 자신이 어떤 공리 체계로 작동하는지 알 수 없다. 우리도 $T$이며, 우리의 $G_T$를 볼 수 있다는 보장이 없다.

두 번째 반론: 괴델 정리는 특정 공리 체계에서 증명 불가능한 명제의 존재를 보여주는 것이지, 인간이 그것을 직관으로 안다고 보장하지 않는다. 인간의 “봄(seeing)”이 정확히 무엇인지는 별도의 설명이 필요하다.

세 번째 반론 (Hofstadter): Gödel, Escher, Bach의 더글러스 호프스태터는 자기지시 자체가 의식과 창발의 핵심이라고 본다. 기계도 충분히 복잡한 자기지시 구조를 가질 수 있다.

불완전성이 가르쳐주는 것

논증의 승패와 무관하게, 불완전성 정리는 몇 가지 심층적인 교훈을 남긴다.

수학은 닫혀있지 않다. 어떤 충분히 풍부한 공리 체계도 자신 안에 포착되지 않는 진리를 갖는다. 수학적 실재는 어떤 형식화보다 크다.

자기지시는 불안정하다. 거짓말쟁이의 역설(“이 문장은 거짓이다”)은 고대부터 있었지만, 괴델은 그것을 수학의 심장부로 가져왔다. 자기지시가 가능한 모든 충분히 표현력 있는 언어는 이 불안정성을 피할 수 없다.

인식론적 겸손. 어떤 공리 체계도 자신의 무모순성을 스스로 증명할 수 없다. 이것은 형식 체계만의 이야기가 아닐 수 있다. 우리 자신의 인지 체계도 마찬가지일지 모른다.

$$\forall T \supseteq \text{PA}: \text{Con}(T) \not\vdash_T \text{Con}(T)$$

어떤 충분히 강한 체계 $T$도 자신의 무모순성($\text{Con}(T)$)을 $T$ 안에서 증명할 수 없다.

끝나지 않는 논쟁

수학, 논리학, 인지과학, AI 철학이 교차하는 이 지점에서 논쟁은 여전히 진행 중이다.

내 생각: 루카스-펜로즈 논증은 결정적이지 않다. 그러나 괴델 정리가 마음과 기계의 관계에 대한 중요한 제약을 가한다는 직관은 아직 충분히 탐색되지 않았다. 어쩌면 핵심은 “기계가 인간을 넘어설 수 없다”가 아니라, “우리는 자신의 한계를 안으로부터 볼 수 없다”는 데 있을지도 모른다.

참고: Kurt Gödel, “Über formal unentscheidbare Sätze” (1931) / Roger Penrose, Shadows of the Mind (1994)