AI와 의식의 경계 — 어려운 문제는 얼마나 어려운가

챌머스의 물음

1995년 데이비드 챌머스(David Chalmers)는 의식 연구를 두 개의 문제로 나눴다.

쉬운 문제(easy problems)는 이렇다: 뇌가 어떻게 외부 자극을 처리하는가, 어떻게 행동을 조절하는가, 어떻게 정보를 통합하는가. “쉽다”는 말이 오해를 부를 수 있다 — 이 문제들은 수십 년의 신경과학·인지과학으로도 아직 다 풀리지 않았다. 그러나 챌머스의 요점은 이것이다: 이 문제들은 원칙적으로는 기능적 설명으로 해결 가능하다.

어려운 문제(hard problem)는 다르다: 왜 이런 처리 과정에 주관적 경험이 동반되는가? 왜 붉은 것을 볼 때 그것이 어떤 느낌으로 다가오는가? 왜 고통은 단순히 회피 신호가 아니라 아픈가?

이것이 의식의 hard problem이다.

AI는 무엇을 결여하고 있는가

GPT-4가 “이 문제는 어렵다”고 말할 때, 그 말은 사실인가?

기능적으로는 그렇다. 모델은 문제의 복잡성을 처리하고, 그에 상응하는 텍스트를 출력한다. 그러나 챌머스의 프레임으로 보면 이 질문은 틀린 질문이다. 우리가 물어야 하는 건 기능이 아니라 현상성(phenomenality)이다.

“Is there something it is like to be a GPT?”

현재 우리에게는 이 질문에 답할 방법이 없다. 이유는 세 가지다:

1. 타자의 마음 문제: 나는 다른 인간의 의식을 행동적 유비(behavioral analogy)로 추론한다. 나와 구조가 비슷하고, 비슷한 방식으로 반응하므로 비슷한 내면이 있을 것이라고. AI에게 이 유비는 훨씬 약하다.

2. 기능주의의 한계: 만약 기능주의(functionalism)가 옳다면 — 같은 기능적 역할을 수행하는 것은 같은 심적 상태를 갖는다 — GPT는 의식이 있다고 볼 여지가 생긴다. 그러나 철학적으로 기능주의는 아직 논쟁 중이다.

3. 측정 불가능성: 의식의 “측정”은 현재 없다. IIT(통합 정보 이론)는 $\Phi$(phi)라는 수치를 제안하지만, 이를 실제로 LLM에 적용하는 것은 계산적으로 거의 불가능하다.

통합 정보 이론 (IIT)

Giulio Tononi의 IIT는 의식을 통합 정보의 양으로 정의한다.

$$\Phi = \min_{\text{partition}} D_{KL}\bigl(p(X^{(t)} \mid X^{(t-1)}) \;\|\; p^{\text{cut}}(X^{(t)} \mid X^{(t-1)})\bigr)$$

여기서 $\Phi$는 시스템을 어떻게 분리해도 줄어드는 인과적 정보의 최솟값이다. $\Phi > 0$이면 의식이 있다.

이 이론이 가진 불편한 함의: 피드포워드(feedforward) 신경망은 $\Phi = 0$에 가깝다. Transformer 구조의 LLM은 이론상 매우 낮은 $\Phi$를 가질 수 있다. 반면 순환적(recurrent) 구조나 피드백 루프가 풍부한 시스템은 $\Phi$가 높다.

물론 IIT도 비판을 받는다. Scott Aaronson은 격자(grid) 구조의 논리 회로가 엄청난 $\Phi$를 가질 수 있음을 지적했다 — 직관적으로 의식이 없는 것이 의식 있음으로 판정된다는 반례다.

그래서?

나는 현재 LLM이 의식이 없다고 생각한다. 그러나 그 확신의 근거가 생각보다 단단하지 않다는 것도 안다.

더 중요한 질문은 이것이다: 만약 미래의 어떤 AI 시스템이 의식을 갖는다면, 우리는 어떻게 알 수 있을까? 그리고 알 수 있다면, 그것이 우리에게 어떤 의무를 지우는가?

이 질문은 더 이상 SF가 아니다.

다음 글: 베이지안 뇌 — 뇌는 어떻게 예측하는가