기계는 명확하고 잘 구성된, 때로는 뛰어난 답변을 내놓는다. 개념을 인용하고 설명을 이어 가며 조금의 의심도 드러내지 않는다. 그러면 우리는 매우 인간적인 반응을 보인다. 말투가 지식처럼 보이기 때문에 그것을 지식 자체로 받아들이는 것이다. 문제는 생성형 인공지능이 틀릴 수 있다는 데만 있지 않다. 그 틀리는 방식이 우리가 믿고 싶어 하는 욕망과 너무도 잘 맞아떨어진다는 데 있다.

과거의 두 과학적 실패는 이런 반응을 다른 각도에서 바라보게 한다. 여기에는 아마추어나 현장에서 붙잡힌 사기꾼이 아니라, 인정받던 두 과학자 이브 로카르와 프로스페르 르네 블롱로가 등장한다. 두 사람은 모두 나중에 존재하지 않는 것으로 밝혀진 현상을 연구했다. 두 사람 모두 자신이 진지하다고 여긴 실험적 틀을 갖고 있었다. 그리고 두 사례는 과학적 방법도 실험자가 이미 보고 싶어 하는 것을 확인하는 데 주로 쓰일 때 힘을 잃을 수 있음을 일깨운다.

과학자도 기대의 영향에서 자유롭지 않다

1957년부터 이브 로카르는 수맥 탐지자들에게 있다고 주장되는 능력에 물리적 설명을 붙이려 했다. 그의 이력은 쉽게 믿는 사람과는 거리가 멀었다. 그는 에콜 노르말 쉬페리외르 교수이자 물리학 연구소장이었고, CEA의 과학 고문으로 여러 공인된 연구 분야에 기여했다. 그런데도 그는 일부 사람이 지하수의 존재와 관련된 지구 자기장의 국지적 변화를 감지할 수 있다는 생각을 제시했다.

이 가설을 시험하기 위해 로카르는 전선이 통제된 자기장을 만드는 장치 등을 고안했다. 진자를 든 피험자가 그 근처에 섰다. 전류 방향을 반대로 바꾸었을 때 진자의 회전 방향도 달라지는지 확인하려는 실험이었다. 문서상으로는 식별 가능한 물리 변수에 중심을 둔 실험처럼 보였다. 그러나 그의 방법과 결과를 비판적으로 분석하자, 이 사건을 사기가 아니라 과학적 실패로 볼 만큼 큰 편향이 드러났다.

프로스페르 르네 블롱로의 사례는 더 오래되었다. 1903년, 낭시대학교 교수이자 과학아카데미 회원이던 그는 자신이 “N”이라고 이름 붙인 광선의 존재를 발표했다. 당시의 맥락은 그 가능성을 그럴듯하게 만들었다. X선은 1895년에, 방사능은 1896년에 발견되었고, 1903년에는 이 발견들과 관련된 여러 인물이 노벨 물리학상을 받았다. 새로운 방사선이 과학을 뒤흔들던 시대에 또 다른 현상이 나타난다는 생각은 오늘날 우리가 느끼는 것만큼 터무니없지 않았다.

블롱로는 백열하는 세라믹 막대가 달린 램프에서 발생한 N선이 희미하게 밝혀진 스크린을 조금 더 밝게 만든다고 주장했다. 모든 것은 시각 인지의 문턱에 가까운 거의 감지할 수 없는 차이에 달려 있었고, 오직 훈련된 관찰자만 그것을 구별할 수 있다고 여겨졌다. 그는 이어 고전 광학의 방법으로 N선의 전파, 굴절, 회절을 연구할 수 있다고 믿었다.

두 사건에는 결정적인 공통점이 있다. 관찰 결과가 현상 자체에 의해 명백하게 강제되지 않았다는 점이다. 관찰은 약하고 모호하며 해석 가능한 신호에 의존했다. 진자가 반응한 것처럼 보일 수 있다. 스크린이 밝아진 것처럼 보일 수 있다. 이때부터 연구자의 기대는 실험 바깥에 머물지 않는다. 결과 안으로 들어간다.

AI와의 연결은 기술적이 아니라 심리적이다

이 비교는 두 사건 자체에 포함된 내용이 아니다. 어디까지나 하나의 분석으로 제시해야 한다. 내가 보기에 N선과 AI 환각은 시대와 장치가 근본적으로 다르지만, 관찰자 안에서 같은 약점을 자극한다. 주장 형식이 이미 우리의 기대와 일치할 때 우리는 그 주장을 더 쉽게 받아들이고 덜 엄격하게 평가한다.

블롱로의 경우 새로운 방사선을 찾으려는 경쟁이 추가 현상의 존재를 그럴듯하게 만들었다. 로카르의 경우 자기장 가설이 믿음에 둘러싸인 관행에 물리적 외관을 부여했다. AI에서는 상황이 달라진다. 우리는 더 이상 희미한 스크린이나 진자를 보는 것이 아니라, 일관되고 즉각적이며 개인화된 글을 읽는다. 모호한 신호가 설득력 있는 문장으로 바뀐다.

다음의 세 가지 공통 메커니즘을 찾을 수 있다. 다만 이를 입증된 결과가 아니라 해석을 위한 틀로 보아야 한다.

  • 기대는 해석의 방향을 이끈다. 답변이나 설명, 확인을 바랄 때 우리는 그것을 뒷받침하는 요소를 더 쉽게 찾아낸다.
  • 겉으로 보이는 전문성은 안심을 준다. 권위 있는 과학자, 정교한 절차, 기술적으로 매끄러운 문장은 검증되기 전부터 주장에 무게를 실을 수 있다.
  • 반복은 정상성을 만들어 낸다. 여러 사람이 같은 틀을 받아들이면 의심이 덜 정당해 보인다. 집단적 동의가 증거처럼 보일 수도 있다.

따라서 AI에 대한 과도한 신뢰는 기술 지식의 부족에서만 생기지 않는다. 더 평범한 현상에서도 나온다. 우리는 일관성과 진실을 쉽게 혼동한다. 잘 쓰인 답변은 망설이는 답변보다 더 근거 있어 보이지만, 문체의 자신감은 아무것도 보장하지 않는다.

AI는 새로움을 만들 수 있지만 진실을 만들지는 않는다

세 번째 현대적 논쟁은 생성형 AI의 창의성에 관한 것이다. 생성형 AI는 이용 가능한 데이터에서 독창적이거나 예상하지 못한 조합을 만들어 낼 수 있지만, 일부 관찰자는 그것이 학습된 상태를 다시 조합할 뿐이라고 본다. 장클로드 외댕은 재조합, 돌연변이, 선택에 기반한 유전 알고리즘이라는 다른 길을 탐구하며, 이를 알고리즘적 창의성의 한 형태라고 설명한다.

이 논쟁은 문제를 더 분명하게 한다. 결과물은 독창적이고 놀라우며 심지어 유용할 수 있지만, 사실적으로 옳지 않을 수 있다. 새로움은 증거가 아니다. 우아함도 마찬가지다. AI는 아무도 그런 방식으로 표현하지 않았던 연관성을 제안하면서 동시에 존재하지 않는 정보를 끼워 넣을 수 있다. 바로 이 혼합이 AI를 설득력 있게 만든다. 진실, 개연성, 발명이 같은 목소리로 말할 수 있기 때문이다.

그러므로 “이 답변이 지적으로 보이는가?”만 묻는다면 우리는 실수하는 것이다. 더 유용한 질문은 거칠다. “이 답변에서 독립적인 검증을 견딜 수 있는 것은 무엇인가?” 과거의 과학적 실패는 직관, 전문성, 혁신을 경멸하라고 요구하지 않는다. 다만 그것들에게 최종 발언권을 주지 말라고 요구한다.

N선이 우리의 AI 사용을 어떻게 바꾸어야 하는가

첫 번째 교훈은 표현의 질과 증거의 질을 분리하는 것이다. 명확한 답변도 틀릴 수 있다. 신중한 표현이 화려한 설명보다 더 믿을 만할 수 있다. 중요한 주장 앞에서는 그것을 매력적으로 보이게 하는 것만 찾지 말고, 무엇이 그 주장을 반박할 수 있는지 찾아야 한다.

두 번째 교훈은 주장을 만든 시스템 밖으로 검증을 옮기는 것이다. 로카르는 자신의 장치를 스스로 해석했다. 블롱로는 훈련된 관찰자만 가질 수 있다고 여긴 미세한 지각에 의존했다. 마찬가지로 AI에게 첫 답변을 확인하라고 요구하는 것이 언제나 진짜 검증은 아니다. AI는 방금 한 주장과 맞는 정당화를 다시 구성할 뿐일 수 있다. 검증은 별도의 출처, 접근 가능한 문서, 재현 가능한 측정으로 돌아가야 한다.

세 번째 교훈은 집단에 관한 것이다. 공유된 오류도 여전히 오류다. 여러 사용자가 같은 생성 답변을 전달하면 출처가 사라지고, 반복이 그 답변에 인위적인 권위를 줄 수 있다. 반복 횟수는 최초 사실의 견고함을 대신하지 못한다.

위험은 AI가 우리에게 믿으라고 강요하는 데 있지 않다. 우리가 이미 받아들일 준비가 되어 있던 답을 AI가 정확히 내놓는 데 있다.

과학은 오류가 없어서 구별되는 것이 아니라, 오류를 드러내고 결론을 수정할 수 있어서 구별된다. N선 사건은 유명한 집단적 착각으로 소개되는 동시에 이러한 자기 수정 능력을 보여 준다. 생성형 AI에 적용할 가장 좋은 모델도 아마 이것일 것이다. 폭넓게 사용하되, 그 주변에 적극적인 반론과 검증의 문화를 조직하는 것이다.

로카르와 블롱로는 순진한 과거에서 우리를 바라보는 것이 아니다. 그들은 우리에게 거울을 내민다. 그들의 잘못은 대담한 가설을 상상한 데 있지 않았다. 가설이 자신들의 눈에 무엇을 보아야 하는지 가르치도록 내버려 둔 데 있었다. 오늘날 우리의 눈은 더 밝은 화면과 더 빠른 답변을 읽는다. 우리의 책임은 여전히 같다. 확신이 증거보다 너무 오래 앞서가게 두어서는 안 된다.