機械は、明快でよく構成され、ときに見事な回答を返す。概念を引用し、説明を展開し、少しの迷いも見せない。すると私たちは、きわめて人間的な反応を示す。語り口が知識らしく見えるため、それを知識そのものとして受け入れてしまうのだ。問題は、生成AIが誤ることだけではない。誤り方そのものが、私たちの「信じたい」という欲求に完璧に寄り添っていることにある。

二つの古い科学的失敗は、この反応を別の角度から見る手がかりになる。関わっていたのは素人でも、現行犯で捕まった詐欺師でもない。評価の高い二人の科学者、イヴ・ロカールとプロスペール・ルネ・ブロンロだった。二人とも、のちに存在しないと判明する現象を研究した。二人とも、自分では真剣なものだと考える実験の枠組みを持っていた。そして二人の事例は、科学的方法であっても、実験者がすでに観察したいと望んでいるものを確認するために主に使われると、その力を失いうることを教えている。

科学者も期待から免れるわけではない

1957年以降、イヴ・ロカールは、ダウザーが持つとされる能力に物理的な説明を与えようとした。彼の経歴は、安易な信じ込みとは無縁に見える。高等師範学校の教授であり、同校の物理学研究所長、CEAの科学顧問を務め、複数の正統な研究分野に貢献していた。それでも彼は、地下水の存在に関連する地磁気の局所的な変化を、一部の人が感知できるのではないかという考えを提唱した。

この仮説を検証するため、ロカールは、電線によって制御された磁場を生じさせる装置などを考案した。振り子を持った被験者がその近くに立つ。電流の向きを反転させたとき、振り子の回転方向も変わるかを確かめるというものだった。紙の上では、識別可能な物理変数を中心に組み立てられた実験に見える。しかし、その方法と結果を批判的に検討すると、この出来事を不正ではなく科学的失敗と呼ぶに十分なほど大きなバイアスが明らかになった。

プロスペール・ルネ・ブロンロの事例はさらに古い。1903年、ナンシー大学教授で科学アカデミー会員だった彼は、「N」と名付けた放射線の存在を発表した。当時の状況は、その可能性を後押ししていた。X線は1895年に、放射能は1896年に発見され、1903年にはそれらの発見に関わる複数の人物がノーベル物理学賞を受賞している。新たな放射線が科学を次々に変えていた時代には、さらに別の現象が現れることは、今日の私たちが感じるほど不合理ではなかった。

ブロンロは、白熱するセラミック棒を備えたランプから生じるN線によって、薄暗く照らされたスクリーンがわずかに明るくなると主張した。つまり、すべては視覚の知覚閾値に近い、ほとんど気づけない差に依存しており、それを見分けられるのは訓練された観察者だけだとされた。彼はその後、古典光学の手法を用いて、N線の伝播、屈折、回折を研究できると考えた。

この二つの事例には決定的な共通点がある。観察結果が、現象そのものによって明白に強制されているわけではないことだ。弱く、曖昧で、解釈の余地がある信号に依存している。振り子は反応したように見えるかもしれない。スクリーンは明るくなったように見えるかもしれない。そうなると、研究者の期待は実験の外側にとどまらない。結果の中へ入り込む。

AIとのつながりは技術的ではなく、心理的である

この比較は、二つの事例そのものに含まれているわけではない。あくまで一つの分析として示す必要がある。私の見方では、N線とAIのハルシネーションは、時代も仕組みも根本的に異なるが、観察者の中にある同じ弱点を刺激する。主張の形がすでに自分の期待に合っているとき、私たちはその主張を評価しにくくなる。

ブロンロの場合、新しい放射線をめぐる競争が、さらなる現象の存在をもっともらしく見せた。ロカールの場合、磁気に関する仮説が、信念に囲まれた実践へ物理的な外観を与えた。AIでは状況が変わる。私たちが見るのは、薄暗いスクリーンや振り子ではなく、一貫性があり、即座に返され、個別化された文章である。曖昧な信号が、説得力のある一文へと変わる。

共通する三つの仕組みを挙げることができる。ただし、それらは証明済みの結果ではなく、物事を見るための枠組みとして扱う必要がある。

  • 期待は解釈を導く。 答えや説明、確認を望んでいると、私たちはそれを支持するものを見つけやすくなる。
  • 見かけの能力は安心感を与える。 権威ある科学者、精緻な実験手順、技術的に流暢な文章は、検証される前から主張に重みを与えうる。
  • 反復は「普通」を作り出す。 複数の人が同じ枠組みを受け入れると、疑うことが正当でないように見えてくる。集団の同意が、証拠のように映ることもある。

したがって、AIへの過剰な信頼は、技術的知識の不足だけから生じるのではない。もっとありふれた現象にも由来する。私たちは、一貫性と真実を容易に混同する。よく書かれた回答は、ためらいのある回答より根拠があるように見えがちだが、文体上の自信は何も保証しない。

AIは新しいものを生み出せても、真実を生み出すとは限らない

三つ目の現代的な議論は、生成AIの創造性をめぐるものだ。生成AIは、利用可能なデータから独創的または予想外の組み合わせを作れる一方で、学習済みの状態を組み替えているだけだと考える人もいる。ジャン＝クロード・ユーダンは別の道として、再結合、突然変異、選択に基づく遺伝的アルゴリズムを研究し、それをアルゴリズム的創造性の一形態と表現している。

この議論は、問題をより明確にする。生成物は独創的で、驚きがあり、役に立つことさえあっても、事実として正しいとは限らない。新しさは証拠ではない。美しさも同じだ。AIは、誰もそのような形で表現したことのない関連づけを提案しながら、同時に存在しない情報を持ち込むことができる。まさにこの混合が、AIを説得的にする。真実、もっともらしさ、創作が、同じ声で語られうるのだ。

したがって、「この回答は賢そうか」とだけ問うのは誤りである。役に立つ問いはもっと厳しい。「この回答のどの部分が、独立した検証に耐えられるだろうか」。過去の科学的失敗は、直感、専門知識、革新を軽視せよと求めているのではない。それらに最後の言葉を与えるなと求めている。

N線が私たちのAI利用をどう変えるべきか

第一の教訓は、表現の質と証拠の質を切り分けることだ。明快な回答でも誤っていることはある。慎重な表現は、華々しい説明より信頼できる場合がある。重要な主張に向き合うときは、その魅力を支えるものだけでなく、何があれば反証できるかを探すべきだ。

第二の教訓は、主張を生み出したシステムの外へ検証を移すことである。ロカールは自分の装置を自分で解釈していた。ブロンロは、訓練された観察者だけが持つとされる微妙な知覚に依存していた。同じように、AIに最初の回答を確認させても、必ずしも本当の検証にはならない。AIは、たった今述べた内容と整合する理由づけを再構成するだけかもしれない。検証は、別の情報源、参照可能な文書、または再現可能な測定に委ねなければならない。

第三の教訓は集団に関するものだ。共有された誤りも誤りである。複数の利用者が同じ生成回答を拡散すると、その出所が消え、反復によって人工的な権威が与えられることがある。繰り返された回数は、最初の事実の確かさに代わるものではない。

危険なのは、AIが私たちに信じることを強いる点ではない。私たちが受け入れる準備をしていた答えを、AIが正確に差し出す点にある。

科学は、誤りがないことで際立つのではない。誤りを明るみに出し、結論を見直せることで際立つ。N線事件は有名な集団錯覚として語られる一方で、この自己修正の力を示す例でもある。生成AIに適用すべき最良のモデルも、おそらくここにある。広く活用しながら、その周囲に異論と検証を重視する活発な文化を築くことだ。

ロカールとブロンロは、無邪気な過去から私たちを見ているのではない。私たちに鏡を差し出している。彼らの誤りは、大胆な仮説を思いついたことではなかった。仮説に、自分たちの目が何を見るべきかを教えさせてしまったことにあった。今日、私たちの目は、より明るい画面と、より速い回答を読む。それでも責任は変わらない。確信を証拠より長く先行させてはならない。