机器给出一个清晰、结构严谨、甚至有时相当精彩的回答。它引用一个概念，展开一套解释，并且不流露任何怀疑。于是，我们会产生一种非常人性化的反应：既然这种话语听起来像知识，我们便赋予它知识的地位。问题不只是生成式人工智能可能出错。更大的问题在于，它出错的方式恰好迎合了我们想要相信的愿望。

两起早期的科学失误，能让我们从另一个角度审视这种反应。涉事者既不是业余爱好者，也不是被当场抓获的骗子，而是两位受到认可的科学家：伊夫·罗卡尔和普罗斯佩·勒内·布隆洛。两人都研究过后来被证明并不存在的现象。两人都拥有自己认为严谨的实验框架。他们也都提醒我们：当科学方法主要被用来确认实验者早已希望观察到的东西时，它也会失去力量。

科学家也无法免受期待的影响

从1957年起，伊夫·罗卡尔开始为探水者所谓的能力寻找物理解释。他的经历原本并不会让人把他视为轻信之人：他是巴黎高等师范学院教授、该校物理实验室主任，也是法国原子能委员会的科学顾问，并在多个公认的研究领域作出过贡献。然而，他仍提出一种观点：某些人也许能够感知与地下水存在有关的地球磁场局部变化。

为了检验这一假设，罗卡尔设计过一种装置，其中电线会产生受控磁场。一名手持摆锤的受试者站在附近。通过反转电流方向，实验者试图判断摆锤的旋转方向是否也会改变。从纸面上看，这项实验似乎围绕一个可识别的物理变量展开。但对其方法和结果进行批判性分析后，人们发现了足够严重的偏差，因此这一事件被视为科学失误，而不是欺诈。

普罗斯佩·勒内·布隆洛的案例更早。1903年，这位南锡大学教授、法国科学院院士宣布发现一种被他命名为“N”的射线。当时的背景让这种可能性显得并非全无道理：X射线于1895年被发现，放射性于1896年被发现，而1903年，多位与这些发现有关的人物获得了诺贝尔物理学奖。在一个新型辐射不断改变科学的时代，另一种现象的出现，并不像今天的我们想象得那样荒谬。

布隆洛声称，N射线由一盏装有白热陶瓷棒的灯产生，它能让微弱照明的屏幕显得稍微更亮。于是，整个判断都建立在一种几乎无法察觉、接近视觉感知阈值的差异上，而且据说只有受过训练的观察者才能分辨。随后，他又认为自己可以借用经典光学的方法研究这种射线的传播、折射和衍射。

这两起事件有一个决定性的共同点：观察结果并不是由现象本身明确强加给观察者的。它依赖的是一个微弱、模糊、可以被解释的信号。摆锤可能看起来像是作出了反应。屏幕可能看起来像是变亮了。从这一刻起，研究者的期待便不再停留在实验之外，而是进入了结果本身。

AI与此的联系并非技术上的，而是心理上的

这种类比并不属于上述两起事件本身，必须把它如实地当作一种分析来呈现。在我看来，N射线和AI幻觉属于截然不同的时代和装置，但它们会激活观察者身上的同一种弱点。当一个主张的形式已经符合我们的期待时，我们往往更难对它进行严格评估。

对布隆洛来说，寻找新型辐射的竞赛，让另一种现象的存在显得可信。对罗卡尔来说，磁场假设为一种被信念包围的做法赋予了物理外观。到了AI这里，情形发生了转移：我们不再观察昏暗的屏幕或摆锤，而是在阅读连贯、即时、个性化的文字。模糊的信号变成了一句令人信服的话。

可以归纳出三种共同机制，但前提是把它们视为一种理解框架，而不是已经得到证明的结论：

  • 期待会引导解释。 当我们希望获得答案、解释或确认时，会更容易注意到支持它的内容。
  • 表面上的专业能力会令人安心。 一位声望卓著的科学家、一套复杂的实验方案，或技术上流畅的文字，都可能在主张得到验证之前就赋予它分量。
  • 重复会制造正常感。 当多个人接受同一个框架时，怀疑就会显得不那么正当。集体一致也可能因此看起来像证据。

因此，对AI的过度信任并不只来自技术知识不足。它也来自一种更普通的现象：我们很容易把连贯性误认为真实性。一个写得很好的回答，往往比一个犹豫的回答显得更有根据，但文风上的自信并不能保证任何事情。

AI可以产生新意，却不一定产生真相

第三场当代争论涉及生成式AI的创造力。它们可以根据已有数据形成原创或出人意料的组合，而一些观察者则认为，它们只是重新组合已经学到的状态。让-克洛德·厄丹则探索了另一条道路：采用基于重组、突变和选择的遗传算法，并将其描述为一种算法创造力。

这场争论有助于把问题说得更清楚。一个产物可以是原创的、令人惊讶的，甚至是有用的，却依然可能在事实层面出错。新颖不是证据。优雅也不是。AI可以提出一种此前从未有人这样表达过的关联，同时又引入一条根本不存在的信息。正是这种混合让它具有说服力：真实、可能和虚构，都可以用同一种声音说出来。

因此，如果我们只问“这个回答看起来聪明吗？”，就会犯错。更有用的问题要严厉得多：“这个回答中的哪些内容，能够经受独立验证？”过去的科学失误并不是要求我们轻视直觉、专业知识或创新，而是提醒我们，不要把最终决定权交给它们。

N射线应当如何改变我们使用AI的方式

第一条教训，是把表达质量与证据质量分开。清晰的回答也可能是错的。谨慎的措辞，可能比华丽的论述更可靠。面对一个重要主张时，我们应当寻找什么能够将它驳倒，而不只是关注什么让它显得诱人。

第二条教训，是把验证移到产生主张的系统之外。罗卡尔亲自解释自己的装置。布隆洛依赖一种据说只有受过训练的观察者才具备的微妙感知。同样，让AI确认自己的第一个回答，也不总是真正的验证：它可能只是重新构造一个与自己刚刚说过的话相容的理由。验证必须回到一个独立来源、一份可查阅的文件，或一项可重复的测量。

第三条教训涉及群体。被多人分享的错误仍然是错误。当多个用户转发同一个生成式回答时，它的来源可能会消失，而重复本身会赋予它一种人为的权威。重复次数不能取代原始事实的坚实程度。

危险不在于AI强迫我们相信，而在于它恰好给出了我们早已准备接受的答案。

科学的特点并不是没有错误，而是有能力揭示错误并修正结论。N射线事件通常被视为著名的集体错觉，同时也展示了这种自我纠正能力。或许，这正是最适合应用于生成式AI的模式：广泛使用它，但同时在其周围建立一种积极质疑和反驳的文化。

罗卡尔和布隆洛并不是从一个天真的过去凝视我们。他们是在向我们举起一面镜子。他们的错误不在于提出了大胆假设，而在于让假设教会自己的眼睛应该看到什么。今天，我们的眼睛阅读的是更明亮的屏幕和更快速的回答。但我们的责任没有改变：永远不要让确信在证据之前走得太远。