与语言模型交谈一段时间后,最容易产生的错觉是:它「懂」了。句子通顺,语气体贴,引用看起来像那么回事。可通顺是统计上的连贯,不是认识论上的可靠。模型在训练中见过大量文本的分布,于是擅长预测「下一个可能的词」;它并不天然具备核查事实、承担后果或保守秘密的义务。把流畅误认为真理,是使用这类工具时最常见的失足。
人们常说模型会「幻觉」——编造不存在的书名、论文、日期或接口。更准确的说法或许是:它在缺少约束时,仍会把概率最高的语言形状填满空白。空白被填满了,读起来便像答案。对写作者与研究者而言,正确的姿势不是禁止使用,而是把生成与核实分开:先让它提出草稿、提纲或反例,再由人去对来源、跑实验、读原文。模型可以加速提问,却不该被允许结束提问。
它记得的是语言的形状;它忘记的是:形状不等于证据。
另一层容易被忽略的「遗忘」,发生在会话的边界。你以为它记住了上周的约定,其实多数情况下,它只是在当前上下文里扮演记得的样子。长期记忆若存在,也通常是产品层附加的机制,而非模型本身对你负责。因此,重要的偏好、禁区与事实,仍应写在你自己可控的笔记里,而不是托付给一次对话的温度。
我给自己定了三条低调的规则:涉及数字与引用,必查;涉及他人隐私与未发表想法,不粘贴进对话;涉及最终署名的文字,必须经过我自己的声音过滤。规则并不高明,却能把工具放回工具的位置。模型可以是一位不知疲倦的续写者;判断、责任与羞耻感,仍属于会睡觉、会后悔的人类。