冷知识：AI为何会一本正经胡说八道

sowang

@奇怪喵


冷知识：AI为何会一本正经胡说八道

大模型幻觉（Hallucinations），意思是大模型输出看似逻辑自洽，实则与事实、常识完全背离，普遍存在的系统性现象。

它的本质是Transformer模型的概率生成机制：AI并非真正“理解”内容，只是从训练数据中统计规律、逐词“猜”下一个输出。面对冷门孤例事实、复杂推理的场景，模型找不到有效统计规律，就会凭空编造内容。

而又因为行业奖励和评估机制为“猜对加分，不答不得分”，又反向“奖励”了这种投机式的瞎猜。就像考试时，猜答案比空题更好拿分，因此就出现AI胡说八道的情况。

有趣的是，当设定允许模型说“我不知道”时，幻觉会明显减少。