中文搜索引擎指南网
标题:
把提示词复制粘贴一遍,大模型就变聪明了?
[打印本页]
作者:
sowang
时间:
昨天 20:33
标题:
把提示词复制粘贴一遍,大模型就变聪明了?
@爱可可-爱生活
【把提示词复制粘贴一遍,大模型就变聪明了?】
Google Research 最新研究揭示了一个简单到令人意外的技巧:在不启用推理模式时,把你的提示词原封不动重复一遍,大模型的表现就能显著提升。
这背后的原理其实很直观。大语言模型本质上是因果语言模型,每个 token 只能“看到”它前面的内容。这意味着当你问“先给背景,再提问题”和“先提问题,再给背景”时,模型的理解深度是不同的。重复提示词相当于让每个 token 都有机会“看到”完整的上下文,弥补了单向注意力的先天缺陷。
研究团队在 Gemini、GPT、Claude、Deepseek 等七个主流模型上进行了测试,覆盖 ARC、GSM8K、MMLU-Pro 等多个基准。结果相当惊人:70 组测试中,提示词重复赢了 47 次,输了 0 次。
更妙的是,这个方法几乎没有代价。重复发生在可并行化的预填充阶段,生成的 token 数量和延迟都不会增加。输出格式也完全不变,可以直接无缝替换现有系统。
一个有趣的观察是:那些经过强化学习训练的推理模型,往往会自发学会在思考过程中重复用户的问题。提示词重复技术本质上是把这个“好习惯”前置到了输入阶段,用更高效的方式实现了类似效果。
研究还测试了几个变体。比如重复三次,在某些任务上效果更好。而单纯用句号填充到相同长度则毫无作用,证明提升确实来自语义重复本身。
当启用“逐步思考”等推理模式时,提示词重复的效果变得中性到略正面。这也符合预期,因为推理过程本身就包含了对问题的复述。
这项研究给我们的启示是:有时候最简单的方法反而最有效。在追求复杂提示工程技巧之前,不妨先试试这个零成本的小技巧。对于那些对延迟敏感、不适合开启推理模式的场景,提示词重复可能是一个值得尝试的默认策略。
论文还列出了十几个未来研究方向,包括只重复部分提示词、用小模型重排序、探索多轮对话场景等。这个看似简单的发现,或许能打开一扇理解 Transformer 注意力机制的新窗口。
arxiv.org/abs/2512.14982
欢迎光临 中文搜索引擎指南网 (http://www.sowang.com/bbs/)
Powered by Discuz! X3.2