中文搜索引擎指南网

 找回密码
 禁止注册

QQ登录

只需一步,快速开始

搜索
查看: 4|回复: 0
打印 上一主题 下一主题

把提示词复制粘贴一遍,大模型就变聪明了?

[复制链接]
跳转到指定楼层
1#
发表于 2 小时前 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
@爱可可-爱生活

【把提示词复制粘贴一遍,大模型就变聪明了?】

Google Research 最新研究揭示了一个简单到令人意外的技巧:在不启用推理模式时,把你的提示词原封不动重复一遍,大模型的表现就能显著提升。

这背后的原理其实很直观。大语言模型本质上是因果语言模型,每个 token 只能“看到”它前面的内容。这意味着当你问“先给背景,再提问题”和“先提问题,再给背景”时,模型的理解深度是不同的。重复提示词相当于让每个 token 都有机会“看到”完整的上下文,弥补了单向注意力的先天缺陷。

研究团队在 Gemini、GPT、Claude、Deepseek 等七个主流模型上进行了测试,覆盖 ARC、GSM8K、MMLU-Pro 等多个基准。结果相当惊人:70 组测试中,提示词重复赢了 47 次,输了 0 次。

更妙的是,这个方法几乎没有代价。重复发生在可并行化的预填充阶段,生成的 token 数量和延迟都不会增加。输出格式也完全不变,可以直接无缝替换现有系统。

一个有趣的观察是:那些经过强化学习训练的推理模型,往往会自发学会在思考过程中重复用户的问题。提示词重复技术本质上是把这个“好习惯”前置到了输入阶段,用更高效的方式实现了类似效果。

研究还测试了几个变体。比如重复三次,在某些任务上效果更好。而单纯用句号填充到相同长度则毫无作用,证明提升确实来自语义重复本身。

当启用“逐步思考”等推理模式时,提示词重复的效果变得中性到略正面。这也符合预期,因为推理过程本身就包含了对问题的复述。

这项研究给我们的启示是:有时候最简单的方法反而最有效。在追求复杂提示工程技巧之前,不妨先试试这个零成本的小技巧。对于那些对延迟敏感、不适合开启推理模式的场景,提示词重复可能是一个值得尝试的默认策略。

论文还列出了十几个未来研究方向,包括只重复部分提示词、用小模型重排序、探索多轮对话场景等。这个看似简单的发现,或许能打开一扇理解 Transformer 注意力机制的新窗口。

arxiv.org/abs/2512.14982
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏

Archiver|手机版|小黑屋|教你搜 ( 鲁ICP备16006309号

GMT+8, 2026-1-23 23:02 , Processed in 0.192511 second(s), 25 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表