记忆不是查出来的,是想出来的:当AI开始学会"编造"自己需要的信息 焦点信息

你有没有遇到过这种情况：问一个老朋友某件往事的细节，他想了想，说"具体记不清了，但我大概记得是这样的……"，然后给你讲了一个虽然不完全精确、却抓住了事情核心的版本。

这个版本不是他从记忆里原封不动"提取"出来的，是他现场"重建"出来的。

这篇论文想解决的问题，正是围绕这个现象展开的：AI的记忆，是不是也可以这样工作？

(资料图)

**核心问题：记忆系统一直在做一件事，但没人问过它能不能换种做法**

先说清楚现在的AI记忆系统长什么样。

大语言模型本身很聪明，但它有一个天生的毛病：参数里装的知识是训练时就固定死的，之后再也不更新。想让它知道一些新东西，或者想让它记住特别专业、特别小众的信息，业界想出了几条路。

第一条路是检索增强生成

检索增强生成（RAG）：让模型在回答问题之前，先去外部文本库里搜一段相关资料，把搜到的内容当作参考塞进提示词里。

这就像考试时带了一本参考书，翻到哪页就抄哪页的思路。

第二条路更极客一点，叫最近邻语言模型

kNN-LM：维护一个巨大的非参数化数据库，生成每个词的时候去数据库里找最相似的历史片段，把这些片段的下一个词分布和模型自己的预测做加权融合。

第三条路是这篇论文真正站在的起点，叫学习型记忆

学习型记忆（Learned Memory）：不存文本，存训练出来的向量表示，推理时通过一个专门的"读取器"把这些向量变成模型能用的信号。

这篇论文提到的Engram就是这条路上的代表作。

Engram：一种可寻址的条件记忆系统，用因果N-gram的方式去查表，取出一段记忆表示，再交给一个轻量级的神经网络接口处理。

你发现没有，这三条路有个共同的隐藏假设：存的是什么，取出来就是什么，模型拿到手的东西和当初存进去的东西必须一模一样。

这个假设在作者看来，可能是个错误的默认设定。

他们的问题是：如果记忆表不是用来"原样朗读"的，而是用来"启发联想"的呢？如果模型可以根据查到的一点点线索，再结合当下的语境，现场生成一段更贴合此刻需求的记忆内容呢？

这就是整篇论文的起点，一个听起来有点反常识的想法：有用的记忆，未必是检索出来的，也可以是生成出来的。

**三条路径：直接读取、带线索的生成、完全自主的生成**

作者把问题拆成了三条并行的信息通路，起名字分别叫E、GE、GH。

E（Direct Engram Retrieval）：直接读取路径，老老实实把Engram表里查到的记忆原样交给模型，这是最传统、最保守的做法。

GE（Generation from retrieved Engram Cues）：生成路径一，先从记忆表里拿到一些线索（不是完整答案，是线索），然后用一个小型生成器，根据这些线索重新构造一段记忆表示。

GH（Generation from causal backbone states）：生成路径二，更激进，完全不查记忆表，直接根据模型自己当下的隐藏状态（也就是它正在"思考"的内容）去生成一段记忆表示。

三条路径的区别，本质上是"离原始存储有多远"的区别。E是零距离直接照搬，GE是半步脱离，拿着线索二次创作，GH是彻底脱离，仅凭上下文自己想象。

这里有个容易让人困惑的地方需要澄清：GE和GH不是另外训练了两个独立的语言模型，它们只是挂在同一个被冻结的主干网络（backbone）旁边的两套记忆侧组件，相当于同一个大脑旁边接了两套不同的"提词器逻辑"。

那么问题来了，这三条路径里到底哪个更好？

论文的实验数据给出了一个很诚实、也挺反直觉的答案：没有谁一直更好。

在WebQuestions这个问答任务上，GE的得分是35.24，比直接读取路径E的33.35还要高，看起来生成路径更聪明。可是到了TriviaQA上，E的得分是69.34，GE只有58.62，差了整整十个点，这时候生成路径反而成了拖累。GH的表现更是五个QA任务里全部输给E。

这意味着，如果你简单粗暴地把E整个替换成GE或GH，有的任务会变好，有的任务会直接崩掉。单一路径通吃的幻想，在数据面前碎掉了。

**路由机制：把E当作锚点，而不是三选一的平等候选**

既然没有谁一直更优，那该怎么办？

常规思路可能是做一个"混合专家"系统，三条路径地位平等，让一个调度器根据情况动态加权组合。这种思路在业界有先例，叫专家混合模型。

专家混合（Mixture of Experts）：训练一个门控网络，根据输入内容学习如何组合多个"专家"子模型的输出，是大模型里常见的稀疏激活技术。

但作者没有照搬这套逻辑，他们提出了一个关键的立场转变：E不是三个平等候选之一，E是基准线，是锚点。

这篇论文给这个方法起名MemoryAthena（雅典娜，希腊神话里的智慧女神，掌管战略和判断力，这个命名本身就暗示了这个系统的核心能力不是蛮力记忆，而是审慎判断）。

MemoryAthena的逻辑是这样的：永远先假设E是对的，除非有充分理由相信某个生成路径（GE或GH）能做得更好，才允许它介入修正，而且修正的幅度是有限的，不是推翻重来。

这就像一个资深医生看诊，默认按照标准诊疗流程走（这是E），但如果有个实习医生提出一个不一样的诊断思路，老医生不会直接采纳也不会直接否决，他会先问："你凭什么觉得这个思路更好？有多大把握？"只有实习医生的理由足够充分、把握足够大，老医生才会在标准流程基础上做适度调整，而不是把整个诊疗方案推倒重来。

如果不这样设计会怎么样？论文里有个很说明问题的对照实验：把路由规则换成"对称型硬路由"（三条路径平等竞争，选一个赢家），五项QA任务平均分是35.83；换成"对称型软融合"（三条路径按权重混合），平均分反而掉到28.62，比完全不用记忆的基线32.09还低。而MemoryAthena这种"以E为锚点"的做法，平均分是39.28。

数字差距不小，这说明把三条路径当作平等对手来混合，不仅没有发挥出生成记忆的潜力，反而因为引入了不靠谱的候选项，把整个系统拖垮了。

这个路由决策具体是怎么算出来的？

论文引入了一个很巧妙的监督信号，叫"反事实未来词似然优势"。

反事实优势（Counterfactual Advantage）：对于生成路径s，比较它和E在预测下一个真实出现的词时，谁给出的概率更高。如果生成路径给真实答案打的分比E高，这个差值就是正的，说明生成路径这次"猜"得更准。

这个信号怎么用呢？论文冻结了主干网络、记忆表、生成器、读取器所有这些组件，只训练一个很小的"路由头"，让它学会预测：在当前这个位置，GE或GH这次有没有可能比E表现更好，以及这个判断有多大把握。

值得注意的是，这个训练过程用的是未来真实出现的词来打分，但这些未来词只参与构造训练时的监督目标，推理的时候路由头看不到任何未来信息，只能根据当下的状态做判断。这保证了整个系统在实际使用时依然是"因果"的，不会偷看答案。

路由头给出两个预测值之后，系统的决策逻辑是：

先判断GE或GH的预测优势是否超过某个门槛τ，同时判断置信度是否超过门槛ρ。两个条件都满足，这个候选才算"入围"。

如果有候选入围，选预测优势最大的那个，用一个带系数的插值公式，把它和E的结果混合：最终记忆 = E + α×(生成记忆 - E)，这里α在0到1之间，由路由头的置信度决定。

如果没有任何候选入围，α直接设为0，相当于完全采用E，一点没被改变。

这个"完全回退"的设计特别重要。它保证了即便路由头判断失误，最坏的结果也不过是退回到原本就还算可靠的E路径，不会无底线地放大一个判断错误。

**为什么是这套机制在起作用，而不是别的原因**

有个很自然的质疑：会不会只是因为模型多了很多参数，所以效果变好了？会不会只是因为初始化方式比较好？

论文专门设计了一组对照实验来回答这个问题。

他们试了一个"参数量匹配的前馈网络"（Parameter-matched FFN），也就是用一个参数量差不多、但结构没有记忆路由逻辑的普通网络去替换整套机制。结果五项QA任务平均分只有26.91，比完全不用记忆的基线（32.09）还要低。

这个结果很有分量，说明效果的提升，真的不是单纯靠堆参数堆出来的，结构设计本身在起作用。

他们还做了一个"随机路由器"对照，就是把路由头替换成一个随机做决策的模块，三条路径依然存在，只是选择谁来介入变成了随机的。结果平均分只有31.63，比学习出来的路由头（39.62）低了接近8个点，也比不用记忆的基线还略差。

这个对照组的意义在于，它证明了"同时拥有E、GE、GH三条路径"这件事本身并不会自动带来好处，真正起作用的是"知道该在什么时候用哪一条"这个判断能力。就像一个厨房里摆满了各种高级食材，如果厨师不知道什么时候该用哪种食材、放多少，食材越多反而越容易做砸一道菜。

论文里还有一项细节值得一提：把记忆表里的"地址"打乱（也就是把查询和存储内容的对应关系搞乱），平均分从39.62掉到34.48，而且不同随机种子之间的结果波动特别大（标准差高达6.44，相比正常情况下的0.46）。这说明准确的寻址机制是整个系统稳定工作的前提，一旦查找关系本身是错的，后面无论用多精巧的生成或路由逻辑都无济于事。

**生成记忆到底带来了什么具体改变**

说了这么多机制，到底效果如何？

在五项问答基准上（自然问题、WebQuestions、TriviaQA、TruthfulQA、HotpotQA），同一个检查点下，直接读取路径E的平均分是37.65，MemoryAthena达到39.28。这个提升不是靠某一项任务暴涨撑起来的，五项任务全部都有提升：自然问题提高了4.74分，WebQuestions提高1.25分，TriviaQA提高1.34分，TruthfulQA提高0.49分，HotpotQA提高0.30分。

在六项通用自然语言处理任务上（情感分类、评论分类、新闻分类等），E的平均分是76.73，MemoryAthena是79.13，提升了2.4个百分点。其中SST2情感分类提升了3.9分，MR提升了3.7分，这些都不是误差范围内的小波动。

更有意思的是论文做的"黄金标签神谕分析"。

神谕分析（Oracle Analysis）：假设有一个开了天眼的裁判，提前知道正确答案，让它在E、GE、GH三条路径里挑出表现最好的那个，这个上限叫"神谕上限"，用来衡量系统理论上还有多少潜力没被挖掘出来。

结果显示，三路神谕比"最佳双路神谕"（也就是只用E和另一条路径里较好的那个）还要高，在自然问题上高2.32分，在WebQuestions上高3.37分。这说明GE和GH确实能在某些例子上答对E答不出来的问题，三条路径之间存在真实的互补性。

但同时，三路神谕比实际部署的MemoryAthena路由器还要高出不少，自然问题上差5.31分，WebQuestions上差9.07分。

这个差距说明了什么？说明目前这套路由系统虽然比单一路径和简单混合都更聪明，但离"每次都精准判断该用谁"的理想状态还有相当的距离。这不是一个已经解决的问题，而是作者诚实地指出的未来方向：三条记忆通道里藏着的互补信息，目前只被挖掘出了一部分。

论文附录里还有一个很生动的案例，两道题，E、GE、GH三条路径单独跑都答错了，但MemoryAthena最终答对了。一道题是问两件历史事件谁发生得更早，正确答案是1907年，GH单独跑给出的答案是错的，但在路由系统里，GH承担了大部分的权重，经过和E的混合插值，最终答案变成了正确的1907年。这说明路由系统发挥作用的方式，有时候不是简单挑出"最好的那一个"，而是把几个都不完美的信号拼接、修正出一个更准确的结果。

这个场景很像一群证人各自说了部分实话，单独听任何一个人的证词都推不出真相，但把几个人的说法拼在一起、互相印证、互相修正矛盾之处，反而能拼出一个比任何单独证词都更接近真相的版本。

**代价：这一切是有成本的**

生成记忆不是免费的午餐。

论文里专门做了推理延迟和显存开销的测试，在GPT-2 Small这种小模型上，只用直接读取路径E的延迟是146.7毫秒，加上完整的生成加路由机制之后变成276毫秒，慢了1.88倍。显存占用也从0.57GB涨到0.93GB，增加了63.2%。

好消息是，随着模型规模变大（从Small一路到XL），这个相对开销在逐渐缩小，延迟倍数从1.88倍降到1.40倍，显存增幅从63.2%降到32.6%。额外开销的大头并不是那个很小的路由头（只有53万多参数），而是生成记忆路径本身需要额外计算，尤其是GH路径需要单独跑一遍"干净"的主干网络（不带记忆注入）来获取当下的隐藏状态。

这是个很现实的权衡：换来了更高的准确率，代价是更慢的推理速度和更高的显存占用。

**写在后面**

读完这篇论文，让我印象最深的不是那个路由机制本身，而是那个被反复证明的核心事实：没有任何一条记忆路径能通吃所有情况。直接检索、带线索的生成、完全自主的生成，三者各有盲区，而且这些盲区是和具体任务、具体输入绑定的，不是靠加大参数量或改进单一方法就能消除的。

这让我想到一个和AI完全无关的类比：人在不同场合回忆一件事的方式本来就不一样。有时候你需要精确复述一个合同条款，这时候你希望自己能一字不差地"检索"记忆，任何添油加醋都是错误。但有时候你在给朋友讲一个旅行故事，细节记不全没关系，你会下意识地用合理的联想填补空白，这时候"生成"反而是更自然、更有用的记忆方式。这篇论文某种程度上是在给AI系统补上这第二种能力，同时又很谨慎地给它设了边界，不让它在该精确的时候也开始"合理编造"。

另一个值得玩味的细节是CR（商品评论分类）这个任务，在这个任务上GE拿到了44.6%的权重，是所有任务里生成路径权重最高的一个，而GH在大多数其他任务里占主导。这说明不同类型的任务，对"要不要依赖原始记忆线索"这件事的偏好本身就不一样，这背后可能藏着一个更有意思的问题：什么样的任务更依赖精确信息，什么样的任务更依赖联想重构？论文没有深入回答这个问题，但这恰恰是留给后来者的一个很值得追问的方向。

论文最后坦诚地承认，部署的路由器和理论上限之间还有5到9个百分点的差距。这个差距会不会随着更好的特征设计、更大规模的训练数据被填平？还是说这个差距本身反映了某种无法通过工程手段彻底消除的不确定性，就像人类自己也永远无法百分之百判断某个记忆该相信多少一样？

Q&A

Q1：MemoryAthena是什么？

A：MemoryAthena是一种AI记忆路由系统，它同时拥有直接检索记忆（E）、基于检索线索生成记忆（GE）、完全依靠上下文自主生成记忆（GH）三条通路，并训练一个轻量级路由头，判断何时该让生成的记忆修正直接检索的结果。

Q2：MemoryAthena和普通的检索增强生成（RAG）有什么区别？

A：RAG是把检索到的原始文本直接塞给模型参考，记忆内容和存储内容完全一致。MemoryAthena则允许模型根据检索线索或自身语境，重新生成一段更贴合当下需求的记忆表示，并且始终以直接检索结果为基准，只有判断生成记忆更优时才会介入修正。

Q3：MemoryAthena效果提升明显吗，有没有代价？

A：在五项问答任务上平均分从37.65提升到39.28，六项通用任务平均分从76.73提升到79.13，所有任务均有改善。但代价是推理延迟增加（小模型上约1.88倍）和显存开销上升（约63.2%），不过这个相对开销会随模型规模增大而缩小。

标签： 路由 信号 锚点 编造 生成器 上下文 显