常见的 Agent 记忆系统通常是对历史对话进行处理,例如提取事实、生成摘要等;之后随着聊天的进行继续追加、更新或删除已有记忆。回答问题时,系统检索这些处理后的内容,通过模型筛选把相关内容提供给 LLM。

RAW-RAG 则提出了另一个方向:直接保留并检索原始历史,能达到什么样的效果?

它采用固定流程:

  1. 先将聊天历史按 256 tokens 分块建立索引,相邻块重叠 32 tokens;
  2. 提问时通过向量相似度召回 top 128,再通过一个 Ranker 模型重排序选出 15 项,将其原文交给 LLM 回答。

部分配置会将选中的窗口展开为完整对话轮次。

论文在四个基准、七组“基准+回答模型”设置中进行比较。RAW-RAG 在六组中领先所比较的复杂记忆系统,领先幅度为 0.13—5.53 个百分点。

相关结果不意味着复杂记忆系统将被淘汰或者没有价值(今天看到很多帖子把RAW-RAG吹上天,理性看待没这回事),但是支持把 RAW-RAG 作为一个有竞争力的基线。

论文还讨论了记忆加工可能影响事实本身,也可能影响时间顺序和依赖关系的问题。例如,“明早8点开会”和“会议推迟至后天”共同决定会议真正时间。提取出了会议时间,却没有提取出事实状态的变化,仍然可能回答错误。

论文用两个指标分析这个问题:

  • 证据覆盖率:检索结果证据完全,足以回答问题的比例。
  • 证据利用率:在证据充分的问题中,模型回答正确的比例。

这两个指标可以帮助区分检索与回答阶段的问题。RAW-RAG 的证据覆盖率较高,但证据利用率并不总是最高,较高的覆盖率可以补偿利用率上的不足。

覆盖率乘以利用率,可以理解为“证据充分且回答正确”的比例(不等于整体正确率,仅供快速理解)。

另外,不同系统检索到充分证据的题目集合不同,因此不能仅凭利用率高低判断谁更善于利用证据。

成本方面,RAW-RAG 省去了 LLM 事实提取、摘要生成等前置加工。论文的计时实验显示,其写入到可检索的耗时比起LLM提取显著较低,但检索并非始终最快,计时也不包含最终回答生成。因此,真实落地长期使用的性价比还需要结合查询频率、证据长度和存储增长评估。

小结

这个方向是有趣的,通过简单的Rag即可实现能与复杂记忆系统近似的效果。将来探索Agent的长期记忆功能可以尝试一下用这种方式,效仿论文方式先建立原文检索基线,再验证语义分块、摘要、图结构或动态维护是否带来收益;验收时看回答正确率、证据覆盖、延迟和成本,可以得到一些有意思的成果。