Letta最新研究：构建能持续进化的AI智能体-AI Express News

我们在讨论AI进化时，都聚焦在模型参数上，从GPT-3的千亿级到GPT-4的万亿级，好像默认了更大的模型就等于更强的智能。

但如果关注Letta团队最新发布的这篇技术文档，会看到完全不同的叙事走向：让AI更智能的关键，可以通过教会它在token空间里持续学习。

简单点说就是让它通过"写笔记"（更新上下文记忆）来积累经验。这种方法就跟我们用日记、笔记来辅助记忆一样自然，而且更灵活、更可控、更容易跨越不同的AI模型版本传递。

以下为原文内容：

在Token空间中的持续学习

LLM Agent中的持续学习问题，最好从token空间学习的角度来理解：对已学习上下文的更新，而非权重更新，应该成为LLM Agent从经验中学习的主要机制。

AI 智能体与人类智能之间最大的差距在于学习能力。人类能够持续学习并随时间不断进步，掌握新技能，根据新事实更新信念，并根据过去的错误调整行为。相比之下，尽管大多数Agent拥有海量的世界知识，却无法真正随时间变得更好。

我们该如何创造能够持续学习的智能体？传统上，神经网络的"持续学习"概念一直等同于权重更新，基于所有学习都以连接主义方式发生的假设。核心研究问题集中在灾难性遗忘（新的权重更新导致意外的知识丢失），以及何时、如何通过梯度下降进行权重更新。

但这种传统框架与现代基于大语言模型的智能体现实存在脱节。今天的智能体不仅仅是模型权重，还有上下文。决定智能体行为的有效"程序"不仅包括模型参数，还包括系统提示词、检索的文档、工具定义以及累积的对话历史。同一个模型的两个实例，如果给定不同的上下文，就可以表现为具有不同知识、能力和个性的完全不同的智能体。

这一认识为学习开辟了第二个维度：可以更新调节模型行为的token，我们称之为在token空间中学习。在Letta，我们正在构建这样的未来：在token空间中学习的记忆比模型权重本身更有价值；Agent永久运行，通过数万亿token的经验数据逐步丰富已学习的上下文，并在多代模型之间无缝转移它们的记忆。

权重空间学习的局限性

持续学习（随着新数据到来逐步更新神经网络权重）自1980年代末以来一直被研究。然而，尽管经过数十年的研究，成果却不多：生产环境中部署的现代大语言模型并不进行持续学习，它们的权重在部署时就被冻结了。唯一值得注意的例外是Cursor的自动补全模型，它使用在线强化学习根据用户反馈持续改进，这种持续学习形式是在群体层面运行的，为所有人改进模型，但没有让个体智能体从自身经验中学习。此外，它的范围局限于一个狭窄领域：短代码补全，不包括通用推理和行动。

为什么权重空间的持续学习被证明如此困难？首先，使大语言模型训练如此成功的技术并不适用于持续学习场景。预训练、中期训练和后训练需要精心的数据整理以及仔细的人工监督和评估——这个过程在智能体每次需要学习新东西时都重复一遍是不可行的。

还存在部署问题：当你有数百万用户时，从谁的数据中学习？是为每个人训练单独的模型，还是将每个人的私人经验混合到共享权重中，冒着私人数据在不同用户间泄露的风险？像LoRA这样的高效方法降低了微调的计算需求，足以支持个性化的单用户模型，但它们仍然是为离线场景和离线评估设计的，无法支持持续的在线更新。

像LoRA这样的微调方法也留下了更难回答的问题：学习信号从哪里来，如何权衡近期信息与旧知识，以及如何预防、检测和评估过拟合、分布偏移和灾难性遗忘。

持续上下文学习的假象

如果大语言模型的权重在部署后不更新，那么智能体如何从经验中学习？大语言模型在线学习的主要机制是上下文学习：当智能体与世界交互时，它的推理、行动和观察被追加到上下文窗口中，并作为新知识被利用。这种形式的"持续学习"是有效的，但有明显的局限性：

有限的上下文：上下文窗口是有限的，前沿模型最多支持20万到100万token，即使在宣称的上下文窗口内，也会遭受推理能力下降的问题，即"上下文污染"或"上下文衰退"。真正的持续学习应该在无限的时间范围内运行。

仅追加结构：追加原始经验是对学习的粗糙近似。当人类学习时，我们不只是记录发生的所有事情的日志。我们创建记忆，但也会随时间精炼、整合和压缩它们。仅追加的上下文完全没有捕捉到这些。

然而，尽管有这些局限性，上下文学习具有基于权重的学习所缺乏的特性：

可解释性：Token空间的记忆是人类可读的。你可以检查智能体学到了什么，评估它是否正确，并直接调试失败。相比之下，权重更新是不透明的，需要系统性的评估才能发现问题。

可移植性：Token空间的记忆是模型无关的。智能体的已学习上下文可以在不同智能体、模型提供商之间转移，甚至跨越模型代际转移。基于权重的学习将你锁定在单个模型上；如果你想升级到下一代前沿模型，你会失去所有已学习的内容。

可控性：遗忘是简单的：只需删除token即可。防止灾难性遗忘也更简单，因为已学习的上下文可以像任何文本文件一样进行检查点保存和版本控制。你可以对比智能体记忆的差异，回滚到先前状态，或分支成多个版本。

问题是：我们能在克服这些局限性的同时保持这些优势吗？我们能超越仅追加的上下文，走向真正随时间精炼和整合已学习记忆的方式吗？我们相信可以。智能体应该主动维护和精炼存储在token中的已学习记忆，不应该仅仅是追加到上下文直到溢出。

走向token空间的持续学习

有理由相信token空间的持续学习是一个有前景的研究方向。上下文学习比它表面看起来更强大：最近的研究假设，transformer实际上学会了在其推理的前向传播过程中近似梯度下降，这解释了transformer上下文学习的涌现能力。

我们可以用token空间学习的术语来形式化持续学习问题。现代大语言模型智能体不仅是由模型权重θ定义，还有C，其中C是智能体的上下文窗口：系统提示词、工具定义、对话历史以及其他调节智能体行为的token。

持续学习问题呈现出随时间到来的一系列任务T₁, T₂, ..., Tₙ，其中时间范围n可能跨越数月或数年，关键是，跨越许多底层模型发布版本。这些任务是顺序的，即智能体在Tᵢ₊₁的参数由Tᵢ决定。每个任务都有相关的数据分布Dᵢ，以及给定智能体的某个损失函数：L(θ, C, Dᵢ)。持续学习问题是在整个任务序列上最小化累积损失：

如何解决持续学习问题的设计空间相当丰富。传统的持续学习试图通过权重空间的更新来解决这个问题，即更新θ：

这种方法的核心挑战是灾难性遗忘：针对新任务的权重更新可能会破坏旧任务的性能。

数十年的研究集中在这个问题的缓解措施上（通过LoRA约束对θ的更新，用KL散度项增强损失函数），但没有一个被证明足够实用，以允许在生产部署中进行权重空间的持续学习。

还有第二个问题：稀疏的学习信号。现代权重更新方法通常依赖强化学习，其中反馈是每次rollout的标量奖励。Token空间学习绕过了这一点：更新可以从丰富的自然语言反馈中导出，而不是标量奖励。

Token空间学习重新框架了深度模型的持续学习问题：通过更新C（"已学习上下文"）来替代更新θ：

这种转向优化C对灾难性遗忘有一个关键意义：回滚是简单的。如果对已学习上下文的更新损害了性能，你可以简单地恢复先前的已学习上下文，并像任何文本文件一样对记忆进行检查点保存。这在理论上对学习θ也是可能的，但在实践中现代模型太大，无法为每次知识更新存储权重的副本。

这种重新框架阐明了现有工作如何融入持续学习的叙事。像DSPy、GEPA和Feedback Descent这样的提示词优化方法解决了问题的局部版本：给定来自单个任务分布Dᵢ的任务Tᵢ的样本，找到最佳上下文Cᵢ。DSPy使用贝叶斯优化来搜索提示词配置；GEPA和Feedback Descent使用自然语言反思来提出提示词更新。这些方法在学习上下文方面显示出有希望的结果，但它们是为单任务场景设计的，而不是为了在开放式任务序列中向前传递已学习的上下文。

完整的持续学习问题需要在跨越数月甚至数年的开放式任务序列中优化C，跨越许多模型发布和底层架构修订。这是MemGPT和Sleep-time Compute针对的场景：不单为一个任务优化上下文，需要在无限期的时间范围内，在任务之间维护和精炼已学习的上下文。

解决token空间的持续学习

在token空间中解决持续学习问题实际需要什么？今天长期上下文学习的默认方法是先追加后总结：累积原始经验直到上下文溢出，然后通过总结进行压缩，这是不够的。追加将所有表征工作推迟到推理时间，迫使模型在每次前向传播时重新处理原始日志。总结是有损的和突然的，重要细节在没有警告的情况下会消失。

用于记忆精炼的睡眠时间计算

一个有前景的方向是将后台计算专用于记忆管理。就像人类在睡眠期间整合记忆一样，智能体可以在活动会话之间处理和重构已学习的上下文。这种"睡眠时间计算"可能涉及识别存储记忆中的矛盾，从具体经验中抽象模式，或预先计算将加速未来推理和检索的关联。

教智能体管理自己的记忆

如果智能体要真正在token空间中学习，它们需要理解自己的记忆限制。这表明后训练有一个专门针对记忆自我意识的角色。智能体应该学会识别何时它们的上下文正在退化，何时记忆变得陈旧或矛盾，以及如何主动重构它们自己的上下文。

今天，最新的最先进前沿模型仍然将系统提示词视为静态的。它们不自然地理解它们可以（并且应该）在从经验中学习时编辑自己的指令。改变这种底层行为需要专门针对上下文管理的训练，将记忆操作视为一流的工具使用。

在权重和token空间中的持续学习

持续学习与学习机制本身是正交的：新信息可以由已学习的参数或已学习的上下文来表示。我们设想未来的智能体同时使用这两种表示，参数记忆用于纯token表示的效率提升。

参数记忆的主要优势是效率。上下文大小最终是有限的，长上下文处理起来很昂贵（尽管KV缓存可以显著降低长上下文的计算负担）。我们预测未来token空间中的记忆最终会被蒸馏到模型权重中，以获得额外的个性化和效率提升。

Token空间表示可以引导这个蒸馏过程，例如，已学习的上下文可以用于生成合成数据（例如假设的对话）用于监督微调，或用于强化学习的评估标准。尽管在智能体的生命周期中模型将不可避免地被多次更换，但这个token到权重的蒸馏过程可以提供一种持续学习到模型参数的机制，同时在模型发布之间保持连续性。

原文链接：https://mp.weixin.qq.com/s/jsoh8HFuVUaajF9KsKaaCg

文章版权归作者所有，未经允许请勿转载。

THE END

AI 资讯

Letta最新研究：构建能持续进化的AI智能体

请登录后发表评论