Experience Funnel
来自 arXiv · 期号 2026-09-08
摘要
大模型 agent 在交互中不断积累经验，但如何把这些经验变成模型自身的能力，同时又不牺牲对新情况的快速适应，一直是个难题。 显式的文本状态（如技能描述、agent 配置）可以快速修改和验证，但依赖外部上下文；参数化的策略（policy）紧凑且可复用，但更新很慢。 Experience Funnel 提出一个交替循环：先把交互轨迹蒸馏成显式文本状态，快速吸收新经验；然后从中选出跨版本仍然有用的行为，通过“过渡感知蒸馏”固化到策略参数里。更新后的状态-策略对再生成新的交互，为下一轮循环提供证据。 在多个 agent benchmark 上，该方法持续优于纯状态演化或纯策略内化的方案，逐步把有用的显式经验转化为自主的策略能力。
深读
导读 大模型 agent 面临一个两难：交互中积累的经验，是快速吸收到显式的文本状态中（灵活但依赖外部上下文），还是缓慢固化到参数化的策略里（紧凑但更新慢）？这篇论文提出的 Experience Funnel 用一个交替循环把两者结合起来，在多个 agent benchmark 上持续优于只用其中一种的方案。读完能带走一个具体的框架设计思路，以及它在几种典型任务上的量化表现。 关键信息 - Experience Funnel 是一个交替循环：先通过蒸馏把交互轨迹变成显式文本状态（快速吸收新经验），再通过“过渡感知蒸馏”把跨版本仍有用的行为固化到策略参数里。 - 更新后的状态-策略对生成新的交互轨迹，为下一轮循环提供证据，形成闭环。 - 实验覆盖多个 agent benchmark，该方法持续优于纯状态演化（state-only evolution）和纯策略内化（policy-internalization）两种基线。 逐节讲解 问题：agent 自我进化的两难 大模型 agent 在交互中不断积累经验，理论上可以用这些经验自我进化。但核心矛盾在于：显式的文本状态（如技能描述、agent 配置）可以快速修改和验证，但依赖外部上下文，每次调用都要带上；参数化的策略（policy）紧凑且可复用，但更新很慢，无法快速响应新情况。两者各有优劣，但现有方法通常只选其一。 方案：Experience Funnel 的交替循环 Experience Funnel 提出一个状态-策略交替循环来解决这个矛盾。第一步，把交互轨迹蒸馏成显式的文本状态，新经验可以快速被吸收和验证。第二步，从这些状态中选出那些在多次版本更新后仍然有用的行为，通过“过渡感知蒸馏”（transition-aware distillation）固化到策略参数里。更新后的状态-策略对再生成新的交互轨迹，为下一轮循环提供证据。这样，显式经验逐步转化为自主的策略能力。 实验验证 在多个 agent benchmark 上，Experience Funnel 持续优于纯状态演化（只更新文本状态）和纯策略内化（只更新策略参数）的方法。论文的结论是，该框架能逐步把有用的显式经验转化为 agent 自主的策略能力，同时不牺牲对新情况的快速适应能力。 值得注意 由于本文仅基于论文摘要（content_source 为 abstract），以下信息不在可见范围内：具体的 benchmark 名称、性能提升的量化数字、与基线方法的对比细节、以及“过渡感知蒸馏”的具体技术实现。这些内容在论文正文中应有展开。