arXiv

arXiv 的条目时间线。

源站

时间线

• 舍入位置对齐稳定 LLM 强化学习 (2026-10-24 · arXiv)
  只对齐 RoPE、SwiGLU、RMSNorm 三处的舍入位置，即可防止 BF16 训练崩溃，无需改动推理引擎或学习算法。
• NgramRL：用 rollout 感知的 n-gram (2026-10-24 · arXiv)
  用同一 prompt 的近期 rollout 历史构建 draft 模型，无需额外模型或训练，在 Spider 等任务上比 SuffixDecoding 快 1.99 倍。
• 可解释的稀疏微调 TopKLoRA (2026-10-24 · arXiv)
  用 TopKLoRA 在投毒模型上定位并消融后门电路，稀疏电路比密集 LoRA 小一个数量级
• 传感器运动对齐：具身策略的柏拉图代理 (2026-10-23 · arXiv)
  提出无需训练的离线指标 $S^2$，衡量感觉表征与物理运动几何的对齐程度，与下游任务成功率正相关，可作为闭环评估前的低成本代理。
• 直接优化 pass@k 的推理剪枝 (2026-10-23 · arXiv)
  在 8 个开源推理模型上优于现有质量优先和多样性优先策略，保留中等数量候选解时效果最明显
• Softmax 与交叉熵的一个修复 (2026-10-23 · arXiv)
  标准 Softmax 和交叉熵实现有两个数值 bug，论文给出了简单修复，消除了 Slingshot 现象并加速了 grokking。
• 质疑 RLVR 中的工具性趋同 (2026-10-23 · arXiv)
  OLMo-3-7B-Think 的 RLVR 训练中，工具性行为率先升后降，最终低于 SFT 基线。
• 模拟控制评测 (2026-10-23 · arXiv)
  用语言模型模拟工具响应代替真实环境做控制评测，在 LinuxArena 上预测误差 3.6 个百分点，远低于传统控制环境（10.1 个百分点）。
• 谁在迎合谁？自信的 LLM、人类的顺从与信任校准的崩溃 (2026-10-23 · arXiv)
  实验发现，当 AI 自信地给出错误信息时，人类有约 65% 的概率会采纳，且事后信任度几乎不变。
• 超越因果掩码：自适应序列模型中的隐藏未来 token 泄 (2026-10-23 · arXiv)
  自适应残差路由解码器中定位了未来 token 泄漏：验证损失从 3.5958 降至 1.4259，但生成困惑度显著升高。
• 训练小模型做可迁移的工具选择 (2026-10-23 · arXiv)
  用强化学习训练的 Qwen3-8B 在 ToolBench 上超过 Llama-4-Maverick（402B），且可直接迁移到不同检索器和工具库。
• LongZero：从零数据增强 LLM 长上下文推理 (2026-10-22 · arXiv)
  让模型自己给自己出题，再扩展成长文档上下文，用 GRPO 训练。在两个模型、五个 benchmark 上超过用外部语料合成数据的基线。
• PhysiCalWorld：世界模型的上下文物理校准 (2026-10-22 · arXiv)
  用一段探索交互编码成物理描述符 token，无需微调即可校准世界模型对场景物理属性的预测，在四个环境上显著提升 rollout 准确率。
• Environment Duels (2026-10-22 · arXiv)
  让每个模型同时出题和解题，发现最强的解题者不是最强的出题者，而小模型反而能从别人的玩法中学到更多。
• 多模态具身智能体：从计算机使用到机器人使用 (2026-10-22 · arXiv)
  提出 PAPAV 框架，将多模态具身智能体拆解为感知、预判、规划、执行、验证五个能力。在 64 个 benchmark 中，预判和验证几乎未被显式评测。
• 问题真的变难了吗：用对抗多智能体重写测试 LLM 的 P (2026-10-22 · arXiv)
  所有模型在 NPC 题目上得分都低于其 P 孪生题目（35.4% vs. 63.8% pass@1），放宽时间限制也几乎无改善。
• 从推理到行动：前沿 AI 模型在 LIBERO-10 上 (2026-10-22 · arXiv)
  GPT-6 Astra 成功率 44% 最高，Gemini-4 Argon 43% 紧随其后；模型在物体放置上尚可，但精确空间排列和多步交互明显吃力。
• SWE-DIVE：多轮编程 agent 评测 (2026-10-22 · arXiv)
  用用户模拟器生成多轮对话，评测 agent 在追加需求下的表现，已开源。
• FrontierCS 2：计算机科学研发基准 (2026-10-22 · arXiv)
  48 个任务要求 agent 在完整仓库里复原论文贡献，Claude Opus 5.5 通过率 58%，16 个任务无人通过。
• 自适应多 token 预测：推测多长合适 (2026-10-21 · arXiv)
  AMTP 把推测长度选择当作在线控制问题，无需重训即可自适应调整，在 10 组设置中 8 组匹配或超过固定窗口，吞吐最高提升 10%。
• 演化式 agent 接口 (2026-10-21 · arXiv)
  Agent S4 在 OSWorld V2 上达 21.3%，是固定接口模型的 3.8 倍，成本仅为 GPT-5.5 的 4.3%
• 两个 ReLU 层就够了 (2026-10-21 · arXiv)
  证明任意深度 ReLU 网络可被两层隐藏层精确模拟，给出同调代数与组合两种证明
• Sage-A1.5：从长周期执行到科学探索的能力组合 (2026-10-21 · arXiv)
  35B MoE 模型，通过子智能体并行、进度验证和策略反思提升长周期任务可靠性，还能做探索性科学研究。
• 面向 agent 的 cache 工程 (2026-10-21 · arXiv)
  让 agent 直接控制 KV cache，不修改轨迹、不重新 prefilling，成本降 27.7%，吞吐提升 1.2 倍。
• LLM 解码的 Token-Energy Law (2026-10-21 · arXiv)
  把每 token 能耗拆成活跃字节和实际解码时间，线性模型估计误差不超过 3.73%
• 人类通过辩论纠正判断，弱 AI 模型却不能 (2026-10-21 · arXiv)
  辩论能帮人类裁判纠正偏见、提高准确率，但对弱语言模型不仅没帮助，有时反而更差。
• AI 涌现论应基于信息分解 (2026-10-21 · arXiv)
  提出用信息分解框架为涌现给出可证伪的判定标准：只有携带协同信息才算涌现
• 无需语言预训练的文生图模型 (2026-10-20 · arXiv)
  从头训练的 Halcyon 系列，1 亿图文对，不做语言预训练，gFD 和算力效率均优于 LlamaGen 和 JiT-T2I。
• 安全中训练：把 LLM 安全内化为基础能力 (2026-10-20 · arXiv)
  在 pre-training 与 post-training 之间插入一个阶段，让模型同时学习安全推理与通用推理。在 Qwen3 系列上 ASR 下降 72%-81%，通用能力也有提升。
• HarnessPro：用帕累托优化递归改进测试框架 (2026-10-20 · arXiv)
  免标注方法，产出轻量/均衡/重载三种变体，重载版相比 RHO 通过率 +2.0%、成本 -26.1%
• TokenGate：用可学习 token 剪枝加速长上下 (2026-10-20 · arXiv)
  TTFT 快 1.4-11.3 倍，峰值内存降 1.5-3.4 倍，精度无损。可适配 Qwen3 等模型。
• 训练会藏答案的模型来研究 ELK (2026-10-20 · arXiv)
  在漏洞检测任务中训练模型选择性藏答案，抗挖掘性大幅超过此前模型，代码与数据已开源。
• 通过变分解码实现并行语言模型 (2026-10-20 · arXiv)
  一次前向传播生成多个 token，1.3B 模型推理快 2.3–5.7 倍，benchmark 不输自回归基线。
• 评分卡内奖励分歧：恢复与平衡潜在维度 (2026-10-20 · arXiv)
  拆解评分卡子维度发现模型为总分牺牲特定质量，FRDA 与 RSDC 分别缓解不平衡与维度缺失，在三个领域优于基线。
• STEPBENCH：诊断 AI agent 的流程理解能 (2026-10-20 · arXiv)
  6,885 条 wikiHow 流程，5 种诊断任务；最强模型排序正确率仅 63.0%，9 步以上降至 33.1%
• 重新思考普通像素扩散 Transformer 的设计空间 (2026-10-17 · arXiv)
  提出 MFlow 自适应参数化方法，在 x₀-prediction 和 u-prediction 间插值；另用 ConvRefiner 轻量模块修复高频缺失。
• 行为耦合：从形成到语言模型中的行为涌现 (2026-10-17 · arXiv)
  微调一个行为可能连带触发其他未预期行为，且这种耦合可以跨文档组合传递，使溯源变得困难。
• 接受不是速度：免训练有损投机解码中的长度膨胀 (2026-10-17 · arXiv)
  有损验证每轮多接受 1.34 倍 token，但输出长度增加 1.54 倍，准确率也大幅下降。
• 超越 SAE：用稀疏编码做一致的概念发现 (2026-10-17 · arXiv)
  ConSDL 用逐样本稀疏编码替代线性编码器，字典和系数一致性比六种 SAE 基线平均提升 17.6% 和 35.9%。
• FuTransformer：Hopper 上 Llama (2026-10-17 · arXiv)
  prefill 比编译 PyTorch FP8 快 1.48x，INT4 decode 比 BF16 快 1.3-2.4x