article

本周论文精选:世界模型、稀疏注意力与高效蒸馏

2 min read

本周 worth 重点关注的三篇论文:

1. 世界模型:从像素预测到因果理解

Meta 研究团队提出的 CausalWorld-1 首次在世界模型中引入显式因果图结构,在机器人操控仿真中将策略迁移成功率提升了 23%。这被视为世界模型从”视频生成”走向”决策引擎”的关键一步。

2. 注意力:线性复杂度的新解法

滑铁卢大学与 Vector Institute 的 SparseRing Attention 将长上下文注意力降至 O(n) 复杂度,在 1M token 上下文上推理速度提升 4.7 倍,且质量损失可以忽略。

3. 蒸馏:无需原始数据的黑盒蒸馏

MIT 团队展示了仅通过 API 输出分布即可完成高质量蒸馏的方法,使小型模型可以在不接触训练数据的情况下继承大模型 92% 的能力,对数据受限的机构意义重大。

一句话总结:效率创新正在把”大模型才有的能力”持续下放到可本地部署的规模。