当SFT遇上RL：基于样本学习阶段的动态策略优化机制
当SFT遇上RL：基于样本学习阶段的动态策略优化机制过去一段时间里，在围绕大模型推理能力增强的研究中，SFT 和 RL 是两类核心后训练范式 —— 前者稳定收敛快，能高效吸收高质量推理数据；后者更具探索性，有望推动模型实现复杂推理和分布外泛化。
来自主题: AI技术研报
6453 点击 2026-05-18 09:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
过去一段时间里，在围绕大模型推理能力增强的研究中，SFT 和 RL 是两类核心后训练范式 —— 前者稳定收敛快，能高效吸收高质量推理数据；后者更具探索性，有望推动模型实现复杂推理和分布外泛化。
具身智能正以前所未有的速度发展，VLA 模型展现出越来越强的动作和泛化能力。然而，当我们真正把 VLA 模型部署到物理世界时，一个核心挑战浮出水面：实时性。
当前VLA模型常依赖视觉线索而非语言指令，导致在新场景下表现不佳。论文提出LangForce方法，通过引入对数似然比损失，强化模型对语言的依赖，提升其在分布外环境中的泛化能力，并保留语言核心功能。
随着大模型后训练（Post-training）技术的发展，强化学习（RL）在提升模型推理能力方面的表现备受瞩目。
近日，全球具身世界模型权威基准评测 WorldArena 正式更新最新榜单。Manifold AI 流形空间研发的世界模型 WorldScape 0.2，凭借其在物理规律遵循与多源交互理解上的突破取得 WorldArena 榜单全球第一，充分展现了国产世界模型在复杂动态场景生成与具身控制中的高精度、强泛化与物理可信度。与其同场竞技的包括英伟达、谷歌等国外巨头和星动纪元、极佳视界等国内具身智能公司。
继skill同事之后，有聪明人迁移泛化了一下： 既然可以蒸馏任何人，那为什么不让乔布斯马斯克给我打工呢？
今天凌晨，Physical Intelligence发布了全新的VLA模型π0.7，狠狠敲了世界模型一记闷棍。π0.7第一次在机器人领域证明了Compositional Generalization（组合泛化），且VLA。
研究者用特制雨伞干扰无人机视觉系统，让其误判目标在远去，从而失控俯冲。FlyTrap攻击无需信号干扰，仅靠物理图案就能欺骗多款商用无人机，实现静默捕获或击毁。实验显示，物理闭环攻击成功率超60%，且对新人物、新场景均有强泛化能力。这项研究揭示了AI感知系统的重大安全隐患，警示我们：视觉安全正成为智能设备的阿喀琉斯之踵。
在具身智能领域，机器人操作的泛化能力一直是一个核心挑战。当前，视觉 - 语言 - 动作（VLA）模型主要分为两大范式：端到端模型与分层模型。端到端 VLA 模型（如 RT-2 [1], OpenVLA [2]）严重依赖海量的 “指令 - 视觉 - 动作” 成对数据，获取成本极高，导致其在面对新任务或新场景时零样本泛化能力受限。
近期，利用视频生成模型为机器人构建 “世界模型”，已成为具身智能领域的热门技术路线。给定当前观测和自然语言指令，这类模型能够先 “想象” 出未来的视觉轨迹，再由逆动力学模型（IDM）将生成画面解码为机器人动作，从而形成 “先预测、后执行” 的解耦式规划范式。由于兼具较强的可解释性与开放场景泛化潜力，这一路线正在受到学术界和工业界的广泛关注。