信通院&清华提出FedRE：用「纠缠」搞定联邦学习三难困境 | CVPR 26
信通院&清华提出FedRE：用「纠缠」搞定联邦学习三难困境 | CVPR 26在联邦学习中，如何同时兼顾模型性能、数据隐私和通信开销，是一个亟需解决的挑战。
来自主题: AI技术研报
9732 点击 2026-05-18 15:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在联邦学习中，如何同时兼顾模型性能、数据隐私和通信开销，是一个亟需解决的挑战。
在大模型后训练中，数据不再只是 “越多越好”，而是要像人类学习一样，动态选择最合适难度的样本。华为提出的 EDCO 方法，将样本难度估计与动态课程编排引入领域大模型微调；数月后，由 Rutgers、Amazon、Google 等作者参与的 DARE 论文即引用 EDCO，并将其作为难度感知强化学习训练的重要对比基线。
生成模型的偏好对齐，可能正在进入一个新的阶段。
阿里巴巴 Z-Image 团队联合香港科技大学、加州大学圣地亚哥分校、香港中文大学等机构提出 D-OPSD（On-Policy Self-Distillation），首个针对少步扩散模型的在线策略自蒸馏框架。D-OPSD 无需奖励模型、无需成对偏好数据，
Anthropic 刚刚出了一份 36 页的创始人手册：创建一家 AI Native 的公司，几个人，做几百人的事儿。由着这个问题，手册把创业拆成四个阶段（想法、MVP、上线、规模化），每个阶段讲清楚该做什么、容易踩什么坑、Claude 的三个产品形态（Chat、Cowork、Code）分别在什么时候用
当下的大模型后训练（Post-training）pipeline 中，On-Policy Distillation（OPD）已经成为了明星技术。从 Qwen3、MiMo 到 GLM-5，业界纷纷采用 OPD 并报告了巨大的性能提升。相比于强化学习（RL）稀疏的结果奖励，OPD 提供了密集的 Token 级别监督信号，看起来就像是一顿「免费的午餐」。
ber！这个五一假期，我也是真够忙的： 自拍、电影、追剧、街头采访、听音乐会，还抽空回老家结了次婚……
在多模态大模型（MLLM）快速发展的浪潮中，融合多模型 “集体智慧” 已成为提升模型性能的关键路径，并催生了多教师知识蒸馏这一主流范式。然而，不同来源的教师模型在架构与优化上的差异，其在相似推理过程中呈现出不稳定甚至偏移的认知轨迹，即 “概念漂移”（Concept Drift）。
随着大模型参数规模持续扩大，推理成本已经成为生产级 LLM 服务的核心瓶颈。投机解码（Speculative Decoding, SD）通过「小模型 draft + 大模型 verify」的方式，将多个候选 token 放到一次目标模型前向中并行验证，从而缓解自回归解码的串行瓶颈。
在MU Shanghai组织的ClawCon活动上，OpenClaw的社区核心成员自己飞过来，在阿里中心的会议室里，面对着从全国各地赶来的开发者、创业者和用户，和他们一线交流。我们拿到了两个独家对话的机会，受访者是OpenClaw核心维护者Josh，以及OpenClaw Foundation核心成员Vincent Koc。