打破视频推理「先看后想」惯性，实现真正的「边看边想」丨CVPR'26
打破视频推理「先看后想」惯性，实现真正的「边看边想」丨CVPR'26今天的大型视觉语言模型（VLM）做离线视频分析很强，但一到实时场景就尴尬： 视频在往前走，模型还在“补作业”。
来自主题: AI技术研报
7140 点击 2026-03-18 14:12
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
今天的大型视觉语言模型（VLM）做离线视频分析很强，但一到实时场景就尴尬： 视频在往前走，模型还在“补作业”。
随着生成式 AI 迈入万亿参数时代，大语言模型（LLM）的推理与部署面临着前所未有的“显存墙”挑战。如何在超节点（SuperNode）复杂的异构存储架构下，实现海量张量的高效管理和调度，已成为大模型落地的胜负手。
随着高分辨率图像理解与长视频处理需求的爆发式增长，大型视觉语言模型（LVLMs）所需处理的视觉 Token 数量急剧膨胀，推理效率成为落地部署的核心瓶颈。Token 压缩是缩短序列、提升吞吐的直接手段，但现有方法普遍依赖注意力权重来判断 Token 重要性，这一路线暗藏两个致命缺陷：
大语言模型（LLM）的幻觉问题一直是阻碍其在关键领域部署的核心难题。近日，研究人员提出了一种名为行为校准强化学习（Behaviorally Calibrated Reinforcement Learning）的新方法，通过重新设计奖励函数，让模型学会「知之为知之，不知为不知」。
随着大语言模型 Agent 开始在对话、问答与复杂交互环境中长期运行，“记忆该如何设计” 正在成为一个绕不开的核心问题。
当前，大语言模型（LLMs）和视觉语言模型（VLMs）在语义领域的成功未能直接迁移至物理机器人，归根结底在于其互联网原生的基因。
昨日，OpenAI 宣布收购了 Promptfoo 以保障其 AI 智能体的安全。这家成立于 2024 年的 AI 安全初创公司，专注于保护大语言模型免受网络攻击。OpenAI 在一篇博客文章中表示，交易完成后，Promptfoo 的技术将整合进 OpenAI Frontier，该平台是其近期推出的、供企业构建和管理 AI 智能体的平台。
在生成式 AI 的浪潮中，自回归（Autoregressive, AR）模型凭借其卓越的性能占据了统治地位。然而，其「从左到右」逐个预测 Token 的串行机制，天生限制了并行生成的可能性。
近年来，随着大语言模型规模与知识密度不断提升，研究者开始重新思考一个更本质的问题：模型中的参数应如何被组织，才能更高效地充当「记忆」。
视觉世界模型 “VideoWorld 2” 由豆包大模型团队与北京交通大学联合提出。不同于 Sora 2 、Veo 3、Wan 2.2 等主流多模态模型，VideoWorld 系列工作在业界首次实现无需依赖语言模型，即可认知世界。