搜索
下班回家后你正深陷于一部两小时的综艺节目中，渴望找到那些让人捧腹的爆笑片段，却如同大海捞针。或者，在紧张刺激的足球赛中，你渴望捕捉到那决定性的绝杀瞬间，但传统 AI 视频处理技术效率低下，且模型缺乏泛化能力。为解决这些问题，香港中文大学（深圳）唐晓莹课题组联合腾讯 PCG 发布 TRACE 技术，通过因果事件建模为视频理解大模型提供精准的时间定位能力。
Llama都在用的RoPE（旋转位置嵌入）被扩展到视频领域，长视频理解和检索更强了。
7B大小的视频理解模型中的新SOTA，来了！
今天向大家介绍一项来自香港大学黄超教授实验室的最新科研成果 VideoRAG。这项创新性的研究突破了超长视频理解任务中的时长限制，仅凭单张 RTX 3090 GPU (24GB) 就能高效理解数百小时的超长视频内容。
近日，北京航空航天大学的研究团队基于 TinyLLaVA_Factory 的原项目，推出小尺寸简易视频理解框架 TinyLLaVA-Video，其模型，代码以及训练数据全部开源。在计算资源需求显著降低的前提下，训练出的整体参数量不超过 4B 的模型在多个视频理解 benchmark 上优于现有的 7B + 模型。
Uni-AdaFocus 是一个通用的高效视频理解框架，实现了降低时间、空间、样本三维度冗余性的统一建模。代码和预训练模型已开源，还有在自定义数据集上使用的完善教程，请访问项目链接。
大模型长序列的处理能力已越来越重要，像复杂长文本任务、多帧视频理解任务、以及 OpenAI 近期发布的 o1、o3 系列模型的高计算量模式，需要处理的输入 + 输出总 token 数从几万量级上升到了几百万量级。
Orr Zohar的指导老师Serena Yeung-Levy教授于2018年获得斯坦福大学博士学位，师从李飞飞和Arnold Milstein。2017年至2019年期间，Serena Yeung-Levy曾与Justin Johnson和李飞飞共同教授斯坦福大学卷积神经网络课程。
Meta斯坦福大学联合团队全面研究多模态大模型（LMM）中驱动视频理解的机制，扩展了视频多模态大模型的设计空间，提出新的训练调度和数据混合方法，并通过语言先验或单帧输入解决了已有的评价基准中的低效问题。
融合物理知识的大型视频语言模型PhysVLM，开源了！ 它不仅在 PhysGame 基准上展现出最先进的性能，还在通用视频理解基准上（Video-MME, VCG）表现出领先的性能。