何恺明团队发布多模态Harness框架
何恺明团队发布多模态Harness框架多模态模型的视觉原生Harness，来了！
来自主题: AI技术研报
8862 点击 2026-10-09 12:02
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
多模态模型的视觉原生Harness，来了！
何恺明团队提出VISTA方法，将ARC-AGI-3的数字表换回图像并配备可随时翻看的视觉记忆相册，使Claude Opus 5拿下满分100分、GPT-5.6 Sol获得99分，证明卡住大模型的是眼睛和记性而非模型能力本身。
埃默里大学提出的Decompose–Look–Reason（DLR）框架被EMNLP 2026接收，该方法通过分解问题、按premise提取视觉latent再推理，在Qwen3-VL-8B-Thinking上于V*、MathVista等基准取得显著提升。
为了解决这一问题，来自 University of Arizona、Zoom 与 Stony Brook University 的研究团队推出了 VISTA（VIsual Spec-To-App Benchmark）, 首个面向 Visual Spec-to-Web-App Coding Agents 的端到端 Benchmark。
在处理短文本时，大语言模型（LLM）已经表现出惊人的理解和生成能力。但现实世界中的许多任务 —— 如长文档理解、复杂问答、检索增强生成（RAG）等 —— 都需要模型处理成千上万甚至几十万长度的上下文。
在NeurIPS 2025论文中，来自「南京理工大学、中南大学、南京林业大学」的研究团队提出了一个极具突破性的框架——VIST（Vision-centric Token Compression in LLM），为大语言模型的长文本高效推理提供了全新的「视觉解决方案」。值得注意的是，这一思路与近期引起广泛关注的DeepSeek-OCR的核心理念不谋而合。
在大多数人眼中，《我的世界》（Minecraft）只是一款自由度极高的沙盒游戏。 而在香港科技大学（广州）与腾讯联合团队的眼中，它却是一座可以演练通用人工智能的“数字练兵场”。
随着AIGC技术的进步，连环画与故事绘本生成（故事可视化）逐渐引发学界与业界的广泛关注，成为电影生成叙事性的基础。
使用过程奖励模型（PRM）强化大语言模型的推理能力已在纯文本任务中取得显著成果，但将过程奖励模型扩展至多模态大语言模型（MLLMs）时，面临两大难题：
Vista-LLaMA 在处理长视频内容方面的显著优势，为视频分析领域带来了新的解决框架。