搜索
等了四个月，DeepSeek的多模态模型：deepseek-v4-flash-vision-exp，终于发布。我也是第一时间赶到现场，连夜开始实测。相比V4 Flash最大的不同，就是支持原生支持图片输入了，但图片生成当然还是没有的。
DeepSeek 终于「开眼」了。就在刚刚，DeepSeek 推出了一款面向 Agent 时代的多模态模型：deepseek-v4-flash-vision-exp。目前，该模型已经上线 DeepSeek API 平台上，用户可以通过设置 model='deepseek-v4-flash-vision-exp' 访问该模型。
正式版将在近期推出并开源。
过去两年，多模态模型的竞争看起来像一场“造眼睛”的竞赛：更高的图像分辨率、更多的视觉 token、更大的模型，以及更昂贵的训练。行业似乎默认，只要第一次看得足够清楚，AI 就能从“看见”抵达“洞见”。
近日，腾讯宣布混元多模态模型部门与大语言模型部门合并，成立基础模型部，统一由腾讯首席AI科学家姚顺雨管理，以进一步提升模型研发和协同效率，探索全模态模型的智能上限。
AI体育赛道今年迎来了一波明星资本的押注。
多模态 Agent 的记忆系统，过去很容易被理解成一个升级版 RAG：图片、图表、PDF 进来之后，先抽取内容、做 embedding、写进向量库；用户提问时，再用 query 做检索，把命中的top-k图片、文档页或图表一并塞进上下文，再交给多模态模型回答。整个过程中，所有原始模态信息都会不加选择的塞给大模型。
刚刚，Om AI发布全球首个面向物理世界的端侧流式多模态模型系列——VLX。VLX主打真实世界的端侧与具身场景，总共三款模型，三天连发：这三款模型连起来，不仅构成了多模态模型持续感知、精准定位、行动决策的能力闭环。
南大王利民团队&腾讯混元的HYDRA系列（HYDRA，HYDRA-X）工作挑战了这个惯例，用一个基于ViT的统一视觉Tokenizer，帮助原生多模态模型更好地“看懂”和“创作”。训练一个基于ViT的Unified Tokenizer，使其同时具有理解和生成的能力，进而同时作为理解和生成的Autoencoder，来支持原生多模态模型（Unified Multimodal Models）的训练。
导读：视觉 latent reasoning 希望让多模态模型在内部生成连续 latent token，用这些中间表示补充多模态理解和推理任务中缺失的视觉证据。但问题在于，模型生成出来的 latent token 可能并不落在它原本熟悉的视觉输入空间里；如果模型无法稳定读取这些 token，它们就很难成为有效的中间视觉证据。