2倍提速！KV缓存压缩不只看重要性，上交大团队让模型推理「又快又稳」 | ICLR'26
2倍提速！KV缓存压缩不只看重要性，上交大团队让模型推理「又快又稳」 | ICLR'26长上下文推理已经成了VLM/LLM的默认形态。
来自主题: AI技术研报
5473 点击 2026-04-01 09:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
长上下文推理已经成了VLM/LLM的默认形态。
随着大模型长上下文能力快速增长，海量 KV Cache 存储需求急剧增加，各类 KV Cache 压缩方法如雨后春笋般涌现。然而，这些方案在真实场景中的工程落地却常常陷入困境。
随着多模态大语言模型（MLLM）支持更长上下文，高分辨率图像和长视频会产生远多于文本的视觉 Token，在自注意力二次复杂度下迅速成为效率瓶颈。
在他们看来，真正的胜负手不在于单点技能拉满，而在于能否在同一颗芯片里，把“训练级吞吐”和“推理级低延迟”同时做好——尤其是在长上下文、Agent循环这些更复杂的真实工作流中。
这次是 Anthropic，率先发布了他们称之为「我们目前能力最强的 Sonnet 模型」Claude Sonnet 4.6。Claude 称，新模型对编码、计算机使用、长上下文推理、智能体规划、知识工作和设计进行了全面升级。
今日凌晨，Anthropic推出史上最强Sonnet模型——Claude Sonnet 4.6，新模型在编程、计算机使用、长上下文推理、Agent规划、知识工作和设计工作上全面进化。
针对大模型长文本处理难题，Transformer架构的核心作者之一Llion Jones领导的研究团队开源了一项新技术DroPE。
参数越小，智商越高？Gemini 3 Flash用百万级长上下文、白菜价成本，把自家大哥Pro按在地上摩擦。谷歌到底掏出了什么黑魔法，让整个大模型圈开始怀疑人生？
谷歌大模型将迎颠覆升级！Gemini负责人爆料：长上下文效率与长度双重突破在即，注意力机制迎来惊人发现。Scaling Law未死，正加速演变！
两项关于大模型新架构的研究一口气在NeurIPS 2025上发布，通过“测试时训练”机制，能在推理阶段将上下文窗口扩展至200万token。两项新成果分别是：Titans：兼具RNN速度和Transformer性能的全新架构；MIRAS：Titans背后的核心理论框架。