ICML2024高分！魔改注意力，让小模型能打两倍大的模型
ICML2024高分！魔改注意力，让小模型能打两倍大的模型改进Transformer核心机制注意力，让小模型能打两倍大的模型！
来自主题: AI技术研报
10314 点击 2024-06-03 15:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
改进Transformer核心机制注意力，让小模型能打两倍大的模型！
无情戳穿“长上下文”大模型的虚标现象
我是万万没想到，现在的AI内容生态，居然也活成了一种“赛博投喂”的无限循环。
工业革命就注定会有钢铁、石油、铁路巨头。互联网也注定会有搜索、电商、即时通讯。历史性变革催生历史性机会，而这种历史性机会往往内置技术的特征。技术特征决定了机会是什么，甚至也决定了机会的先后。
多模态，已经成为大模型最重要的发展方向之一。
首个“脑PU”来了！由“16核”类人脑器官（human brain organoids）组成。
刚刚，中国台湾大学体育场，欢呼阵阵如同演唱会，但这次“摇滚巨星”，其实是英伟达创始人黄仁勋，再次回到学校，带来Computex重磅演讲，以及英伟达的新一代GPU。
在脑机接口领域取得突破性进展的公司不止Neuralink一家。Precision Neuroscience发布公告称，他们采用与Neuralink不同的技术路径，在人脑上成功放置了4096个电极，打破了去年2048个电极的最高纪录。
刚刚，老黄又高调向全世界秀了一把：已经量产的Blackwell，8年内将把1.8万亿参数GPT-4的训练能耗狂砍到1/350；英伟达惊人的产品迭代，直接原地冲破摩尔定律；Blackwell的后三代路线图，也一口气被放出。
不卖模型卖算力