对话田渊栋:Scaling law代表一个非常悲观的未来
对话田渊栋:Scaling law代表一个非常悲观的未来Scaling law发展到最后,可能每个人都站在一个数据孤岛上。
来自主题: AI资讯
8878 点击 2024-06-03 17:23
搜索
Scaling law发展到最后,可能每个人都站在一个数据孤岛上。
媒体与科技平台所谓的第三次大战里,OpenAI几乎已经不战而胜。
改进Transformer核心机制注意力,让小模型能打两倍大的模型!
无情戳穿“长上下文”大模型的虚标现象
超越Devin!SWEBench排行榜上迎来了新玩家
多模态,已经成为大模型最重要的发展方向之一。
研究人员提出了一种新的大型语言模型训练方法,通过一次性预测多个未来tokens来提高样本效率和模型性能,在代码和自然语言生成任务上均表现出显著优势,且不会增加训练时间,推理速度还能提升至三倍。
在以英语为主的语料库上训练的多语言LLM,是否使用英语作为内部语言?对此,来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
不卖模型卖算力
生成式AI时代,Arm要做计算“基石”。