拯救Transformer推理能力!DeepMind新研究TransNAR:给模型嵌入「算法推理大脑」
拯救Transformer推理能力!DeepMind新研究TransNAR:给模型嵌入「算法推理大脑」DeepMind最近发表的一篇论文提出用混合架构的方法解决Transformer模型的推理缺陷。将Transformer的NLU技能与基于GNN的神经算法推理器(NAR)的强大算法推理能力相结合,可以实现更加泛化、稳健、准确的LLM推理。
搜索
DeepMind最近发表的一篇论文提出用混合架构的方法解决Transformer模型的推理缺陷。将Transformer的NLU技能与基于GNN的神经算法推理器(NAR)的强大算法推理能力相结合,可以实现更加泛化、稳健、准确的LLM推理。
大语言模型(LLM)的迅速发展,引发了关于如何评估其公平性和可靠性的热议。
当前主流的视觉语言模型(VLM)主要基于大语言模型(LLM)进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间,然后使用自回归方式根据图像 token 预测答案。
通过算法层面的创新,未来大语言模型做数学题的水平会不断地提高。
AI 研究发展的主要推动力是什么?在最近的一次演讲中,OpenAI 研究科学家 Hyung Won Chung 给出了自己的答案。
2024 年 5 月,DreamTech 官宣了其高质量 3D 生成大模型 Direct3D,并公开了相关学术论文 Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer。
语言将是获得更智能系统的重要组成部分。
苹果讲了一个按Query难度分发模型的模式:B小模型:大多数场景,包括自动回复、改写、语法检查、Summary都用端侧的小模型跑。
过去一年人工智能研究取得了重大突破
马斯克禁用苹果设备是出于数据安全考虑,其实背后依旧暗藏着马斯克和OpenAI的纷争
在面对广阔的市场时,既不断进化自身的优势,又力求实现“小而美”的精致与专注
有大视角,才不会被细节迷惑。
文章讲述了彩云科技团队在改进Transformer架构方面的努力,尤其是推出的全新通用模型架构DCFormer,以及团队面临的种种挑战和突破。
在三维生成建模的研究领域,现行的两大类 3D 表示方法要么基于拟合能力不足的隐式解码器,要么缺乏清晰定义的空间结构难以与主流的 3D 扩散技术融合。来自中科大、清华和微软亚洲研究院的研究人员提出了 GaussianCube,这是一种具有强大拟合能力的显式结构化三维表示,并且可以无缝应用于目前主流的 3D 扩散模型中。
AI 将大大提高数学研究的效率。
「原来以为语料已经匮乏了,大模型训练已经没有语料了,实际上不是的,数据还远远没有跑光」。
最近两天,一篇入选 ACL 2024 的论文《Can Language Models Serve as Text-Based World Simulators?》在社交媒体 X 上引发了热议,就连图灵奖得主 Yann LeCun 也参与了进来。
Meta AI的NLLB-200登上Nature,「不让任何一门语言掉队」,能翻译200种语言的大模型获得Nature社论的盛赞——复兴了濒临灭绝的语言,但是Nature研究人员也郑重提醒Meta,必须将使用这些语言的社区也纳入进来,才会真正减缓语言的消亡。
AI写了这么多代码,你还应该学习计算机科学吗?新的数据表明,学生们仍然成群结队地在大学里选修计算机:加州大学伯克利分校(UCB)计算机科学专业的一年级申请人数猛增48%!UCB教授分析,AI还没有学会创新,人类软件开发者可以利用AI提质增效。
大模型是世界模型吗?UA微软等机构最新研究发现,GPT-4在复杂环境的模拟中,准确率甚至不及60%。对此,LeCun激动地表示,世界模型永远都不可能是LLM。
GPT-4o掀起一股全模态(Omni-modal)热潮,去年的热词多模态仿佛已经不够看了。
微软Build大会前脚刚放出一箩筐生产力革命最新进展:自定义Copilot、Team Copilot、Copilot扩展……
如何生成高难度、指令超复杂的视频呢?
Geoffrey Hinton老爷子——图灵奖得主、深度学习发明人、AI三巨头、Ilya之师,在最新专访中透露出这个令人心碎的消息。
AGI太遥远,只有模型降价是共识。
智源研究院公布大模型全家桶及全栈开源技术基座全新版图。
创造数字世界的能力,对于中小企业而言至关重要。
Devv AI 是一款专为程序员朋友设计的人工智能搜索引擎,可为与编程相关的查询提供快速、准确的结果。
给人才充足的GPU,是很重要的!
什么是 AGI?大模型和 Scaling Law 是其实现基座吗?怎么看价格战?四家大模型公司给出了自己的答案。