总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
搜索
早在 2020 年,陶大程团队就发布了《Knowledge Distillation: A Survey》,详细介绍了知识蒸馏在深度学习中的应用,主要用于模型压缩和加速。随着大语言模型的出现,知识蒸馏的作用范围不断扩大,逐渐扩展到了用于提升小模型的性能以及模型的自我提升。
苹果在 AI 领域的布局到底是什么,或许苹果 CEO 蒂姆・库克的一句话可以为我们答疑解惑。此前在 2024 苹果股东大会上,库克表示,今年将在 GenAI 领域实现重大进展。
六个月前,a16z 对网络流量数据进行了一次深度挖掘,以便将真实数据与其他内容区分开来。根据每月访问量,a16z 对最受欢迎的生成式 AI 网络产品进行了排名,并发现了消费者实际使用这项技术的模式。
首先先来看看模型底座,阶跃星辰发布了两款,分别是Step-1V和Step-2。其中Step-1V具有千亿参数,支持多模态能力,和GPT4-Turbo一样,128K上下文,不过这款不算惊艳,只能算主流大模型中的正常水平。
MIT新晋副教授何恺明,新作新鲜出炉:瞄准一个横亘在AI发展之路上十年之久的问题:数据集偏差。数据集偏差之战,在2011年由知名学者Antonio Torralba和Alyosha Efros提出——
本文介绍了OpenAI和Anthropic两家AI公司在公司治理方面的不同做法。OpenAI在2019年改变了公司性质,由非营利性组织变成了营利性组织,引发了关于公司治理的争议。Anthropic则采用了公益公司和长期利益信托基金的治理结构,旨在平衡股东利益和公众利益。
「OpenAI机器人」一出世惊艳众人!最近,李飞飞团队打造了一个开源便携式手部动捕系统——DexCap,成本仅3600美元,就能让机械灵巧手完成花样任务。
TimesFM针对时序数据设计,输出序列长于输入序列,在1000亿时间点数据进行预训练后,仅用200M参数量就展现出超强零样本学习能力!
虽然我从来没见过你,但是我有可能「认识」你 —— 这是人们希望人工智能在「一眼初见」下达到的状态。
OpenAI 的 Sora 在今年 2 月横空出世,把文生视频带向了新阶段。它能够根据文字提示生成超现实场景。Sora 的可适用人群受限,但是在各媒体平台上,Sora 的身影无处不在,大家都在期待着使用它。