面向超长上下文，大语言模型如何优化架构，这篇综述一网打尽了
面向超长上下文，大语言模型如何优化架构，这篇综述一网打尽了作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。
来自主题: AI资讯
5985 点击 2024-01-03 13:38
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。
拾象科技及其公众号「海外独角兽」一直关注海外大模型产品的技术和商业进展，近日，拾象科技 CEO 李广密和商业作者张小珺一起讨论了 2023 年全球大模型竞赛，以及接下来大模型格局会如何演进、GPT-4 的超越难度、以及需要解决的关键问题等。
2023年上半年人见人爱的大模型，逐渐“失宠”。前有百度创始人李彦宏说“重复开发大模型是资源浪费”，后有百川智能联合创始人洪涛说“99%的行业大模型都可能被替代”。
大模型领域最新的一个热门趋势是把模型塞到手机里。而最应该做这个研究的公司终于带着它的论文现身，那就是苹果。
本文介绍了为什么在AI计算中要使用GPU，以及GPU与CPU的区别和作用。GPU具备强悍的并行计算能力，适合处理大量高强度并行计算任务，包括深度学习算法。
大型语言模型（LLM）虽然在诸多下游任务上展现出卓越的能力，但其实际应用还存在一些问题。其中，LLM 的「幻觉（hallucination）」问题是一个重要缺陷。
近日，腾讯宣布推出一项名为 Paint3D 的技术，它能够根据文本或图像输入，为无纹理的 3D 模型生成高分辨率、无光照且多样化的纹理贴图，对任何 3D 物体进行纹理绘制。
今年，会不会是AI视频生成模型的元年？UT Austin联手Meta团队提出了一个全新V2V模型FlowVid，能够在1.5分钟内生成4秒高度一致性的视频。
最近由UCSC的研究人员发表论文，证明大模型的零样本或者少样本能力，几乎都是来源于对于训练数据的记忆。
Hyena处理长序列输入比FlashAttention速度高100倍！最新发布的StripedHyena模型可能成下一代AI架构的新标准？