AI资讯新闻榜单内容搜索-LLM

关键词: Reka,LLM,Karpathy, 模型训练,Yi Tay

一家大模型初创公司从创立到训练出大模型，要克服怎样的难题？前谷歌科学家离职后创业一年，发文自述算力是训练大模型的难点。

关键词: 田渊栋 ,GaLore,模型训练,7B大模型

3 月 6 日，田渊栋又一项研究出炉，这次，他们主攻 LLM 内存效率。除了田渊栋本人，还有来自加州理工学院、德克萨斯大学奥斯汀分校以及 CMU 的研究者。

关键词: VisionLLAMA,ViT,LLaMA,模型训练

半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。

关键词: 谷歌,模型训练,Gemini pro,LLM

虽然 AI 生图领域，看似百花齐放，但论资排辈，Midjourney、Stability AI 还是很受用户欢迎的。就算是竞争对手，Midjourney 也不至于禁止 Stability AI 员工使用其软件吧。

关键词: AI搜索,Glean,LLM

根据ReportLinker的预测，全球企业搜索市场预计到2028年将达到69亿美元，且随着远程办公趋势的增长，企业对高效搜索和知识管理的需求日益增加。

关键词: AnyGPT,多模态模型,LLM,prompt

最近，OpenAI 的视频生成模型 Sora 爆火，生成式 AI 模型在多模态方面的能力再次引起广泛关注。

关键词: DeepMind,LLM,树搜索,AGI

最近谷歌DeepMind的CEO Hassabis接受了多个播客主播的专访，向大众透露很多谷歌最近发布模型的内幕，以及他理解的如何通向AGI的道路。

关键词: 具身智能,具身大模型,ManipLLM,工业AI

只靠一张物体图片，大语言模型就能控制机械臂完成各种日常物体操作吗？

关键词: 大模型偏好,模型训练,对齐

在目前的模型训练范式中，偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中，偏好数据通常被用作对齐（alignment）时的训练优化目标，如基于人类或 AI 反馈的强化学习（RLHF/RLAIF）或者直接偏好优化（DPO），而在模型评估中，由于任务的复杂性且通常没有标准答案，则通常直接以人类标注者或高性能大模型（LLM-as-a-Judge）的偏好标注作为评判标准。

关键词: GPT-4,Gemini,大模型评测,多模态大模型

2023 年我们正见证着多模态大模型的跨越式发展，多模态大语言模型（MLLM）已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。以 Llama 2，Mixtral 为代表的大语言模型（LLM），以 GPT-4、Gemini、LLaVA 为代表的多模态大语言模型跨越式发展。