从零手搓MoE大模型，大神级教程来了
从零手搓MoE大模型，大神级教程来了Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。
来自主题:
AI技术研报
6569 点击 2024-01-29 16:30
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。
一家名为GitClear的公司分析了近四年超过1.5亿行代码后发现，随着GitHub Copilot工具的加入，代码流失率（即代码写入后不久又被返工修改、删除的情况）出现了显著上升： 2023年为7.1%，而2020年时仅为3.3%，翻了一番。
发布了超千亿参数的最新版本大模型Baichuan 3，是百川智能基础模型第三代——就在20天前，这家由王小川创办的大模型公司，刚刚发布过角色大模型Baichuan-NPC。
无论是 Google 翻译、DeepL 翻译还是 ChatGPT，翻译大段英文的时候，“机翻感”（机器翻译的感觉）都很强，一看就是机器翻译的，很生硬，但是自己手动润色又太费时间。
在认知科学领域，人类通过持续学习改变认知的过程被称为认知迭代（Cognitive Dynamics）。形象地说，认知迭代就像是我们大脑的「软件更新」过程，手机应用通过不断的更新来修复 bug 和增加新功能，我们的大脑也通过不断学习新知识、经验，来改善和优化思考方式。
来了，贾扬清承诺的 Lepton Search 开源代码来了。
随着大型语言模型（LLM）技术日渐成熟，提示工程（Prompt Engineering）变得越来越重要。一些研究机构发布了 LLM 提示工程指南，包括微软、OpenAI 等等。
ChatGPT 掀起的通用人工智能热潮仍在快速向前，产业竞争关键要素日渐明确，中美在通用人工智能领域的竞争也进入更高的战略层面。
生成式AI为创始人提供了一个完全重塑工作流程的机会，并将催生一批新的公司，它们不仅仅是AI增强现有业务的公司，而且是完全AI原生公司。这些公司将利用我们现有的技术从零开始，围绕人工智能独有的生成、编辑和合成功能打造新产品。
这两年，随着 AI的爆发，AI社交产品变得越来越好用、有趣，因此很多年轻人愿意尝试AI社交软件。
这两天Steam上突然出现了一款爆火的现象级游戏《幻兽帕鲁（Palworld）》。发售没几天就直接冲到了Steam史上玩家在线排行榜第2，超过了CS2等一众经典老游戏。
美国计划限制中国客户使用美国云计算厂商的服务训练AI大模型，对中国人工智能产业造成潜在破坏。本文分析了中国科技行业追赶的三个因素。
如果语言模型是巫师，代码预训练就是魔杖！
ChatGPT打辅助拿下文学大奖！33岁日本作家Rie Kudan便用AI写的小说获得了日本顶级文学奖「芥川奖」。
谷歌Bard又行了？在第三方LLM「排位赛」排行榜上，Bard击败GPT-4成为第二名。Jeff Dean兴奋宣布：谷歌回来了！
最新科学大模型浦科化学（ChemLLM），发布即开源！
1 月 24 日，Nature Machine Intelligence 杂志在《Anniversary AI reflections》（周年人工智能反思）专题中，再次联系并采访了近期在期刊发表评论和观点文章的作者，请他们从各自所在领域中举例说明人工智能如何改变科学过程。
近期，随着多模态大模型（LMM） 的能力不断进步，评估 LMM 性能的需求也日益增长。与此同时，在中文环境下评估 LMM 的高级知识和推理能力的重要性更加突出。
前几天，OpenAI 来了一波重磅更新，一口气宣布了 5 个新模型，其中就包括两个新的文本嵌入模型。
![WebVoyager：借助强大多模态模型，开创全新的网络智能体 [译]](https://www.aitntnews.com/pictures/2024/1/28/f64282bb-bd95-11ee-ba64-fa163e4b35c9.png)
借助强大多模态模型，开创全新的网络智能体 Hongliang He1,3∗, Wenlin Yao2, Kaixin Ma2, Wenhao Yu2, Yong Dai2, Hongming Zhang2, Zhenzhong Lan3, Dong Yu2 1 浙江大学，2 腾讯 AI 实验室，3 西湖大学
![构建企业级 RAG 系统的高级指南 [译]](https://www.aitntnews.com/pictures/2024/1/28/911d24f3-bd93-11ee-bbaa-fa163e4b35c9.png)
欢迎再次加入我们的“RAG 系统高级掌握”系列！我们将深入了解构建企业级 RAG (Retrieval-Augmented Generation) 系统的复杂世界。
“中国现在有数以百计的通用大模型，其中的90%没多大用处，也发展不起来，只会加剧资源和人力的浪费，应该被淘汰。”1月18日，在“北京CGT新势发布会”上，中国科学院院士、翊博生物首席科学家陈润生向经济观察网谈及他对国产大模型的看法。
不止AI公司在备案，现在已经覆盖到更多垂直行业和场景。
以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。
两个月前，包括网易有道，蚂蚁集团、知乎、美团在内的11家公司，其大模型产品作为第二批次通过了官方备案，陆续官宣向社会开放服务、推出产品。
AI 生成 3D 模型最难的一关，终于被搞定了。
融合多个异构大语言模型，中山大学、腾讯 AI Lab 推出 FuseLLM
在 AI 领域，推特博主的影响力可能比想象中要大。
OpenAI联创、前特斯拉AI总监Karpathy发文，用自动驾驶诠释AGI！
斯坦福炒菜机器人的大火，开启了2024年机器人元年。最近，CMU研究团队推出了一款能在开放世界完成任务的机器人，成本仅18万元。没见过的场景，它可以靠自学学会！
