Meta探索大模型记忆层，扩展至1280亿个参数，优于MoE
Meta探索大模型记忆层，扩展至1280亿个参数，优于MoE预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。
来自主题: AI技术研报
8744 点击 2025-01-04 14:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。
2025年，AI应用将继续爆发。 刚刚过去的2024年，海外创投市场对AI公司的投资仍然活跃。根据Crunchbase的数据，AI公司的投资交易在2024年第三季度继续主导风险投资市场，它们在第三季度融资总额达190亿美元，占总风险投资的28%。
AI学校simahuapeng.ai重塑教育模式，提供名人互动学习。
最近 AI 社区很多人都在讨论 Scaling Law 是否撞墙的问题。其中，一个支持 Scaling Law 撞墙论的理由是 AI 几乎已经快要耗尽已有的高质量数据，比如有一项研究就预计，如果 LLM 保持现在的发展势头，到 2028 年左右，已有的数据储量将被全部利用完。
AI 玩具火得一塌糊涂。 前段时间，特斯拉推出人形机器人玩具，售价 40 美元，一上线就被抢光。
2025 年即将到来的三大技术突破。
穿越重重迷雾，OpenAI模型参数终被揭开！一份来自微软华盛顿大学医疗论文，意外曝光了GPT-4、GPT-4o、o1系列模型参数。让所有人震惊不已的是，GPT-4o mini仅8B。
微软又把OpenAI的机密泄露了？？在论文中明晃晃写着： o1-preview约300B参数，GPT-4o约200B，GPT-4o-mini约8B……
2024年12月31日，阿里云宣布2024年度第三轮大模型降价，通义千问视觉理解模型全线降价超80%。
我本来以为今年的模型考核就到这儿了，没想到老朋友智谱在 2024 年最后一天又整活儿了，突然就发布了 GLM 系列的类 o1 模型——GLM-Zero-Preview。