腾讯混元大模型负责人王迪:揭秘万亿 MoE 系统工程之道|智者访谈
腾讯混元大模型负责人王迪:揭秘万亿 MoE 系统工程之道|智者访谈人工智能正经历一场由大模型引发的革命。这些拥有数十亿甚至万亿参数的庞然大物,正在重塑我们对 AI 能力的认知,也构筑起充满挑战与机遇的技术迷宫——从计算集群高速互联网络的搭建,到训练过程中模型稳定性和鲁棒性的提升,再到探索更快更优的压缩与加速方法,每一步都是对创新者的考验。
搜索
人工智能正经历一场由大模型引发的革命。这些拥有数十亿甚至万亿参数的庞然大物,正在重塑我们对 AI 能力的认知,也构筑起充满挑战与机遇的技术迷宫——从计算集群高速互联网络的搭建,到训练过程中模型稳定性和鲁棒性的提升,再到探索更快更优的压缩与加速方法,每一步都是对创新者的考验。
国产大模型,多模态能力都开始超越GPT-4-Turbo了??
大模型之争,到了不只是拼技术的时刻。
当前大家常见的视频生成是酱婶儿的:
过去十年间,基于随机梯度下降(SGD)的深度学习模型在许多领域都取得了极大的成功。与此同时各式各样的 SGD 替代品也如雨后春笋般涌现。在这些众多替代品中,Adam 及其变种最受追捧。无论是 SGD,还是 Adam,亦或是其他优化器,最核心的超参数非 Learning rate 莫属。因此如何调整好 Leanring rate 是炼丹师们从一开始就必学的技能。
自 5 月 6 日 DeepSeek 提出降价、实现百万 Tokens 输入 1 元开始,字节、智谱、阿里、百度、讯飞、腾讯等也先后加入到降价浪潮中。到 5 月 22 日,ERNIE Speed、ERNIE Lite、讯飞星火 Lite、混元-lite 模型等均已实现限定条件下免费。
本周可能是AI领域的”黄道吉日“。继OpenAI、谷歌、字节的AI产品发布后,本周最后一位选手——腾讯,也终于上场。
在 5 月 17 日的“腾讯云生成式AI产业应用峰会”上,基于混元大模型的一站式 AI 智能体创作与分发平台——腾讯元器首次亮相。
大模型的风,吹进中小学了。
今年年初,英伟达 CEO 黄仁勋因为劝人「别再学习计算机」被送上热搜。