只需单卡RTX 3090,低比特量化训练就能实现LLaMA-3 8B全参微调
只需单卡RTX 3090,低比特量化训练就能实现LLaMA-3 8B全参微调本文由GreenBit.AI团队撰写,团队的核心成员来自德国哈索·普拉特纳计算机系统工程院开源技术小组。我们致力于推动开源社区的发展,倡导可持续的机器学习理念。我们的目标是通过提供更具成本效益的解决方案,使人工智能技术在环境和社会层面产生积极影响。
搜索
本文由GreenBit.AI团队撰写,团队的核心成员来自德国哈索·普拉特纳计算机系统工程院开源技术小组。我们致力于推动开源社区的发展,倡导可持续的机器学习理念。我们的目标是通过提供更具成本效益的解决方案,使人工智能技术在环境和社会层面产生积极影响。
既能像 Transformer 一样并行训练,推理时内存需求又不随 token 数线性递增,长上下文又有新思路了?
大模型公司洗牌期开始了。 突然之间,几家明星初创纷纷传出消息,寻求收购。都是大家熟悉的名字、过往战绩也都不错:Adept,估值超10亿美元,由Transformer作者创立;Humane,估值7.5-10亿美元,打造出爆火AI新硬件AI Pin;Stability AI,Stable Diffusion打造者,最早一批AI独角兽。
谷歌 AI「满嘴跑火车」被声讨,技术人员争分夺秒来「灭火」。
一直以来 AI 都是一个黑盒子(black box),其内部运作机制是不可见的。人们输入数据并得到结果,但无法检查输出结果的逻辑或者系统的代码。 而就在刚刚,Anthropic 宣布在理解人工智能模型内部运作机制方面取得重大进展。
5月16日,在近期备受瞩目的OpenAI和Google大战话题之下,我们邀请到了潞晨科技创始人尤洋、Zilliz技术合伙人栾小凡、51CTO内容中心主编薛彦泽、硅星人/品玩创始人&CEO骆轶航、硅星人/品玩内容中心负责人王兆洋作为嘉宾分享他们的观点和新洞察。
谷歌AI又闯大祸!
AIGC浪潮之下,一个现实情况逐渐浮出水面:
36氪从多个独立信源处获悉,字节跳动大语言模型研发技术专家杨红霞,已于近日从字节跳动离职,并开始筹备AI创业项目。
当地时间2024年5月22日,美国众议院外交事务委员会以压倒性多数,通过了一项限制AI模型出口的法案——《加强海外关键出口限制国家框架法案》(Enhancing National Frameworks for Overseas Critical Exports Act / HR 8315,以下简称ENFORCE法案),旨在扩大美国政府监管人工智能系统出口的权力。