一种大模型的分布式量化感知训练方法及系统

本发明属于大模型训练技术领域，具体涉及一种大模型的分布式量化感知训练方法及系统，包括：获取待训练的大模型的配置参数信息，构建大模型的损失函数，计算梯度范数，得到大模型的一阶梯度信息感知评分；对大模型添加扰动，构建大模型的含扰动损失函数，计算海森矩阵，得到大模型的海森梯度信息感知评分；对所得到的一阶梯度信息感知评分和海森梯度信息感知评分进行自适应加权组合，得到大模型的量化感知评分，确定大模型量化感知训练样本，完成大模型的分布式量化感知训练。本发明结合梯度准则和黑森矩阵，通过自适应加权机制实现大模型的量化感知训练，在实现大模型并行加速训练的同时，提高考虑量化的训练效率和量化效果。