一种融合低秩矩阵分解与结构化剪枝的Transformer模型压缩方法

本发明涉及神经网络模型压缩技术领域，公开一种融合低秩矩阵分解与结构化剪枝的Transformer模型压缩方法，包括：定义约束条件，并基于约束条件确定优化目标；为待压缩模型的每个待剪枝权重矩阵增加一个可训练的低秩分解矩阵对；根据每个可训练的低秩分解矩阵对，确定对应原始权重矩阵的重要性分数计算公式；基于模型获得的梯度信息，使用重要性分数计算公式动态更新各权重矩阵的重要性分数；计算注意头重要性分数和神经元重要性分数；根据约束条件、注意头重要性分数和神经元重要性分数生成剪枝策略，并根据剪枝策略对待压缩模型执行剪枝操作；训练并更新执行剪枝操作后模型的低秩分解矩阵，输出压缩后模型。本发明能够有效降低计算量，同时提高训练效率。