一种基于累计注意力图与杰卡德相似系数的视觉变换器模型评估方法
申请号:CN202510850585
申请日期:2025-06-24
公开号:CN120375005B
公开日期:2025-09-19
类型:发明专利
摘要
本发明公开了一种基于累计注意力图与杰卡德相似系数的视觉变换器模型评估方法,该方法包括以下步骤:初始化设置;训练一个作为参考的基于完整注意力的视觉变换器模型;训练多个备选的基于分组注意力的视觉变换器模型;在少量校准数据前向传播过程中记录所述视觉变换器模型中关键层的注意力图;确定所述视觉变换器模型中关键层的累计注意力图;确定杰卡德相似系数;根据所述杰卡德相似系数选择最优的视觉变换器模型。本发明能够在最终效果差异微小的各个分组注意力模型中,提高差异性指标,更利于找到更优异和可解释性更强的模型。
技术关键词
变换器
模型评估方法
视觉
校准
注意力机制
标记
注意力模型
图像
训练集数据
数值
模型块
索引
策略
矩阵
指标
元素
阶段
定义