基于注意力多粒度机制特征融合方法、装置、设备及介质
申请号:CN202510853156
申请日期:2025-06-24
公开号:CN120744821A
公开日期:2025-10-03
类型:发明专利
摘要
本发明涉及数据处理技术领域,可应用于医疗健康和金融科技等业务系统平台中,公开了一种基于注意力多粒度机制特征融合方法,包括:获取各模态的输入数据,并将所述各模态输入数据输入到多粒度编码器组;所述多粒度编码器组从所述各模态输入数据中提取每个粒度的粒度特征向量;将所述粒度特征向量输入动态门控机制,输出动态粒度权重;根据所述粒度特征向量和动态粒度权重获得加权多模态特征;将所述加权多模态特征输入跨模态注意力融合模块中进行融合处理,输出融合特征。本发明通过多粒度编码器提取特征,动态门控机制分配权重,跨模态注意力融合模块整合信息,实现鲁棒的多模态融合,提升复杂场景下的性能。
技术关键词
特征融合方法
多模态特征
注意力
动态门控
机制
融合特征
跨模态
音频编码器
文本编码器
上下文特征
融合装置
加权特征
矩阵
计算机设备
模块
数据处理技术
医疗健康