基于DSTCN的多模态视频特征提取方法、装置及设备

本发明涉及人工智能技术领域，本方案可应用于金融、医疗领域，本发明提供一种基于DSTCN的多模态视频特征提取方法、装置及设备，方法包括：对原始视频数据进行预处理，得到处理后数据；使用双流特征提取引擎对视频帧序列进行处理，输出对应的双流特征；通过低秩投影矩阵对音频特征、文本特征及双流特征进行跨模态特征交互处理，输出融合特征；利用Transformer编码器对融合特征进行处理，输出对应的多模态视频特征。本发明实施例采用双流架构，降低计算开销，针对多模态融合，通过低秩投影矩阵对音频特征、文本特征及双流特征进行高效交互，提高多模态融合效率，提升特征表达能力。