基于多模态特征的任务处理方法、装置、系统及介质

本申请涉及人工智能技术领域，本方案可应用于金融、医疗领域，公开了基于多模态特征的任务处理方法、装置、系统及介质。方法包括：获取待识别视频的视觉、音频以及文本模态数据；通过各模态分别对应的GRAE子模块分别生成视觉模态数据的视觉、音频以及文本流形特征数据；通过DAM子模块中的跨模态注意力权重计算规则确定两两模态间的注意力权重；确定两两模态间的瓦瑟斯坦距离，并根据两两模态间的注意力权重以及瓦瑟斯坦距离，对视觉流形特征数据、音频流形特征数据以及文本流形特征数据进行跨模态对齐处理，得到对齐后特征；根据对齐后特征以及输出模块确定待识别视频的任务处理结果。通过实施本申请实施例的方法提高模型的准确度。