一种基于大模型的多模态数据融合方法及系统

本发明公开一种基于大模型的多模态数据融合方法及系统，涉及数据融合技术领域，包括：接收多模态数据，进行噪声分层过滤及时空对齐；通过各模态轻量化编码器将数据映射至大模型隐空间，利用单模态预训练模型提取初始特征，经适配器转换生成隐空间向量；接收各模态隐空间向量与任务提示词，通过大模型的自注意力机制和交叉注意力机制，动态聚合生成融合特征矩阵，实现多模态信息的语义整合；以融合特征矩阵作为软标签，通过知识蒸馏学习跨模态语义映射能力；训练后模型经动态量化与剪枝优化，部署至边缘，并将优化后特征矩阵输入任务定制的轻量化头部网络，结合多模态上下文信息输出最终任务结果。本发明可以突破模态间语义鸿沟，提升融合效率。