基于目标大模型的多模态焊缝识别方法和装置

本公开涉及图像处理技术领域，尤其涉及一种基于目标大模型的多模态焊缝识别方法和装置。该方法包括：通过三维采集装置，获取待焊接区域的多模态数据，其中，所述多模态数据包括颜色信息RGB图像数据和点云数据；对所述颜色信息RGB图像数据和所述点云数据进行多模态数据融合处理，获取融合后的多模态数据；将所述融合后的多模态数据输入至目标大模型进行向量映射处理和多层感知机处理，获取所述待焊接区域的分类信息和掩码信息；根据所述分类信息和所述掩码信息确定所述待焊接区域的第一焊缝信息。采用本公开可以降低焊缝识别成本，可以减少提高焊缝识别效率的同时提高焊缝识别准确性。