一种多模态智能机械手的控制方法及装置

本发明公开了一种多模态智能机械手的控制方法及装置，涉及机械手和人工智能技术领域；用双目视觉技术捕捉目标物体的左右图像；通过YOLO模型输出目标物体的类别和边界坐标；提取左右图像中目标物体的中心坐标；匹配左右图像中与目标物体的类别一致和坐标相近的物体；计算左右图之间的视差和深度信息来组合目标物体的三维空间坐标；对每个目标物体的历史坐标进行平滑处理输出YOLO模型的目标检测结果；将目标检测结果输入至任务决策模型转换为结构化指令；根据结构化指令执行并计算和调整抓取力；本发明采用上述一种多模态智能机械手的控制方法及装置，通过深度学习和智能控制算法，使机械手能够自主识别目标并优化执行路径。