基于NiFi集群的多源异构数据融合查询方法及系统

本发明属于数据处理技术领域，具体提供一种基于NiFi集群的多源异构数据融合查询方法及系统，所述方法包括：通过统一的查询接口接收用户的SQL查询请求，生成查询任务，并动态分配查询任务至不同数据处理节点；所述数据处理节点接收到查询任务后执行如下操作：基于查询任务获取SQL查询语句，将所述SQL查询语句解析成抽象语法树，并基于优化规则和统计信息对抽象语法树进行优化，生成跨异构数据源的最优执行计划；执行所述最优执行计划，从多个异构数据库中提取数据，并进行数据转换和整合生成查询结果；S4、通过所述统一查询接口返回查询结果，并对查询结果进行缓存。直接在数据源上执行查询，避免了数据迁移过程中的潜在问题。