SparkPipelineFramework SparkPipelineFramework实现了一些设计模式，以使创建Spark应用程序更加容易，这些应用程序： 将数据转换逻辑与管道执行代码分开，因此您只需将转换器串联在一起就可以组成管道。 （基于SparkML Pipeline类，但已增强为可用于ML和非ML转换） 无需编写任何代码即可运行SQL转换 启用转换的版本控制，以便不同的管道可以使用每个转换器的旧版本或新版本。 这使您可以自行选择升级每个管道 在创建管道时启用转换的自动完成功能