说明:监督员
Soopervisor引入了Ploomber项目的概念,这是运行管道的标准方法。
用例
在本地运行管道
在持续集成服务中运行管道
使用cron(或Github Actions)调度管道
通过Argo工作流程在Kubernetes中运行
在Apache Airflow中运行
怎么运行的
运行管道时,Soopervisor需要以下文件布局:
environment.yml :
pipeline.yaml :管道管道规范
所有这些文件的父文件夹定义为项目的根文件夹。 该文件夹的名称被设计为
<weixin_42131443> 上传 | 大小:88kb