调度系统airflow和azkaban对比

标题: 调度系统airflow和azkaban对比
日期: 2021-12-07 23:08:24
标签: [调度系统,airflow,azkaban]
分类: 调度系统

今天来对比下现在市面上开源的，用的比较多的两个调度系统airflow和azkaban的差别。

直接看表格吧：

仔细看，他们俩不相上下啊，其实还是有细微的差别的：

1. 支持的作业类型，airflow比azkaban多，azkaban作业类型偏向于hadoop hive类型作业，airflow除了这些还能执行shell sql http等任务；
2. 当你使用才会知道，airflow支持dag间依赖，而azkaban不支持project间依赖，这对于复杂的依赖关系网任务群会让azkaban用起来非常棘手；
3. 当你使用才会知道，airflow支持任务的历史回填，即回补执行，运行历史任务，参数对应历史时刻的值，相当于时光倒流，回到当时的任务状态，去执行任务，而azkaban不支持；

对比得差不多了，根据你们公司的具体作业场景选择合适的调度工具吧。

airflow更适合作业繁多，任务之间依赖复杂，任务多样（比如sql，http，python，java，shell等）时使用；
azkaban更适合hadoop类型作业。

ok，今天就到这里。

书山有路勤为径，学海无涯苦作舟。

欢迎关注我的微信公众号，比较喜欢分享知识，也喜欢宠物，所以做了这2个公众号：

喜欢宠物的朋友可以关注：【电巴克宠物Pets】

一起学习，一起进步。