复杂的系统下会有大量的跑批定时任务的功能如果在独立的子项目中单独去处理这些任务随着业务的复杂度的提高大量的任务将很难进行统一的管理出现bug以后问题也很难排查最后将成为一种灾难。

所以我们引入了分布式定时任务调度框架统一管理这些定时任务和跑批的功能出现问题也容易统一管理

分布式定时任务功能

xxl-job是我极力推荐的框架在我待过的几家中小型的互联网公司基本上都选用该框架。

xxl-job开放源码简单高效中小企业用的很多。

1.xxl-job经过持续的迭代修复了很多bug。

2.0开始引入新特性耦合性降低

3.源码开放

4.源码也有很多值得学习的地方虽然刚发布的时候会有很多资深的程序员诟病但经过多年的发展维护已经非常稳定。

代码非常朴实没有那些花里胡哨的花样

xxl-job架构如下图

用于发布我们需要的执行任务并且可以控制任务的添加、删除、启动和停止以及维护日志。

并且可以在操作界面进行设置。

执行器:

执行具体业务端,调度中心根据注册的执行器按照算法分配任务执行。

每一个执行器有唯一的appname与调度中心管理的执行器名称一致调度中心才分配任务给执行器

任务:

设置执行策略、分片机制、任务、执行器等信息。

执行器管理中的appname找到执行器的appname,这样任务就会分配给对应的执行器。

1.调度中心通过http协议请求执行器中的服务默认的端口是9999

2.执行器执行业务逻辑代码

3.执行器执行完成业务代码后回调调度中心的服务调度中心开放了一套针对执行器材的API

当执行器以集群方式部署的情况下,调度任务的策略选择分片广播的情况下一次调度任务会以广播的形势触发集群中所有的执行器同时传递分片参数可以根据分片参数开发分片任务。

xxl-job的架构虽然简单但是用起来是真的爽没有那一套高大上的架构设计但是就是好用

elastic-job分为两个独立的大块。

一个是lite-core(核心去中心化的调度),一个是cloud(监控平台).

schedule:

实现simplejob接口该接口提供单一的方法覆盖该方法定时执行并提供了弹性扩容和分片的功能

dataflow:

dataflow类型用于处理数据流需实现DataflowJob接口。

该接口提供2个方法可供覆盖分别用于抓取(fetchData)和处理(processData)数据

script:

script类型作业意为脚本类型作业支持shellpythonperl等所有类型脚本。

只需通过控制台或代码配置scriptCommandLine即可无需编码。

执行脚本路径可包含参数参数传递完毕后作业框架会自动追加最后一个参数为作业运行时信息。

调度原理

通过zookeeper做的分布式锁先选取leader再做分配工作

分布式任务调度SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台兼容开源XXL-JOB、ElasticJob支持Cron定时、一次性任务、任务编排、分布式执行批量任务等功能具备高可用、可视化、可运维、低延时等能力。

如下图所示

常见分布式调度框架:quartz