tab下的任务都配置到一个可视化工具中发现airflow好像是个不错的选择然后就研究怎么先安装使用起来后面再做优化

一、安装conda环境

因为我本地已经安装了anaconda所以这里可以直接使用试试有问题再说

二、安装airflow

注意airflow默认走配置文件的sqllite数据库后面为了以后维护方便我们再改成MySQL数据库

airflow

version在上面的操作步骤上可以看到airflow的安装路径我的是/Users/wuzhanxi/airflow

五、启动airflow

web服务,启动后浏览器访问http://localhost:8080

启动命令

450275861qq.com八、然后我们先停止airflow进程

查看进程开始我用的下面的这个命令发现打印出来一堆东西很不好看所以后面又搜了其他的方式

-ef|grep

scheduler|airflow-webserver|grep

grep|awk

scheduler|airflow-webserver|grep

grep|awk

mysql-connector-python第三步修改airflow的配置文件文件位置/Users/wuzhanxi/airflow下的airflow.cfg找到database然后往下滑将连接数据库的配置文件改成你连接MySQL的配置文件由于配置文件中内容较多可以用./database进行搜索[database]

Path

AIRFLOW__DATABASE__ALEMBIC_INI_FILE_PATH

alembic.ini#

http://airflow.apache.org/docs/apache-airflow/stable/howto/set-up-database.html#database-uri

Variable:

AIRFLOW__DATABASE__SQL_ALCHEMY_CONN

#sql_alchemy_conn

sqlite:////Users/wuzhanxi/airflow/airflow.db

sql_alchemy_conn

mysqlmysqlconnector://root:Wwzx152103localhost:3306/airflow配置文件airflow.cfg

###

这样这些基本配置信息都存入到咱们自己的MySQL中来了后面维护起来就比较方便了

十一、修改执行器官网不推荐在开发中使用顺序执行器会造成任务调度阻塞。

[core]