同目…目录

Celery是一个基于python开发的分布式系统它是简单、灵活且可靠的处理大量消息专注于实时处理的异步任务队列同时也支持任务调度。

(2)

broker任务执行单元worker和任务执行结果存储task

result

Celery本身不提供消息服务但是可以方便的和第三方提供的消息中间件集成。

包括RabbitMQ,

Redis等等2任务执行单元

Worker是Celery提供的任务执行的单元worker并发的运行在分布式的系统节点中。

3任务结果存储

Task

store用来存储Worker执行的任务的结果Celery支持以不同方式存储任务的结果包括AMQP,

redis等

Celery易于使用和维护并且它不需要配置文件并且配置和使用是比较简单的2高可用

当任务执行失败或执行过程中发生连接中断celery会自动尝试重新执行任务3快速

Celery

进程每分钟可处理数以百万计的任务而保持往返延迟在亚毫秒级4灵活

Celery几乎所有部分都可以扩展或单独使用各个部分可以自定义。

4场景

分布式任务队列的异步处理框架它可以让任务的执行完全脱离主程序甚至可以被分配到其他主机上运行。

通常使用它来实现异步任务(async

1)异步任务

将耗时操作任务提交给Celery去异步执行比如发送短信/邮件、消息推送、音视频处理等等2)定时任务

定时执行某件事情比如每天数据统计

Redis-x64-xxx.zip压缩包到D盘解压后将文件夹重新命名为

Redis

(11)打开Redis服务将启动类型设置为自动即可实现开机自启动

(1)

#celery是典型的生产者消费者的模式生产者生产任务并加入队列中消费者取出任务消费。

多用于处理异步任务或者定时任务。

#第一种方式

pip

redis2新建异步任务执行文件celery_task.py.相当于注册了celery

app

backendredis://localhost:6379/1,

brokerredis://localhost:6379/2)

app.task

send_email(name):print(向%s发送邮件...%name)time.sleep(5)print(向%s发送邮件完成%name)return

ok(3)

celerypro.celery_task.send_email[2023-11-22

17:26:39,265:

d:\soft\python38\lib\site-packages\celery\worker\consumer\consumer.py:507:

The

backendredis://localhost:6379/1,

brokerredis://localhost:6379/2)

app.task

send_email(name):print(向%s发送邮件...%name)time.sleep(5)print(向%s发送邮件完成%name)return

app.task

send_msg(name):print(向%s发送短信...%name)time.sleep(5)print(向%s发送邮件完成%name)return

celery

celerypro.celery_task.send_email.

celerypro.celery_task.send_msg[2023-11-22

21:01:43,381:

d:\soft\python38\lib\site-packages\celery\worker\consumer\consumer.py:507:

The

d:\soft\python38\lib\site-packages\celery\worker\consumer\consumer.py:507:

The

broker_connection_retry_on_startup

21:01:49,477:

eventlet10重新在项目文件目录下创建worker消费任务

celery

celerypro.celery_task.send_email.

celerypro.celery_task.send_msgr_connection_retry

configuration

broker_connection_retry_on_startup

21:29:48,022:

celerypro.celery_task.send_email[c1a473d5-49ac-4468-9370-19226f377e00]

received

celerypro.celery_task.send_msg[de30d70b-9110-4dfb-bcfd-45a61403357f]

received

celerypro.celery_task.send_msg[de30d70b-9110-4dfb-bcfd-45a61403357f]

succeeded

celerypro.celery_task.send_email[c1a473d5-49ac-4468-9370-19226f377e00]

succeeded

取第2个id:de30d70b-9110-4dfb-bcfd-45a61403357f

-*-

AsyncResult(idde30d70b-9110-4dfb-bcfd-45a61403357f,

appapp)

async_result.successful():result

async_result.get()print(result)

elif

async_result.failed():print(执行失败)

elif

Celery(celery_demo,backendredis://localhost:6379/1,brokerredis://localhost:6379/2,include[celery_tasks.task01,celery_tasks.task02])

app.conf.timezone

send_email(res):print(完成向%s发送邮件任务%res)time.sleep(5)return

邮件完成

send_msg(name):print(完成向%s发送短信任务%name)time.sleep(5)return

短信完成

D:\soft\pythonProject\CeleryMTask

celery

AsyncResult(idbb906153-822a-4bd5-aacd-2f2172d3003a,

appapp)

async_result.successful():result

async_result.get()print(result)

elif

async_result.failed():print(执行失败)

elif

时间戳timestamp国标时间方法utcfromtimestamp

datetime.utcfromtimestamp(v1.timestamp())

print(v2)

#调异步任务建议用delay方法掉定时任务建议用apply_async方法来接纳更多参数

#参数放列表eta接收时间对象

send_email.apply_async(args[leon,],

etav2)

时间戳timestamp国标时间方法utcfromtimestamp

utc_ctime

datetime.utcfromtimestamp(ctime.timestamp())

#时差

send_email.apply_async(args[bale],

etatask_time)

[DEBUG|INFO|WARNING|ERROR|CRITICAL|FATAL]Logging

level.-O,

[prefork|eventlet|gevent|solo|processes|threads|custom]Pool

implementation.-E,

将py文件所在文件夹作为一个package在py文件所在文件夹下新建__init__.py文件在__init__.py中添加如下语句

from