一、Django项目创建
（一）虚拟环境创建
首先创建一个虚拟环境，用于Django项目使用，在CMD窗口中通过下面的命令：
mkvirtualenv celery_test 其中celery_test 为虚拟环境名称，这里使用的python解释器就是默认安装的，你也可以指定python解释器：
mkvirtualenv [--python==d:\Python3.5.2\python.exe] celery_test（二）创建项目
最简单的方式是可以通过Pyacharm来进行创建，当然也可以命令行的方式创建，但是在创建前需要在虚拟环境中将Django的包安装上：
(celery_test) C:\Users\Administrator>pip install django==2.0
Collecting django==2.0
Using cached Django-2.0-py3-none-any.whl (7.1 MB)
Collecting pytz
Using cached pytz-2019.3-py2.py3-none-any.whl (509 kB)
Installing collected packages: pytz, django
Successfully installed django-2.0 pytz-2019.3此时，再创建项目：
只需要填写上面的部分即可完成django项目的创建。
二、Celery的使用
（一）环境配置
Django与Celery可以配合使用，但是需要安装django-celery的包，这样更利于celery中任务的管理，注意这些包的版本：
1、celery安装
(celery_test) C:\Users\Administrator>pip install celery==3.1.26.post2
Collecting celery==3.1.26.post2
Downloading celery-3.1.26.post2-py2.py3-none-any.whl (526 kB)
|███████▌ | 122 kB 20 kB/s eta 0:00:202、django-celery安装
(celery_test) C:\Users\Administrator>pip install django-celery==3.2.2
Collecting django-celery==3.2.2
Downloading django-celery-3.2.2.tar.gz (90 kB)
|███████████ | 30 kB 56 kB/s eta 0:00:023、redis安装
(celery_test) C:\Users\Administrator>pip install redis==2.10.6 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com4、进行注册
在django的settings文件中将djcelery进行注册：
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
'djcelery', #注册
'app01',
]5、settings中导入celeryconfig
# Internationalization
# https://docs.djangoproject.com/en/2.0/topics/i18n/
LANGUAGE_CODE = 'en-us'
TIME_ZONE = 'UTC'
USE_I18N = True
USE_L10N = True
USE_TZ = True
# Static files (CSS, JavaScript, Images)
# https://docs.djangoproject.com/en/2.0/howto/static-files/
STATIC_URL = '/static/'
#Celery Config
from .celeryconfig import * # celery的相关配置文件
BROKER_BACKEND = 'redis'
BROKER_URL = 'redis://localhost:6379/1'
CELERY_RESULT_BACKEND='redis://localhost:6379/2'（二）异步任务
1、新建celery相关的文件
- 在工程的根目录下新建celeryconfig文件，用于存放配置参数
- 在appo1目录下新建tasks.py文件，用于存放与app01相关的异步和定时任务
（1）celeryconfig.py
import djcelery
from datetime import timedelta
djcelery.setup_loader()
CELERY_QUEUES = {
#定时任务队列
'beat_tasks':{
'exchange':'beat_tasks',
'exchange_type':'direct',
'binding_key':'beat_tasks'
},
#普通任务队列
'work_tasks': {
'exchange': 'work_tasks',
'exchange_type': 'direct',
'binding_key': 'work_tasks'
}
}
#设置默认的队列
CELERY_DEFAULT_QUEUE = 'work_tasks'
#将每一个app下的tasks进行导入
CELERY_IMPORTS = (
'app01.tasks',
)
#有些情况防止死锁
CELERYD_FORCE_EXECV = True
#设置并发的workers数量，根据cpu的数量
CELERYD_CONCURRENCY = 4
#任务失败允许重试
CELERY_ACKS_LATE = True
#每个worker最多执行的任务数，超过这个就将worker进行销毁，防止内存泄漏
CELERYD_MAX_TASKS_PER_CHILD = 100
#单个任务运行的最大时间，超过这个时间，task就会被kill
CELERYD_TASK_TIME_LIMIT = 12 * 30首先定义了两个任务队列，一个用于存放异步任务，一个用于存放定时任务；其次将每一个app下的tasks导入，tasks.py中定义的都是任务；最后都是一些参数定义。
（2）app01.tasks.py
from celery.task import Task
import time
class Upload(Task):
name = 'upload-task' #给任务一个名称
def run(self, *args, **kwargs):
time.sleep(2)
print('run upload task')定义了一个任务并且指定了一个名称，这个名称在定时任务中会用得上。当这个任务执行时会运行run方法，那么如果它是个异步任务，应该怎么触发和执行呢？
我们可以在views.py文件的view函数中进行调用这个任务：
from django.shortcuts import render
from django.http.response import JsonResponse
from app01.tasks import Upload
# Create your views here.
def doTask(request):
print('start task!')
Upload.delay() #异步任务，这里不会卡住，尽管有延时
print('end task!')
return JsonResponse({"type":'success'})这里定义了一个视图函数，在视图只要访问某个url对应的这个视图就会触发，我们在任务中睡了2s但是这里不会停顿，因为它是是异步任务。
（2）运行异步任务
- 启动django项目
python manage.py runserver 0.0.0.0- 启动celery worker
python manage.py celery worker -l info- 访问视图，触发任务
http://127.0.0.1:8000/doTask/（三）定时任务
定时任务也是需要启动worker的，需要在celeryconfig加入定时任务的配置，假设刚刚那个任务是定时任务：
...
...
#单个任务运行的最大时间，超过这个时间，task就会被kill
CELERYD_TASK_TIME_LIMIT = 12 * 30
#定时任务
CELERYBEAT_SCHEDULE = {
'task1':{
'task':'upload-task', #指定任务名称
'schedule':timedelta(seconds=5), #任务执行时间，每5秒执行一次
'options':{
'queue':'beat_tasks'
}
}
}指定了定时任务，其中名称upload-task就是刚刚任务中定义的name属性。同样的在我们添加完定时任务后，需要启动celery worker和celery beat。
#celery worker
python manage.py celery worker -l info
#celery beat
python manage.py celery beat -l info这样就完成了定时任务。
值得注意的是，如果使用crontab来进行定时任务的话。就会存在时区问题，比如在app01.tasks.py中再加入一个任务：
from celery.task import Task
import time
...
...
class scrawl(Task):
name = 'spider'
def run(self, *args, **kwargs):
time.sleep(3)
print('执行爬取任务')然后再进行配置：
import djcelery
from datetime import timedelta
from celery.schedules import crontab
...
...
#定时任务
CELERYBEAT_SCHEDULE = {
'task1':{
'task':'upload-task', #指定任务名称
'schedule':timedelta(seconds=5), #任务执行时间，每5秒执行一次
'options':{
'queue':'beat_tasks'
}
},
'task2': {
'task': 'spider', # 指定任务名称
'schedule':crontab(minute='19', hour='16', day_of_week='*',day_of_month='*', month_of_year='*'), # 任务执行时间，每5秒执行一次
'options': {
'queue': 'beat_tasks'
}
},
}在task2中使用了crontab，那么相应的应该在django的settings.py中将TIME_ZONE 参数进行更改：
...
# TIME_ZONE = 'UTC'
TIME_ZONE = 'Asia/Shanghai'
...这样就ok了。
（四）版本问题及其它问题
1、安装包版本
(celery_test) C:\Users\Administrator>pip list
Package Version
------------- ------------
amqp 1.4.9
anyjson 0.3.3
Babel 2.8.0
billiard 3.3.0.23
celery 3.1.26.post2
Django 2.0
django-celery 3.2.2
flower 0.9.3
kombu 3.0.37
pip 20.0.2
pytz 2019.3
redis 2.10.6
setuptools 46.1.1
tornado 5.1.1
wheel 0.34.2注意的是celkery、django-celery、Django、以及redis的版本，这是很容易出现各种问题的地方。
2、pip问题
另外下载过程中会出现timeout或者其它问题，一般解决通过：
pip install flower -i http://pypi.douban.com/simple --trusted-host pypi.douban.com就可以解决。如果永久地替换pip源可以在windows下的user目录下新建pip文件夹，然后新建pip.ini文件：
写入：
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com三、flower任务监控
通过pip命令直接进行安装：
(celery_test) C:\Users\Administrator>pip install flower -i http://pypi.douban.com/simple --trusted-host pypi.douban.com接下来可以直接启动flower，在django中可以直接这样启动：
(celery_test) I:\celery_test>python manage.py celery flower这样就可以直接启动flower了。当然也可以这样执行命令启动。
celery flower --address=0.0.0.0 --port=5555 --broker='redis://localhost:6379/1' #如果加入认证通过--basic_auth=username:password四、supervisor进程管理
1、安装
(django3) [root@localhost celery_test]# pip install supervisor -i http://pypi.douban.com/simple --trusted-host pypi.douban.com2、配置文件管理与启动
进入到项目的根目录下，与settings同级：
（1）创建配置文件夹
(django3) [root@localhost celery_test]# mkdir conf
(django3) [root@localhost celery_test]# ls
conf __init__.py settings.py urls.py wsgi.py
(django3) [root@localhost celery_test]#（2）生成配置文件
(django3) [root@localhost celery_test]# echo_supervisord_conf > conf/supervisord.conf（3） 开启web服务
...
[inet_http_server] ; inet (TCP) server disabled by default
port=127.0.0.1:9001 ; ip_address:port specifier, *:port for all iface
;username=user ; default is no username (open server)
;password=123 ; default is no password (open server)
...开启supervisor的web服务，需要将上述配置文件中的注释去掉；另外开启supervisorctl命令行工具的web服务。
...
[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
...可以看到这个配置文件最后两行：
;[include]
;files = relative/directory/*.ini将其打开，并且修改为：
[include]
files = *.ini也就是说凡是.ini的文件都可以将其当作配置文件包含进来，进行启动。
（4）新建supervisor_celery_worker.ini
(django3) [root@localhost conf]# touch supervisor_celery_worker.ini写入以下内容：
[program:celery_worker]
command=python manage.py celery worker -l INFO
directory=/root/Envs/celery_test #项目根目录，否则command找不到manage.py文件
environment=PATH="/root/Envs/django3/bin" #虚拟环境目录
stdout_logfile=/root/Envs/celery_test/logs/celery_worker.log
stderr_logfile=/root/Envs/celery_test/logs/celery_worker.log
autostart=true
autorestart=true
startsecs=10
stopwatisecs=60
priority=998启动supervisor：
(django3) [root@localhost conf]# supervisord -c supervisord.conf可以通过：
(django3) [root@localhost conf]# ps -ef | grep supervisor查看进程，另外通过supervisorctl命令查看具体的服务，比如celery_worker服务。
（5）新建supervisor_celery_beat.ini
[program:celery_beat]
command=python manage.py celery beat -l INFO
directory=/root/Envs/celery_test
environment=PATH="/root/Envs/django3/bin"
stdout_logfile=/root/Envs/celery_test/logs/celery_beat.log
stderr_logfile=/root/Envs/celery_test/logs/celery_beat.log
autostart=true
autorestart=true
startsecs=10
stopwatisecs=60
priority=997 #数字越大越优先这里通过supervisorctl中的update进行添加即可：
(django3) [root@localhost conf]# supervisorctl
supervisor> help
default commands (type help <topic>):
=====================================
add exit open reload restart start tail
avail fg pid remove shutdown status update
clear maintail quit reread signal stop version
supervisor> update（6）新建supervisor_celery_flower.ini
[program:celery_flower]
command=python manage.py celery flower #这个命令进行了更改
directory=/root/Envs/celery_test
environment=PATH="/root/Envs/django3/bin"
stdout_logfile=/root/Envs/celery_test/logs/celery_flower.log
stderr_logfile=/root/Envs/celery_test/logs/celery_flower.log
autostart=true
autorestart=true
startsecs=10
stopwatisecs=60
priority=996 #注意优先级，它是最后启动3、总结
supervisor配置文件中将web界面进行开启，另外将最后的include进行开启，然后分别创建不同的ini文件，里面的文件基本上就是命令、日志文件路径、优先级进行了更改，另外如果添加了服务通过supervisorctl中的update进行添加，你也可以通过本地9001端口的web服务进行访问。
