Django
django获取models的某个字段的全部值
假如想获取models中某个字段的值，可能的选项有： values() values_list() 其中，前者返回的元素为dict，key为字段值，value为值。 后者返回的是tuple。 假设想得到一个某一字段值组成的list。 可以使用values_list(flat=Tr 阅读更多…
Django
django 导入其他模块错误之环境变量设置
在编写一个模块并测试时，因为模块导入了其他模块的内容，出现了 ImportError: No module named ‘spidercenter’ 最开始是一直采用给系统添加环境变量。 import sys sys.path.append(‘ 阅读更多…
Scrapy
scrapyd设置记录
scrapyd设置文件位置 /etc/scrapyd/scrapyd.conf (Unix) c:\scrapyd\scrapyd.conf (Windows) /etc/scrapyd/conf.d/* (in alphabetical order, Unix) scrapyd 阅读更多…
Error
第一次重构测试后的debug记录
最近对一个小项目进行了重构。整个后台逻辑修改了一遍。 逻辑大概是这样子的。 爬虫定期从某些网站增量采集资讯。 然后塞入elasticsearch库。 会有另外一个任务去把最新采集的资讯进行筛选。 提取出有用的信息，发送给订阅者。 订阅者事先在网上基于关键词和网站提交订阅。 这是第 阅读更多…
Django
django测试服务器重启问题
Pycharm中， terminal中中断程序，往往按ctrl + z django的测试服务器，启动后，切记要按 ctrl + c进行中断。 假如同样用，ctrl + z 中断，会导致出现port占用错误。 此时，需要关闭该terminal，重开一个新的才行。
Linux
linux cron 定时任务配置记录
首先查看cron服务是否启动 service –status-all 确认cron任务已经启动。 然后在当前用户下 输入 crontab -e 进行定时任务编辑，选择编辑器，然后开始。 再最下输入 #!/bin/sh * * * * * curl http://192 阅读更多…
Celery
celery crontab任务不执行的问题
本来已经从定时任务的坑中爬出来了。 结果作死早晨，觉得crontab类型的任务可能后面更有用，于是开始测试。 没相到，这个坑浪费了3个小时。 环境是这样的 celery 4.1.0 django-celery-beat 1.1 django 1.11.3 问题是 celery – 阅读更多…
Celery
celery定时任务不执行
使用django-celery-beat时，遇到了一个定时任务不执行的问题。 一切都好好的，就是本来定时任务是执行的，后来不执行了。 寻找了好久的bug都没有找到原因。最后决定git回退版本。 回退之后，果然，定时任务又开始好好执行了。 然后开始一点点修改和测试。 最后发现，在d 阅读更多…
Celery
django-celery-beat应用数据库初始化错误
在安装了django-celery-beat后，执行python manage.py migrate 出错。 django.db.utils.OperationalError: (1142, “REFERENCES command denied to user  阅读更多…