Django
django获取models的某个字段的全部值
假如想获取models中某个字段的值，可能的选项有： values() values_list() 其中，前者返回的元素为dict，key为字段值，value为值。 后者返回的是tuple。 假设想得到一个某一字段值组成的list。 可以使用values_list(flat=True) 语句。并对返回的query_set使用list函数。 例如： SanbanCompany.objects.val 阅读更多…
Django
django 导入其他模块错误之环境变量设置
在编写一个模块并测试时，因为模块导入了其他模块的内容，出现了 ImportError: No module named ‘spidercenter’ 最开始是一直采用给系统添加环境变量。 import sys sys.path.append(‘///project’) 后来发现还是错误。 django.core.exceptions.Improper 阅读更多…
Scrapy
scrapyd设置记录
scrapyd设置文件位置 /etc/scrapyd/scrapyd.conf (Unix) c:\scrapyd\scrapyd.conf (Windows) /etc/scrapyd/conf.d/* (in alphabetical order, Unix) scrapyd.conf ~/.scrapyd.conf (users home directory) http_port 默认为 阅读更多…
Debug
第一次重构测试后的debug记录
最近对一个小项目进行了重构。整个后台逻辑修改了一遍。 逻辑大概是这样子的。 爬虫定期从某些网站增量采集资讯。 然后塞入elasticsearch库。 会有另外一个任务去把最新采集的资讯进行筛选。 提取出有用的信息，发送给订阅者。 订阅者事先在网上基于关键词和网站提交订阅。 这是第三次修改逻辑了。 修改之后，今早开始进行初步测试。 测试发现，爬虫可以正常运行，数据可以正常入库，但最终订阅者没有收到信 阅读更多…
Django
django测试服务器重启问题
Pycharm中， terminal中中断程序，往往按ctrl + z django的测试服务器，启动后，切记要按 ctrl + c进行中断。 假如同样用，ctrl + z 中断，会导致出现port占用错误。 此时，需要关闭该terminal，重开一个新的才行。