Scrapy

scrapyd设置记录

scrapyd设置文件位置 /etc/scrapyd/scrapyd.conf (Unix) c:\scrapyd\scrapyd.conf (Windows) /etc/scrapyd/conf.d/* (in alphabetical order, Unix) scrapyd.conf ~/.scrapyd.conf (users home directory) http_port  默认为 阅读更多…

Wally
Scrapy

Scrapy 初识(v1.4 )

scrapy是著名的爬虫开源框架。这里是我的学习记录。 爬虫写在spider目录下的文件,item作为临时容器,settings配置,pipeline将数据存入数据库。 spider文件中, start_request方法返回 Request,parse方法进行解析,解析后返回item,以及新的request items 容器,收集抓取后的简单数据,提供一个类似于字典的api itemsloade 阅读更多…

Wally