Redis>> pawitch>> 返回
项目作者： kiss4u

项目描述 ：
scrapy+redis,film website sprider
高级语言： Python
项目地址: git://github.com/kiss4u/pawitch.git
创建时间： 2017-10-21T10:43:36Z
项目社区：https://github.com/kiss4u/pawitch
开源协议：
下载


pawitch

分布式爬虫系统

1、需要安装Redis和MySQL

2、配置settings.py中MS_TYPE区分主从机

3、执行main.py启动

4、mysprider:urls_request需插入待爬主地址，可放入启动脚本并做循环定时