机器人>> robots-parser>> 返回
项目作者： samclarke

项目描述 ：
NodeJS robots.txt parser with support for wildcard (*) matching.
高级语言： JavaScript
项目地址: git://github.com/samclarke/robots-parser.git
创建时间： 2014-09-27T12:25:33Z
项目社区：https://github.com/samclarke/robots-parser
开源协议：MIT License
下载