项目作者: samclarke

项目描述 :
NodeJS robots.txt parser with support for wildcard (*) matching.
高级语言: JavaScript
项目地址: git://github.com/samclarke/robots-parser.git
创建时间: 2014-09-27T12:25:33Z
项目社区:https://github.com/samclarke/robots-parser

开源协议:MIT License

下载