注册
登录
机器人
>>
robots-parser
>>
返回
项目作者:
samclarke
项目描述 :
NodeJS robots.txt parser with support for wildcard (*) matching.
高级语言:
JavaScript
项目主页:
项目地址:
git://github.com/samclarke/robots-parser.git
创建时间:
2014-09-27T12:25:33Z
项目社区:
https://github.com/samclarke/robots-parser
开源协议:
MIT License
下载