PROSAGA码农传奇-CDN-使用robots.txt文件来阻止除图像之外的所有内容

使用robots.txt文件来阻止除图像之外的所有内容

作者: Charizard
发布时间: 2024-06-13 07:16:20 (2天前)
转自：

<div class =“post-text”itemprop =“text”>
  
    如果您拥有某些文件夹中的所有图像，则可以使用：
  
  
    仅限谷歌机器人：
  
   <pre>
 <code>
 User-agent: Googlebot-Image
Allow: /some-images-folder/

</code>
 </pre>
  
    对于所有用户代理：
  
   <pre>
 <code>
 User-agent: *
Allow: /some-images-folder/

</code>
 </pre>
  <BLOCKQUOTE>
    
      此外，谷歌还增加了灵活性
  robots.txt文件标准通过使用星号。禁止模式
  可以包括“*”以匹配任何字符序列，并且模式可以
  以“$”结尾以表示名称的结尾。
    
  </BLOCKQUOTE>
  
    要允许特定的文件类型（例如.gif图像），您可以使用以下robots.txt条目：
  
   <pre>
 <code>
 User-agent: Googlebot-Image
Allow: /*.gif$

</code>
 </pre>
  <BLOCKQUOTE>
    
      信息1：默认情况下（如果您没有robots.txt），将抓取所有内容。
    
    
      信息2：Allow语句应该在Disallow语句之前，无论你的语句有多具体......
    
  </BLOCKQUOTE>
  
    这是一个wiki链接
    <a href="https://en.wikipedia.org/wiki/Robots_exclusion_standard#Allow_directive" rel="nofollow noreferrer">
      机器人的排除标准
    </A>
     有关更详细的说明。
  
  
    根据这个，你的例子应该是这样的：
  
   <pre>
 <code>
 User-agent: * 
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.png$
Disallow: /

</code>
 </pre>
  
    的
      注意：
    </强>
     正如nev在他的评论中指出的那样，在扩展结束时注意查询字符串也很重要，比如
     <code>
 image.jpg?x12345
 </code>
    ，所以也包括
  
   <pre>
 <code>
 Allow: /*.jpg?*$

</code>
 </pre>
</DIV>