Add Crawl-delay to robots.txt · 6c4c691fe7 - vddCore

Add Crawl-delay to robots.txt

Zed 3 年之前

父节点

b5dee25b37

当前提交

6c4c691fe7

共有 1 个文件被更改，包括 1 次插入 和 0 次删除

分列视图显示文件统计

						
							+ 1
							
							- 0
						
public/robots.txt
							 
								查看文件
							
				@@ -1,4 +1,5 @@
			
				 User-agent: *
			
				 Disallow: /
			
				+Crawl-delay: 1
			
				 User-agent: Twitterbot
			
				 Disallow: