Add Crawl-delay to robots.txt · 6c4c691fe7 - vddCore

Add Crawl-delay to robots.txt

Zed 3 jaren geleden

bovenliggende

b5dee25b37

commit

6c4c691fe7

1 gewijzigde bestanden met toevoegingen van 1 en 0 verwijderingen

Zij-aan-zij weergave Toon Diff Stats

						
							+ 1
							
							- 0
						
public/robots.txt
							 
								Bestand weergeven
							
				@@ -1,4 +1,5 @@
			
				 User-agent: *
			
				 Disallow: /
			
				+Crawl-delay: 1
			
				 User-agent: Twitterbot
			
				 Disallow: