Add Crawl-delay to robots.txt · 6c4c691fe7 - vddCore

Sfoglia il codice sorgente

Add Crawl-delay to robots.txt

Zed 3 anni fa

parent

b5dee25b37

commit

6c4c691fe7

1 ha cambiato i file con 1 aggiunte e 0 eliminazioni

Visualizzazione separata Mostra Diff Stats

						
							+ 1
							
							- 0
						
public/robots.txt
							 
								Vedi File
							
				@@ -1,4 +1,5 @@
			
				 User-agent: *
			
				 Disallow: /
			
				+Crawl-delay: 1
			
				 User-agent: Twitterbot
			
				 Disallow: