Add Crawl-delay to robots.txt · 6c4c691fe7 - vddCore

Просмотр исходного кода

Add Crawl-delay to robots.txt

Zed 3 лет назад

Родитель

b5dee25b37

Сommit

6c4c691fe7

1 измененных файлов с 1 добавлено и 0 удалено

Разделённый вид Показать статистику Diff

						
							+ 1
							
							- 0
						
public/robots.txt
							 
								Просмотреть файл
							
				@@ -1,4 +1,5 @@
			
				 User-agent: *
			
				 Disallow: /
			
				+Crawl-delay: 1
			
				 User-agent: Twitterbot
			
				 Disallow: