Почетна Преглед Помоћ
Пријавите се
vdd
/
nitter
огледало од https://github.com/zedeus/nitter
1
0
Креирај огранак 0
Датотеке Дискусије 0 Вики
Преглед изворни кода

Add Crawl-delay to robots.txt

Zed пре 3 година
родитељ
b5dee25b37
комит
6c4c691fe7
1 измењених фајлова са 1 додато и 0 уклоњено
Подељен поглед Покажи статистику Diff
  1. 1 0
      public/robots.txt

+ 1 - 0
public/robots.txt
Прегледај датотеку 

@@ -1,4 +1,5 @@
 
 User-agent: *
 
 Disallow: /
 
+Crawl-delay: 1
 
 User-agent: Twitterbot
 
 Disallow: