Начало Каталог Помощ
Вход
vdd
/
nitter
огледало от https://github.com/zedeus/nitter
1
0
Разклонения 0
Файлове Задачи 0 Уики
Преглед на файлове

Add Crawl-delay to robots.txt

Zed преди 3 години
родител
b5dee25b37
ревизия
6c4c691fe7
променени са 1 файла, в които са добавени 1 реда и са изтрити 0 реда
Разделен изглед Покажи статистика за разликите
  1. 1 0
      public/robots.txt

+ 1 - 0
public/robots.txt
Целия файл 

@@ -1,4 +1,5 @@
 
 User-agent: *
 
 Disallow: /
 
+Crawl-delay: 1
 
 User-agent: Twitterbot
 
 Disallow: