Inicio Explorar Axuda
Iniciar sesión
vdd
/
nitter
réplica de https://github.com/zedeus/nitter
1
0
Fork 0
Ficheiros Incidencias 0 Wiki
Explorar o código

Add Crawl-delay to robots.txt

Zed %!s(int64=3) %!d(string=hai) anos
pai
b5dee25b37
achega
6c4c691fe7
Modificáronse 1 ficheiros con 1 adicións e 0 borrados
Dividir vista Mostrar estatísticas de Diff
  1. 1 0
      public/robots.txt

+ 1 - 0
public/robots.txt
Ver ficheiro 

@@ -1,4 +1,5 @@
 
 User-agent: *
 
 Disallow: /
 
+Crawl-delay: 1
 
 User-agent: Twitterbot
 
 Disallow: