Procházet zdrojové kódy

Add Crawl-delay to robots.txt

Zed před 3 roky
rodič
revize
6c4c691fe7
1 změnil soubory, kde provedl 1 přidání a 0 odebrání
  1. 1 0
      public/robots.txt

+ 1 - 0
public/robots.txt

@@ -1,4 +1,5 @@
 User-agent: *
 Disallow: /
+Crawl-delay: 1
 User-agent: Twitterbot
 Disallow: