ホーム エクスプローラ ヘルプ
サインイン
vdd
/
nitter
同期ミラー https://github.com/zedeus/nitter
1
0
フォーク 0
ファイル 課題 0 Wiki
ソースを参照

Add Crawl-delay to robots.txt

Zed 3 年 前
親
b5dee25b37
コミット
6c4c691fe7
1 ファイル変更、1 行追加、0 行削除
分割表示 差分情報を表示
  1. 1 0
      public/robots.txt

+ 1 - 0
public/robots.txt
ファイルの表示 

@@ -1,4 +1,5 @@
 
 User-agent: *
 
 Disallow: /
 
+Crawl-delay: 1
 
 User-agent: Twitterbot
 
 Disallow: