Commit Verlauf

Autor SHA1 Nachricht Datum
  Zed 6c4c691fe7 Add Crawl-delay to robots.txt vor 3 Jahren
  Zed 138826fb4f Fix Twitterbot rule in robots.txt vor 4 Jahren
  Zed dfb2519870 Explicitly allow Twitterbot to generate previews vor 4 Jahren
  minus c543a1df8c Block search engines via robots.txt (#631) vor 4 Jahren