Historial de Commits

Autor SHA1 Mensaje Fecha
  Zed 6c4c691fe7 Add Crawl-delay to robots.txt hace 3 años
  Zed 138826fb4f Fix Twitterbot rule in robots.txt hace 4 años
  Zed dfb2519870 Explicitly allow Twitterbot to generate previews hace 4 años
  minus c543a1df8c Block search engines via robots.txt (#631) hace 4 años