@ huschi.net

Volltextsuche

2 Suchergebnisse

Web-Server:
robots.txt
Sinn der robots.txt Viele Robots/Spider/Crawler/Bots durchsuchen wahllos das Internet nach Inhalten. Manchmal ist es sinnvoll, bestimmte Seiten oder Bereiche der eigenen Site vor diesen Robots zu schützen. Beispiele: Seiten
Web-Server:
Bots & Spider per mod_rewrite aussperren
Problem: Viele (bösartige) Bots beachten die robots.txt nicht. Andere (nicht bösartige) Bots sehen Änderungen darin leider erst (viel viel viel) später weil sie diese nicht ständig kontrollieren. Dadurch