@ huschi.net

Volltextsuche

3 Suchergebnisse

Web-Server:
robots.txt
Sinn der robots.txt Viele Robots/Spider/Crawler/Bots durchsuchen wahllos das Internet nach Inhalten. Manchmal ist es sinnvoll, bestimmte Seiten oder Bereiche der eigenen Site vor diesen Robots zu schützen. Beispiele: Seiten
Web-Server:
Apache: Trafficbegrenzung
Problem: wenn man viele Download-Dateien auf dem Server hat, oder Projekte, die manchmal über sich hinaus gehen, möchte man als Admin mal den Traffic begrenzen. Dies kann
Web-Server:
Bots & Spider per mod_rewrite aussperren
Problem: Viele (bösartige) Bots beachten die robots.txt nicht. Andere (nicht bösartige) Bots sehen Änderungen darin leider erst (viel viel viel) später weil sie diese nicht ständig kontrollieren. Dadurch