Den MSN-Bot zeitlich einschränken
Nicht nur google und Yahoo schicken immer wieder ihre eigenen Suchmaschinen-Bots los um neue Änderungen der Webseiten im eigenen Index zu aktualisieren, sondern auch MSN mit der Suchmaschine Live nutzt diese Art und Weise der Indizierung.
Dies kann man auch ganz einfach in den Logs erkennen ob der MSN-Bot auf der eigenen Seite vorbeigekommen ist:
- msnbot/x.xx
- MSNBOT/0.xx
Wer jetzt bei der Analyse der eigenen Logs feststellt das eben dieser Bot zu oft kommt oder sich Stundenlang auf der eigenen Seite aufhält, der kann diesem nun einen neuen Befehlt mitgegeben. Dieser Befehl nennt sich „Crawl-Delay“ und wird in die robots.txt geschrieben. Damit wird dem Bot mitgeteilt wie viele Sekunden zwischen zwei Anfragen vergehen müssen. Stellt man diesen Eintrag z.B. auf
User-agent: msnbot
Crawl-delay: 600
dann muss der Bot 10 Minuten zwischen zwei Abfragen warten. Der Einsatz dieses Befehles ist also nur dann notwendig wenn der MSNBot ein zu häufiges Sitecrawling durchführt.
Positiv das der Eintrag in die robots.txt geschrieben werden muss. Daraus lässt sich Schlussfolgern das der MSNBot sich an die Einstellung in dieser Datei hält! Das kann man nicht von allen Suchmaschinen sagen und gibt nach meiner Meinung dem MSNBot einen großen Pluspunkt mit auf den Weg.
ANZEIGEN
