Wie der Online Newsdienst Golem.de berichtet, lässt sich die Crawl Rate des Google Bots innerhalb der Google Webmastertools selbst definieren. Man kann dort für die nächsten 90 Tage angeben, ob der Google Bot eher häufiger oder seltener vorbeischauen soll. Aktualisiert man die Einstellungen nach 90 Tagen nicht von Hand, so fällt der Bot in seinen alten Trott zurück. Das ganze halte ich schon für recht sinnvoll um Google mitzuteilen das die neue Seite ständig aktualisiert wird und daher doch mal öfter besucht werden sollte oder eben ein bestehenden Projekt ein wenig von der massiven Last des Bots zu befreien. Ich werde beide Varianten innerhalb der nächsten Wochen antesten und über das Ergebnis berichten.