Wie im Yahoo! Searchblog und auf Golem gemeldet wird, soll es zukünftig möglich sein über den YAHOO! SiteExplorer URL-Profile zu hinterlegen. Ein URL-Profil bedeutet in diesem Fall, das der Webseitenbetreiber Yahoo mitteilen kann, welcher Teil der URL nicht relevant ist, bzw. keine Veränderung im Content hervorruft.

Gemeint sind dadurch in erster Linie Session-IDs welche den Bots der Suchmaschine durch stetige Änderung durchaus Probleme bereiten. Zwar sollte es theoretisch für die Bots kein großes Problem sein, Session-IDs zu erkennen und dementsprechend zu behandeln, doch die Realität sieht wie immer anders aus.

Die Idee an sich macht sicherlich Sinn, allerdings sollte dieses Protokoll dann ähnlich wie das Sitemaps-Protokoll von den anderen Suchmaschinen ebenfalls benutzt werden.

Die Vorteile liegen auf der Hand, die Crawler würden weitaus weniger arbeit damit haben eine Seite komplett zu spidern und demnach den Server entlasten. Der Duplicate Content würde sich ohne großen Aufwand minimieren lassen.

Was für schwarze Tricks sich damit anstellen lassen wird sich zeigen.

Wieder ein klarer Fall der zeigt das die Suchmaschinen enger zusammenarbeiten sollten.