Googles Crawler lernt den Umgang mit dynamischen Inhalten

Bei vielen online Angeboten gehört der Einsatz von Ajax zum Standard. Von Googles Suchmaschinen Bot wurde es bisher jedoch nicht beachtet und Seiten, die auf dieser Technologie aufbauen waren meist schlecht im Google-Index vertreten. Doch das ändert sich nun.
Wie im Webmaster Blog beschrieben, hat Google seine Crawler so angepasst, dass auch dynamische Inhalte besser gecrawlt werden können.
Dafür simuliert Google einen normalen Seiten Aufruf und analysiert die dadurch erzeugen Post und XMLHttp-Requests. Die dadurch erzeugten Inhalte werden dann ebenfalls gecrawlt und indiziert. Benutzer-Aktionen sollen dabei nicht ausgeführt werden.
Damit das alles reibungslos klappt, gibt Google in dem Blogbeitrag einige Tips, die den Crawler bei der Arbeit unterstützen können:
  • man sollte GET verwenden anstelle von Post um Resourcen nachzuladen
  • die nachgeladenen Resourcen sollte über die robots.txt für den Crawler freigegeben sein
  • der gelieferte Inhalt soll der selbe sein, den auch ein normaler Besucher der Seite erhalten würde
  • der Inhalt soll relevant sein und informativ und wichtig für den Besucher


Wir sind nun alle gespannt über die ersten Kommentare von Webmastern über diese neue Funktion des Googlebots. Ob es was bringt und ob es sich lohnt erfahren wir in den nächsten Wochen.

blog comments powered by Disqus