Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Ein Vorschlag, AJAX crawlbar zu machen
Mittwoch, 14. Oktober 2009
Wir möchten heute gerne einen neuen Standard vorschlagen, um AJAX-basierte Websites crawlbar zu machen. Sowohl Webmaster als auch User können davon profitieren, auf AJAX basierende dynamische und interaktive Websites in den Suchergebnisse jeder Suchmaschine, die dies unterstützt, zugänglich zu machen. Es würde unserer Ansicht nach das Web entscheidend verbessern, diesen Content crawl-und indexierbar zu machen.
AJAX-basierte Websites sind zwar bei Usern beliebt, Suchmaschinen ist es jedoch traditionell nicht möglich, auf diesen Content zuzugreifen. Unsere letzte Untersuchung hat ergeben, dass fast 70 % der uns bekannten Websites in irgendeiner Form JavaScript verwenden. Natürlich handelt es sich bei der Mehrheit dieses JavaScript nicht um AJAX, aber je mehr Suchmaschinen AJAX crawlen und indexieren könnten, desto mehr Entwickler könnten so genannte "rich" Features zu ihren Websites hinzufügen und immer noch in Suchmaschinen auftauchen.
Einige der Ziele unseres Vorschlags sind:
Geringe Anpassungen bei einer wachsenden Website
User und Suchmaschinen sehen denselben Content (kein Cloaking)
Suchmaschinen können User direkt auf die AJAX-URL verweisen (keine statische Kopie)
Sitebesitzer können ueberpruefen, ob ihre AJAX-Website richtig erscheint und somit, ob der Crawler Zugriff auf den gesamten Content hat
Hier ist unser Vorschlag, wie Suchmaschinen AJAX crawlen und indexieren könnten:
Leichte Veränderung der URL-Teile für statusabhängige AJAX-Seiten
Statusabhängige AJAX-Seiten zeigen denselben Content, sofern direkt auf sie zugegriffen wird. Diese Seiten könnten in Suchergebnissen auftauchen. Anstelle einer URL wie
http://example.com/page?query#state
, schlagen wir vor, einen Token hinzufügen, der es ermöglicht, diese URLs zu erkennen:
http://example.com/page?query#[FRAGMENTTOKEN]state
. Basierend auf einer Untersuchung der URLs, die es zur Zeit im Web gibt, schlagen vor, "!" (ein Ausrufungszeichen) als den Token hierfür zu verwenden. Die URL, die in Suchergebnissen gezeigt werden könnte, wäre dann:
http://example.com/page?query#!state
.
Verwendung eines Browsers ohne GUI, der einen HTML-Snapshot an euren Webserver ausgibt
Der GUI-freie Browser wird dazu verwendet, auf AJAX-Seiten zuzugreifen und HTML-Code basierend auf dem Endzustand im Browser zu generieren. Nur speziell getaggte URLs werden an den GUI-freien Browser zur Verarbeitung weitergegeben. Da dies auf der Serverseite passiert, hat der Websitebesitzer Kontrolle über den generierten HTML-Code, und er kann leicht verifizieren, dass der gesamte JavaScript ordnungsgemäß ausgeführt wird. Ein Beispiel für einen solchen Browser ist
HtmlUnit
, ein Open-Source Browser ohne GUI für Java-Programme.
Escapen von Statusinformationen, damit Suchmaschinen-Crawler auf diese URLs zugreifen können
Da URL-Fragmente nie ohne Anfrage zu Servern geschickt werden, ist es notwendig, die URL, die zum Seitenaufruf verwendet wird, leicht zu modifizieren. Gleichzeitig wird dadurch dem Server mitgeteilt, mit dem GUI-freien Browser HTML-Code zu generieren, anstelle die Seite mit JavaScript widerzugeben. Andere existierende URLs - wie etwa die, die von Usern verwendet werden - würden außerhalb des GUI-freien Browsers normal verarbeitet werden. Wir schlagen vor, die Statusinformation mit einem Escape-Zeichen zu versehen und sie zu den Query-Parametern mittels eines Token hinzuzufügen. Um auf das vorherige Beispiel zurückzugreifen, eine derartige URL könnte
http://example.com/page?query&[QUERYTOKEN]=state
sein. Basierend auf unserer Analyse der URLs im Web schlagen wir vor, "_escaped_fragment_" als Token zu verwenden. Die vorgeschlagene URL wäre dann
http://example.com/page?query&_escaped_fragment_=state
.
Anzeige von Original-URLs in den Suchergebnissen
User sollten direkt auf die AJAX-basierten Seiten zu verwiesen werden, um eine bessere User-Erfahrung zu bieten. Dies kann erreicht werden, indem die Original-URL (wie etwa
http://example.com/page?query#!state
aus unserem vorherigen Beispiel) in den Suchergebnissen gezeigt wird. Suchmaschinen können überprüfen, dass der indexierbare Text, der an Googlebot zurückgegeben wird, derselbe oder zumindest ein Auszug des Textes ist, der an die User ausgegeben wird.
(Grafik von Katharina Probst)
Zusammenfassend: Wenn wir von einer statusabhängigen URL wie z. B.
http://example.com/dictionary.html#AJAX
ausgehen, so könnte diese für Crawler und User als
http://example.com/dictionary.html#!AJAX
aufrufbar sein, und sie könnte als
http://example.com/dictionary.html?_escaped_fragment_=AJAX
gecrawlt werden. Die URL würde Usern dann wie folgt gezeigt und als solche aufrufbar sein:
http://example.com/dictionary.html#!AJAX
Hier findet ihr die Original-Präsentation
.
Wir arbeiten zur Zeit an der Implementierung eines Prototypen. Euer Feedback ist jederzeit willkommen - bitte postet eure Kommentare hier oder in unserem
englischsprachigen Diskussionsforum für Webmaster
. Danke für euer Interesse daran, AJAX-basierte Websites für Suchmaschinen erreichbar zu machen!
A proposal for making AJAX crawlable (English version)
Vorschlag von Katharina Probst, Bruce Johnson, Arup Mukherjee, Erik van der Poel und Li Xiao, Google
Post von John Mueller, Webmaster Trends Analyst, Google Zürich (Übersetzung von Claudia, Search Quality)
Keine Kommentare :
Kommentar veröffentlichen
Labels
Accessibility
Android
api
App-Indexierung
Best Practices
Code
Crawling und Indexierung
Diskussionsforum
Duplicate Content
Einsteiger
Geo-Targeting
Google Analytics
Google Places
Google-Suche
Google+
Hacking
https
JavaScript
Konferenz
Links
Malware
Mobile
Nachrichten-Center
Penalties
Performance
Rich Snippets
Richtlinien für Webmaster
robots.txt
Safe Browsing
Search Console
Sicherheit
Site Clinic
Sitemaps
Spam Report
Structured Data
Tools und Gadgets
Video
Webmaster-Academy
Webmaster-Tools
Archiv
2016
Januar
2015
Dezember
November
Oktober
September
August
Juli
Mai
April
März
Februar
Januar
2014
November
Oktober
September
August
Juni
Mai
April
März
Februar
Januar
2013
Dezember
November
Oktober
August
Juli
Juni
Mai
April
März
Februar
Januar
2012
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2011
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2010
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2009
Dezember
November
Oktober
Layout - CSS oder Tabellen?
Update zu Rich Snippets
Überprüfung von Blogger-Blogs in den Webmaster-Tools
Suchanfragen verdienen Aktualität. Tatsache oder G...
Eine Million YouTube-Aufrufe
Reputationsmanagement in den Suchergebnissen
Tipps zum Umgang mit ungewollten Links
Duplicate Content zusammenführen
Abruf wie beim Googlebot und Malware-Details - jet...
Ein Vorschlag, AJAX crawlbar zu machen
Neues Tool zur Parameterbehandlung bei Duplicate C...
Webmaster-Tools: Änderungen bei der Bestätigung vo...
Übersetzt eure Website mit Google: Schafft euch ei...
Wird Anchor-Text bei einer 301-Weiterleitung berüc...
Google Friend Connect: Statt FTP einfach loslegen!
Mehr über PageRank-Sculpting
Anchor in den neuen Suchergebnis-Snippets
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2008
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2007
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
Keine Kommentare :
Kommentar veröffentlichen