Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Änderungen der Crawling-Fehlermeldungen für Weiterleitungen
Dienstag, 28. Januar 2014
In der Vergangenheit gab es bei Webmastern gelegentlich Verwirrung darüber, wie
Crawling-Fehler
auf weiterleitenden Seiten in den
Webmaster-Tools
angezeigt werden. Es ist also an der Zeit, die Diagnose klarer und einfacher zu gestalten! Während wir früher den Fehler auf der ursprünglichen weiterleitenden URL gemeldet haben, zeigen wir jetzt den Fehler auf der endgültigen URL an. Diese URL gibt den eigentlichen Fehlercode zurück.
Hier ein Beispiel:
URL A leitet auf URL B weiter, die wiederum einen Fehler zurückgibt. Die Art der Weiterleitung und der Fehlertyp sind hier nicht relevant.
In der Vergangenheit haben wir den am Ende aufgezeichneten Fehler unter URL A gemeldet. Jetzt wird er stattdessen unter URL B gemeldet. Dies vereinfacht die Diagnose der in den Webmaster-Tools angezeigten Crawling-Fehler. Mit Tools wie
cURL
oder eurer bevorzugten
Online-Server-Header-Prüfung
könnt ihr nun einfach bestätigen, dass der eigentliche Fehler von URL B ausgeht.
Diese Änderung ist möglicherweise auch in der Gesamtfehleranzahl mancher Websites sichtbar. Wenn eure Website beispielsweise auf eine neue Domain umzieht, werden nur diese Fehler für die neue Domain angezeigt, vorausgesetzt, die alte Domain leitet korrekt weiter. Dies kann zu merklichen Änderungen der Gesamtfehleranzahl für solche Websites führen.
Beachtet, dass diese Änderung sich nur darauf auswirkt, wie die Crawling-Fehler in den Webmaster-Tools angezeigt werden. Bedenkt außerdem, dass Crawling-Fehler für URLs, die Fehler zurückgeben sollten (z. B. nicht vorhandene URLs)
keine negativen Auswirkungen auf die Indexierung oder das Ranking der übrigen Website haben
(auch
diskutiert auf Google+
).
Wir hoffen, diese Änderung vereinfacht das Aufspüren von Crawling-Fehlern und die Bereinigung von unbeabsichtigten Fehlern, die euch nicht bewusst waren. Falls ihr noch Fragen habt, könnt ihr sie gerne hier posten oder einen Blick in die
Foren für Webmaster von Google
werfen.
Post von
John Mueller
, Webmaster Trends Analyst (Veröffentlicht von
Johannes Mehlem
, Search Quality Team)
Ein neuer Googlebot-User-Agent für das Crawling von Smartphone-Content
Donnerstag, 23. Januar 2014
Im Laufe der Jahre hat Google unterschiedliche Crawler verwendet, um Content für Feature-Phones und Smartphones zu crawlen und zu indexieren. Diese für Mobilgeräte konzipierten Crawler wurden alle als Googlebot-Mobile bezeichnet. Feature-Phones und Smartphones weisen jedoch deutlich unterschiedliche Geräteleistungen auf. So haben Webmaster in einigen Fällen versehentlich das Crawling oder die Indexierung von Smartphones blockiert, obwohl sie eigentlich nur das Crawling und Indexieren von Feature-Phones blockieren wollten. Diese Doppeldeutigkeit machte es Google unmöglich, Smartphone-Content auf einigen Websites zu indexieren oder zu erkennen, dass diese Websites für Smartphones optimiert sind.
Ein neuer Googlebot für Smartphones
Zur Klärung der Situation und um Webmastern mehr Kontrolle zu geben, werden wir in 3 bis 4 Wochen den "Googlebot-Mobile" für Smartphones als User-Agent ausmustern.Von da an wird der User-Agent für Smartphones sich einfach als "Googlebot" ausweisen, er wird jedoch weiterhin als "mobil" anderswo im User-Agent-String gelistet sein. Hier die neuen und alten User-Agents:
Der neue Googlebot-User-Agent für Smartphones:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible;
Googlebot
/2.1; +http://www.google.com/bot.html)
(Update August 2015)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot
/2.1;
+http://www.google.com/bot.html)
Der Googlebot-Mobile-User-Agent für Smartphones wird demnächst ausgemustert:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot-Mobile
/2.1;
+http://www.google.com/bot.html)
Diese Änderung betrifft nur den Googlebot-Mobile für Smartphones. Der User-Agent des regulären Googlebot wird nicht geändert. Die verbleibenden zwei Googlebot-Mobile-Crawler werden sich in ihren User-Agent-Strings weiterhin auf Feature-Phone-Geräte beziehen. Dies sind folgende User-Agents:
Regulärer Googlebot-User-Agent:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Die beiden Googlebot-Mobile-User-Agents für Feature-Phones:
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Ihr könnt eure Website mit der
Funktion "Abruf wie durch Google" in den Webmaster-Tools
testen und eine komplette Liste unserer
vorhandenen Crawler in der Hilfe für Webmaster
einsehen.
Crawling und Indexierung
Bitte beachtet folgende wichtige Auswirkung des User-Agent-Updates:
Der neue Googlebot-Crawler für Smartphones wird anstelle des Googlebot-Mobile den robots.txt-, den Robots-Meta-Tag- und den HTTP-Header-Anweisungen für den Googlebot folgen.
Mit dem neuen Crawler blockiert beispielsweise die folgende robots.txt-Anweisung jedes Crawling durch den neuen Googlebot-User-Agent für Smartphones sowie den regulären Googlebot:
User-Agent: Googlebot
Disallow: /
Diese robots.txt-Richtlinie wird das Crawling durch die Feature-Phone-Crawler von Google blockieren:
User-Agent: Googlebot-Mobile
Disallow: /
Unseren internen Analysen zufolge wirkt sich dieses Update auf weniger als 0,001 % der URLs aus. Gleichzeitig erhalten Webmaster mehr Kontrolle über das Crawling und die Indexierung ihrer Inhalte.Wie immer könnt ihr bei Fragen
unsere
Empfehlungen für den Aufbau von Smartphone-optimierten Websites
lesen,
weitere Informationen über
die Steuerung des Crawlings und der Indexierung durch den Googlebot
(in Englisch) erhalten und
in unseren
Foren für Webmaster
nachfragen oder einen unserer
Hangouts während der Geschäftszeiten der Webmaster-Zentrale
besuchen.
Post von Zhijian He, Smartphone Search Engineer (Veröffentlicht von
Johannes Mehlem
, Search Quality Team)
Labels
Accessibility
Android
api
App-Indexierung
Best Practices
Code
Crawling und Indexierung
Diskussionsforum
Duplicate Content
Einsteiger
Geo-Targeting
Google Analytics
Google Places
Google-Suche
Google+
Hacking
https
JavaScript
Konferenz
Links
Malware
Mobile
Nachrichten-Center
Penalties
Performance
Rich Snippets
Richtlinien für Webmaster
robots.txt
Safe Browsing
Search Console
Sicherheit
Site Clinic
Sitemaps
Spam Report
Structured Data
Tools und Gadgets
Video
Webmaster-Academy
Webmaster-Tools
Archiv
2016
Januar
2015
Dezember
November
Oktober
September
August
Juli
Mai
April
März
Februar
Januar
2014
November
Oktober
September
August
Juni
Mai
April
März
Februar
Januar
Änderungen der Crawling-Fehlermeldungen für Weiter...
Ein neuer Googlebot-User-Agent für das Crawling vo...
2013
Dezember
November
Oktober
August
Juli
Juni
Mai
April
März
Februar
Januar
2012
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2011
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2010
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2009
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2008
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2007
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
