Webmaster-Zentrale Blog
Offizielle Informationen zum Crawling und zur Indexierung von Webseiten und News für Webmaster
Ein neuer Googlebot-User-Agent für das Crawling von Smartphone-Content
Donnerstag, 23. Januar 2014
Im Laufe der Jahre hat Google unterschiedliche Crawler verwendet, um Content für Feature-Phones und Smartphones zu crawlen und zu indexieren. Diese für Mobilgeräte konzipierten Crawler wurden alle als Googlebot-Mobile bezeichnet. Feature-Phones und Smartphones weisen jedoch deutlich unterschiedliche Geräteleistungen auf. So haben Webmaster in einigen Fällen versehentlich das Crawling oder die Indexierung von Smartphones blockiert, obwohl sie eigentlich nur das Crawling und Indexieren von Feature-Phones blockieren wollten. Diese Doppeldeutigkeit machte es Google unmöglich, Smartphone-Content auf einigen Websites zu indexieren oder zu erkennen, dass diese Websites für Smartphones optimiert sind.
Ein neuer Googlebot für Smartphones
Zur Klärung der Situation und um Webmastern mehr Kontrolle zu geben, werden wir in 3 bis 4 Wochen den "Googlebot-Mobile" für Smartphones als User-Agent ausmustern.Von da an wird der User-Agent für Smartphones sich einfach als "Googlebot" ausweisen, er wird jedoch weiterhin als "mobil" anderswo im User-Agent-String gelistet sein. Hier die neuen und alten User-Agents:
Der neue Googlebot-User-Agent für Smartphones:
Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible;
Googlebot
/2.1; +http://www.google.com/bot.html)
(Update August 2015)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot
/2.1;
+http://www.google.com/bot.html)
Der Googlebot-Mobile-User-Agent für Smartphones wird demnächst ausgemustert:
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible;
Googlebot-Mobile
/2.1;
+http://www.google.com/bot.html)
Diese Änderung betrifft nur den Googlebot-Mobile für Smartphones. Der User-Agent des regulären Googlebot wird nicht geändert. Die verbleibenden zwei Googlebot-Mobile-Crawler werden sich in ihren User-Agent-Strings weiterhin auf Feature-Phone-Geräte beziehen. Dies sind folgende User-Agents:
Regulärer Googlebot-User-Agent:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Die beiden Googlebot-Mobile-User-Agents für Feature-Phones:
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Ihr könnt eure Website mit der
Funktion "Abruf wie durch Google" in den Webmaster-Tools
testen und eine komplette Liste unserer
vorhandenen Crawler in der Hilfe für Webmaster
einsehen.
Crawling und Indexierung
Bitte beachtet folgende wichtige Auswirkung des User-Agent-Updates:
Der neue Googlebot-Crawler für Smartphones wird anstelle des Googlebot-Mobile den robots.txt-, den Robots-Meta-Tag- und den HTTP-Header-Anweisungen für den Googlebot folgen.
Mit dem neuen Crawler blockiert beispielsweise die folgende robots.txt-Anweisung jedes Crawling durch den neuen Googlebot-User-Agent für Smartphones sowie den regulären Googlebot:
User-Agent: Googlebot
Disallow: /
Diese robots.txt-Richtlinie wird das Crawling durch die Feature-Phone-Crawler von Google blockieren:
User-Agent: Googlebot-Mobile
Disallow: /
Unseren internen Analysen zufolge wirkt sich dieses Update auf weniger als 0,001 % der URLs aus. Gleichzeitig erhalten Webmaster mehr Kontrolle über das Crawling und die Indexierung ihrer Inhalte.Wie immer könnt ihr bei Fragen
unsere
Empfehlungen für den Aufbau von Smartphone-optimierten Websites
lesen,
weitere Informationen über
die Steuerung des Crawlings und der Indexierung durch den Googlebot
(in Englisch) erhalten und
in unseren
Foren für Webmaster
nachfragen oder einen unserer
Hangouts während der Geschäftszeiten der Webmaster-Zentrale
besuchen.
Post von Zhijian He, Smartphone Search Engineer (Veröffentlicht von
Johannes Mehlem
, Search Quality Team)
Keine Kommentare :
Kommentar veröffentlichen
Labels
Accessibility
Android
api
App-Indexierung
Best Practices
Code
Crawling und Indexierung
Diskussionsforum
Duplicate Content
Einsteiger
Geo-Targeting
Google Analytics
Google Places
Google-Suche
Google+
Hacking
https
JavaScript
Konferenz
Links
Malware
Mobile
Nachrichten-Center
Penalties
Performance
Rich Snippets
Richtlinien für Webmaster
robots.txt
Safe Browsing
Search Console
Sicherheit
Site Clinic
Sitemaps
Spam Report
Structured Data
Tools und Gadgets
Video
Webmaster-Academy
Webmaster-Tools
Archiv
2016
Januar
2015
Dezember
November
Oktober
September
August
Juli
Mai
April
März
Februar
Januar
2014
November
Oktober
September
August
Juni
Mai
April
März
Februar
Januar
Änderungen der Crawling-Fehlermeldungen für Weiter...
Ein neuer Googlebot-User-Agent für das Crawling vo...
2013
Dezember
November
Oktober
August
Juli
Juni
Mai
April
März
Februar
Januar
2012
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2011
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2010
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2009
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2008
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Februar
Januar
2007
Dezember
November
Oktober
September
August
Juli
Juni
Mai
April
März
Feed
Forum für Webmaster
Webmaster-Sprechstunden
Webmaster-Tools-Hilfe
Developers-Site für Webmaster
Keine Kommentare :
Kommentar veröffentlichen