Wenn der Googlebot durchs Web gleitet, begegnet er oft einem Phänomen, das wir "endlose Weiten" nennen. Dabei handelt es sich um eine sehr große Anzahl von Links, die in den meisten Fällen sehr wenig oder gar keinen neuen Content zum Indexieren bieten. Falls das auf eurer Site der Fall sein sollte, könnte das Crawlen dieser URLs unnötige Bandbreite beanspruchen und dazu führen, dass der Googlebot nicht in der Lage ist, den tatsächlichen Content der Site komplett zu erfassen. Webmaster-Tools finden. Wahrscheinlich wollt ihr so schnell wie möglich erfahren, ob der Googlebot dieses - oder ein anderes - Problem beim Crawlen eurer Websites hat. Deshalb überprüft eure Site doch einfach in den Webmaster-Tools und schaut ab und an mal im Nachrichten-Center vorbei. Endlose Weiten in Beispielen Artikel in der Hilfe für Webmaster beschreibt weitere Umstände, unter denen endlose Weiten entstehen können und enthält Empfehlungen, wie man das Problem umschiffen kann. Eine Lösung bestünde darin, ganze Kategorien von dynamisch erzeugten Links durch die robots.txt-Datei zu blockieren. Die Hilfe für Webmaster enthält viele Informationen dazu, wie man robots.txt einsetzen kann. Überprüft in diesem Fall aber auch, ob der Googlebot noch in der Lage ist, euren gesamten Content auf anderem Wege aufzufinden. Ein anderer Lösungsansatz bestünde darin, die problematischen Links mit dem "nofollow"-Linkattribut zu versehen. Für mehr Infos zu "nofollow"-Links werft doch ebenfalls einen Blick in unsere Hilfe für Webmaster! To infinity and beyond? No! (English version)
Von den "undendlichen" Weiten werden mir im WMT gerade einmal 61 Links angezeigt. Dabei sind so gut wie alle über die robots.txt exkludiert.
AntwortenLöschenAuch Links zu Bildern (in meinem Fall Produktbilder) werden hier gelistet, die ich natürlich crawlen lassen will.
Das "Feature" ist in dieser Form einfach nutzlos!