googlewebmastercentral-de: Search-Evaluierung in Google

Search-Evaluierung in Google

Dienstag, 16. September 2008

Diese Reiheersten Post

Erstens müssen wir verstehen, was User tatsächlich wollen, wenn sie eine Suchanfrage eingeben - diese "Intention" der Suchanfrage festzustellen kann sehr schwierig sein. Für Navigationssuchanfragen wie [ebay] oder [orbitz] können wir mit einiger Sicherheit wissen, dass User zu der jeweiligen Site gelangen möchten. Aber wie steht es mit [Olympiade]? Will der User Nachrichten, eine Medaillenübersicht der kürzlich stattgefundenen Spiele in Peking, die Homepage des IOCs, geschichtliche Information über die Spiele oder ... ? Dies ist genau dieselbe Frage, die sich natürlich unsere Ranking- und UI-Teams stellen. Evaluierung ist die andere Seite dieser Medaille.

Zweitens ist es nie eine schwarz-weiße Angelegenheit, die Qualität von Suchmaschinen zu vergleichen - ob es nun darum geht, Google gegen unsere Konkurrenz abzugleichen, Google gegen Google vor einem Monat oder Google gegen Google inklusive des "Buchstabe T"-Hacks. Es ist schlicht unmöglich, eine Änderung vorzunehmen, die sich in allen Situationen 100% positiv auswirkt; mit jeder algorithmischen Änderung, die wir an der Suche vornehmen, werden sich viele Suchergebnisse verbessern, andere werden jedoch schlechter werden.

Drittens gibt es verschiedene Dimensionen von "guten" Resultaten. Traditionell hat Search-Evaluierung einen Fokus auf die Relevanz der Ergebnisse, und natürlich ist das auch unsere höchste Priorität. Der heutige Suchmaschinen-User erwartet jedoch mehr als nur Relevanz. Sind die Ergebnisse aktuell und zeitgemäß? Stammen sie von Quellen mit Autorität? Sind sie umfassend? Sind sie frei von Spam? Enthalten ihre Titel und Snippets genügend Beschreibungen? Beinhalten sie zusätzliche UI-Elemente, die User für ihre Suchanfrage hilfreich finden könnten, wie etwa Karten, Bilder, Vorschläge für die Suchanfrage etc.? Mit unserer Evaluierung versuchen wir jeden dieser Bereiche so gut wie möglich abzudecken.

Viertens verlangt die Evaluierung von Googles Suchqualität einen extrem breiten Ansatz. Wir decken über hundert Sprachgebiete(Land/Sprach-Paare) mit eingehender Evaluierung ab. Über den Fokus auf diese Sprachgebiete hinaus unterstützen wir Search Quality-Teams in ihrer Arbeit an vielen verschiedenen Arten von Suchanfragen und Features. Beispielsweise messen wir explizit die Qualität von Googles Buchstabiervorschlägen, Ergebnisse der universellen Suche, Bilder- und Video-Suchanfragen, Vorschläge von verwandten Suchanfragen, Oneboxes für Aktien und vieles, vieles mehr.

Menschliche Evaluierer. Google setzt Evaluierer in vielen Ländern und Sprachen ein - sie sind bestens vorbereitet und haben die Aufgabe, die Qualität von Suchergebnissen auf verschiedene Weisen zu beurteilen. Manchmal zeigen wir den Evaluierern eine ganze Reihe von Ergebnissen nacheinander, manchmal auch gleichzeitig mit Alternativen. In anderen Fällen zeigen wir ihnen ein einzelnes Ergebnis für eine Suchanfrage und lassen sie dessen Qualität anhand verschiedener Kriterien bestimmen.

Live-Traffic-Experimente. Wir setzen auch Experimente ein, in denen bei Bruchteilen von Suchanfragen Ergebnisse von alternativen Herangehensweisen in der Suche angezeigt werden. Ben Gomes hat in seinem vorherigen Post darüber gesprochen, wie wir von diesen Experimenten um UI-Elemente der Suche zu testen Gebrauch machen. Durch diese Experimente, sind wir in der Lages zu sehen, wie User wirklich auf alternative Ergebnisse reagieren (durch Klicks etc.).