(geb. Pfeiffer)

Wordpress- & Facebook-Programmierer
Navigationsmenü+

Google besser als Bing – eine empirische Untersuchung

Gepostet am 2. Februar 2011 ·

Google berichtet heute in seinem offiziellen Blog, dass die Microsoft-Suchmaschine Bing offenbar Suchergebnisse von Google kopiere und als seine eigenen ausgebe. Microsoft bestreitet das. Die zugrunde liegende Frage ist allerdings, wer von beiden liefert denn tatsächlich die besseren Suchergebnisse? Jenseits von Design und Usability: wer hat die Nase vorn und liefert mehr relevante Treffer?

Um das zu untersuchen, habe ich eine Art Meta-Suchmaschine programmiert. Diese leitet eine menschliche Suchanfrage an beide Suchmaschinen insgeheim weiter und präsentiert deren Ergebnisse in abwechselnder Reihenfolge ohne die Suchmaschine zu nennen, die den Treffer lieferte. Klickte ein Suchender auf ein Ergebnis, das ursprünglich von Google stammte, bekam die Firma in Mountain View (Google) einen Punkt, bei Bing ging der Punkt nach Redmond. Lieferten beide Suchmaschinen auf dem selben Listenplatz das gleiche Ergenis, ging der Punkt an beide. Mehr zu Untersuchungsdesign im Blogpost »Bing vs. Google«.

Google liefert die relevanteren Suchergebnisse

Okay, „Hund beißt Mann“ werden einige sagen und manche kommentieren, aber ich wollte es genauer herausfinden, was viele vielleicht meinen. Wer ist nun besser?

695 mal wurde die Metasuchmaschine befragt und auf ein resultierendes Ergebnis geklickt. Nicht sooo häufig, aber für eine statistische Aussage sind es genügend Messwerte (Chi-Quadrat-Test), um sogar das starke Signifikanzniveau von 0,1% zu erhalten.

Von den 695 ausgewerteten Klicks entfielen 150 auf beide Suchmaschinen, das heißt, hier lieferten beide Maschinen das gleiche Ergebnis auf dem gleichen Listenplatz. Im direkten Vergleich lieferte Google 330 geklickte Treffer und Bing 215. Der Unterschied ist so groß, dass man ihn nur mit einer Wahrscheinlichkeit von weniger als 0,1% erwarten würde (Chi-Quadrat-Test)

Die Reihenfolge in der gemischten Ergebnisliste war immer abwechselnd, das heisst, jede der beiden Suchmaschinen wurde gleich häufig auf Platz eins bzw. erst auf Platz zwei angezeigt. Wenn beide Suchmaschinen gleich gute, d.h. relevante und damit klickbare Ergenisse lieferten, wäre zu erwarten, dass die Klickraten bei beiden Suchmaschinen ähnlich sind, also bei 695 Versuchen etwa plus/minus 30 Treffer. Mit anderen Worten: Weil es in Wahrheit deutlich mehr als diese 30 Treffer Unterschied sind, kann man das Ergebnis fast (mit 99,9% Wahrscheinlichkeit) als nicht zufällig betrachten: Google liefert die relevanteren Suchergebnisse – sie werden deutlich häufiger von Menschen angeklickt.

The winner takes it all

Wenig überraschend: Wer auf Platz eins in der Trefferliste steht, bekommt die meisten Klicks ab, der Abfall (Wortwitz!) ab Listenplatz zwei fällt sehr stark aus.

17 Kommentare

  1. Niceone! Cleveres Design mit der Metasuchmaschine.

    Aber: Wer waren denn die Teilnehmer der Studie? “695 mal wurde die Metasuchmaschine befragt”, von wem denn? Und was waren die Themen/Suchbegriffe?

  2. Hallo,

    die Suchmaschine durfte (und darf) jede_r nutzen. Sie war im ursprünglichen Blogpost verlinkt:
    http://webevangelisten.de/binggoogle/

    Aufgrund meiner Leserschaft gehe ich davon aus, dass die Themen bzw. Testpersonen technikaffin sind. Unter den Suchanfragen sind Begriffe bzw. Begriffkombinationen wie “Linux” und “Social Media”, aber auch Begriffe wie “Harry Potter” und “Buddhismus” und “Osnabrücker Zeitung”.

  3. Die Frage der Relevanz oder der Güte der Suchergebnisse ist durch die Anzahl der Klicks überhaupt nicht abgebildet. Müssten hier nicht Inhaltsanalysen der Treffer durchgeführt werden?

    Wie viel gesuchte Information besitze ich, nachdem ich 3 Treffer geklickt habe?

  4. @Marcus Ich habe versucht, die Relevanz der Treffer dadurch zu operationalisieren, dass ein Treffer dann als “relevant” gesehen wird, wenn jemand darauf klickt. Damit wird natürlich auch der Vorschautext mit bewertet.

    Aber von einer Inhaltsanalyse habe ich abgesehen, weil die Relevanz schließlich von Menschen eingeschätzt wird, nicht von mir oder einem von mir oder anderen definierter Algorithmus.

    • Manchmal sind die Vorschautexte so gut, dass ich nicht mehr auf den Link klicke, weil die gesuchte Info schon im Vorschautext auftaucht. Bei Google sehr häufig, wenn ich eine Adresse suche.

  5. Vielleicht ein Schnellschuss meinerseits, aber:

    - hier sollen doch Anteilswerte verglichen werden, oder? Wie wurde denn hier der Chi-Qudarat werd ermittelt? Wie lautet der Wert der Teststatistik? Die verlinkte Seite erläutert das Chi-Quadrat-Maß im Zusammenhang mit dem Vergleich von theoretische und empirische Verteilung (also bspw. die Frage: Folgen meine Daten einer Normalverteilung?).

    - Die Interpretation der Signifikanz ist auch etwas ‘wackelig’ :-) Dem Wikipedia-Artikel p-Wert kann man (halbwegs) trauen. Leider ist der p-Wert immer als bedingte Wahrscheinlichkeit zu interpretieren, nämlich unter der Gültigkeit der H0: “Er entspricht der Wahrscheinlichkeit, bei Gültigkeit der Nullhypothese den errechneten oder einen extremeren Wert der Teststatistik zu erhalten.” Diese Erläuterung kann man aber eigentlich niemandem zumuten…

  6. Hallo Bernd,

    meine Nullhpothese war: “Google und Bing sind gleichgut”. Diese habe ich verworfen, weil der errechnete Wert bei 24,2 lag.

  7. Zwei im Kampf um die Rangordnung auf dem Markt. Ein Trickser wirft dem anderen Trickser unlauteres Verhalten vor.

  8. Die statistische Berechnung dürfte so passen. Coole Idee!
    Allerdings stimmt es natürlich, dass ein Klick nicht unbedingt bedeutet, dass das Ergebnis “besser” ist. Aber anders kann man das, gerade als Einzelperson wohl kaum vergleichen. Interessant dabei: Offensichtlich “klaut” Microsoft, so sie es denn tun, nicht nur bei Google, sonst wär das Ergebnis ja wieder ausgeglichen ;-).

    Ein weiterer Aspekt deiner letzten Statistik: Offensichtlich scheint es besser zu sein auf Seite 2 in den Top3 zu stehen, alsauf Seite 1 auf Position 10 (Ich schätze, dass es 10 Treffer pro Seite gab?). Also in Zukunft Suchmaschinendeoptimierung betreiben, wenn man auf Platz 10 steht! ;-)

  9. Nur weil jemand auf ein Ergebnis klickt, heißt das noch nicht, dass es auch wirklich relevanter ist. Viele Spamseiten haben super Titel und wirken extrem relevant… sind es aber in keinster Weise.

  10. i like it Google besser als Bing – eine empirische Untersuchung | Webevangelisten now im your rss reader

  11. @Tim Koch: Es wurden nun 15 Ergebnisse ausgeliefert und die alle auch einer Seite.

  12. @Thomas Pfeiffer:
    Schade :-) Aber danke für die Antwort!

  13. Vielen Dank Daniel für den Link zu Deinem geekroom-Artikel – da lernt man doch tatsächlich noch etwas recht nützliches Neues …!

  14. Ich glaube dass auch in ferner Zukunft Google immer mehr an Usern mitziehen wird, da bin ich mir sicher.

  15. Das ist wie mit den Discountern Aldi und Lidel. Aber ich glaube, dass Google seine Marktposition im Beeich der Suchmaschinen gut zu verteidigen weiß. Der Agierende ist immer schneller als der Reagierende. Bei den Social Media war Google z.B. deutlich zu langsam. Google+ ist und bleibt nur eine Reaktion (noch dazu eine recht mittelmäßige Reaktion). Damit wird es wohl nie so recht was werden.
    Suchmaschine “Google” und “Google earth” bleiben die Joker des Unternehmens.

Trackbacks/Pingbacks

  1. Thomas Pfeiffer von den Webevangelisten im Interview | Face Port - [...] dir steckt ein Analytiker das du analysierst beinahe alles angefangen bei den Suchmaschinen  bis hin zu Stuttgart 21  Ist …