Informatik

Ich gab sechs KI die gleiche Kaufrecherche: Sie fanden nicht das gleiche Internet

ChatGPT, Gemini, DeepSeek, Grok, Meta AI und Mistral sollten entscheiden, ob ein iPhone 16 ersetzt werden soll. Ihr Konsens verbirgt widersprüchliche Preise, vergessene Regionalvarianten und eine umfassendere Lektion über die Zuverlässigkeit von LLM-Websuche. Veröffentlichungsdatum: 16. September 2026

Ein Smartphone liegt in der Mitte eines Schreibtisches, umgeben von sechs Computern, die unterschiedliche Vergleiche und Preise anzeigen, um die Divergenzen zwischen KI bei derselben Websuche zu illustrieren.

Gibt es heute ein Smartphone, das hinreichend besser ist als ein iPhone 16, um dessen Austausch zu rechtfertigen?

Die Frage wirkt banal. Sie war es nicht.

Am 16. September 2026 habe ich im Wesentlichen das gleiche Lastenheft an sechs KI-Assistenten übergeben: ChatGPT, DeepSeek, Grok, Gemini, Meta AI und Mistral. Kein Drei-Zeilen-Prompt nach dem „besten Telefon der Stunde“, sondern eine echte Kaufrecherche: französischer Markt, Kompaktheit, echte Preise, Akkulaufzeit, Leistung, Foto, Datenschutz, Sicherheit, Reparierbarkeit, Software-Support, GrapheneOS, Kosten nach Wiederverkauf und die explizite Möglichkeit, dass die beste Entscheidung schlicht darin besteht, nichts zu kaufen.

Alle sechs Systeme hatten Zugriff aufs Web. Sie sollten Herstellerquellen priorisieren, Tests kreuzvergleichen, europäische Varianten prüfen, Gegenargumente suchen und Informationen eingestehen, die sie nicht bestätigen konnten.

Das Ergebnis ist interessanter als das Smartphone selbst.

Fünf von sechs KI rieten letztlich dazu, das iPhone 16 zu behalten.

Und doch hatten sie offenbar nicht alle auf dem gleichen Markt recherchiert.

Ein Galaxy S26 konnte 600 €, 750 € oder über 1.000 € wert sein. Dasselbe französische Galaxy S26 besaß in einer Antwort einen Snapdragon, in einer anderen einen Exynos. Einige Assistenten hatten den kürzlich erschienenen Pixel 11 integriert; andere schienen noch in der Ära von Pixel 9 oder Pixel 10 zu leben. Mehrere produzierten sehr präzise Prozentsätze zur GrapheneOS-Kompatibilität, ohne dass ein entsprechender Datensatz tatsächlich existierte.

Das Beunruhigendste war nicht, dass sie sich irren.

Es war, dass ihre Fehler oft genau wie verifizierte Informationen aussahen.

Das Smartphone war nur ein Vorwand

Man muss präzisieren, was dieses Experiment misst und was nicht.

Es ist kein wissenschaftlicher Benchmark der „Intelligenz“ sechs intrinsischer Modelle. Die exakten Versionen, Suchmaschinen, Navigationssysteme, Indizes, Caches, internen Tools und Quellenauswahlstrategien können sich unterscheiden. Ein erneuter Lauf am Folgetag könnte ebenfalls andere Ergebnisse liefern.

Das Experiment misst etwas Konkreteres: die Qualität des Gesamtsystems, das ein Nutzer tatsächlich trifft, wenn er heute eine komplexe Entscheidung einer mit dem Web verbundenen KI anvertraut.

Und das Telefon ist ein hervorragender Stresstest.

Um richtig zu antworten, muss man gleichzeitig:

  • das genaue Datum kennen;
  • sehr aktuelle Produkte entdecken;
  • die in Frankreich verkauften Varianten erkennen;
  • Herstellerpreis, Promotion, Marketplace und Import unterscheiden;
  • Messungen vergleichen, die mit unterschiedlichen Protokollen gewonnen wurden;
  • Softwarethemen wie GrapheneOS verstehen;
  • dem Drang widerstehen, fehlende Daten zu ergänzen;
  • und vor allem in der Lage sein, zu dem Schluss zu kommen, dass ein Kauf vielleicht nicht notwendig ist.

Es reicht also nicht mehr, „Seiten zu finden“.

Man muss verstehen, was sie tatsächlich beweisen.

Erstes überraschendes Ergebnis: Fast alle KI weigern sich, ein Telefon zu verkaufen

Das als Referenz genutzte iPhone 16 misst offiziell 147,6 × 71,6 × 7,8 mm bei 170 g, mit einem 6,1-Zoll-OLED-Bildschirm und einem A18-Chip.

Die Herausforderung war also streng: eine hinreichend große Verbesserung finden, ohne ein kompaktes Telefon in einen Klotz von über 200 Gramm zu verwandeln.

DeepSeek, Grok, Gemini, Meta AI und ChatGPT konvergieren letztlich zur gleichen Idee: kein Kandidat bringt eine global genug offensichtliche Verbesserung, um den Austausch unumgänglich zu machen.

Der Hauptvorwurf, der dem iPhone 16 immer wieder gemacht wird, ist sein auf 60 Hz begrenzter Bildschirm. Auf diesem Punkt bieten der kompakte Android-Markt und das iPhone 17 einen sofort wahrnehmbaren Gewinn.

Das iPhone 17 verfügt tatsächlich über einen ProMotion-Bildschirm mit bis zu 120 Hz, einen A19-Chip, mindestens 256 GB und bleibt mit 149,6 × 71,5 × 7,95 mm bei 177 g vernünftig kompakt.

Samsung macht es bei der Kompaktheit noch besser: Das Galaxy S25 wiegt nur 162 g und misst 146,9 × 70,5 × 7,2 mm. Das S26 legt leicht zu auf 167 g und 149,6 × 71,7 × 7,2 mm.

Aber von „besser auf mehreren Kriterien“ zu „hinreichend besser, um ein bereits funktionierendes neues Telefon zu verkaufen“ ist eine andere Frage.

Genau hier beginnen die Argumentationen auseinanderzulaufen.

Dasselbe Galaxy S26 kostet zwischen 599 und 1.002 Euro

Der Preis ist wohl das beste Beispiel des ganzen Experiments.

Zum Zeitpunkt dieser Recherche listet Idealo das Galaxy S26 256 GB in Schwarz ab 599,69 €. Diese Information ist echt.

Sie ist auch gefährlich unvollständig.

Die günstigsten im Vergleich sichtbaren Angebote stammen von Marketplaces. Idealo weist beispielsweise Verkäufer mit Bewertungen von 1,6/5, 1,0/5 oder 1,1/5 aus.

Gleichzeitig zeigt die Fnac dasselbe Galaxy S26 256 GB für 1.002 € direkt verkauft, mit Drittanbieterangeboten ab ca. 753 €.

Ein weiterer Idealo-Eintrag zeigt sogar Samsung France für eine 256-GB-Variante bei 799 €.

Damit können all die folgenden Sätze mit einer echten Webquelle begleitet werden:

Das Galaxy S26 kostet etwa 600 €.

Das Galaxy S26 kostet etwa 800 €.

Das Galaxy S26 kostet etwa 1.000 €.

Das Problem ist nicht mehr die Informationssuche.

Das Problem ist zu wissen, welcher Preis die Frage des Nutzers tatsächlich beantwortet.

Ein Bodenpreis bei einem sehr schlecht bewerteten Marketplace-Händler hat nicht denselben Entscheidungswert wie ein Herstellerpreis oder ein Direktverkauf über eine große Handelskette. Doch für ein LLM, das einfach die niedrigste Zahl einer Vergleichsseite extrahiert, können sie austauschbar erscheinen.

Und dieser Unterschied ist groß genug, um eine ganze Empfehlung umzukehren.

Mistral veranschaulicht diesen Schmetterlingseffekt perfekt

Mistral bildet die Ausnahme des Experiments.

Dort, wo die fünf anderen Systeme zu „behalt das iPhone“ neigen, drängt seine Antwort deutlich stärker zum Wechsel.

Diese Meinungsverschiedenheit wirkt spektakulär, bis man die Annahmen prüft.

Mistral arbeitet insbesondere mit extrem aggressiven Preisen für mehrere Android-Geräte, kombiniert mit einem relativ hohen Wiederverkaufswert des iPhone 16. In diesem Szenario wird der Kauf eines Galaxy S25 bei gleichzeitiger Veräußerung des iPhone fast finanziell neutral, ja sogar profitabel.

Ab da ist das Urteil logisch.

Aber es hängt enorm von der Solidität des Einstiegspreises ab.

Das S25 liefert selbst ein gutes Beispiel. Darty zeigt derzeit ein Neugerät für 549 €, aber sein eigener Direktverkauf erscheint auf einem anderen Datenblatt bei 902 €, während das 549-€-Angebot von einem Drittanbieter stammt.

Die Frage ist also nicht nur:

„Existiert dieser Preis?“

Sondern:

„Kann ich jemandem tatsächlich empfehlen, eine Entscheidung von mehreren hundert Euro auf genau dieses Angebot zu stützen?“

Der Nuance wirkt winzig. Sie ändert das Urteil.

Grok fand das richtige Telefon… mit dem falschen Chip

Ein anderer Fehlertyp: die Regionalvariante.

Grok identifiziert das Galaxy S26 korrekt als einen der wenigen Android-Konkurrenten, die dem Format des iPhone 16 nahekommen.

Aber seine Analyse weist ihm einen Snapdragon 8 Elite Gen 5 zu.

Für einen Käufer in Frankreich ist das ein Problem.

Samsung France gibt explizit an, dass Galaxy S26 und S26+ den Exynos 2600 nutzen, während das vorherige S25 tatsächlich den Snapdragon 8 Elite für Galaxy verwendete.

Das ist kein kosmetischer Fehler.

Der SoC-Wechsel kann beeinflussen:

  • CPU- und GPU-Leistung;
  • Verbrauch;
  • thermisches Verhalten;
  • Akkulaufzeit;
  • anhaltende Leistung.

Eine KI kann also scheinbar korrekt „das Galaxy S26“ vergleichen, während sie faktisch ein Gerät analysiert, das nicht das ist, was dem Nutzer verkauft wird.

Das ist eine besonders interessante Form moderner Halluzination: Das Produkt existiert, der Chip existiert, die Kombination existiert vielleicht in einer anderen Region, aber das Ganze wird allein durch den geografischen Kontext falsch.

Einige Modelle hatten den Markt vom 16. September bereits verpasst

Das Experiment findet zu einem besonders grausamen Datum für eine unvollkommene Suchmaschine statt.

Der Google Pixel 11 wird in Frankreich bereits ab 999 € vermarktet. Google bestätigt einen Tensor-G6-Chip, einen Titan-M3-Sicherheits-Koprozessor und über 30 Stunden Akkulaufzeit nach seinem Protokoll.

Wenige Tage zuvor, am 9. September, hatte Apple offiziell das iPhone 18 Pro vorgestellt. Vorbestellungen begannen am 12. September, die Verfügbarkeit in Frankreich wurde für den 18. September angekündigt, zu einem Preis ab 1.479 €.

Diese beiden Produkte sind nicht zwingend die besten Wahl für die Mission.

Das ist nicht der Punkt.

Eine Recherche, die vorgibt, den Marktstand am 16. September 2026 abzubilden, muss mindestens wissen, dass sie existieren.

ChatGPT hatte sie integriert. Mehrere Konkurrenten nicht.

Dieser Unterschied beweist nicht, dass ein Modell „intelligenter“ ist. Er zeigt vor allem, dass bei aktueller Recherche die Aktualität Teil der Wahrheit ist.

Eine technisch makellose Antwort zum Juli-Markt kann im September eine schlechte Antwort sein.

Selbst Apple kann Apple widersprechen

Man könnte glauben, das Problem verschwinde, sobald man offizielle Quellen vorschreibt.

Das iPhone 17 beweist das Gegenteil.

Bei seiner Markteinführung am 9. September 2025 kündigte Apple offiziell einen französischen Preis ab 969 € an. Dieser Wert existiert bis heute in der Apple-Pressemitteilung.

Eine französische Apple-Business-Seite zeigt das iPhone 17 256 GB ebenfalls für 969 €.

Aber der aktuell indexierte öffentliche Apple-Shop zeigt 1.119 €.

Derselbe Domain. Derselbe Hersteller. Dasselbe Telefon. Zwei unterschiedliche Beträge.

„Die offizielle Quelle nutzen“ ist also keine hinreichende Strategie.

Man muss noch bestimmen:

  • wann die Seite veröffentlicht wurde;
  • an welches Publikum sie sich richtet;
  • ob es ein Launch-Preis oder ein aktueller Preis ist;
  • ob das Angebot noch gilt;
  • und welcher Kontext wirklich zur Frage passt.

Die Herkunft einer Information und ihre zeitliche Relevanz sind zwei verschiedene Probleme.

Gemini zeigt, warum Präzision eine Illusion sein kann

Gemini ist wohl der faszinierendste Fall des Lots.

Seine Antwort besitzt alles, was in einem Bericht spontan Vertrauen erweckt:

üppige Tabellen, Szenarien, gewichtete Scores, numerische Werte, Finanzprojektionen, detaillierte Akkulaufzeit, Datenschutzbewertungen und Dutzende Referenzen.

Visuell wirkt es fast wie ein Beraterbericht.

Genau das ist die Falle.

Einige Behauptungen sind solide. Andere erlangen eine Präzision, die die verfügbaren Daten nicht erlauben.

Der Fall GrapheneOS ist besonders aufschlussreich.

Zahlen wie „70 % der Bank-Apps kompatibel“ erwecken den Eindruck einer statistischen Messung. Doch GrapheneOS veröffentlicht keinen offiziellen Datensatz, der die weltweite Bankkompatibilität in einen solchen Quotienten übersetzen ließe.

Die Projektdokumentation wählt eine viel vorsichtigere Formulierung: Apps, die Play Integrity nutzen, können alternative Systeme ablehnen, die nicht von Google zertifiziertes Android sind, es sei denn, ihre Entwickler entscheiden sich explizit für die Unterstützung einer kompatiblen Attestation.

Die beiden Formulierungen sind nicht äquivalent.

„Einige Apps funktionieren möglicherweise nicht“ wirkt weniger beeindruckend als ein Prozentsatz.

Aber wenn der Prozentsatz nicht gemessen ist, ist der vage Satz in Wirklichkeit exakter.

Das ist die falsche Präzision: eine schlecht quantifizierte Unsicherheit in eine saubere, beruhigende, einprägsame Zahl zu verwandeln.

Ein LDA kann dann wissenschaftlicher wirken, genau in dem Moment, in dem er weniger rigoros wird.

GrapheneOS war die ideale Falle

Das Thema konzentrierte fast alle Schwierigkeiten des Experiments.

Kann man den Play Store installieren?

Ja.

GrapheneOS bietet eine Kompatibilitätsschicht, um die offiziellen Versionen der Google-Dienste im normalen Android-Sandbox zu nutzen, mit reduzierten Privilegien statt des sonst üblichen speziellen Systemzugriffs. Die Dokumentation beschreibt diesen „Sandboxed Google Play“ explizit.

Muss man den Bootloader entsperrt lassen?

Nein: Die normale GrapheneOS-Installation sieht im Gegenteil sein Wieder-Verriegeln vor, um die verifizierte Bootkette zu erhalten.

Sind alle Pixel kompatibel?

Auch nicht.

Die offizielle Liste von September 2026 umfasst insbesondere Pixel 10, 10 Pro, 10 Pro XL, 10 Pro Fold und 10a, aber nicht die Pixel-11-Reihe.

Und Google Wallet?

NFC-Zahlung via Google Wallet bleibt problematisch, weil GrapheneOS das von Google für diese Funktion erwartete Zertifizierungsmodell nicht erfüllt. Alternative Lösungen können je nach Land und Anbieter existieren, aber ihre Verfügbarkeit darf nicht automatisch extrapoliert werden.

Genau das ist der Bereich, in dem eine KI, die darauf trainiert ist, eine vollständige Antwort zu produzieren, versucht, die Lücken zu füllen.

Und jede gefüllte Lücke erhöht die Wahrscheinlichkeit, eine angenehmere, aber weniger wahre Antwort zu produzieren.

Meta AI: Wenn eine Größenordnung zur Statistik wird

Meta AI begegnet einem verwandten Problem.

Seine Antwort enthält gute Intuitionen. Sie identifiziert notamment das Galaxy S25, das ein besonders logischer Kandidat ist: Es bleibt extrem kompakt, hat einen 120-Hz-Bildschirm und profitiert bereits von einer starken Wertminderung gegenüber seiner ursprünglichen Positionierung.

Aber einige Elemente zu GrapheneOS werden zu affirmativ, insbesondere wenn eine ungefähre Bankkompatibilität als Prozentsatz ausgedrückt wird.

Das ist ein häufiger Fehlertyp generativer Systeme: Eine Tendenz aus Community-Berichten „viele Apps scheinen zu funktionieren“ zu nehmen und sie schrittweise in eine quantitative Information zu verwandeln.

Bei jedem Schritt wird der Satz nutzbarer.

Er wird auch schwerer zu verteidigen.

DeepSeek: Eine gute Entscheidung mit unvollständigem Markt

DeepSeek liefert wohl einen der ökonomisch gesündesten Argumentationsgänge des Experiments.

Er versteht, dass der wahre Vergleich nicht ist:

iPhone 16 gegen bestes verfügbares Smartphone.

Sondern:

Kosten und Nutzen des Austauschs gegen Wert des Behaltens des Vorhandenen.

Das ist eine wesentliche Unterscheidung.

Er berücksichtigt den Wiederverkauf, erkennt das spezifische Interesse von GrapheneOS für einen datenschutzorientierten Nutzer und akzeptiert, dass ein Smartphone technisch besser sein kann, ohne einen Wechsel finanziell zu rechtfertigen.

Sein Hauptproblem liegt woanders: die Marktabdeckung.

Das Fehlen so relevanter Kandidaten wie dem Galaxy S25, und ganz besonders sehr neuer Neuheiten wie dem Pixel 11, verringert die Reichweite der Recherche.

Das zeigt, dass ein Argumentationsgang kohärent sein kann, während er auf einem unvollständigen Datensatz arbeitet.

Das ist ein weniger spektakulärer Fehler als eine Halluzination.

Er kann eine Entscheidung doch genauso verändern.

ChatGPT hat vor allem besser dem Drang widerstanden, zu antworten

In diesem spezifischen Durchlauf hat ChatGPT die robusteste Recherche der Gruppe produziert.

Nicht weil jedes Datum korrekt war.

Seine initiale Behandlung des Galaxy-S26-Preises zeigt gerade eine Schwäche: Ein Bodenpreis um 600 € zu behalten, ohne die zweifelhaften Marketplaces ausreichend von den empfehlenswerten Händlern zu trennen, gab einem Angebot zu viel Gewicht, dessen kommerzielle Qualität mangelhaft war.

Sein interessantester Unterschied lag woanders.

Er war eher bereit zu schreiben:

  • unabhängige Messung unzureichend;
  • Preis zu prüfen;
  • Daten schwer vergleichbar;
  • Bank-App nicht bestätigt;
  • Information unbekannt.

Das wirkt fast banal.

In einem generativen System ist es das nicht.

Eine KI wird in der Praxis nach ihrer wahrgenommenen Nützlichkeit belohnt. Ein leeres Feld sieht wie eine Schwäche aus. Eine Zahl sieht wie eine Antwort aus.

Doch in einer Recherche ist das Verweigern, das fehlende Feld zu erfinden, eine Fähigkeit.

Sechs Antworten, sechs Versagensmodi

Das Nützlichste ist letztlich nicht, die Modelle auf eine Linie zu bringen.

Jeder offenbart ein anderes Risiko.

SystemBesonders sichtbare Schwäche in diesem Experiment
ChatGPTKann einen echten Preis finden, ohne die schlechte Verkäuferqualität hinreichend zu bestrafen
DeepSeekKohärentes Argumentieren auf einem teilweise unvollständigen Markt
GrokSchlechte regionale Lokalisierung einer Hardware-Eigenschaft
GeminiNumerische Präzision über der tatsächlichen Beweisqualität
Meta AIUmwandlung von Community-Informationen in zu affirmative Verallgemeinerungen
MistralUrteil stark abhängig von fragilen Preisen und mehrere technische Behauptungen unzureichend verifiziert

Diese Tabelle stellt keine universelle Rangfolge dar.

Eine andere Frage könnte die Reihenfolge vollständig ändern.

Sie offenbart etwas Interessanteres: „Halluzinieren“ ist keine hinreichend präzise Fehlerkategorie mehr, um mit dem Web verbundene LLM zu beschreiben.

Sie können nun scheitern, indem sie eine authentische Information finden.

Eine echte Seite finden kann zu einer falschen Antwort führen

Das ist vielleicht die wichtigste Entwicklung seit der Ankunft der Websuche in KI-Assistenten.

Die klassische Halluzination war leicht zu konzipieren: Das Modell erfand eine Tatsache oder eine Quelle.

Heute wird das Problem subtiler.

Das Modell kann finden:

  • ein echtes Produktdatenblatt;
  • einen echten Preis;
  • einen echten Benchmark;
  • eine echte Dokumentation;
  • einen echten Kommentar;
  • eine echte offizielle Mitteilung.

Und dann eine schlechte Schlussfolgerung ziehen, weil diese Information betraf:

  • ein anderes Datum;
  • eine andere Region;
  • einen wenig empfehlenswerten Händler;
  • eine andere Methodik;
  • eine alte Version;
  • einen Sonderfall, der zur allgemeinen Regel gemacht wurde.

Das Zitat beseitigt also den Fehler nicht.

Es kann ihn sogar überzeugender machen.

Ein falscher Satz mit einem echten Link ist psychologisch viel schwerer zu widerlegen als ein falscher Satz ohne Quelle.

Die Anzahl der Quellen ist ein sehr schlechter Ersatz für ihre Qualität

Eine Antwort mit fünfzig Referenzen kann seriöser wirken als eine mit zehn.

Das garantiert fast nichts.

Für jedes Zitat müsste man idealerweise vier Fragen beantworten können:

  1. Sagt die Quelle wirklich das, was die KI ihr in den Mund legt?
  2. Ist sie aktuell genug für die Frage?
  3. Betrifft sie das richtige Land, Produkt und Szenario?
  4. Geht die Schlussfolgerung über das hinaus, was die Quelle erlaubt zu behaupten?

Das manuell zu prüfen, ist extrem aufwendig.

Und genau deshalb sind Recherche-Agenten verlockend: Sie versprechen, diese Arbeit für uns zu erledigen.

Das Paradoxon liegt dort.

Je komplexer die Recherche wird, desto mehr Wert bringt die KI.

Aber je mehr Wert sie bringt, desto schwieriger wird es für den Nutzer, ihre Arbeit vollständig zu kontrollieren.

Benchmarks verschärfen das Problem noch

Das Smartphone fügt eine weitere Falle hinzu: die Leistung.

Ein LLM kann problemlos Geekbench, AnTuTu, 3DMark, GPU-Tests, KI-Tests und einige Temperaturen abrufen.

Er kann dann berechnen:

„A ist 34 % schneller als B.“

Mathematisch ist die Division korrekt.

Wissenschaftlich kann die Schlussfolgerung absurd sein.

Zwei Scores können sich unterscheiden durch:

  • Benchmark-Version;
  • Metal- oder Vulkan-API;
  • Umgebungstemperatur;
  • Leistungsmodus;
  • Testdauer;
  • Anzahl der Durchläufe;
  • Betriebssystem;
  • Auflösung;
  • Throttling;
  • regionale SoC-Variante.

Das Problem ist also nicht, ob das LLM einen Prozentsatz berechnen kann.

Es muss wissen, ob der Prozentsatz es verdient, berechnet zu werden.

Der Konsens der KI ist kein Beweis

Fünf von sechs Assistenten empfehlen letztlich, das iPhone 16 zu behalten.

Das könnte dazu verleiten, von Konsens zu sprechen.

Aber fünf Modelle können teilen:

  • dieselben Seiten;
  • dieselben Vergleicher;
  • dieselben Trainingsdaten;
  • dieselben Argumentationsgewohnheiten;
  • oder einfach dieselbe offensichtliche ökonomische Intuition.

Die Anzahl der übereinstimmenden Modelle ist also nicht äquivalent zur Anzahl unabhängiger Beweise.

Dieses Experiment enthält sogar ein beunruhigenderes Beispiel: Mehrere Assistenten können zur richtigen Entscheidung mit unterschiedlichen oder falschen Zwischentatsachen gelangen.

Mit anderen Worten:

Eine richtigevalidiert nicht retrospektiv ihr Argument.

Das ist wahrscheinlich der Grund, warum die Bewertung von Assistenten nur an ihrer Endantwort ungenügend wird, sobald man ihnen echte Entscheidungen anvertraut.

Der gefährlichste Fehler ist nicht zwingend die Halluzination

Eine grobe Halluzination kann entdeckt werden.

Ein präziser Wert in einer Zwanzig-Zeilen-Tabelle, begleitet von drei Quellen, viel weniger.

Die gefährlichste Ausgabe ist also nicht notwendigerweise die, die schlecht aussieht.

Es ist manchmal die, die alle visuellen Attribute von Rigor besitzt:

Tabellen, Dezimalstellen, Referenzen, Scores, Kategorien und technisches Vokabular.

Ein Leser kann Informationsdichte leicht mit Beweisdichte verwechseln.

Die beiden sind keine Synonyme.

Der wahre Benchmark sollte die Kalibrierung messen

Moderne LLM sind bereits außerordentlich nützlich für diese Art von Recherche.

In wenigen Minuten können sie:

  • ein Kandidatenuniversum aufbauen;
  • Dutzende Eigenschaften durchlaufen;
  • vergessene Kompromisse identifizieren;
  • Produkte entdecken, die der Nutzer nicht kannte;
  • Sicherheit, Kosten, Akkulaufzeit und Ergonomie zusammenführen;
  • eine Entscheidung viel schneller strukturieren als eine manuelle Recherche.

Dieses Experiment zeigt also nicht, dass man sie für Recherchen nicht mehr nutzen sollte.

Es deutet etwas anderes an.

Vielleicht bewerten wir die falsche Qualität.

Benchmarks fragen meist:

Kennst du die richtige Antwort?

Für die Websuche wird eine zusätzliche Frage unumgänglich:

Weißt du, die tatsächliche Stärke der Beweise zu erkennen, die dir erlauben zu antworten?

Die beste Ausgabe ist dann nicht notwendigerweise die mit den meisten Informationen.

Es ist die, die vier unterschiedliche Kategorien zu wahren weiß:

was verifiziert ist; was einer Quelle zugeschrieben wird; was vernünftig inferiert wird; was unbekannt bleibt.

In meinem Experiment zeigte sich der Unterschied zwischen den Systemen viel deutlicher an dieser Stelle als in ihrer Fähigkeit, Smartphone-Eigenschaften aufzusagen.

Und das ist wahrscheinlich der Einsatz der nächsten Recherche-Agenten.

Nicht nur mehr Seiten durchlaufen.

Nicht nur mehr Quellen zitieren.

Sondern lernen, nicht automatisch jede dokumentarische Lücke in eine Antwort zu verwandeln.

Denn wenn eine KI fast alles im Internet suchen kann, ist ihre wertvollste Fähigkeit vielleicht nicht mehr zu wissen.

Es ist zu wissen, wann sie noch nicht genug Beweise hat, um vorzugeben, zu wissen.

Weiterführende Lektüre

Mindestens zwei Zeichen eingeben, um zu suchen.