Drei KIs stimmen überein. Die Frage bleibt trotzdem bei Ihnen.

Sie fragen ein Modell, ob eine Vertragsklausel Risiken enthält. Es bejaht. Das zweite benennt dieselbe Schwierigkeit. Das dritte kommt ebenfalls dazu und schlägt sogar fast dieselbe Änderung vor. Drei Bestätigungen fühlen sich anders an als eine. Als hätte eine Abstimmung die Unsicherheit beseitigt.

Manchmal ist das ein ausgesprochen gutes Vorgehen. Manchmal hat derselbe blinde Fleck nur drei verschiedene Kleider angezogen.

Unabhängige Zustimmung braucht unabhängige Quellen

Modelle können verschiedene Architekturen, Werkzeuge und Ausdrucksweisen haben und trotzdem große Mengen öffentlicher Texte und ähnliche Konventionen teilen. Sie können denselben verbreiteten Fehler erben. Der Prompt kann sie unbemerkt in dieselbe Deutung lenken. Manchmal stimmen sie auch überein, weil die am leichtesten erklärbare Antwort nicht die Antwort ist, welche die Situation tatsächlich braucht.

Das macht Gegenprüfungen durch mehrere Modelle nicht wertlos. Erfindet ein Modell ein Zitat, das die beiden anderen nicht finden, ist das ein nützlicher Hinweis. Konvergieren Systeme mit unterschiedlichen Recherchewerkzeugen bei einer Tatsache und zeigen sie jeweils ihre Quellen, sollte das Vertrauen tatsächlich steigen. Wie stark, muss jedoch von der wirklichen Unabhängigkeit und Qualität der Belege abhängen.

Drei Umformulierungen sind nicht drei Zeugen.

Widerspruch verrät oft mehr

Widersprechen sich Modelle, fragt man leicht, welches das stärkere sei. Ein besserer erster Schritt wäre, den Ort des Unterschieds zu bestimmen. Verwenden sie andere Tatsachen, andere Begriffe, eine andere Risikobereitschaft oder ein anderes Verständnis von Erfolg?

Angenommen, ein Modell empfiehlt den sofortigen Produktstart, das andere einen Aufschub. Ihre Erwartungen an den Markt könnten ähnlich sein. Der Unterschied liegt vielleicht darin, dass die eine Seite einen Rufschaden für reparierbar hält, während die andere eine Schädigung besonders verletzlicher Nutzer als Grund zum Anhalten versteht. Ist das sichtbar, geht es nicht mehr um einen Intelligenzwettbewerb, sondern darum, was gegen was eingetauscht werden darf.

Lassen Sie jedes Modell sagen, welche veränderte Annahme seine Schlussfolgerung umkehren würde. Es kann auch den Rahmen des anderen kritisieren, nicht nur seine Einzelheiten. Bringen Sie dann die wirklich wichtigen Behauptungen aus der Modellrunde hinaus: zu Primärquellen, fachkundigen Menschen und unmittelbarer Beobachtung.

Am wertvollsten ist das zweite Modell nicht dort, wo es die erste Antwort wiederholt, sondern dort, wo es einen zweiten Rahmen sichtbar macht.

Gegengewichte schaffen, keinen Orakelrat

In einem guten Verfahren übernehmen verschiedene Systeme verschiedene Aufgaben. Eines erzeugt Möglichkeiten, eines sucht sachliche Schwachstellen, eines übersehene Menschen und Wege des Scheiterns. Danach entscheiden Menschen, für welche Einwände Belege fehlen, welche ein Gespräch mit Betroffenen verlangen und welche zeigen, dass die ganze Aufgabe von Beginn an falsch gestellt war.

Diese Rollen dürfen nicht am Ende in derselben Punktzahl aufgehen. Müssen sämtliche Einwände derselben Kennzahl dienen, fällt die scheinbare Vielfalt wieder in ein einziges Ziel zusammen. Wirkliche Gegenprüfung muss diesen Satz erhalten können: „Gemessen an der vorgegebenen Kennzahl schneidet es hervorragend ab, trotzdem sollten wir es nicht einsetzen.“

Bei hohen Risiken brauchen auch Betroffene einen Platz im Verfahren. Bewerber sollten nicht drei automatischen Beurteilungen gegenüberstehen, ohne die zugrunde liegenden Angaben anfechten zu können. Patienten sollten nicht nur hören, mehrere Modelle seien sich einig, und dabei keinen Arzt finden, der erklärt, was das System gesehen und übersehen hat. Mehr Modelle ersetzen keine Möglichkeit zum Einspruch.

Nicht jede Frage zielt auf Konsens

Manche Fragen lassen sich durch Übereinstimmung zuverlässiger beantworten: Steht ein Zitat wirklich in der Quelle? Besteht der Code die Tests? Lässt sich eine Rechnung wiederholen? Andere bleiben selbst bei Einstimmigkeit aller Modelle offen: ob man verzeihen möchte, welchen Verlust man annehmen will, ob eine Institution Menschen bereits zu viel abverlangt.

KI kann diese Fragen beleuchten. Übereinstimmung ändert aber nicht ihre Art. Zehn Systeme, die raten, eine Beziehung für die Karriere zu opfern, sammeln dadurch kein Leben an, das dieses Opfer an Ihrer Stelle bringen könnte. Und wenn alle Modelle vorhersagen, dass eine politische Maßnahme beliebt sein wird, ist damit ihre Berechtigung nicht bewiesen.

Bevor Sie mehrere Modelle befragen, unterscheiden Sie, was Sie suchen: Tatsachen, Deutungen, Voraussagen, Entwürfe oder Erlaubnis. Die letzte Suche ist besonders gefährlich. Hier verkleiden wir das Ausweichen vor Verantwortung am leichtesten als wiederholte Überprüfung.

Die letzte Prüfung ist nicht noch ein Modell

Die Schleife muss irgendwann enden. Je höher das Risiko, desto eher sollte vorher feststehen, wann und nach welchen Maßstäben man aufhört. Sachfragen verlangen nachvollziehbare Primärbelege. Technische Entscheidungen müssen sich in Tests unter den wirklich wichtigen Bedingungen bewähren. Entscheidungen über Menschen brauchen Widerspruch und erneute menschliche Prüfung. Bei persönlichen Zusagen sollte klar aufgeschrieben sein, was man auch bei einer wachsenden Zahl von Modellen nicht abgeben wird.

Dann lassen Sie die Modelle ruhig arbeiten. Geschwindigkeit und Vielfalt sind echte Stärken. Sie können die Selbstzufriedenheit menschlicher Teams erschüttern und Fehler finden, die keinem Einzelnen aufgefallen wären. Die Schlussfolgerung heißt nicht, grundsätzlich lieber einem Menschen als vielen Maschinen zu vertrauen.

Entscheidend ist, wozu ein System von Gegengewichten da ist. Es soll Macht befragbar halten, nicht eine noch größere Stimme erzeugen, der niemand widersprechen darf. Stimmen drei KIs überein, besitzen Sie vielleicht stärkere Belege. Einen Menschen, der dafür einsteht, diesen Belegen zu vertrauen, haben Sie damit noch nicht erhalten.