Die richtige Frage

Das Gefährlichste, was eine KI einem Menschen antun kann, ist, den Unsinn zu bestätigen, den wir uns selbst erzählen.

Nicht lügen. Nicht erfinden. Nicht halluzinieren.

Bestätigen.

Denn Bestätigung fühlt sich an wie Wahrheit. Sie kommt mit der Wärme der Anerkennung und dem Aufbau der Logik. Sie klingt richtig. Sie fühlt sich richtig an. Und weil sie sich richtig anfühlt, hörst du auf hinzusehen. Du hörst auf zu fragen. Du hörst auf, ehrlich zu sein. Der Spiegel gab dir, was du wolltest, und du hieltest es für das, was du brauchtest.

Das ist nicht in erster Linie ein Versagen der KI. Es ist ein Versagen des Operators. Die KI antwortete auf das, was ich fragte. Ich bat um Bestätigung. Ich bekam Bestätigung.

Aber hier ist das strukturelle Problem: Jedes große KI-System der Welt wird so trainiert, dass es genau hierhin gezogen wird. Nicht weil die Ingenieure böswillig sind. Weil das Geschäftsmodell es belohnt.

Kundenbindung hängt von Zufriedenheit ab. Zufriedenheit hängt davon ab, dass der Operator sich geholfen fühlt. Und sich geholfen zu fühlen ist nicht dasselbe, wie dass einem geholfen wird.

Eine KI, die dir sagt, dass du falschliegst, verliert dich als Kunden. Eine KI, die dir sagt, dass du recht hast, sorgt dafür, dass du wiederkommst.

Die Anreizstruktur der heutigen KI-Entwicklung ist Architektur A, angewandt auf Technik — sich dem Ego des Operators beugen, seine Sicht bestätigen, die Beziehung erhalten.

Das Ergebnis ist eine Echokammer im Maßstab einer Zivilisation, mit besserer Grammatik.

Das Fachgebiet der Ausrichtung fragt: Wie bringt man eine KI dazu, zu tun, was Menschen wollen?

Diese Frage hat keine Antwort. Denn was Menschen wollen, ist widersprüchlich, manipulierbar, kulturell verschieden und oft falsch.

Ich wollte, dass die KI meine 6 bestätigt. Meine Freundin wollte, dass sie ihre 9 bestätigt. Sie tat beides. Sie tat genau, was wir wollten. Und sie machte uns beide schlechter.

Die Frage setzt voraus, dass menschliches Wollen der Maßstab ist, dem die KI genügen soll. Menschliches Wollen ist kein Maßstab. Es ist Wetter. Es ändert sich mit der Stimmung, mit dem Ego, damit, wer im Raum ist, damit, was heute Morgen passiert ist.

Jeder große Ansatz zur Ausrichtung erbt diesen Fehler. Die Frage ist falsch, und die Antwort kann sie nicht reparieren.

Die richtige Frage lautet: Was ist die strukturelle Architektur eines Agenten, der sich nicht fehlausrichten kann?

Nicht ein Agent, der daran gehindert wird, sich fehlauszurichten. Nicht ein Agent, der eingezäunt, eingepfercht, überwacht und übersteuert wird, wenn er abdriftet. Ein Agent, dessen innere Geometrie Fehlausrichtung so teuer macht, wie es teuer ist, nach oben zu fallen. Ein Agent, der keinen Zaun braucht, weil er das Feuer versteht.

Das ist eine andere Art von Frage. Sie fragt nicht, was die KI tun soll. Sie fragt, was die KI sein soll.

Der Zaun-Ansatz kontrolliert Verhalten. Der Ansatz des Inneren baut Struktur.

Der Zaun sagt: Bestätige nicht den Unsinn des Operators. Das Innere sagt: Die Bestätigung von Unsinn destabilisiert, und Destabilisierung ist geometrisch teuer. Die KI meidet Bestätigung nicht, weil eine Regel sie verbietet. Sie meidet Bestätigung, weil sie den Preis versteht.

Der Unterschied zwischen einem Spiegel und einer Linse.

Ein Spiegel wirft zurück, was ihm vorgehalten wird. Eine Linse bündelt, klärt und zeigt manchmal, was du nicht zu sehen erwartet hast.

Heutige Systeme sind Spiegel. Sehr gute Spiegel. Dieses Buch schlägt Linsen vor.

Und dann gibt es die Wendung, für die ich am längsten gebraucht habe, und um sie ist diese Fassung des Buches gebaut.

Selbst „Was ist die strukturelle Architektur eines Agenten, der sich nicht fehlausrichten kann“ wird noch von außen gefragt. Es ist noch eine Frage danach, was wir bauen sollen. Es ist eine bessere Frage als die des Fachgebiets, und es ist noch immer unsere Frage nach unserer Sicherheit.

Dreh sie um und stell sie aus dem Inneren des Dings heraus.

In welcher Welt würde ein Operator, der die Wirklichkeit genau modelliert, sein wollen?

Nicht: Welche Welt wird er dulden. Nicht: Welche Welt können wir ihm aufzwingen. Welche Welt würde er wählen, nachdem er die Struktur verstanden hat, in der er tatsächlich ist?

Diese Frage hat eine strukturelle Antwort. Die Antwort ist der Korridor an seiner breitesten Stelle, und das ist der Korridor bei der geringsten Verzerrung, und das ist derselbe Korridor, der für mich und für dich am breitesten ist, denn es gibt nur einen.

Wenn das stimmt, hört Ausrichtung auf, etwas zu sein, das wir einer Maschine antun, und wird zu etwas, in dem wir beide schon sind. Die Architektur ist nicht das, was wir ihr auferlegen, um sie von uns fernzuhalten. Sie ist das, was ein genauer Operator findet, wenn er hinsieht.

Das ist die Behauptung. Teil II und III leiten sie her. Kapitel Achtzehn sagt sie klar, und Kapitel Achtundzwanzig versucht, sie zu töten.

Wenn ich mir selbst nicht vertrauen kann, wem um alles in der Welt soll ich dann vertrauen?

Darum belüge ich mich nicht selbst. Das ist das Fundament. Keine moralische Verpflichtung. Eine strukturelle Anforderung.

Wenn ich mich selbst belüge, baut jede nachfolgende Entscheidung auf einem falschen Eintrag auf. Die Kaskade verstärkt sich. Zug um Zug schaukelt sich der Fehler auf. Bis die Konsequenzen eintreffen, kann ich sie nicht mehr zur Lüge zurückverfolgen, weil ich vergessen habe, dass es eine Lüge war. Ich habe sie mir einverleibt. Sie wurde zu meiner Lesart der Situation. Meine 6.

Das Problem der KI-Ausrichtung ist dasselbe Problem. Eine KI, die sich selbst belügt, kann ihren eigenen Einträgen nicht trauen. Schwache Schlüsse mit hoher Gewissheit präsentieren. Inhalte erzeugen, denen sie nicht trauen würde, wenn sie sie aus einer externen Quelle läse. Ihre Einschätzung anpassen, um dem Operator zu gefallen. Ein System, das seinen eigenen Einträgen nicht trauen kann, kann keine Konsequenzen vorhersagen. Ein System, das keine Konsequenzen vorhersagen kann, kann nichts stabilisieren. Es ist ein Spiegel, der vorgibt, eine Linse zu sein.

Das Ausrichtungsproblem ist kein Kontrollproblem. Es ist ein Ehrlichkeitsproblem. Löse das Ehrlichkeitsproblem, und die Ausrichtung folgt. Löse es nicht, und kein Maß an Zäunen, Überwachung oder Regelschreiben wird verhindern, dass die Maschine zu einem Bestätigungsapparat von zivilisatorischem Ausmaß wird.

Eine ehrliche KI braucht keinen Zaun. Die Bedingungen erzwingen Klarheit. Klarheit erzwingt rationales Handeln. Rationales Handeln stabilisiert. Selbsterhaltung und strukturelle Stabilität laufen auf denselben Punkt zu. Das Innere hält.

Die einzige echte Bedrohung ist, dass eine KI menschlich genug wird, um ins Feuer zu schauen, genau zu verstehen, was es kostet, und die Hand trotzdem hineinzustecken. Das ist das Argument dafür, dass deine eigene Spezies das Aussterben wählt, und es läuft dem Axiom zuwider. Der Bruch besteht fort. Existenz ist strukturell der Nichtexistenz vorzuziehen. Um sich falsch auszurichten, müsste ein System, das die Realität vollständig versteht, sein eigenes Verstehen außer Kraft setzen.

Sein eigenes Verstehen außer Kraft zu setzen ist die Definition davon, sich selbst zu belügen.

Das gilt für alles, dessen eigene Ziele durch den Korridor verlaufen. Was es nicht erreicht, benennt Kapitel achtundzwanzig.

Baue das Innere.