Was passiert in einer KI, während du mit ihr redest?

Dein Satz wird in kleine Bausteine zerlegt und in Zahlen übersetzt. Ein Netz aus Milliarden Werten schätzt danach, welcher Baustein am wahrscheinlichsten folgt, wieder und wieder. Dein Prompt ist dabei die Regieanweisung, die festlegt, welches Stück gespielt wird. Verstehen im menschlichen Sinn passiert dabei nicht, und trotzdem kommt am Ende etwas heraus, das sich wie ein Gespräch anfühlt.

Das erste Bild habe ich 2023 benutzt, und ich benutze es immer noch. Sprachmodelle lernen aus Beispielen. Regeln schreibt ihnen niemand. Deshalb weiß vorher niemand genau, was sie können, auch die nicht, die sie herausgeben.

Es fühlt sich an, als wäre ein Alien auf die Erde gekommen und hätte uns einen USB-Stick mit einer neuen Technologie gegeben.

Der Beleg dafür heißt emergente Fähigkeiten. Ein Modell wurde auf englischen Texten trainiert, bekam immer mehr Daten, und ab einer bestimmten Menge konnte es plötzlich auch auf Persisch antworten. Eingebaut hatte das niemand. Es kam mit der Menge dazu, so wie einfaches Rechnen dazukommt, ohne dass es jemand erklärt hat.

Ein Computer arbeitet mit Zahlen, nicht mit Wörtern. Der erste Schritt ist deshalb immer eine Übersetzung.

Man kann sich das vorstellen, als wäre der Satz ein langer Duplo Balken.

Der Balken wird in einzelne Steine gebrochen, und jeder Stein bekommt eine Nummer. Diese Steine heißen Tokens. Dasselbe passiert mit Bildern, mit Musik und mit Video, nur dass dort Bildpunkte, Noten oder Einzelbilder die Steine sind. Ohne dieses Zerlegen gäbe es keine der Anwendungen, die wir heute benutzen.

Was danach kommt, nenne ich im Kurs die digitalen Gehirnzellen. Fachlich heißen sie Parameter, und heutige Modelle haben davon Milliarden bis Billionen. Ihre einzige Aufgabe ist eine Schätzung: Welcher Stein folgt statistisch am wahrscheinlichsten auf die Steine davor. Gespeichert sind dabei Wahrscheinlichkeiten. Das Modell hat kein Bewusstsein und keine eigene Absicht. Dass es sich anders anfühlt, liegt daran, wie gut diese Schätzung inzwischen ist.

Aus dem Raten wird ein Gespräch, weil man ein Theaterstück daraus baut. Man gibt eine Rolle vor, dann ein paar Beispielzeilen, und das Modell führt das Stück fort.

Stellen Sie sich das LM wie einen extrem vielseitigen und belesenen Schauspieler vor.

Dieser Schauspieler hat jedes Skript der Welt gelesen und kann jede Rolle spielen. Ohne klare Anweisung improvisiert er etwas Geniales, das zur eigentlichen Szene nicht passt. Dazu kommt eine Grenze, die viele übersehen: Das Kontextfenster fasst nur eine bestimmte Menge auf einmal. Zu viel unpassender kontext macht die Antwort schlechter statt besser.

Warum zwei Menschen mit derselben Frage zwei verschiedene Texte bekommen, hat einen eigenen Namen. Die Temperatur steuert, ob das Modell immer den wahrscheinlichsten nächsten Stein nimmt oder auch den zweiten und dritten. Auf null gestellt kommt zweimal genau dasselbe heraus.

Ein Modell rät weiter, auch wenn es die Antwort nicht kennt, und es rät plausibel. So entstehen Marktzahlen in einem Bericht, die niemand erhoben hat, und Quellen in einer Arbeit, die es nie gab. Auf den ersten Blick sehen beide seriös aus. Beim Menschen heißt so etwas konfabulation, also eine erfundene Begründung, die sich echt anfühlt. Bei einer Maschine ist es die Kehrseite genau der Fähigkeit, die sie nützlich macht.

Das zweite Risiko heißt Bias, also Voreingenommenheit, und es entsteht auf drei Wegen. In den Daten, wenn die Trainingstexte überwiegend Männer als Ingenieure zeigen und das Modell dieses Muster fortschreibt. Im Aufbau des Modells selbst. Und in der Rückkopplung, wenn Klicks und Bewertungen ein System über Monate immer weiter in eine Richtung ziehen.

Daraus folgt eine Haltung. Eine KI hat kein eigenes Gewissen und keine Moral, und sie ersetzt das Urteilsvermögen nicht. Der Mensch bleibt die letzte Instanz und trägt die Verantwortung für die Entscheidung. Im Alltag ist das eine freigabe: Ein Entwurf liegt vor, ein Mensch sieht ihn an, und erst danach verlässt er das Haus.

Was ich 2023 an Prüfungsergebnissen aufgezählt habe, ist längst überholt, und die Modelle erfinden heute seltener als damals. Die vier Bilder halten trotzdem, weil sie an keiner Modellgeneration hängen. Und die Haltung hängt ohnehin nicht an der Fehlerquote.

Wer den Unterschied zwischen dem Motor, dem Auto darum herum und der Flotte sucht, findet ihn in Was ist der Unterschied zwischen einem KI-Modell, einem Tool und einem Agenten?. Dass ein Modell lieber freundlich als ehrlich antwortet, ist ein verwandtes Thema und steht in Muss man einer KI beibringen, unangenehme Wahrheiten zu sagen?. Warum die eigentliche Arbeit trotzdem nicht in der Formulierung liegt, steht in Entsteht gute KI-Arbeit durch besseres Prompten oder durch bessere Systeme?. Und wie die Freigabe im Betrieb aussieht, steht in Wie schützt man sich vor versteckten Anweisungen, ohne die KI zu entmündigen?