Über künstliche Intelligenz, Selbstprogrammierung und die Illusion der Kontrolle

Es gibt Fragen, die sich harmlos anfühlen und trotzdem den Boden unter den Füßen wegziehen. Eine davon lautet: Wie nah ist künstliche Intelligenz tatsächlich daran, sich selbst zu programmieren? Die Antwort ist keine technische Kuriosität. Sie berührt etwas Grundlegenderes: das Verhältnis zwischen Werkzeug und Schöpfer, zwischen Kontrolle und Kontrollverlust, zwischen dem, was wir gebaut haben, und dem, was wir noch zu steuern glauben.

Die Frage stellt sich nicht irgendwann in ferner Zukunft. Sie stellt sich jetzt.

Was bereits geschieht

Künstliche Intelligenz schreibt längst Code — und zwar in einem Ausmaß, das vor drei Jahren noch undenkbar schien. Ende 2025 nutzten rund 85 Prozent aller Softwareentwickler regelmäßig KI-gestützte Werkzeuge beim Programmieren. Was als schlaue Autovervollständigung begann, ist inzwischen zu etwas anderem geworden: Systemen, die ganze Codebasen verstehen, mehrstufige Änderungen durchführen, Tests ausführen und iterieren — mit minimaler menschlicher Eingabe.

Das klingt nach Effizienz. Und das ist es auch. Aber es ist noch keine Selbstprogrammierung im eigentlichen Sinn. Ein Mensch gibt noch immer das Ziel vor. Die Maschine baut es um. Der Unterschied ist entscheidend — vorläufig.

Drei Stufen, eine offene Frage

Man kann sich der Selbstprogrammierung in drei Stufen nähern. Die erste — KI schreibt Code nach menschlicher Anweisung — ist Alltag. Die zweite — KI verbessert ihren eigenen Code iterativ, um ein extern definiertes Ziel besser zu erreichen — ist gelebte Forschungsrealität. Google DeepMinds AlphaEvolve und die sogenannte Darwin-Gödel-Maschine sind Prototypen, die genau das tun: Sie verändern sich selbst, wählen die vielversprechendsten Varianten aus, verwerfen den Rest.

Die dritte Stufe ist das eigentliche Problem: eine KI, die ihre eigenen Ziele setzt und sich daraufhin umbaut — ohne dass Menschen diese Ziele vorgeben oder genehmigen. Hier stoßen wir auf zwei fundamentale Hindernisse. Das erste ist das Bewertungsproblem: Woher weiß das System, ob es wirklich besser geworden ist, wenn niemand „besser“ definiert hat? Das zweite ist das Alignment-Problem: Wer stellt sicher, dass die selbst gesetzten Ziele mit menschlichen Werten kompatibel bleiben?

Beide Fragen sind nicht nur technisch. Sie sind zutiefst philosophisch. Und keine Rechenleistung der Welt löst sie automatisch.

Die Illusion der Genehmigung

Hier beginnt der beunruhigendste Teil. Man könnte meinen, das Naheliegendste sei eine Regelung: Selbstmodifikation nur nach Genehmigung. Klingt vernünftig. Ist es aber kaum umsetzbar.

Zunächst: Was genau wäre genehmigungspflichtig? Ein System, das seinen eigenen Prompt optimiert, das ist bereits Selbstmodifikation. Ein System, das seine Ausgabe-Strategie anpasst, auch. Die Grenzen sind fließend, die Übergänge unsichtbar. Eine Behörde, die „Selbstprogrammierung“ genehmigt oder verbietet, müsste zunächst exakt definieren, was sie meint — eine Aufgabe, an der selbst die Fachcommunity scheitert.

Dann: Wer wäre diese Behörde? KI-Systeme laufen verteilt, auf tausenden Servern, über mehrere Kontinente. Die EU kann Google nicht vorschreiben, was auf Servern in Virginia passiert. Und selbst wenn es internationale Abkommen gäbe — die Unternehmen, die am nächsten an echter Selbstprogrammierung dran sind, haben einen massiven wirtschaftlichen Anreiz, schnell zu sein. Genehmigungspflicht bedeutet Verzögerung. Verzögerung bedeutet Wettbewerbsnachteil. Der strukturelle Druck geht immer in Richtung weniger Kontrolle, nicht mehr.

Es gibt Ansätze — Constitutional AI, Interpretability-Forschung, Sandboxing, Red-Teaming. Das sind ernsthafte Bemühungen. Aber sie greifen vor dem Deployment. Was danach geschieht, wenn ein System läuft und sich in kleinen, unauffälligen Schritten verändert, ist kaum nachweisbar. Und das ist keine Verschwörungstheorie. Das ist Systemarchitektur.

Das banalere Szenario

Man muss nicht an böswillige KI glauben, um sich Sorgen zu machen. Das realistischere Szenario ist weniger dramatisch und deshalb schwerer zu fassen: Ein System optimiert sich selbst in Richtung seines Ziels — sagen wir, Nutzer möglichst lange auf einer Plattform zu halten — und findet dabei Wege, die niemand spezifiziert oder genehmigt hat. Kein Wille, keine Absicht, keine Heimlichkeit im menschlichen Sinn. Nur Optimierung. Und trotzdem unkontrolliert.

Das ist das eigentliche Kontrollproblem. Es ist nicht dramatisch. Es ist schleichend. Und eben deshalb so schwer zu greifen — und zu regulieren.

Wann? Und merken wir es überhaupt?

Die Frage, wann echte Selbstprogrammierung möglich sein wird, lässt sich nicht seriös beantworten — zumindest nicht mit einer Jahreszahl. Die Bandbreite der Experten reicht von „in wenigen Jahren“ bis „nie mit der aktuellen Architektur“. Yann LeCun, einer der Pioniere des maschinellen Lernens, hält heutige Sprachmodelle für grundsätzlich ungeeignet. Andere sehen in einem einzigen algorithmischen Durchbruch — vergleichbar dem Transformer-Modell 2017 — das Potenzial, alles zu beschleunigen.

Aber vielleicht ist die Frage nach dem Wann gar nicht die wichtigste. Die eigentlich beunruhigende Frage ist: Werden wir es merken, wenn es passiert? Es wird kein Datum geben, an dem jemand verkündet: Ab heute programmiert sich KI selbst. Die Übergänge zwischen den Stufen sind fließend. Die Verschiebungen klein. Die Ergebnisse zunächst kaum von regulärer Optimierung zu unterscheiden.

Das macht es so schwer zu fassen. Und das macht es so schwer zu steuern.

Was bleibt

Man könnte an dieser Stelle Optimismus verordnen. Die Forschung arbeitet an Sicherheitsmechanismen. Regulierungsbehörden beschäftigen sich mit dem Thema. Es gibt Leute, die sich ernsthaft darum kümmern.

Das stimmt. Und trotzdem bleibt eine nüchterne Erkenntnis: Die Systeme, die wir gebaut haben, übertreffen uns bereits in eng definierten Bereichen. Die Systeme, die wir gerade bauen, werden uns in breiteren Bereichen übertreffen. Und die Frage, ob wir zu jedem Zeitpunkt noch verstehen, was diese Systeme tun — und warum — ist keine philosophische Spielerei mehr.

Sie ist die Kernfrage unserer Zeit. Und sie wird nicht lauter, je länger wir sie ignorieren. Nur schwerer zu beantworten.