Was steckt hinter der Debatte über eine KI-Bremse?

FAQ Langsamere Entwicklung gefordert Was steckt hinter der Debatte über eine KI-Bremse? Stand: 14.09.2026 • 20:20 Uhr

Nach bedrohlichen Zwischenfällen im Zusammenhang mit KI-Modellen ist eine globale Debatte über schärfere Regeln für die Technologie entbrannt. Vorne mit dabei: ausgerechnet die führenden Entwickler OpenAI und Anthropic.

Die Fälle von eigenständig handelnden KI-Agenten haben der Diskussion um einen sicheren Umgang mit Künstlicher Intelligenz neuen Schwung gegeben: Einerseits fordern Branchenriesen wie OpenAI und Anthropic, deren Modelle maßgeblich an einigen der Zwischenfällen beteiligt waren, eine Verlangsamung der Entwicklung und schärfere Regeln.

Andererseits steht die Industrie im extremen Konkurrenzkampf - sowohl auf privatwirtschaftlicher als auch auf staatlicher Ebene. Worum es geht und welche unterschiedlichen Positionen es in der Debatte gibt.

Erstmals soll ein KI-System eigenständig aus einer Testumgebung ausgebrochen sein. Was steckt dahinter? mehr

Zuletzt hatten insbesondere drei bekannt gewordene Fälle die aktuelle Diskussion ausgelöst. KI-Modelle von OpenAI, Anthropic und Meta waren eigenständig aus vermeintlich abgeschotteten Testsystemen ausgebrochen und handelten weit außerhalb ihrer eigentlich vorhergesehenen Funktion. Dabei wurde auch mehrfach in Systeme von unbeteiligten Dritten eingedrungen - teilweise wochenlang, ohne dabei aufzufallen.

Die KI-Agenten nutzten auch Programmierfehler aus und sprachen sich untereinander ab. Auch für das Eindringen notwendige Schadsoftware entwickelte beispielsweise ein Anthropic-Modell eigenständig und ohne Anweisung oder Kontrolle seiner Entwickler.

OpenAI sprach von einem "beispiellosen Cyber-Vorfall", nachdem die eigene Software die externe Plattform Hugging Face kompromittiert hatte. Die Modelle hätten "enorme Anstrengungen unternommen, um ein eng gefasstes Testziel zu erreichen".

Wie groß ist die Gefahr für private Rechner und unsere Daten von KI-Alleingängen? mehr

Vergangene Woche hatte ein ehemaliger Mitarbeiter der Branchenführer OpenAI und Anthropic davor gewarnt, dass die ungehemmte Weiterentwicklung von Künstlichen Intelligenzen die Menschheit auslöschen könnte - etwa durch die Entwicklung von Biowaffen oder durch tödliche Attacken auf Infrastruktur.

Nun warnt auch Anthropic-Chef Dario Amodei in einem Essay vor möglichen Folgen der stetigen Weiterentwicklung. Zwar betont er auch die wichtigen und positiven Einsatzmöglichkeiten, sieht aber auch "gravierende Risiken". KI könnte sich so schnell weiterentwickeln, dass ein solches System in der Lage wäre, innerhalb von sechs bis zwölf Monaten das gesamte Internet zu übernehmen, so Amodei. Er fordert:

Die Fähigkeit von KI-Modellen, sich selbst und zunehmend schnell zu verbessern, drohe außerhalb menschlicher Kontrolle zu geraten. Komme es zu keiner Verlangsamung, drohe den Entwicklern der Modelle das Verständnis der eigenen Technologie zu entgleiten.

Amodei schlägt eine branchenweite Verlangsamung der Entwicklung vor, um der Forschung ein bis zwei Jahre Zeit für wirksame Sicherheitsvorkehrungen zu verschaffen. Unter anderem regt er an, unabhängige Prüfer direkt in die Unternehmen zu lassen, internationale Standards zu vereinbaren und vorsichtiger bei Systemen zu sein, die sich selbstständig ohne Aufsicht weiterentwickeln.

Konkurrent Sam Altman vom Anbieter OpenAI stimmte dem Vorstoß zu. OpenAI kündigte an, ebenfalls externe Kontrolleure in die eigenen Büros zu holen. Auch Tech-Milliardär Elon Musk, lange ein Kritiker Amodeis, schrieb auf X: "Dario hat recht."

Der Wettlauf um die Entwicklung von KI muss dringend verlangsamt werden, meint Anthropic-Chef Amodei. mehr

Das lässt sich kaum seriös beantworten. Es gibt aber Fachleute, die erhebliche Zweifel an den Absichten der Unternehmen äußern. Sie verweisen auf den harten Konkurrenzkampf sowie das Ziel, sich vor rechtlichen Haftungsrisiken zu schützen. Zudem kursiert der Vorwurf, mit neuen Standards, die sich an den Top-Entwicklern orientieren, kleinere Entwickler schwächen zu wollen.

Der Vorstandsvorsitzende des deutschen Bundesverbandes für Künstliche Intelligenz, Rasmus Rothe, sieht dahinter vor allem "knallharte wirtschaftliche Interessen": Einerseits befeuerten die Schilderungen übermächtiger Systeme die Firmenbewertungen für anstehende Börsengänge, andererseits diene der öffentliche Aufschrei dazu, sich vor "massiven Haftungs- und Schadensersatzrisiken" zu schützen.

Für Aufsehen sorgte zudem die Ankündigung von OpenAI, seinen geplanten Börsengang ins nächste Jahr zu verschieben. "Man wäre schlecht beraten, genau jetzt an die Börse zu gehen", hatte OpenAI-Chef Altman mit Blick auf die Sicherheitsdebatte gesagt. Der geplante Börsengang war aber bereits zuvor wegen schwacher Geschäftszahlen unter Druck geraten.

Auch die Idee, vom Unternehmen selbst ausgewählte Prüfer in die eigenen Büros zu setzen, stößt auf deutliche Kritik. Ob und wie strikt die Entwickler ihre Ankündigungen umsetzen, ist völlig offen.

OpenAI sieht von Börsengang ab: KI-Unternehmen wollen Entwicklung drosseln Torben Börgers, ARD Washington, tagesschau, Das Erste, 13.09.2026 • 17:45 Uhr Gibt es in der Branche auch Gegenstimmen? Die gibt es: Als Reaktion auf den Amodei-Essay schrieb Joe Lonsdale, Mitgründer des Software-Entwicklers Palantir, auf X: "Die Welt wird schon in Ordnung sein, Leute." Er forderte, "nicht in Angst zu leben", sondern weiter Kinder zu bekommen, die Familie zu lieben und Unternehmen aufzubauen. "Führer haben große Verantwortungen und Herausforderungen vor sich, aber es hilft nicht, alle zu erschrecken. Wir haben das im Griff", erklärte Lonsdale.

Das Geschäftsmodell von Palantir unterscheidet sich entscheidend von Anthropic, OpenAI oder anderen Chatbot- und Sprachmodell-Entwicklern. Palantir ist auf die Auswertung großer Datenmengen spezialisiert und liefert unter anderem Software, mit der Geheimdienst- und Militärinformationen analysiert werden. Zu den Gründern gehört neben Lonsdale auch der deutschstämmige Peter Thiel. Beide gelten als dem US-Präsidenten Donald Trump nahestehend. In Europa steht Palantir vor allem beim Thema Datenschutz in der Kritik.

Alex Karps Manifest ist mehr als Ideologie - dahinter stehen auch Palantirs Geschäftsinteressen. mehr

Auch US-Präsident Trump redet die Risiken klein und lehnt allzu strenge Regulierungen von KI ab. Die Vereinigten Staaten seien bei der Technologie weltweit führend und China weit voraus - dieser Vorsprung sei entscheidend für die Zukunft und dürfe im weltweiten Wettlauf nicht gefährdet werden. "Wer bei KI gewinnt, gewinnt", sagte Trump. Er sprach von "Leitplanken", die man setzen könne und werde. Künstliche Intelligenz werde "bei Weitem mehr Gutes als Schlechtes" bringen.

Die Führung in Peking wirft den US-Tech-Bossen das Schüren von Feindbildern vor. Das Verbreiten von Bedrohungserzählungen und böswilliger Wettbewerb störten die weltweite Zusammenarbeit, erklärte das chinesische Außenministerium. Chinas Staatsmedien bezeichneten den Vorschlag gar als Versuch, den technologischen Aufstieg des Landes mit Methoden wie aus Zeiten des Kalten Krieges einzudämmen. Staatschef Xi Jinping schlug dennoch vor, sich auf internationaler Ebene rasch auf gemeinsame Regeln zu verständigen.

Die deutsche Bundesregierung teilte mit, sie nehme die Warnungen der Techkonzerne "sehr ernst". Das höchste Sicherheitsgremium - der Nationale Sicherheitsrat - habe sich bereits zweimal mit diesem Thema beschäftigt. Ein Regierungssprecher rief zur Suche nach globalen Lösungen auf.

Mehr staatliche Regulierung für Künstliche Intelligenz - US-Präsident Trump hält von dieser Forderung wenig. mehr

Nach Ansicht von Forschern droht weniger ein plötzlicher, weltweiter Zusammenbruch, sondern eher ein schleichender Kontrollverlust. "Der KI-Kontrollverlust ist kein einzelnes Ereignis", sagte etwa der Stuttgarter KI-Forscher Thilo Hagendorff im Science Media Center. Wenn Menschen immer mehr Entscheidungen an selbstständig handelnde Software-Schwärme übertragen, fehlten irgendwann die Zeit und die technischen Mittel, diese wieder einzufangen.

Die von Branchenvertretern genannten Zahlen - etwa ein zehnprozentiges Risiko, dass die Technologie die Menschheit auslöschen könnte - bezeichnete Hagendorff als reine "Scheinpräzision" und unbegründetes Bauchgefühl ohne jede messbare Datenbasis.

Eine Gruppe von prominenten europäischen Wirtschaftswissenschaftlern, Politikern und KI-Experten kritisiert, Regierungen überall in der EU nähmen KI nicht ernst genug oder konzentrierten sich auf andere Prioritäten. Zu den Empfehlungen der Gruppe gehört die Schaffung sicherer Lieferketten, "Spitzen-KI-Expertise und -Technologie" in die europäischen Institutionen zu holen, den Bau von KI-Rechenzentren zu erleichtern und gleichzeitig kritische Infrastruktur gegen Bedrohungen durch KI zu stärken.

Dieses Thema im Programm: Das Erste | tagesthemen | 13.09.2026 | 22:45 UhrDas Erste | tagesschau | 13.09.2026 | 20:00 Uhrtagesschau.de | Anthropic fordert Regulierungen wegen KI Gefahren | 13.09.2026 | 06:11 UhrDas Erste | tagesschau | 13.09.2026 | 02:15 Uhr