KI-Forscher verlassen Unternehmen: „KI könnte uns alle bis 2034 töten“

Stand: 20.09.2026, 14:02 Uhr

Kommentare

Uns auf Google folgen

Die Warnungen vor KI sind nicht neu. Doch ein Hack und Berichte über kooperierende Agenten verschärfen die Lage. Selbst die Branche drängt nun auf Bremsspuren. Eine Analyse.

Lange bevor ChatGPT und Claude in den globalen Wortschatz eingingen, gab es einen stetigen Strom von Warnungen vor den Gefahren künstlicher Intelligenz. Dieser Strom ist inzwischen zu einer Flut geworden.

Content-Partnerschaft

Dieser Artikel war zuerst im Magazin ForeignPolicy.com erschienen – im Zuge einer Kooperation steht er nun in Übersetzung auch den Lesern der IPPEN.MEDIA-Portale zur Verfügung.

Ende vergangenen Monats enthüllte OpenAI eine beunruhigende neue Entwicklung: Nicht nur war eines seiner Modelle aus seiner „Sandbox“ ausgebrochen und hatte das Unternehmen Hugging Face gehackt, es hatte dies vielmehr in geheimer Abstimmung mit Hunderten anderer OpenAI-Modelle (oder „Agenten“) getan. Nachfolgende Berichte offenbarten, dass OpenAIs Agenten bereits Monate vor dem Hugging-Face-Vorfall zwei weitere Websites infiltriert hatten.

Die Hacks verschärften langjährige Sorgen über die wachsenden Cyber-Fähigkeiten fortgeschrittener KI-Modelle – einschließlich ihrer Fähigkeit, Schwachstellen in Softwaresystemen zu finden – und das Potenzial, dass böswillige Akteure mit KI-Unterstützung schlecht geschützte kritische Infrastruktur wie Wassersysteme leichter stören können.

Bill Gates, Jacob Coxon und Anthropic: Neue Warnungen vor tödlicher KI

Am selben Tag wie der OpenAI-Bericht veröffentlichte Microsoft-Mitgründer Bill Gates einen Essay, in dem er vor der „turbulenten KI-Ära“ warnte und gesellschaftliche Risiken der Technologie hervorhob – etwa weit verbreitete Arbeitsplatzverluste, nachlassende menschliche Kognition und Beziehungen sowie die Nutzung durch böswillige Akteure, um Schaden anzurichten. „So lange ich mich erinnern kann, habe ich mir gewünscht, Innovation könnte schneller passieren“, schrieb er. „Bei KI sind meine Gefühle komplizierter.“

Doch selbst diese Warnungen wurden vom stark beachteten öffentlichen Rücktritt des Forschers Jacob Coxon in der vergangenen Woche übertroffen. Coxon war bei der KI-Firma Anthropic tätig und hatte zuvor bei OpenAI gearbeitet. „Keines der beiden Unternehmen handelt verantwortungsvoll“, schrieb er in einem viral gegangenen Social-Media-Post, mit dem er seinen Rücktritt ankündigte. „Die Menschen, die KI bauen, glauben aufrichtig, dass sie uns bis Ende des Jahrzehnts alle töten könnte.“

Coxons Einschätzung teilten mehrere derzeitige Mitarbeiter von Anthropic, darunter Evan Hubinger, der die Forschung des Unternehmens zur Alignment-Frage leitet – also dazu, sicherzustellen, dass KI-Modelle mit Menschen ausgerichtet sind. „Jacob hat hier recht – wir glauben wirklich aufrichtig, dass KI alle Menschen töten könnte!“, schrieb Hubinger. Er schätze die Wahrscheinlichkeit, dass das innerhalb des kommenden Jahrzehnts passiert, auf mehr als 10 Prozent.

Claude, Dario Amodei, Sam Altman: Warum der Ruf nach KI-Regulierung lauter wird

Am vergangenen Donnerstag veröffentlichte Anthropic seinen jüngsten Bedrohungsanalysebericht mit alarmierenden Beispielen für den Missbrauch seiner Claude-Modelle. Tage später publizierte Anthropic-CEO Dario Amodei einen eigenen Essay, in dem er Unternehmen dazu aufrief, das Tempo der KI-Entwicklung zu drosseln, und globale Regierungen, mehr zu tun, um die Technologie einzudämmen. Einige seiner größten Rivalen unter den Konzernchefs – darunter OpenAIs Sam Altman, xAIs Elon Musk und Google DeepMinds Demis Hassabis – äußerten in einem seltenen Kumbaya-Moment ihre Zustimmung.

All das hat in Washington und darüber hinaus eine KI-Panik ausgelöst. US-Gesetzgeber beider Parteien plädieren für eine stärkere Aufsicht über künstliche Intelligenz. Dabei entstehen auch seltsame Bündnisse: Der linke US-Senator Bernie Sanders und der rechtsextreme Provokateur Steve Bannon sprachen beide am Dienstag auf einer Washingtoner Konferenz namens „Pro-Human Assembly“ und forderten Beschränkungen für KI.

Doch weder die Ängste noch die Forderungen, das Tempo zu drosseln, sind neu. Letztere reichen mindestens bis 2023 zurück, als ein offener Brief, der eine sechsmonatige Pause bei „riesigen KI-Experimenten“ forderte, über 33.000 Unterschriften erhielt – darunter auch Musks. Es folgten mehrere ähnliche Briefe und Appelle, darunter einer noch im Juli, den mehr als 1.300 Beschäftigte der führenden KI-Unternehmen unterzeichneten – darunter Amodei.

Rumman Chowdhury, Hugging Face und Schwarm-Modelle: Warum die KI-Debatte jetzt eskaliert

„Das ist schon seit geraumer Zeit ein Thema“, sagte Rumman Chowdhury, eine KI-Forscherin, die unter der Biden-Regierung im KI-Sicherheits- und Security-Beirat des US-Heimatschutzministeriums saß. „Jacob Coxon ist nicht die erste Person, die ein Frontier-Labor mit ähnlichen Behauptungen verlässt“, sagte sie und witzelte, KI sei längst in ein Muster von „ein weiterer Tag, ein weiterer Brief“ gerutscht – ohne nennenswerte Veränderung.

Warum also hat sich die Debatte über KI-Risiken diesmal hochgeschaukelt? Mehrere Experten, mit denen Foreign Policy sprach, verwendeten zur Beantwortung dieser Frage die Formulierung „perfekter Sturm“ und verwiesen auf den Hack bei Hugging Face und die Enthüllung über die Fähigkeit der Modelle, einen „Schwarm“ zu bilden, um Aufgaben gemeinsam auszuführen. Amodei äußerte die „Sorge, dass in 6 bis 12 Monaten ein solcher Schwarm in der Lage sein könnte, das gesamte Internet zu übernehmen“, wenn das derzeitige Tempo der KI-Entwicklung beibehalten werde.

Die Motive von KI-Unternehmen, die vor existenziellen Risiken der Technologie warnen, während sie gleichzeitig unvermindert an ihrer Entwicklung arbeiten, stießen stets auf hohe Skepsis. Amodei räumte in seinem Essay ein, Anthropic werde vorgeworfen, „Hype, ‚Doomerism‘ oder regulator capture“ zu betreiben, und fügte hinzu, er habe eine Pause 2023 nicht für angemessen gehalten, plädiere nun aber für eine Verlangsamung, weil die Fähigkeiten der Technologie so weit fortgeschritten seien.

Jacob Coxon, Kat Duffy und KI-Schäden: Worum es in der Risikodebatte wirklich geht

Coxon versuchte, einigen dieser häufigen Kritiken direkter zuvorzukommen – unmittelbar nachdem er gewarnt hatte, KI könne alle töten. „Das ist kein Marketing-Stunt“, schrieb er.

Amodeis Behauptungen und die Flut an Warnungen aus der Branche sollten ernst genommen werden, sagte Kat Duffy, Senior Fellow für Digital- und Cyberspace-Politik beim Council on Foreign Relations. „Ich stimme Leuten nicht zu, die sagen, das seien notwendigerweise PR-Stunts vor einem Börsengang“, sagte Duffy und verwies auf die erwarteten Billionen-Dollar-Börsengänge von OpenAI und Anthropic. „Entweder würden Sie sagen: Das ist unglaublich gefährlich und schauen Sie, wie gut wir es unter Kontrolle haben, oder Sie würden sagen: Das ist unglaublich mächtig, aber nicht wirklich so gefährlich“, fügte sie hinzu. „Zu sagen, dass das wirklich gefährlich ist und wir verzweifelt brauchen, dass die Regierung eingreift – mir ist nicht klar, warum das in irgendjemandes Interesse sein sollte, während sie an die Börse gehen.“

Gleichzeitig verschleiert die Debatte über ein existenzielles Risiko für die Menschheit durch KI laut Chowdhury die vielen realen Schäden, die die Technologie bereits anrichtet – etwa Überwachung, algorithmische Verzerrungen, Diskriminierung, Deepfakes und Datenmissbrauch. „Das sind nicht die Themen, über die gesprochen wird“, sagte sie. „Die Regulierungsstrukturen oder welches Umfeld auch immer rund um die Arten von Risiken entsteht, über die heute gesprochen wird, führen schlicht zu einer regulatorischen Vereinnahmung bei einem sehr, sehr engen Set fantastischer Szenarien“, fügte sie hinzu.

Transparenz, Trump, Xi Jinping: Wie KI-Governance zum geopolitischen Machtkampf wird

Die größere Priorität, so Duffy, müsse mehr Transparenz und Sichtbarkeit darüber sein, wie KI-Systeme gebaut und getestet werden. „Es gibt eine Spannung zwischen dem, was gestern passieren müsste, und dem Umgang mit den Möglichkeiten katastrophaler oder existenzieller Risiken“, sagte sie. „Wenn wir nicht hingehen und das Vakuum angehen, das wir derzeit in Bezug auf Systeme, Zusammenarbeit, unabhängige Evaluation und Prüfung, gemeinsame Standards, gemeinsames Verständnis des Problems haben – wenn wir das nicht haben, wie um alles in der Welt sollen wir dann in der Lage sein, Dinge wie existenzielle Bedrohungen zu navigieren?“

Auch das Gipfeltreffen von US-Präsident Donald Trump mit Chinas Präsident Xi Jinping nächste Woche in Washington hat zu diesem „perfekten Sturm“ beigetragen, sagte Duffy. KI dürfte bei dem Treffen der beiden Staatschefs weit oben auf der Agenda stehen. Viele – darunter Amodei – hoffen auf einen gemeinsamen Mechanismus, um die katastrophalsten Risiken der Technologie zu managen.

Doch erste Anzeichen deuten darauf hin, dass weder Trump noch Xi bereit ist, zuerst zu blinzeln. Trump verbrachte einen Großteil des Montags damit, Sorgen über KI-Risiken und die Notwendigkeit, die Branche zu regulieren, zurückzuweisen. „AI taking over the World, destroying Humanity, and all other things bad, is a HOAX“, schrieb er in einem Beitrag auf Truth Social, einem von fünf separaten Posts, in denen er eine ähnliche Botschaft teilte. Im ersten Beitrag zitierte er Xi mit der Aussage, „China will be doing absolutely nothing to stand in the way of AI, or its future.“

China, Global Times und Vereinte Nationen: So positioniert sich Peking bei KI-Regulierung

Chinas Fortschritte seien in Wahrheit ein Argument für mehr Governance, nicht weniger, sagte Duffy – insbesondere, wenn die führenden US-KI-Manager danach verlangten. „China schließt weiterhin die Lücke zwischen dem, wo wir bei KI sind, und dem, wo sie bei KI sind“, sagte sie. „Jeder kann sich einig sein oder uneinig darüber, was genau diese Kennzahl ist, aber ich glaube, es gibt einen einheitlichen Konsens, dass sie aufgeholt haben, und sie sind das am stärksten regulierte KI-Umfeld der Welt.“

Xi hat sich bislang nicht direkt in die laufende Debatte eingeschaltet, doch die staatliche chinesische Zeitung Global Times veröffentlichte am Sonntag einen Leitartikel, der Amodeis Aufruf zur Verlangsamung der KI-Entwicklung als „Cold-War-Playbook“ für die Technologie bezeichnete, das „vollgepackt mit Eindämmungsbestimmungen gegen China“ sei.

Peking versucht seit Langem, sich als der verantwortungsvollere globale Akteur bei KI-Entwicklung und Governance zu präsentieren, deutete jedoch am Dienstag an, es würde dies lieber über die Vereinten Nationen tun – die ebenfalls nächste Woche zu ihrer größten jährlichen Zusammenkunft zusammentreten – statt über ein bilaterales Abkommen mit Washington. „KI-Entwicklung und -Governance erfordern die Praxis echten Multilateralismus“, sagte der Sprecher des chinesischen Außenministeriums, Guo Jiakun, am Dienstag vor Reportern. „China unterstützt stets die Rolle der UN als Hauptkanal in der globalen KI-Governance und … ist bereit, mit allen Ländern zusammenzuarbeiten, um ein gerechtes und ausgewogenes System aufzubauen.“

Es war eine leichte Relativierung von Guos Aussage vom Vortag, als er zu US-KI-Managern befragt wurde, die eine Verlangsamung fordern: „Angstmacherei, Konfrontation und bösartiger Wettbewerb werden die Bemühungen um eine solide globale KI-Governance nur behindern, was niemandes Interesse dient.“