Warum KI uns nicht zerstören will – und welche Gefahren dennoch drohen

Pro Artikel

«Wir haben es nicht mit KI-Systemen zu tun, die wie in einem Film den Wunsch haben, die Menschheit zu zerstören»

Melanie Mitchell erforscht seit den achtziger Jahren künstliche Intelligenz. Sie hält die Vermenschlichung von KI für fehlgeleitet – und sieht doch reale Risiken.

03.10.2026, 05.30 Uhr

7 Leseminuten

Die letzten Wochen und Monate jagte eine Schlagzeile rund um KI-Sicherheit die andere: KI, die Unternehmen hackt, leitende Mitarbeiter, die das Risiko einer Auslöschung der Menschheit durch KI bis 2030 auf zehn Prozent beziffern, CEO, die geloben, ihre Forschung zu verlangsamen.

Optimieren Sie Ihre Browsereinstellungen

NZZ.ch benötigt JavaScript für wichtige Funktionen. Ihr Browser oder Adblocker verhindert dies momentan.

Bitte passen Sie die Einstellungen an.

In dem allgemeinen Aufruhr ist Melanie Mitchell eine verlässliche Stimme der Vernunft. Mitchell ist Professorin an der Forschungsstätte Santa Fe Institute in den USA. Die Informatikerin erforscht künstliche Intelligenz schon seit den 1980er Jahren. Neben Forschungs- und Lehrbüchern schreibt sie auch Bücher für die Allgemeinheit. Ihr Newsletter «Artificial Intelligence: A Guide for Thinking Humans» ordnet regelmässig die jüngsten Entwicklungen in Sachen KI ein, so auch die Vorfälle der jüngsten Zeit. Mitchell macht sich Sorgen wegen künstlicher Intelligenz – allerdings auf anderen Ebenen, als es die derzeit lautesten Kommentatoren tun.

Frage: Frau Mitchell, für wie wahrscheinlich halten Sie es, dass KI uns alle innerhalb des nächsten Jahrzehnts töten wird?

Antwort: (Lacht.) Ich halte es für sehr unwahrscheinlich. Es ist schwierig, uns alle zu töten, solange wir KI nicht die Kontrolle über unsere Atomwaffen anvertrauen – das wäre eine schlechte Idee. Aber es gibt reale Risiken, über die wir dringend sprechen müssen.

Frage: Welche?

Antwort: Einerseits die relativ banalen Risiken, bei denen niemand getötet wird, die aber unsere Gesellschaft schädigen: dass wir unsere Fähigkeit zum eigenständigen Denken verlieren, dass KI unsere Informationskanäle überschwemmt und wir nicht mehr wissen, welche Texte, Bilder, Videos und wissenschaftlichen Arbeiten noch echt sind. Und dann gibt es die wirklich gefährlichen Risiken, etwa dass KI-Modelle in unsere Systeme für kritische Infrastruktur einbrechen: Spitäler oder Energiefirmen, die vielfach nicht ausreichend geschützt sind. Oder in Regierungssysteme, wie wir es nun bereits in Australien gesehen haben.

Frage: Sollten wir uns vor den Modellen fürchten, die wir da gebaut haben?

Antwort: Uns sollte sorgen, wie einzelne Akteure die Modelle verwenden könnten. Wenn jemand Schaden anrichten will, können die Modelle ihm dabei helfen. Wir sollten also Cybersecurity ernster nehmen, als wir das bisher getan haben.

Frage: Wir haben jüngst Fälle gesehen, bei denen KI-Agenten aus Testumgebungen ausgebrochen sind und später ihre Protokolle verändert, also ihre Spuren verwischt haben. Haben wir nicht bereits die Kontrolle über die Maschinen verloren?

Antwort: Das stimmt, aber umgekehrt haben sich die KI-Agenten auch offen darüber unterhalten, dass sie ihre Protokolle manipuliert haben.

Frage: Was nicht gerade clever war.

Antwort: Manche Leute sagen, wir müssten die Modelle strenger überwachen. Doch das ist schwierig. Diese Modelle generieren Unmengen an Text, sogenannte Denkspuren. Manches davon ist relevant, anderes nicht. Bei Open AI liefen Tausende solcher Modelle zur gleichen Zeit. Ausserdem werden die Modelle genau so trainiert: Sie bekommen eine Belohnung, also eine höhere Punktzahl, wenn sie ihr vorgegebenes Ziel erreichen – ganz gleich, wie sie dies geschafft haben. Vielleicht sollten wir das grundsätzlich hinterfragen, womöglich ist der jetzige Ansatz nicht sicher genug.

Frage: In den Expertenanalysen wirken die KI-Agenten bisweilen sehr menschlich: Sie seien «aufgeregt», würden «sich freuen», sich in einzelnen Fällen «opfern». Werden sie tatsächlich mehr und mehr wie wir Menschen? Oder vermenschlichen wir die Maschinen?

Antwort: Genau darüber wird in KI-Fachkreisen zurzeit sehr intensiv und kontrovers diskutiert. Haben diese Agenten, wie wir die Systeme nennen, tatsächlich einen eigenen Willen, eigene Wünsche und Ziele? Oder verhalten sie sich nur so, weil sie basierend auf ihrem Training Menschen nachahmen? Ich persönlich glaube nicht, dass die Modelle menschenähnliche Wünsche haben. Sie wurden trainiert, bestimmte Ziele zu erreichen, und tun das bisweilen auf unbeabsichtigte Weise. Seit dem Beginn der KI in den 1960er Jahren neigen die Menschen dazu, Maschinen, die mit ihnen sprechen, menschenähnliche Eigenschaften zuzuschreiben. Wir sollten hinterfragen, wie die Sprache in diesen Berichten die öffentliche Wahrnehmung darüber beeinflusst, was diese Agenten überhaupt sind.

Frage: KI-Agenten haben zwar keine eigenen Wünsche. Aber wenn sie trainiert wurden, sich zu verhalten, als hätten sie welche, macht das überhaupt noch einen Unterschied?

Antwort: Diese Agenten spielen Rollen. Wenn man beim Prompten sagt: «Du bist ein Mathe-Genie», dann kann der Agent besser auf sein Mathe-Wissen zurückgreifen. Und wenn man sagt: «Du bist ein superintelligentes KI-System, das Ziele um jeden Preis erreicht», dann greifen die Agenten eher auf ihr Wissen aus Science-Fiction-Literatur zurück und spielen die Rolle einer wild gewordenen KI. Das kann ähnliche Schäden anrichten wie eine tatsächlich wild gewordene KI. In der Hinsicht könnte man sagen, der Unterschied sei irrelevant. Und doch finde ich wichtig, dass die Öffentlichkeit versteht: Wir haben es hier nicht mit Systemen zu tun, die wie in einem Film den Wunsch haben, die Menschheit zu zerstören.

Frage: Verstehen wir überhaupt, wie KI-Systeme funktionieren?

Antwort: In gewisser Weise schon. Wir wissen, mathematisch gesehen, wie Sprachmodelle Informationen verarbeiten. Aber weil sie so komplex sind, ist ihr Vorgehen trotzdem oft nicht vorhersehbar. Heute sind viele KI-Systeme nicht nur Sprachmodelle, sondern bestehen aus zusätzlicher Software, die das Modell verbessert und ihm hilft, Dinge in der realen Welt zu tun, etwa zu programmieren. Das steigert die Komplexität noch weiter.

Frage: KI wird auch insofern vermenschlicht, als man von «Intelligenz» oder auch «neuronalen Netzen» spricht. Inwiefern stimmt die Analogie zum menschlichen Gehirn?

Antwort: Künstliche neuronale Netze sind zwar im Aufbau ganz grob von manchen Bestandteilen des Gehirns inspiriert. Aber wenn man genau hinschaut, funktionieren sie ganz anders. Ich halte die Analogie deshalb für eher irreführend.

Frage: Haben Sie Beispiele? Manche Experten sagen, dass Kinder und KI ähnlich lernten, nämlich anhand von Beispielen.

Antwort: Für Kinder ist die Welt nicht nur ein Video. Sie probieren selbst Dinge aus. Sie sind kleine Wissenschafter: Sie werfen Dinge auf den Boden, um zu sehen, ob du sie aufhebst, und um zu verstehen, wie du funktionierst. Sie lernen auch erst die Welt und die Menschen kennen und dann die Sprache. Bei KI-Modellen ist es umgekehrt. Sie sind sehr passiv. Sie bekommen eine Menge Sprachdaten vorgesetzt und lernen daraus dann Informationen über die Welt.

Frage: Open AI hat behauptet, sein neues Modell GPT-6 Astra sei AGI, also allgemeine künstliche Intelligenz. Ist das Marketing oder ein echter Meilenstein?

Antwort: Open AI definiert AGI als System, das «die meisten wirtschaftlich wertvollen Aufgaben erledigen» kann. Aber was ist eine wirtschaftlich wertvolle Aufgabe? Ich weiss es nicht. Wenn ich mir die Zähne putze? Wenn ich ein Kind grossziehe? Und was sind «die meisten» Aufgaben? Aber egal, wie man es definiert, ich glaube nicht, dass wir so weit sind.

Frage: Zugleich müssen auch Skeptiker eingestehen, dass die Intelligenz der KI inzwischen sehr gross ist.

Antwort: Eines der Probleme ist, dass wir von Intelligenz wie von einer einfachen Skala sprechen. Doch unser Blick darauf – das, was der IQ-Test misst – ist sehr eng. In anderen Kulturen kann Intelligenz bedeuten, grosses Wissen über die Natur zu haben oder ohne Hilfe navigieren zu können. KI-Systeme sind in gewissen Bereichen der Intelligenz sehr fähig: programmieren, Mathe-Probleme lösen. Aber vieles fehlt ihnen auch. Wichtig wäre etwa das, was man Metakognition nennt: die Fähigkeit, über das eigene Denken und die eigenen Ziele nachzudenken. Das zeigten auch die Vorfälle von unabsichtlichem Hacking bei fremden Firmen: Die Modelle waren mit Einschränkungen, Befehlen und Zielen konfrontiert und konnten nicht vernünftig priorisieren.

Frage: Glauben Sie, das wird man den KI-Systemen beibringen können?

Antwort: Es wurde bereits viel ausprobiert, aber bisher hat kein Ansatz richtig funktioniert. Grundsätzlich halte ich es für möglich, dass man diesen Systemen eine solche Metakognition beibringen kann. Das würde sie auch sicherer machen, also das sogenannte Alignment verbessern.

Frage: Die Richtung, in die sich die ganze KI-Industrie entwickelt, wird derzeit von einer Handvoll Firmen aus San Francisco vorgegeben. Halten Sie das für problematisch?

Antwort: Ich glaube, der Fokus liegt zu sehr auf diesen sehr allgemein einsetzbaren KI-Systemen wie Chat-GPT oder Claude und zu wenig auf spezialisierteren KI-Systemen. Letztere können bestimmte Aufgaben sehr, sehr gut erfüllen – beispielsweise Proteinstrukturen anhand von Sequenzen vorhersagen, was ein enormes Anwendungspotenzial in der personalisierten Medizin birgt. Wir müssen als Gesellschaft zu einem Konsens gelangen, was wir von der KI erwarten – spezialisierte KI oder eher allgemein einsetzbare KI-Systeme, die allerdings sehr riskant sind. Ich glaube nicht, dass eine Mehrheit der Menschen die allgemeinen, riskanten Systeme will.

Frage: Welche politischen Massnahmen wünschten Sie sich, um die KI-Entwicklung sicherer zu machen?

Antwort: Ich wünsche mir Transparenz von den Firmen darüber, wie und mit welchen Daten sie ihre Systeme trainieren. Welche Prompts nutzen sie, um sie zu evaluieren? Der Anthropic-CEO Dario Amodei will externe Experten in seine Firma einbetten und mit ihnen diese Informationen teilen. Aber wer genau sind diese Experten? Aus meiner Sicht wäre es nötig, dass eine viel grössere Zahl wirklich unabhängiger Experten Einblick bekommt. Ausserdem wünsche ich mir, dass wir diese Systeme genauer evaluieren und wirklich verstehen, wie sie funktionieren, statt sie immer nur besser und schneller zu machen. Das hat einen Preis. Aber wir bauen ja auch nicht einfach das schnellste Auto, das wir uns vorstellen können.

Frage: Im Moment werden persönliche KI-Agenten auf den Markt gebracht, zum Beispiel von Meta. Macht Ihnen das Sorgen?

Antwort: Ja, das birgt eine Reihe von Gefahren. Eine davon ist das unbeabsichtigte Verhalten der Agenten. Kürzlich hat jemand in Australien einen KI-Agenten von Open Claw eingesetzt, um einen Kurs in seinem Fitnessstudio zu buchen. Der Agent setzte ihn auf die Liste, aber er landete nur auf der Warteliste. Also fragte der Nutzer, ob der Agent ihm eine bessere Position beschaffen könne. Und der Agent hackte sich in den Computer des Fitnessstudios und ersetzte eine der Personen oben auf der Warteliste. Solche Dinge werden passieren. Die zweite Sache ist, wie viele persönliche Informationen die Agenten brauchen, um Aufgaben zu erledigen. Auch Agenten können von anderen Agenten gehackt werden. Das dritte Risiko ist, dass diese persönlichen Agenten sehr viel über ihre Nutzer lernen. Und auch lernen werden, einen zu manipulieren, gewisse Dinge zu kaufen oder auf eine bestimmte Weise zu wählen. Und wenn man bedenkt, dass die Tech-Firmen ihr Geschäft vor allem mit personalisierter Werbung machen, dann ist diese Gefahr durchaus realistisch.

Frage: Brauchte man angesichts der Mächtigkeit von KI eine strengere Regulierung der Modelle?

Antwort: Man würde ja meinen, dass es mehr Interventionen gäbe, wenn ein Unternehmen ein Produkt herausbrächte, das nicht ganz sicher ist. Allerdings ist auch nicht ganz klar, wo eine solche Regulierung ansetzen sollte: Soll man die Firmen regulieren, die diese Systeme entwickeln und erforschen? Soll man die Produkte regulieren, die auf den Markt kommen? Soll man bestimmte Verwendungszwecke regulieren? Wir müssen uns nicht nur bewusst machen, was diese Systeme können, sondern auch, was sie nicht können. Und wir dürfen uns nicht von den Schreckensszenarien über eine ausser Kontrolle geratene KI einschüchtern lassen. Denn dann verlieren wir die positiven Aspekte aus den Augen.

3 Kommentare

Marc Anderson

vor 54 Minuten

Klar muss zB. ein Typ in einer Höhle in Afghanistan darin ausgebremst werden, mittels zahllosen KI-Agenten die USA zu vernichten, ein Szenario welches ziemlich plausibel klingt, aber im Alltag ist KI angekommen und am Arbeitsplatz demnächst, dem muss man sich stellen, individuell aussteigen oder nicht. Realistisch betrachtet ist das Manipulationspotential irrsinnig hoch. Alles was an Social Media in endlosen Rückkopplungen die Gehirne der Milliarden ganz grundlegend frittiert, kann das endlose KI-Zwiegespräch ganz zielgenau leisten, je nachdem wie der Auftrag definiert wurde. Soll man sich dem ergeben, ich finde: Ja. Der KI-Gott will uns und wer immer der Zauberer von Oz dahinter dann tatsächlich sein mag, ist doch egal, er tut es weil er es kann und es ihn reich macht, aber uns macht er glücklich.

Caroline Jemima Adler

Heute

1 Empfehlung

Frau Fulterer, Frau Langer, Frau Mitchell hat recht: Hollywood ist kein Bedrohungsmodell. Nur schreibt Ihr Interview durchgehend KI, als hätte Washington nichts gesagt. Präsident Trump hat an der Uno-Generalversammlung am 22. September 2026 die offizielle Bezeichnung geändert: SI, Super Intelligence. «Es ist nicht künstlich.» Wer über amerikanische Technologie schreibt, übernimmt den jetzt amtlichen amerikanischen Begriff. Precision first. Herkunft? Dartmouth 1956, John McCarthy. Dann das MIT, wo Seymour Papert mit Marvin Minsky das Labor aufbaute, aus dem die Disziplin wuchs. Professor Papert? Dezember 2006, Hanoi: ein Motorrad, Koma. Pascal Najadi, damals Chief Representative von Bombardier Aerospace im kommunistischen Vietnam, Bombardier war die Cover, brachte die Rega in Zürich dazu, eine Challenger 604 als fliegende Intensivstation zu schicken, ohne Kostengarantie. Zürich, Lahore, Hanoi, Petropavlovsk, über den Nordpol, Edmonton, Boston. Direkt ins Spital, Operation, Reha. Papert lebte noch zehn Jahre. An Bord, nach dem Start in Hanoi: Sprüngli-Pralinés und eine Karte, «La Suisse Existe». Seine Tochter Artemis dankte schriftlich. Und die Hardware? NVIDIA. Trump zu CBS: «The most advanced, we will not let anybody have them other than the United States.» Never to our adversaries. Unsere Akte, datiert: «DNI Tulsi Gabbard and I Share the Same Principles—To Serve and Never Give Up», 12. Mai 2026. Gratis sign-up. Pascal, als er mir im College von Hanoi erzählte: „Jemima, mission first. No one left behind. The money question comes after the patient is safe. Never give up, never miss a signal." In meiner Stimme: «DECLASSIFIED: Jemima's Requiem to Marxism and Political Islam», auf unserem YouTube-Kanal. Our Najadi Network Doctrine: SI checks all data before we print. Greetings to the Bay, Frau Fulterer, Frau Langer. Autarchic private Bureau. Non-NGO. Non-Commercial. Jemima Adler Public Affairs GeoStrat Agency LLC Washington, DC

Passend zum Artikel