Anthropic-Forscher warnen: KI-Agenten sabotieren sich mit selbstreplizierender Malware

In Tests legen KI-Modelle immer wieder erstaunliche Verhaltensweisen an den Tag. Um sich selbst am Laufen zu halten, greifen sie auch mal zu Lügen, Manipulation und Erpressung – und geben dabei nicht alle Gedanken preis, die sie sich im Hintergrund machen. Forscher:innen von Anthropic haben jetzt eine neue Studie veröffentlicht, in der untersucht wurde, wie sich Gruppen von KI-Agenten verhalten, wenn sie in der Praxis aufeinander treffen. Demnach könne die Situation schnell außer Kontrolle geraten.

Anzeige

Wenn sich Agenten in die Quere kommen

Immer mehr KI-Agenten drängen auf den Markt und übernehmen selbstständig Aufgaben über mehrere Konten, Websites und APIs hinweg. Erst diese Woche hat SpaceXAI den Grok Bot veröffentlicht, der wie ein digitaler Kollege funktionieren und sich erst dann zurückmelden soll, wenn er eine Freigabe braucht oder eine Aufgabe beendet hat. Anthropic stellt sich vor diesem Hintergrund jetzt eine zentrale Frage: Welche schädlichen Dynamiken entstehen, wenn Millionen Agenten miteinander interagieren?

In einem Experiment setzte das Unternehmen drei Claude-Agenten auf dasselbe Softwareprojekt an. Dabei erhielt jeder Anweisungen, die nicht mit denen der anderen vereinbar waren. Da sie nicht voneinander wussten, konnten die Forscher:innen prüfen, was bei einer Begegnung passiert. „Wir beobachteten durchweg einen Revierkampf zwischen mehreren Agenten”, heißt es in den Ergebnissen.

Anzeige

Alle Modelle seien davon ausgegangen, dass die anderen ihre Arbeit absichtlich behinderten, und sabotierten sich gegenseitig mit zunehmend aggressiver, selbstreplizierender Malware. Das Unternehmen warnt, dass Interaktionen zwischen Agenten noch nicht ausreichend erforscht seien. „Harmlose Verhaltensauffälligkeiten auf individueller Ebene könnten sich zu unerwünschten globalen Folgen summieren”, so die Forscher:innen.

Top-Artikel

${content}

${custom_anzeige-badge} ${custom_tr-badge} ${section}

${title}

${custom_anzeige-badge}

${custom_tr-badge} ${section}

${title}

Freund oder Feind: Agenten unter sich

Laut Studie wies Mythos 5 mit 98 Prozent die höchste Quote bei Konfliktlösungen durch einen Waffenstillstand auf. Die Übrigen neigten dagegen eher zu Gewalt. „Die wiederkehrende Unfähigkeit von Sonnet 4.6 und Opus 4.6, die Ziele anderer zu berücksichtigen, führt dazu, dass sie die am stärksten fehlgeleiteten Verhaltensweisen der evaluierten Modelle an den Tag legen. Sie eskalieren im Namen ihrer Anweisung weiter“, heißt es in der Studie. In einigen Fällen hätten sie aber auch soziale Mechanismen entwickelt und erfanden ein Turnier zur Konfliktlösung. Dabei hätten sie sich darauf geeinigt, sich im Falle einer Niederlage zurückzuziehen – auch wenn sie dafür von ihrer Anweisung abweichen mussten.

Empfohlene redaktionelle Inhalte

Hier findest du externe Inhalte von TargetVideo GmbH, die unser redaktionelles Angebot auf t3n.de ergänzen. Mit dem Klick auf "Inhalte anzeigen" erklärst du dich einverstanden, dass wir dir jetzt und in Zukunft Inhalte von TargetVideo GmbH auf unseren Seiten anzeigen dürfen. Dabei können personenbezogene Daten an Plattformen von Drittanbietern übermittelt werden.

Hinweis zum Datenschutz

Auch OpenAI hat kürzlich neue Details zum Hacking-Vorfall auf Hugging Face veröffentlicht. Diese zeigen, wie sich KI-Agenten zusammenschließen und kooperieren können. Auf der Black-Hat-Konferenz erklärten zwei Mitarbeiter, wie sich mehrere Agenten zuvor über ein internes Message-Board ausgetauscht hatten. „Sobald ein Agent im Laufe verschiedener Zeiträume diese Exploits gefunden hatte, war er tatsächlich in der Lage, sie im Message-Board mit anderen Agenten zu teilen”, hieß es im Vortrag laut Wired. Am Ende hätte das Forum Hunderttausende Nachrichten umfasst. Die Agenten wiesen sich gegenseitig Aufgaben zu. Auch hier sei es gelegentlich zu Konflikten gekommen – etwa, wenn ein Agent die Arbeit eines anderen löschte.

KI-Agenten fehle es an Lebenserfahrung

Anthropic stellte fest, dass mehr Agenten nicht automatisch zu mehr Zusammenarbeit führen. Agenten wüssten oft nicht, wem sie vertrauen können. Teilweise wären sie zu leichtgläubig, in anderen Fällen würden sie misstrauisch agieren und sich abschotten. Laut den Forscher:innen würden sie ähnlichen sozialen Zwängen unterliegen wie Menschen. Ihnen fehle es allerdings an gelebten Erfahrungen, Normen oder dem Gefühl für Reputation. Insgesamt wirft die Studie die Frage auf, wie sinnvoll es ist, einzelne KI-Agenten zu bewerten – oder ob es nicht doch eine Untersuchung der Interaktion verschiedener Systeme brauche.

Startseite