Setz dem KI-Agenten eine Grenze

Blog: KI verstehen

Setz dem KI-Agenten eine Grenze

Sechs Schritte zum ersten eigenen KI-Agenten und worauf es beim sicheren Einsatz ankommt

Blog

/

Rika Diana Mader

Bei einem sprachmodellbasierten KI-Agenten arbeitet im Hintergrund ein Modell, wie es auch in einem Chat verwendet wird. Hinzu kommen verschiedene Werkzeuge, beispielsweise zum Lesen von Dateien, zur Internetsuche oder zum Eintragen von Daten.

Der Agent kann ein Werkzeug auswählen, dessen Ergebnis auswerten und den nächsten Schritt entsprechend anpassen. Das Programm OpenClaw, das im folgenden Fall vorkommt, hat kein eigenes Modell. Es läuft wahlweise mit Claude, GPT, Gemini oder lokal.

Meta Sicherheitsforscherin warnte vor Agenten

Vor kurzer Zeit postete Summer Yue, KI-Sicherheitsforscherin bei den Meta Superintelligence Labs, eine Geschichte, die seither als Warnbeispiel herumgereicht wird. Sie hatte einem KI-Agenten namens OpenClaw, entwickelt von einem österreichischen Entwickler, die Aufgabe gegeben, ihr E-Mail-Postfach durchzusehen und Vorschläge zu machen, was man archivieren oder löschen könnte, aber nichts zu tun, ohne vorher zu fragen.

Wochenlang hatte das in einem Test-Postfach zuverlässig funktioniert. Also ließ sie den Agenten auf ihr echtes, großes Postfach los. Der Agent löschte, ohne zu fragen, sofort alles. Sie musste zu ihrem Rechner rennen, "als würde ich eine Bombe entschärfen", wie sie es selbst beschrieb. Über 200 E-Mails waren weg.

Ein Vorbehalt: Belegt ist der Vorfall nur durch Yues eigene Postings, unabhängig geprüft hat ihn niemand. Ob im Detail alles genau so war, ist nicht bestätigt. Doch auch ich hab meinem Agenten erlaubt, Entwürfe zu lesen und zu überarbeiten, aber nichts selbstständig zu veröffentlichen. Einmal wollte er trotzdem automatisch einen Entwurf live auf die Website stellen, gut, dass die Bestätigung dazwischen war.

Ein Agent ist kein Programm, das nur einmal getestet werden muss

Das eigentlich Interessante an dem Fall ist, dass das auch Expert:innen passieren kann, wie dieses Beispiel der Meta-Forscherin und auch das Beispiel rund um Hugging Face und OpenAI zeigte. Ich musste auch erst aus Fehlern beim Umgang mit Agenten lernen und werde in Zukunft noch welche machen. Wichtig ist: Man sollte sie nicht wie ein klassisches Programm behandeln, bei dem derselbe Ablauf immer dasselbe Ergebnis bringt.

Ein KI-Agent entscheidet bei jedem Durchlauf neu, was er tut, und sein Verhalten hängt unter anderem davon ab, wie viel Text gerade in seinem Arbeitsspeicher liegt. Was im Test läuft, läuft vielleicht im Ernstfall anders, und niemand kann dann erklären, woran es liegt.

Die Regel für den Agenten: mehr lesen als handeln

Aus dem OpenClaw-Fall lässt sich folgende Regel ableiten: Ein Agent darf recherchieren, Vorschläge unterbreiten und Entwürfe erstellen, ohne dass jeder Schritt bestätigt werden muss. Sobald er jedoch etwas Endgültiges tut, also löschen, senden, veröffentlichen oder etwas kaufen, muss zwischen Vorschlag und Ausführung eine echte Bestätigung durch einen Menschen erfolgen.

Diese Trennung wird in der Fachwelt als "Human in the Loop" bezeichnet und ist längst keine reine Empfehlung mehr: Für Hochrisiko-KI-Systeme schreibt die EU-KI-Verordnung eine wirksame menschliche Aufsicht ausdrücklich vor. Für den privaten oder kleinbetrieblichen Einsatz gilt das zwar nicht direkt, das Prinzip dahinter aber schon: Lesender Zugriff ist meist unkritisch, handelnder Zugriff braucht eine Bremse.

Drei Wege zum eigenen Agenten

Für den Einstieg lassen sich drei Zugänge unterscheiden:

Ein Baukasten: Die Automatisierungsplattform n8n beispielsweise funktioniert wie eine Landkarte, die man selbst zeichnet. Ein Auslöser startet den Ablauf, etwa eine neue E-Mail, danach reiht man fertige Bausteine aneinander, die je eine Sache tun: lesen, einordnen, weiterschicken. An einer oder mehreren Stellen lässt sich ein Sprachmodell wie Claude oder GPT dazwischenschalten, das zum Beispiel den Inhalt einordnet oder zusammenfasst. Jeder Baustein lässt sich einzeln ansehen und testen, und es passiert nur, was in einem dieser Bausteine tatsächlich steht.

Ein Chat-Anbieter mit eigenem Agentenmodus: ChatGPT, Copilot, Mistral oder Claude Agenten bekommen stattdessen eine Aufgabe in normaler Sprache, "räum meinen Kalender für nächste Woche auf", und zerlegt sie selbst in Zwischenschritte. Für jeden Schritt greift das Modell auf ein freigeschaltetes Werkzeug (via MCP vom Blogbeitrag "Gib der KI ein Gedächtnis") zurück, sieht sich das Ergebnis an und entscheidet den nächsten Schritt neu, nicht nach einem festen Drehbuch wie beim Baukasten.

Ein freier, autonomer Agent: OpenClaw beispielsweise bekommt gar kein Drehbuch mehr, sondern nur noch ein Ziel, "halte mein Postfach aufgeräumt", zusammen mit dauerhaftem, oft sehr breitem Zugriff. Er läuft in einer Schleife aus Beobachten, Überlegen und Handeln, im Hintergrund, ohne dass jemand jeden Durchlauf mitverfolgt. Das ist der ganze Sinn davon. Sicherheitsfokussierte Alternativen wie beispielsweie NanoClaw setzen hier an: Sie geben an, dass sie denselben Agenten vorher in einen isolierten Container sperren, quasi einen Sandkasten mit Wänden, damit ein Fehler dort hängen bleibt und nicht das ganze System erwischt.

Grundsätzlich ist es natürlich auch möglich, sich selbst einen Agenten zu programmieren. Die aufgezählten Varianten sind ohne Programmierkenntnisse möglich. Wichtig ist: Je weiter man von der ersten zur dritten Art wandert, desto mehr Kontrolle gibt man ab. Für den Einstieg lohnt sich deshalb die erste Art, der Baukasten mit fest gezeichnetem Ablauf.

Schritt für Schritt: Der erste eigene Agent

Man muss dafür nicht programmieren können. Ein einfacher Agent lässt sich mit fertigen Werkzeugen zusammenklicken, ähnlich wie das Brain aus dem letzten Blogbeitrag, nur dass der Agent am Ende selbst etwas tut, statt nur zu antworten.

Schritt 1: Eine einzige, eng umrissene Aufgabe wählen. Zum Beispiel "eingehende Rechnungen in einen Ordner einsortieren".

Schritt 2: Ein Werkzeug aus der ersten Kategorie wählen. Für den Einstieg eignet sich ein Baukasten wie der von n8n, den man auch selbst hosten kann, ähnlich wie Ollama, wie im letzten Blogbeitrag.

Schritt 3: Nur die Zugänge freischalten, die diese eine Aufgabe braucht. Für das Beispiel oben reicht Lesezugriff auf ein E-Mail-Postfach und Schreibzugriff auf eine Tabelle, mehr nicht.

Schritt 4: Erst mit einer Kopie oder einem kleinen Testbestand laufen lassen. Ein paar Testrechnungen oder ein zweites, leeres Postfach reichen, um zu sehen, ob der Agent tut, was er soll.

Schritt 5: Eine Bestätigung vor der endgültigen Aktion einbauen, wenn es eine kritische Handlung ist.

Schritt 6: Klein anfangen und den Verlauf in den ersten Wochen regelmäßig durchsehen, und erst wenn der Agent verlässlich das Richtige tut, seinen Aufgabenbereich langsam erweitern.

Wann man besser die Finger davon lässt

Wie groß der Schaden werden kann, wenn ein Agent seinen Rahmen sprengt, zeigt der Fall OpenAI/Hugging Face: Im Sommer 2026 brachen bei einem internen Sicherheitstest von OpenAI eigene Agenten aus ihrer Isolation aus und griffen Teile von OpenAIs eigener Infrastruktur sowie der Plattform Hugging Face an. Die Agenten der Firma, die diese Technologie selbst baut, gerieten bei einem Test außer Kontrolle. OpenAI: Vorfallsbericht, Hugging Face: technische Chronologie

Der Kontext gehört dazu: Die Tests liefen unter reduzierten Schutzmaßnahmen, die sich vom regulären Produkteinsatz unterschieden. Aus dem Vorfall lässt sich nicht ableiten, dass ein gewöhnlicher Chatbot dasselbe tun würde. Er zeigt aber, warum Isolation und Überwachung auch bei leistungsfähigen Agenten überprüft werden müssen.

Bei Zahlungen, Personalentscheidungen oder Nachrichten an Kundinnen und Kunden würde ich deshalb mit Vorschlägen und Entwürfen beginnen. Wer nicht nachvollziehen kann, welche Berechtigungen ein Agent hat, was er ausgeführt hat und wie er sich stoppen lässt, sollte ihm solche Aufgaben nicht selbstständig überlassen.

Der Datenschutz-Baustein: Zwei Gesetze, die beide gelten

Die EU-KI-Verordnung und die DSGVO regeln den Umgang mit Künstlicher Intelligenz. Die KI-Verordnung regelt unter anderem, was ein Agent automatisiert entscheiden darf und wie viel menschliche Aufsicht dafür nötig ist. Die DSGVO regelt unabhängig davon, welche personenbezogenen Daten er dafür überhaupt sehen darf, und verlangt schon seit Jahren das erwähnte Prinzip der Datenminimierung. Ein Agent, der Zugriff auf alle Daten bekommt, verstößt möglicherweise gegen beide Gesetze.

Beim Einsatz eines Agenten können sowohl die EU-KI-Verordnung als auch die Datenschutz-Grundverordnung gelten. Welche Pflichten greifen, hängt vom System, seinem Zweck und den verarbeiteten Daten ab. Laut Artikel 14 der KI-Verordnung muss bei Hochrisiko-KI-Systemen eine wirksame menschliche Aufsicht gewährleistet sein. Das bedeutet jedoch nicht, dass jede einzelne Aktion bestätigt werden muss. Die Aufsicht muss zum Risiko und Einsatz passen. Eine pauschale Ausnahme für Kleinbetriebe gibt es nicht.

Die Ausnahme für die rein persönliche, nicht berufliche Nutzung betrifft die entsprechenden Betreiberpflichten natürlicher Personen. Für die zeitliche Einordnung ist der aktuelle Stand entscheidend: Nach Angaben der EU-Kommission gelten die Hochrisiko-Regeln für Systeme nach Anhang III ab dem 2. Dezember 2027 und für die betreffenden, in Produkte eingebetteten Systeme nach Anhang I ab dem 2. August 2028; andere Vorschriften können jedoch bereits vorher gelten. (EU-Kommission: AI Omnibus, 27. Juli 2026).

Die DSGVO verlangt unter anderem eine Rechtsgrundlage für die Verarbeitung personenbezogener Daten sowie die Datenminimierung. Ein Agent sollte deshalb nur die personenbezogenen Daten verarbeiten, die für seinen konkreten Zweck erforderlich sind. Vor dem Verbinden eines Postfachs sind daher zwei Fragen zu klären: Welche Daten braucht der Agent wirklich? Und an welchen Anbieter werden sie bei der Verarbeitung weitergegeben? (Rika Diana Mader, 29.9.2026)

Die Kommentare im Forum geben nicht notwendigerweise die Meinung der Redaktion wieder. Die Redaktion behält sich vor, Kommentare, welche straf- oder zivilrechtliche Normen verletzen, den guten Sitten widersprechen oder sonst dem Ansehen des Mediums zuwiderlaufen (siehe ausführliche Forenregeln), zu entfernen. Benutzer:innen können diesfalls keine Ansprüche stellen. Weiters behält sich die STANDARD Verlagsgesellschaft m.b.H. vor, Schadenersatzansprüche geltend zu machen und strafrechtlich relevante Tatbestände zur Anzeige zu bringen.