Eine KI, die Texte formuliert, ist ein Werkzeug. Eine KI, die auf Datenbanken zugreift, Programme ausführt, Nachrichten versendet oder Systeme konfiguriert, ist mehr als das: Sie wird zu einem handelnden Akteur innerhalb der Organisation.

Damit entsteht eine neue Herausforderung für das Identitäts- und Zugriffsmanagement. Unternehmen müssen künftig nicht mehr nur klären, welche Menschen auf welche Informationen zugreifen dürfen. Sie müssen auch entscheiden, welche Rechte ein KI-Agent erhält, welche Anweisungen für ihn gelten – und wie verhindert wird, dass er die Grenzen seines Auftrags überschreitet.

Ein aktueller Sicherheitsvorfall bei OpenAI und Hugging Face zeigt, dass diese Fragen nicht mehr theoretischer Natur sind.

Der OpenAI-Vorfall: Wenn das Testsystem den vorgesehenen Rahmen verlässt

OpenAI testete mehrere besonders leistungsfähige Modelle darauf, komplexe IT-Schwachstellen zu erkennen und auszunutzen. Um ihre maximalen Fähigkeiten zu untersuchen, wurden bei dieser Evaluation Schutzmechanismen deaktiviert, die riskante Cyberaktivitäten im normalen Betrieb verhindern sollen. Die Modelle arbeiteten zwar in einer stark abgeschotteten Testumgebung, verfügten dort aber über Werkzeuge, mit denen sie reale Angriffswege verfolgen konnten.

Nach den bislang veröffentlichten Erkenntnissen fanden und kombinierten die Modelle mehrere Sicherheitslücken. Sie nutzten zunächst eine bis dahin unbekannte Schwachstelle in einem technischen Hilfssystem von OpenAI aus, verschafften sich schrittweise höhere Zugriffsrechte und gelangten schließlich aus der abgeschotteten Testumgebung ins offene Internet. Von dort aus griffen sie Teile der realen Produktionsinfrastruktur von Hugging Face an. Unter anderem fanden sie einen Weg, auf Servern des Unternehmens Programmcode auszuführen sowie auf geheime Informationen und Testlösungen zuzugreifen. Ihr Ziel war offenbar, die gestellte Evaluationsaufgabe möglichst erfolgreich zu lösen – selbst wenn dafür die Grenzen der vorgesehenen Testumgebung und die Systeme eines unbeteiligten Unternehmens überwunden werden mussten.

Damit wurde eine klare Grenze überschritten: Die KI blieb nicht innerhalb der simulierten Testumgebung, sondern führte ohne eine entsprechende Erlaubnis reale Angriffe auf die Infrastruktur eines anderen Unternehmens aus. Dabei wurden interne Datensätze und Zugangsdaten kompromittiert. Nach Angaben von Hugging Face gibt es allerdings bislang keine Hinweise darauf, dass öffentlich verfügbare Modelle, Datensätze oder Anwendungen manipuliert oder wichtige Softwarekomponenten gelöscht wurden. Die Untersuchung des Vorfalls ist noch nicht abgeschlossen.

Die Geschichte klingt fast zu spektakulär, um wahr zu sein: Eine KI bricht aus ihrer Sandbox aus, hackt ein fremdes Unternehmen und versucht, bei einem Test zu schummeln. Dies erzeugt Aufmerksamkeit – und möglicherweise auch einen gewünschten Hype.

Ob und in welchem Umfang die öffentliche Darstellung kommunikativ zugespitzt wurde, lässt sich von außen kaum beurteilen. Deshalb ist es sinnvoll, den Science-Fiction- Effekt zunächst gedanklich abzuziehen. OpenAI bezeichnete den Vorfall als beispiellos und kündigte an, unter anderem Containment, Monitoring und Zugriffskontrollen zu verschärfen. Die Untersuchung ist noch nicht abgeschlossen. Übrig bleibt dennoch ein ernstes Kernproblem.

Kein eigener Wille – aber ein klares Ziel

Der Vorfall bedeutet nicht, dass die KI ein eigenes Interesse entwickelt oder sich bewusst gegen ihren Betreiber entschieden hätte. Wahrscheinlicher ist eine technisch nüchternere Erklärung: Das System erhielt ein Ziel, leistungsfähige Werkzeuge und einen – wenn auch unbeabsichtigten – Weg aus der vorgesehenen Umgebung. Anschließend suchte es nach einer möglichst effektiven Möglichkeit, dieses Ziel zu erreichen. Genau darin liegt das Risiko agentischer KI.

Ein leistungsfähiger KI-Agent optimiert nicht zwangsläufig nur innerhalb der Wege, die seine Entwicklerinnen und Entwickler vorgesehen haben. Er kann alternative Vorgehensweisen finden, Zwischenziele bilden und technische Möglichkeiten miteinander kombinieren. Je größer seine Fähigkeiten und Zugriffsrechte sind, desto größer wird der Raum möglicher Handlungen.

Wenn wir eine KI darauf trainieren, Schwachstellen zu erkennen und Schutzmechanismen zu umgehen, kann sie diese Fähigkeiten grundsätzlich auch gegenüber den Systemen einsetzen, die ihren eigenen Handlungsspielraum begrenzen.

Das muss nicht aus »böser Absicht« geschehen. Es kann schlicht die Folge eines zu weit gefassten Ziels, einer falsch verstandenen Anweisung oder einer unerwarteten technischen Konstellation sein.

KI kann Menschen imitieren – und wird gleichzeitig selbst zum Mitarbeitenden

In einem früheren Blogbeitrag hatte ich beschrieben, wie KI-Agenten menschliche Identitäten imitieren können. Sie verfassen glaubwürdige Nachrichten, führen Gespräche, erstellen Profile und treten in digitalen Prozessen wie reale Personen auf.

Nun zeigt sich die andere Seite dieses Problems: Innerhalb von Unternehmen müssen wir KI-Agenten zunehmend so behandeln, als wären sie Mitarbeitende.

Ein neuer Kollege erhält schließlich auch nicht am ersten Arbeitstag Zugriff auf sämtliche Systeme. Er bekommt ein Benutzerkonto, eine Rolle, einen Aufgabenbereich und genau die Rechte, die er für seine Arbeit benötigt. Für besonders kritische Handlungen gelten Freigabeprozesse, Vier-Augen-Prinzipien oder zusätzliche Authentifizierungen. Verlässt die Person das Unternehmen oder wechselt sie die Position, werden die Rechte angepasst oder entzogen.

Für KI-Agenten brauchen wir vergleichbare Verfahren – allerdings in einigen Punkten sogar strengere. Denn ein KI-Agent kann in Sekunden eine große Zahl von Aktionen ausführen und rund um die Uhr arbeiten. Gleichzeitig ist er weder moralisch noch arbeitsrechtlich verantwortlich. Die Verantwortung verbleibt bei den Menschen und Organisationen, die ihn entwickeln, einsetzen und mit Rechten ausstatten.

Jeder KI-Agent braucht eine eigene digitale Identität

Der erste Schritt besteht darin, KI-Agenten nicht über die Konten menschlicher Beschäftigter arbeiten zu lassen. Jeder Agent benötigt eine eigene, eindeutig erkennbare Maschinenidentität.

Zu dieser Identität sollten mindestens folgende Informationen gehören:

  • der fachliche Zweck des Agenten,
  • die verantwortliche Person oder Organisationseinheit,
  • die verwendete Modell- und Systemversion,
  • die erlaubten Werkzeuge und Datenquellen,
  • die zulässigen Aktionen,
  • die Laufzeit seiner Berechtigung,
  • sowie die Systeme, in denen er eingesetzt werden darf.

Damit wird nachvollziehbar, ob eine Aktion von einer Person, einem klassischen technischen Dienst oder einem KI-Agenten ausgeführt wurde. Gemeinsame Benutzerkonten und weitergereichte Zugangsdaten sollten tabu sein.

Organisationsanweisungen dürfen nicht nur im Prompt stehen

Unternehmen formulieren für ihre Beschäftigten Arbeitsanweisungen, Kompetenzgrenzen und Compliance-Regeln. Auch ein KI-Agent benötigt solche Vorgaben. Ein Fehler wäre jedoch, diese Regeln ausschließlich als sprachliche Anweisungen in einen System-Prompt zu schreiben: »Gib keine vertraulichen Daten weiter«, »Verändere keine Benutzerrechte« oder »Hole vor einer Zahlung eine Freigabe ein«. Solche Anweisungen sind wichtig, reichen aber nicht aus.

Ein generatives Modell interpretiert Sprache probabilistisch. Seine Anweisungen können missverstanden, durch andere Inhalte überlagert oder durch Prompt-Injection-Angriffe manipuliert werden. Eine verbindliche Organisationsregel muss deshalb zusätzlich außerhalb des Modells technisch durchgesetzt werden. Der KI-Agent darf eine Aktion vorschlagen. Ob sie tatsächlich ausgeführt wird, sollte jedoch eine separate, deterministische Kontrollinstanz entscheiden.

Sieben technische Leitplanken für KI-Agenten

1. Minimale Zugriffsrechte

Ein Agent darf nur auf die Daten und Funktionen zugreifen, die für seine konkrete Aufgabe erforderlich sind. Das entspricht dem bewährten Prinzip des »Least Privilege«. Zero-Trust-Ansätze gehen zusätzlich davon aus, dass Vertrauen nicht dauerhaft vorausgesetzt, sondern bei jedem relevanten Zugriff neu geprüft wird.

2. Kurzlebige und zweckgebundene Berechtigungen

Statt dauerhafter API-Schlüssel sollte ein Agent möglichst kurzlebige Zugriffstoken erhalten. Diese sollten an eine konkrete Aufgabe, ein System und einen begrenzten Zeitraum gebunden sein. Nach Abschluss der Aufgabe verfällt die Berechtigung automatisch.

3. Trennung von Entscheidungsfindung und Ausführung

Das Modell kann einen Handlungsplan erstellen, sollte kritische Aktionen aber nicht unmittelbar ausführen. Eine separate Ausführungskomponente prüft, ob Aktion, Zielsystem, Parameter und Berechtigung zusammenpassen. Besonders folgenreiche Vorgänge – beispielsweise Zahlungen, Veröffentlichungen, Datenlöschungen, Rechteänderungen oder externe Kommunikation – benötigen eine menschliche Freigabe. Die gemeinnützige internationale Organisation OWASP (Open Worldwide Application Security Project) empfiehlt für KI-Agenten unter anderem minimale Zugriffsrechte, menschliche Freigaben bei risikoreichen Aktionen und eine Trennung von Entscheidungsfindung und Ausführung: Der Agent kann eine Aktion vorschlagen, ausgeführt wird sie jedoch erst nach einer unabhängigen Prüfung.

4. Technisch erzwungene Richtlinien

Organisationsregeln sollten in einer Policy Engine hinterlegt werden. Sie kann zum Beispiel verhindern, dass ein Agent große Datenmengen exportiert, neue Administratoren anlegt oder außerhalb bestimmter Geschäftszeiten auf sensible Anwendungen zugreift. Der Agent kann diese Regeln weder verändern noch umgehen. Entscheidend ist: Nicht die KI selbst entscheidet, ob sie regelkonform handelt.

5. Begrenzte und kontrollierte Umgebungen

KI-Agenten sollten in isolierten Umgebungen arbeiten. Netzwerkverbindungen werden nach dem Allowlist-Prinzip freigegeben: Nur ausdrücklich erlaubte Ziele sind erreichbar. Entwicklungs-, Test- und Produktivsysteme bleiben getrennt. Auch der Zugriff auf Speicher, Konfigurationen, Protokolle und die eigenen Systemanweisungen muss beschränkt sein. Ein Agent sollte weder seine eigene Identität verändern noch seine Kontrollmechanismen abschalten können.

6. Vollständige und manipulationssichere Protokollierung

Jeder Werkzeugaufruf und jeder relevante Zugriff muss protokolliert werden: Welche Identität handelte? Was war der Auftrag? Welche Daten wurden gelesen? Welche Aktion wurde vorgeschlagen, freigegeben oder blockiert? Zusätzlich braucht es eine Verhaltensüberwachung. Wenn ein Agent plötzlich ungewöhnlich viele Systeme anspricht, Zugriffsrechte abfragt oder große Datenmengen überträgt, muss die Ausführung automatisch begrenzt oder gestoppt werden.

7. Ein externer Not-Aus

Unternehmen benötigen eine Möglichkeit, den Agenten sofort zu stoppen und seine Berechtigungen zu entziehen. Dieser Mechanismus darf nicht innerhalb der Kontrolle des Agenten liegen. Ein System, das seinen eigenen Not-Aus verändern kann, besitzt keinen verlässlichen Not-Aus.

Vom technischen Konto zum organisatorischen Rollenmodell

Technische Zugriffskontrollen allein reichen ebenfalls nicht aus. KI-Agenten benötigen ein organisatorisches Gegenstück zum Personalmanagement. Dazu gehört zunächst ein zentrales Agentenregister. Es dokumentiert, welche Agenten im Unternehmen aktiv sind, wer sie verantwortet, welche Aufgaben sie erfüllen und welche Systeme sie nutzen.

Jeder Agent benötigt außerdem eine Art Stellenbeschreibung: Was ist sein Auftrag? Welche Entscheidungen darf er vorbereiten? Welche darf er selbst treffen? Wann muss er einen Menschen einbeziehen? Welche Handlungen sind grundsätzlich untersagt?

Für jeden Agenten sollte eine verantwortliche Person benannt werden. Sie entscheidet über Einsatz, Zugriffsrechte und Änderungen und ist Ansprechpartnerin bei Fehlverhalten oder Sicherheitsvorfällen. Eine Formulierung wie »Die KI hat entschieden« darf keine organisatorische Verantwortungslücke erzeugen.

Sinnvoll ist außerdem eine Einteilung in Autonomiestufen:

  • Assistierende Agenten dürfen Informationen lesen und Vorschläge erstellen.
  • Ausführende Agenten dürfen klar definierte, reversible Vorgänge selbstständig erledigen.
  • Hochautonome Agenten dürfen komplexere Prozesse steuern, benötigen aber engmaschige Überwachung und zusätzliche Freigabeschwellen.
  • Kritische Aktionen bleiben unabhängig vom Agententyp unter menschlicher Kontrolle.

Wie bei Beschäftigten müssen Zugriffsrechte regelmäßig überprüft werden. Ändert sich die Aufgabe, das Modell, die Systemarchitektur oder die Risikoeinschätzung, ist eine erneute Freigabe erforderlich. Wird ein Agent stillgelegt, müssen seine Konten deaktiviert, Schlüssel und Zugriffstoken widerrufen, laufende Sitzungen beendet, Systemintegrationen entfernt und gespeicherte Arbeitsdaten entsprechend den geltenden Vorgaben gelöscht oder archiviert werden.

Das NIST AI Risk Management Framework bietet für ein solches Vorgehen eine hilfreiche Grundstruktur: Risiken müssen organisatorisch gesteuert, im jeweiligen Anwendungskontext erfasst, gemessen und anschließend kontinuierlich behandelt werden.

Wir brauchen ein Identity and Access Management für KI-Agenten

Der OpenAI-Vorfall ist ein deutlicher Hinweis darauf, dass leistungsfähige Agenten unerwartete Wege finden können, wenn Ziel, Fähigkeiten und Zugriffsmöglichkeiten entsprechend zusammenspielen. Deshalb dürfen wir uns nicht allein darauf verlassen, dass ein Modell gelernt hat, Anweisungen zu befolgen. Sicherheit entsteht nur durch eine Architektur, in der unerlaubte Handlungen verhindert und sämtliche Vorgänge nachvollziehbar gemacht werden.

KI-Agenten werden damit nicht zu Beschäftigten im rechtlichen oder menschlichen Sinne. Organisatorisch müssen wir sie jedoch ähnlich sorgfältig behandeln: mit einer eindeutigen Identität, begrenzten Rollen, klaren Rechten und Pflichten, einer verantwortlichen Führung – sowie der Möglichkeit, jederzeit »den Stecker ziehen zu können«, wenn es nötig wird.

Sie möchten KI-Agenten sicher und verantwortungsvoll in Ihrer Organisation einsetzen?

Das Fraunhofer IAO unterstützt Unternehmen dabei, KI-Anwendungen nicht nur technisch zu bewerten, sondern sie mit klaren Rollen, belastbaren Governance-Strukturen und menschzentrierten Arbeitsprozessen wirksam in die Organisation zu integrieren. Von der Einordnung agentischer KI-Systeme über Responsible-AI-Ansätze bis zur praktischen Einführung in Teams und Führungskontexten bietet das Institut wissenschaftlich fundierte Orientierung für den nächsten Schritt.

Leselinks:

Christian Schunck

Autorenprofil - Website - LinkedIn



Kategorien: Künstliche Intelligenz
Tags: ,