Audit von Multi-Agenten-Systemen: Was Entscheidungsträger*innen jetzt wissen müssen

Während Organisationen beginnen, KI-Agenten einzusetzen, die eigenständig handeln, entscheiden und zusammenarbeiten, stellt sich auf Management- und Verwaltungsratsebene eine neue Frage: Wie prüft man Systeme, die nicht mehr statisch, sondern adaptiv und verteilt sind? Traditionelle IT-Audit-Ansätze bleiben relevant, müssen jedoch erweitert werden, um die spezifischen Risiken, Verhaltensweisen und menschlichen Verantwortlichkeiten in Multi-Agenten-Systemen zu berücksichtigen.

Was passiert

Viele Organisationen bewegen sich von isolierten KI-Anwendungsfällen hin zu Systemen, in denen mehrere KI-Agenten miteinander und mit bestehender IT-Infrastruktur interagieren. Diese Agenten können Kundenkommunikation übernehmen, interne Abläufe automatisieren oder Entscheidungsprozesse unterstützen. Im Gegensatz zu traditioneller Software passen sie ihr Verhalten an den Kontext an, lernen aus Interaktionen und beeinflussen sich gegenseitig.

Gleichzeitig sollten Menschen nicht vollständig aus dem Prozess verschwinden. Mitarbeitende überprüfen Ergebnisse, übersteuern Entscheidungen, setzen Ziele oder greifen in Ausnahmefällen ein. Dadurch entstehen hybride Systeme, in denen menschliches Urteilsvermögen und maschinelles Verhalten eng miteinander verflochten sind. Entscheidungen sind weder vollständig automatisiert noch im klassischen Sinn vollständig durch Menschen kontrolliert.

Warum das wichtig ist

Für Verwaltungsrät*innen und Führungskräfte hat dieser Wandel direkte Auswirkungen auf Governance, Risiko und Compliance. Etablierte interne Kontrollsysteme basieren auf Nachvollziehbarkeit, klaren Verantwortlichkeiten und Reproduzierbarkeit. Multi-Agenten-Systeme stellen alle drei Aspekte infrage, insbesondere wenn menschliche Interaktion Teil des Systemdesigns ist.

Aus Risikosicht können Fehler oder unbeabsichtigte Verhaltensweisen zwischen Agenten weitergegeben, verstärkt oder von Menschen übersehen werden. Gleichzeitig besteht die Gefahr einer übermässigen Abhängigkeit, bei der menschliche Prüfende Systemausgaben ohne ausreichende kritische Prüfung akzeptieren. Auch aus Compliance-Sicht wird Verantwortlichkeit komplexer. Es reicht nicht mehr zu fragen, welches System eine Entscheidung getroffen hat. Es muss auch geklärt werden, wer sie validiert hat, wer hätte eingreifen können und unter welchen Bedingungen.

Aus Governance-Perspektive wird die Einbindung eines "Human in the Loop" oft als Sicherheitsmechanismus verstanden. In der Praxis kann dies jedoch ein trügerisches Gefühl von Kontrolle erzeugen, wenn Rollen, Erwartungen und Grenzen nicht klar definiert sind.

Was das für Dich bedeutet

Wenn Du bereits mit IT-Audits und internen Kontrollsystemen vertraut bist, verfügst Du über eine solide Grundlage. Viele Prinzipien bleiben gültig. Funktionstrennung, Zugriffskontrollen, Protokollierung, Monitoring und Change Management sind weiterhin zentral.

Multi-Agenten-Systeme erfordern jedoch, dass diese Prinzipien erweitert werden und menschliche Interaktion als integraler Bestandteil des Systems betrachtet wird. Menschen sind nicht mehr nur Nutzende, sondern Teil der Kontrolllogik.

Das bedeutet, dass Auditprozesse Fragen berücksichtigen müssen wie: Wann ist menschliches Eingreifen erforderlich? Welche Informationen stehen zur Verfügung, um Entscheidungen zu unterstützen? Sind Menschen in der Lage, Systemausgaben kritisch zu hinterfragen, oder bestätigen sie diese lediglich? Und wie wird menschliches Verhalten über die Zeit hinweg beobachtet und unterstützt?

Für Organisationen bedeutet dies einen Perspektivenwechsel: Menschliche Aufsicht ist kein einfacher Kontrollschritt mehr, sondern ein Bestandteil des Systems, der genauso gestaltet, getestet und geprüft werden muss wie jede andere Komponente.

Was als Nächstes zu tun ist

Beginne mit den Grundlagen und erweitere sie gezielt.

Stelle eine klare Dokumentation, Versionierung und Zugriffskontrolle für jeden Agenten sicher. Die Protokollierung sollte nicht nur Systemaktionen erfassen, sondern auch menschliche Eingriffe wie Freigaben, Übersteuerungen und ignorierte Warnungen.

Definiere explizit, wo menschliche Beteiligung erforderlich ist und was erwartet wird. Ein "Human in the Loop" ist nur dann wirksam, wenn Rollen, Befugnisse und Entscheidungskriterien klar sind.

Stärke die Beobachtbarkeit. Überwache nicht nur die Interaktionen der Agenten, sondern auch die Reaktionen der Menschen. Muster wie häufige Übersteuerungen oder unkritische Akzeptanz von Ergebnissen sind wichtige Signale.

Stelle schliesslich sicher, dass Verantwortlichkeiten klar bleiben. Auch in verteilten Systemen müssen Zuständigkeiten für Entscheidungen, Aufsicht und Ergebnisse definiert und auf Verwaltungsratsebene sichtbar sein.

Wenn dieses Thema für Deine Organisation relevant ist, freuen wir uns über einen Austausch.