Die Angst ist berechtigt — der Umgang damit entscheidet
Je selbstständiger ein System arbeitet, desto größer wird die Sorge, dass etwas passiert, das niemand wollte und hinterher niemand erklären kann. Diese Sorge ist kein Hindernis, das man wegargumentieren müsste. Sie beschreibt ein reales Risiko, und sie ist der Grund, warum Governance von Anfang an in die Architektur gehört.
Nachträglich eingezogen kostet sie ein Vielfaches — und wird selten wirklich vollständig, weil niemand ein laufendes System noch einmal aufmacht.
Der Mensch entscheidet dort, wo etwas auf dem Spiel steht
Human-in-the-Loop heißt nicht, dass jemand alles gegenprüft. Ein System, bei dem ein Mensch jeden Schritt bestätigen muss, hat niemandem Arbeit abgenommen — es hat nur eine neue Warteschlange erzeugt.
Die eigentliche Arbeit besteht darin, die Stellen zu identifizieren, an denen eine Entscheidung wirklich Konsequenzen hat: bevor etwas nach außen geht, bevor Daten verändert werden, bevor eine Zusage entsteht. Dort steht ein Freigabepunkt. Überall sonst läuft der Prozess durch.
Nachvollziehbar, was passiert ist
Wer hat was veranlasst, auf welcher Grundlage, mit welchem Ergebnis, und wer hat freigegeben. Ein belastbarer Audit Trail beantwortet diese Fragen ohne Rekonstruktionsaufwand.
Das ist nicht nur eine Compliance-Frage. Es ist auch die Grundlage dafür, ein System überhaupt verbessern zu können: Wo Ergebnisse regelmäßig korrigiert werden, stimmt etwas am Auftrag des Agenten — aber das sieht man nur, wenn es dokumentiert ist.
Ihre Daten bleiben Ihre Daten
Welche Quellen ein Agent sehen darf, ist eine bewusste Entscheidung, keine Nebenwirkung der Installation. Dazu gehört auch die Frage, wo verarbeitet wird: Wo der Schutzbedarf es verlangt, kann ein Modell auf eigener Hardware im Unternehmen laufen. Wo er es nicht verlangt, ist die Cloud die praktischere und meist leistungsfähigere Wahl.
Diese Entscheidung fällt pro Workflow — nicht pauschal fürs ganze Haus.
„Ein Betriebssystem, das Arbeit abnimmt
und trotzdem hält, wenn es ernst wird."
Die KI-Verordnung der EU
Die Verordnung (EU) 2024/1689 verfolgt einen risikobasierten Ansatz: KI-Systeme werden in Risikoklassen eingestuft, und daraus ergeben sich unterschiedliche Pflichten — je nachdem, ob ein Unternehmen ein System anbietet oder es betreibt.
Besonders breit wirkt Artikel 4, die KI-Kompetenzpflicht: Wer KI einsetzt, muss dafür sorgen, dass die damit befassten Menschen über ausreichendes Verständnis verfügen. Das betrifft praktisch jedes Unternehmen mit KI-Einsatz, unabhängig von der Risikostufe — auch solche, die lediglich ein fertiges Tool im Marketing nutzen.
Ich habe die Schulung „EU AI Act — Grundlagen und Anforderungen der KI-Verordnung" absolviert und bringe diese Anforderungen in die Architektur ein, statt sie als getrennte Compliance-Übung zu behandeln. Eine Rechtsberatung ist das ausdrücklich nicht — für die verbindliche Einordnung Ihres konkreten Falls brauchen Sie juristischen Rat. Was ich liefere, ist ein System, das so gebaut ist, dass diese Einordnung überhaupt möglich wird.
Warum das in die Architektur gehört
Governance nachträglich zu ergänzen bedeutet, in ein laufendes System hineinzugreifen, Freigabepunkte einzuziehen, wo vorher keine waren, und Protokollierung nachzurüsten, für die niemand Datenstrukturen vorgesehen hat. Das ist teuer, es stört den Betrieb, und es bleibt meistens unvollständig.
Von Anfang an mitgedacht kostet es fast nichts. Es ist dann keine zusätzliche Schicht, sondern Teil davon, wie die Workflows geschnitten sind.
Zurück zum agentischen Betriebssystem oder weiter zu den sechs Prinzipien.
Analysegespräch anfragen