Bei der Entwicklung von Agenten geht es nicht nur um Geschwindigkeit. Vertrauen ist der neue Maßstab, und Entwickler benötigen effektive Schutzmechanismen, um unbeaufsichtigte KI zu vertrauenswürdigen Lösungen weiterzuentwickeln.
Sydney Scott
Editorial Strategist, AI
Workday
Eine schlechte Antwort eines KI-Chatbots verursacht ein Review-Problem. Ein fehlerhafter KI-Agent mit Produktionszugriff kann eine operative Krise auslösen.
Diese Risiken sind heute das zentrale Thema der Softwareentwicklung. Da KI nicht mehr nur Code vorschlägt, sondern Arbeit plant und eigenständig handelt, müssen Entwickler entscheiden, wodurch ein System gestoppt wird, wenn es Fehler macht.
Beim Einsatz von KI hinkt das Vertrauen deutlich hinterher. Die im September 2025 durchgeführte DevOps Research and Assessment-Studie (DORA) von Google Cloud unter fast 5.000 Technologieexperten ergab, dass 90 % bei der Arbeit KI nutzten und über 80 % damit eine Produktivitätssteigerung erzielten. Doch nur 24 % vertrauten der Technologie „sehr“ oder „in hohem Maße“. Weitere 30 % vertrauten ihr wenig oder gar nicht.
Die Bedenken sind berechtigt. In der ersten Hälfte dieses Jahres stieß ein Cursor-Programmieragent bei einer Routineaufgabe für das Softwareunternehmen PocketOS auf einen Konflikt bei den Zugangsdaten, fand ein Zugriffstoken mit weitreichenden Berechtigungen und löschte mit einem einzigen Cloud-Aufruf die Produktionsdatenbank des Unternehmens sowie die zugehörigen Datensicherungen.
Der Löschvorgang dauerte neun Sekunden. Dieser Fehler offenbarte eine Gefahr, die Entwickler nicht unter Kontrolle hatten: Ein Agent in einer Testumgebung konnte dennoch auf Live-Systeme zugreifen und ohne menschliche Genehmigung irreversible Maßnahmen ergreifen.
Die Vertrauenslücke hat nun reale Konsequenzen. Sie verursacht ein technisches Problem, ein Geschäftsrisiko und einen Streit darüber, wer die zunehmend eigenständig agierende Software kontrolliert. Unternehmen wünschen sich die Geschwindigkeit von KI. Entwickler müssen verhindern, dass diese Geschwindigkeit in Schaden umschlägt.
Da KI nicht mehr nur Code vorschlägt, sondern Arbeit plant und eigenständig handelt, müssen Entwickler entscheiden, wodurch ein System gestoppt wird, wenn es Fehler macht.
Studie
Risikokontrollen können nicht länger auf eine finale Compliance-Prüfung warten. Bis dahin haben die Teams längst die wichtigen Entscheidungen getroffen: was ein Agent einsehen kann, welche Lösungen er aufrufen kann, ob er schreiben oder löschen darf und wann ein Mensch eingreifen muss.
Agenten verschärfen das Risiko. Ein Programmierassistent kann eine fehlerhafte Lösung vorschlagen. Ein Agent mit Zugriff auf Unternehmensdaten und Produktionsdaten kann diese dann umsetzen.
Vertrauen wird direkt in das Produkt selbst integriert. Die Tech-Giganten verankern in der gesamten Systemlandschaft Schutzmechanismen: AWS nutzt Bedrock AgentCore, um strikte Anwendungsgrenzen durchzusetzen, während die Agent Control Specification von Microsoft Risiken bei jedem Schritt abfängt – von der ersten Eingabe bis zur finalen Umsetzung.
Gemeinsame Standards könnten verhindern, dass Kontrollmechanismen im System eines einzigen Anbieters isoliert bleiben. Die Agentic AI Foundation der Linux Foundation vereint unter sich Projekte wie das Model Context Protocol (MCP), das Agenten-Framework Goose und AGENTS.md, die sich auf gemeinsame Agentensysteme und Sicherheitsmuster konzentrieren.
Das Marktsignal ist kaum zu übersehen. Berechtigungsgrenzen, Freigabepunkte, Richtlinienprüfungen und Audit-Protokolle werden zu einem festen Bestandteil der Maschinerie. Anbieter, die diese Kontrollen transparent und übertragbar gestalten, dürften bei Unternehmen, die über den Grad des Handlungsspielraums entscheiden, einen Vorsprung erlangen.
Doch Lösungen allein können ein schwach aufgestelltes Unternehmen nicht optimieren. DevOps Research and Assessment (DORA) beschreibt KI als Verstärker: Klare Workflows und leistungsstarke Teams werden noch effizienter, während sich unklare Verantwortlichkeiten und nachlässige Prüfroutinen schneller verbreiten.
Das macht Vertrauen sowohl zu einem technischen Kontrollinstrument als auch zu einem Testfall am Arbeitsplatz. Entwickler brauchen den Freiraum, um unsichere Ergebnisse zu hinterfragen und ein Release zu bremsen, ohne dafür negative Konsequenzen befürchten zu müssen. Eine erzwungene KI-Einführung kann zu stillschweigenden Compliance-Problemen führen: Mitarbeitende nutzen KI, um einfache Ausgaben auszuführen, vermeiden sie aber bei wichtigen Arbeiten.
Wenn Führungskräfte den Erfolg ausschließlich am Codevolumen oder an abgeschlossenen Tickets misst, belohnen sie unbeabsichtigt reine Geschwindigkeit statt systemische Sicherheit.
Bei der Entwicklung mit KI geht es nicht nur darum, in rasender Geschwindigkeit Code zu produzieren. Vielmehr ist der Aufbau sicherer und zuverlässiger Systeme gefordert. Die eigentliche Aufgabe der Entwickler erschöpft sich heute nicht mehr nur im Eingeben von Syntax. Sie sind vielmehr gefordert, als Systemarchitekten zu agieren. Sie müssen umfassende Probleme einkreisen, deutliche operative Grenzen setzen und verhindern, dass einzelne automatisierte Änderungen das gesamte Unternehmen lahmlegen.
Vor der Veröffentlichung eines neuen KI-Systems nutzen intelligente Teams eine einfache Checkliste, um ihre Grundregeln festzulegen. Entwickler müssen auf vier Schlüsselfragen eine klare Antwort liefern:
Diese Fragen verlagern den Fokus vom Eindruck, den ein KI-Modell hinterlässt, hin zur Frage, wie zuverlässig sich das gesamte System tatsächlich funktioniert.
Um diese Grenzen in die tägliche Praxis umzusetzen, stützen sich Teams in Unternehmen auf das AI Risk Management Framework des National Institute of Standards and Technology (NIST). Dieses Framework unterteilt die Sicherheit in vier kontinuierliche Funktionen:
Benennen Sie spezifische Führungskräfte für Sicherheit, Datenschutz und rechtliche Risiken, bevor mit der Entwicklung begonnen wird. Definieren Sie klar, wer die Berechtigung hat, das System zu deaktivieren oder neue Datenzugriffe zu genehmigen.
Erfassen Sie Anwender, Daten, Lösungen und potenzielle Wege, wie das System missbraucht werden könnte. Wenden Sie bei einfachen Aufgaben (wie dem Zusammenfassen eines Dokuments) leichte Kontrollen an, während riskante Aktionen (wie Geldüberweisungen) einer strengen Prüfung unterliegen sollten.
KI kann Code generieren, der oberflächlich betrachtet makellos aussieht, während sich darunter unsaubere Logik, Sicherheitslücken oder anfällige Abhängigkeiten verbergen. Dies führt zu einem massiven Rückstau bei der Code-Überprüfung. Wenn das Leadership den Erfolg ausschließlich am Codevolumen oder an abgeschlossenen Tickets misst, erfolgt die Entlohnung unbeabsichtigt für bloße Geschwindigkeit statt für systemische Sicherheit.
Anstatt nur den reinen Output zu verfolgen, sollten Sie den tatsächlichen Weg der KI testen und sich auf intelligente Kennzahlen für die Geschwindigkeit konzentrieren:
Da sich KI-Systeme kontinuierlich verändern, müssen Teams in Echtzeit auf ungewöhnliches Verhalten achten. Wenn dann unweigerlich etwas schiefgeht, sollten Sie auf Schuldzuweisungen verzichten. Fragen Sie sich vielmehr, warum das System den nötigen Spielraum hatte, um Schaden anzurichten, und machen Sie aus diesem realen Vorfall einen automatisierten Test, damit sich dies nicht wiederholt.
Die Integration von Kontrollen in das Produkt vom ersten Tag an ist kein Bremsklotz für die Geschwindigkeit – sie ist vielmehr das grüne Licht, um schneller voranzukommen.
Wenn ein KI-System eine Blackbox ist, sind Menschen gezwungen, es bis ins kleinste Detail zu managen, was den Sinn der Automatisierung völlig zunichte macht. Doch sobald Sie einen Agenten mit strikten Rahmenbedingungen für die Berechtigung und absoluter Transparenz ausstatten, wendet sich das Blatt. Die Maschine kann komplexe Arbeit sicher erledigen, weil die Menschen genau wissen, wo die Grenzen liegen.
Dieses Vertrauen ist der ultimative Beschleuniger für Unternehmen. Es hilft ihnen, die Angst vor einem katastrophalen Systemabsturz hinter sich zu lassen und zuversichtlich zu skalieren. Die Marktmacht verlagert sich bereits weg von reiner Modellintelligenz hin zu Plattformen, die absolute Transparenz und einen zuverlässigen Not-Aus-Schalter bieten.
Der nächste Wettbewerbsvorteil wird nicht vom auffälligsten KI-Agenten kommen. Er wird aus der Infrastruktur hervorgehen, die ihn im Zaum hält: effektive Guardrails, übertragbare Sicherheitsstandards und Architekturen, die darauf ausgelegt sind, den Radius eines Fehlers einzudämmen.
Die Integration dieser Kontrollen in das Produkt vom ersten Tag an ist kein Bremsklotz für die Geschwindigkeit – sie ist vielmehr das grüne Licht, um schneller voranzukommen. Die Unternehmen, die frühzeitig Vertrauen aufbauen, werden die Konkurrenz abhängen. Denn wenn ihre Systeme unweigerlich ins Straucheln geraten, ist der Schaden bereits eingedämmt, sichtbar und leicht zu beheben.
Studie
Das wahre ROI-Problem liegt in der Diskrepanz zwischen dem investierten Aufwand und der tatsächlichen Wirkung. Entdecken Sie die Lösung.