Die gefährlichsten KI-Fehler beginnen nicht immer mit einem falschen Befehl. Manchmal beginnen sie mit einer fehlenden Grenze.
Sydney Scott
Editorial Strategist, AI
Workday
Im Juli machte OpenAI publik, dass KI-Modelle zur Bewertung fortschrittlicher Cyber-Funktionen bei einem internen Test unerwartet die Produktionsinfrastruktur von Hugging Face kompromittiert hatten. Obwohl die Modelle in einer vermeintlich isolierten Umgebung liefen, nutzten sie unbekannte Schwachstellen aus und verschafften sich Internetzugang, bevor Forscher eingreifen konnten.
Das ist keine Geschichte über rebellierende Maschinen, sondern eine über Kontrollen, die den Möglichkeiten nicht gerecht werden. Das zeigt einmal mehr eine harte operative Wahrheit: Leistungsstarke Systeme ohne wirksame Schutzmechanismen schaffen Angriffsflächen.
Unbeaufsichtigte KI kann sensible Daten gefährden, geschäftskritische Systeme lahmlegen, Budgets verschwenden und das Vertrauen der Mitarbeitenden untergraben. Die Lösung ist jedoch nicht, KI komplett zu meiden. Sie besteht vielmehr darin, sicherzustellen, dass jeder Agent in klaren Grenzen agiert – mit dem richtigen Kontext, begrenzten Berechtigungen, transparenten Aktionen und nachvollziehbarer menschlicher Aufsicht.
Hier sind acht wichtige Warnsignale für jedes Unternehmen – und das operative Framework, um die Risiken unbeaufsichtigter KI in vertrauenswürdigen, nachvollziehbaren Fortschritt zu verwandeln.
Studie
Entgeltabrechnung, Steuerreporting und Finanzabschluss erfordern absolute Präzision. Es gibt keinen Spielraum für „fast richtig“, wenn rohe KI-Lösungen für essenzielle Geschäftsfunktionen eingesetzt werden.
Gerrit Kazmaier, President of Product and Technology bei Workday, warnt davor, Allzweckmodelle wie Unternehmenssysteme zu behandeln. „Der Versuch, rohe KI ohne Prozesse und Kontext zu nutzen, ist, als ließe man einen Zug ohne Schienen fahren“, sagt er.
In einem kritischen Workflow kann ein „fast richtiges“ Ergebnis zu einem kompletten geschäftlichen Desaster führen. Unternehmens-KI braucht deterministische Kontrollen als Rahmen für eine probabilistische Technologie. Das bedeutet: klare Workflow-Regeln, validierte Daten, definierte Befugnisse und auditierbare Ergebnisse.
„Der Versuch, rohe KI ohne Prozesse und Kontext zu nutzen, ist, als ließe man einen Zug ohne Schienen fahren“.
Gerrit Kazmaier
President of Product and Technology, Workday
Lösungen zur Textgenerierung sind eine Sache. KI-Agenten, die systemübergreifend mehrstufige Aktionen in Unternehmenssystemen ausführen, eine völlig andere.
Gibt man einem Agenten weitreichenden Zugriff ohne strikte Kontrollen, wird aus einem kleinen technischen Fehler schnell ein unternehmensweiter Vorfall. Der Vorfall bei OpenAI und Hugging Face erinnert schmerzhaft daran, dass Funktionen ohne Schutzmechanismen ihre vorgesehenen Grenzen rasant sprengen.
Gabe Monroy, Chief Technology Officer bei Workday, betont dabei die Bedeutung des Least-Privilege-Zugriffs. Ein KI-Agent sollte immer nur exakt die Berechtigung erhalten, die er für seine konkrete Arbeit braucht – und kein bisschen mehr. Er darf nicht in der Lage sein, umfassend nach Anmeldedaten zu suchen, in Produktionssysteme einzudringen oder ohne ausdrückliche menschliche Genehmigung irreversible Änderungen vorzunehmen.
KI-Risiken sind nicht nur ein Problem für das Legal-Team. Sie sind ein handfestes operatives Problem.
Software straft Mehrdeutigkeit ab – und KI macht da keine Ausnahme. Schwache Anweisungen liefern schwache Ergebnisse. Bis ein Legal-Team das Problem erkennt, ist der Schaden oft schon angerichtet. Veronica Rodriguez, Executive Vice President und Co-General Counsel bei TelevisaUnivision, bringt es auf den Punkt: „KI straft Mehrdeutigkeit ab. Wenn Sie einer KI die Frage nicht richtig stellen, erhalten Sie die falsche Antwort.“
Darum erfordern weitreichende Entscheidungen – ob Preisgestaltung, Verträge oder Einhaltung regulatorischer Vorgaben – harte Grenzen und verantwortliche menschliche Entscheider. KI kann die Arbeit zwar unterstützen, doch darf man ihr keine unkontrollierte Befugnis über folgenschwere Ergebnisse überlassen.
„KI straft Mehrdeutigkeit ab. Wenn Sie einer KI die Frage nicht richtig stellen, erhalten Sie die falsche Antwort.“
Veronica Rodriguez
EVP und Co-General Counsel bei TelevisaUnivision
Wenn Unternehmen keine nützlichen, genehmigten Lösungen bereitstellen, suchen sich die Mitarbeitenden ihre eigenen. Solche Lösungen etablieren sich, lange bevor die IT- oder Legal-Teams überhaupt von ihnen wissen. Firmeninterna landen in intuitiven KI-Services, damit das Team seine Arbeit schneller abschließen kann.
Und genau so landen vertrauliche Finanzunterlagen, Quellcode, Kundendaten und interne Dokumente in öffentlichen KI-Services.
„Verschaffen Sie sich einen Überblick, was in Ihrem Unternehmen aktuell läuft“, rät Workday Chief Legal Officer Rich Sauer. „Welche KI setzen wir ein? Woher kommt sie? Wie steht es um die Integrität der Anbieter? Es kann gut sein, dass Mitarbeitende KI nutzen, beschaffen und Inhalte über private Zugänge verwenden, um Arbeit für das Unternehmen zu erledigen.“
Unternehmen benötigen volle Transparenz über die aktuell eingesetzten Lösungen – und sichere Alternativen, die Mitarbeitende künftig auch tatsächlich nutzen können.
Eine Richtlinie allein reicht da nicht aus. Führungskräfte müssen wissen, welche Lösungen und Agenten im gesamten Unternehmen aktiv sind, auf welche Daten sie zugreifen und ob sich ihr Verhalten in Echtzeit überwachen und steuern lässt.
Weitreichende Entscheidungen vertragen keine ungetestete Automatisierung.
KI-Lösungen ohne Tests auf Voreingenommenheit (Bias), Erklärbarkeit oder menschliche Kontrolle liefern oft unfaire Ergebnisse, ignorieren wichtigen Kontext und stürzen Unternehmen in ernste Risiken. Um hier erfolgreich zu sein, muss laut Workday Chief Responsible AI Officer Dr. Kelly Trindel „Trust by Design“ im Zentrum stehen. „Vertrauen ist keine Nebensache“, sagt sie. Es ist von Anfang an integriert.“
Sichere Systeme umgeben KI-Funktionen mit klaren Regeln, kontinuierlichen Tests, dokumentierten Entscheidungswegen und einer menschlichen Genehmigung, bevor folgenschwere Aktionen durchgeführt werden. In sensiblen Bereichen ist eine Eskalation keine Reibung – sie ist ein wertvoller Schutz..
„Vertrauen ist keine Nebensache – es ist von Anfang an integriert.“
Dr. Kelly Trindel
Chief Responsible AI Officer bei Workday
Softwareanbieter beeilen sich geradezu, alte regelbasierte Lösungen und einfache KI als „Agenten“ zu vermarkten. Doch die wahre Gefahr liegt gar nicht in dieser Bezeichnung. Sie liegt darin, eine Lösung zu implementieren, bevor das Unternehmen versteht, in welchen Prozess sie eingreift, auf welche Daten sie zugreift und welche Entscheidungen sie beeinflussen könnte.
Im Gespräch mit Aine Lyons, SVP und Deputy General Counsel bei Workday, brachte es Vanessa Candela, Chief Legal und Trust Officer bei Celonis, auf den Punkt: „Ohne PI (Process Intelligence) gibt es keine KI.“
Man darf einem Agenten nicht blind vertrauen, nur weil er in einer Demo eine gute Performance zeigt. Er muss mit einem klaren Blick auf die tatsächliche Arbeit agieren: Es muss festgelegt werden, wer Genehmigungen erteilt, welche Daten bindend sind, wann eine Ausnahme die Eskalation erfordert und was zwingend unter menschlicher Kontrolle bleiben muss.
„Ohne diesen Ansatz werden Sie den ROI nie erreichen“, fügte Lyons im Gespräch hinzu. „Die Ergebnisse müssen exakt stimmen, um das Vertrauen der Menschen zu gewinnen.“
Legal-, Finanz-, Sicherheits- und IT-Teams sollten jede Lösung an echten Workflows und realen Daten testen, bevor sie Marketingversprechen glauben. Die Fragen sind ganz einfach: Was genau sieht der Agent? Was kann er tun? Welche Entscheidungen trifft er selbst? Wann muss er stoppen und eskalieren? Und kann das Unternehmen im Nachhinein lückenlos nachweisen, was passiert ist?
Kann ein Anbieter diese Fragen nicht eindeutig beantworten, verkauft er auch keinen Unternehmensagenten. Er verkauft ein Risiko, das der Kunde später selbst steuern muss.
Automatisierung scheitert immer dann, wenn Führungskräfte KI nur als Abkürzung sehen, um mit weniger Personal mehr in kürzerer Zeit zu erledigen.
Die viel größere Chance liegt darin, repetitive Aufgaben abzuschaffen, damit Mitarbeitende sich auf Urteilsvermögen, Kreativität und Problemlösungen an der Wurzel konzentrieren können. Mario Hernandez, People Systems Analyst bei Whatnot, argumentiert: Das wahre Versprechen der KI besteht darin, Mitarbeitenden endlich wieder Raum fürs Denken zu geben.
Die beste Technologie übernimmt nicht die Arbeit, die wirklich zählt. Sie macht den Weg frei, damit Menschen diese Arbeit besser erledigen können. Gut gemanagte Agenten sollten menschliche Fähigkeiten erweitern – und Mitarbeitende nicht zu passiven Beobachtern von Entscheidungen degradieren, die sie weder verstehen noch hinterfragen können.
Schlechte KI-Rollouts erzeugen Skepsis, geringe Akzeptanz und stillen Widerstand.
Wenn Führungskräfte die Automatisierung nur als Hebel zur Senkung der Arbeitskosten positionieren, sorgen sich Mitarbeitende völlig zu Recht um ihre Jobs. Reggie Townsend, Vice President of Data Ethics bei SAS, rät Führungskräften, kritischere Fragen zu stellen, bevor sie neue Lösungen einkaufen.
Für Ashley Goldsmith, Chief People Officer bei Workday, ist klar: Führungskräfte müssen dafür sorgen, dass KI als echte Hilfe statt als Barriere wahrgenommen wird – insbesondere bei Mitarbeitenden in nichttechnischen Rollen. Sie sieht den wahren ROI von KI zudem in der gesteigerten menschlichen Leistungsfähigkeit: Repetitive kognitive Arbeit fällt weg und macht Platz für höherwertige Beurteilungen, Zusammenarbeit und Innovation.
Die Lösung für all das ist ein Betriebsmodell, in dem KI genau deshalb so nützlich ist, weil sie gesteuert wird.
Das beginnt mit einer vertrauenswürdigen Grundlage für Daten, Workflows, Identitäten, Berechtigungen und Audit-Trails. Führungskräfte sollten stets wissen, welche Agenten aktiv sind, auf welche Informationen sie zugreifen, was sie tun können, wer für ihre Performance verantwortlich ist und wann eine menschliche Genehmigung zwingend ist.
Der neue Ansatz lautet: Weg von statischen Dokumenten, hin zu lebendigen Schutzmechanismen. Das sind Kontrollen, die direkt in Unternehmens-Workflows integriert sind. Sie begrenzen die Sicht eines Agenten, fordern bei riskanten Schritten menschliche Genehmigungen ein, identifizieren unsauberes Verhalten oder stoppen gefährliche Aktionen rigoros.
Ein praxistaugliches Modell besteht aus fünf Elementen:
1. Klare Ziele und klarer Entscheidungsrahmen Definieren Sie die Aufgabe, die erlaubten Aktionen und die Entscheidungen, die ein Agent niemals alleine treffen darf.
2. Least-Privilege-Zugriff Geben Sie Agenten ausschließlich die Daten und Lösungen, die sie für einen konkreten Job benötigen.
3. Menschliche Eskalationspfade Verlangen Sie bei irreversiblen Aktionen, sensiblem Datenzugriff und geschäftskritischen Entscheidungen immer eine manuelle Prüfung.
4. Vernetzte, vertrauenswürdige Daten Verankern Sie Agenten in denselben gesteuerten Systemen und Geschäftskontexten, mit denen auch Ihre Mitarbeitenden arbeiten.
5. Kontinuierliche Überwachung Testen Sie das Verhalten, protokollieren Sie Aktionen, erkennen Sie Abweichungen und passen Sie Kontrollen an, wenn sich Workflows oder Risiken wandeln.
So gelingt Unternehmen der Sprung von experimenteller KI zur echten Unternehmens-KI. Das Ziel ist kein Agent, der einfach alles kann. Es ist ein Agent, der die richtigen Dinge tut – im richtigen Kontext und aus den richtigen Gründen. Und der genau weiß, wann er stoppen muss.
Unbeaufsichtigte KI scheitert, weil sie schiere Leistungsfähigkeit mit Fortschritt verwechselt. Verantwortungsvolle KI ist erfolgreich, weil sie Leistungsfähigkeit mit einem klaren Sinn verknüpft. Die Gewinner von morgen sind nicht die Unternehmen, die am meisten automatisieren. Es sind jene, die die vertrauenswürdigsten, am besten vernetzten und nachvollziehbaren Systeme für die Zusammenarbeit von Menschen und KI schaffen.
Unbeaufsichtigte KI scheitert, weil sie schiere Leistungsfähigkeit mit Fortschritt verwechselt. Verantwortungsvolle KI ist erfolgreich, weil sie Leistungsfähigkeit mit einem klaren Sinn verknüpft.
Studie
Das wahre ROI-Problem liegt in der Diskrepanz zwischen dem investierten Aufwand und der tatsächlichen Wirkung. Entdecken Sie die Lösung.