„Shadow AI“ ist der neue Sicherheitsvorfall an Ihrer Frontlinie

Jedes kostenlose KI-Tool, das in Ihrem Unternehmen eingesetzt wird, birgt ein Sicherheitsrisiko. Diese Plattformen erfassen Eingabeinformationen, speichern sie und trainieren damit öffentliche Modelle, wobei Sie keinerlei Einblick darin haben, welche Daten verwendet werden und welche nicht. Ein Mitarbeiter, der ein vertrauliches Dokument in ein kostenloses KI-Tool hochlädt, hat diese Daten aus Ihrem Sicherheitsbereich herausgeführt, sodass Sie den Zugriff darauf nicht mehr kontrollieren können.

Das Ausmaß ist größer, als die meisten IT-Teams annehmen. Forscher des MIT-Projekts NANDA in „The GenAI Divide: State of AI in Business 2025“, beschreiben „eine florierende ‚Schatten-KI-Wirtschaft‘, in der Mitarbeiter persönliche ChatGPT-Konten, Claude-Abonnements und andere Verbraucher-Tools nutzen, um wesentliche Teile ihrer Arbeit zu automatisieren – oft ohne IT-Kenntnisse oder Genehmigung“. Der Bericht untermauert dies mit Zahlen: „Während nur 40 % der Unternehmen angeben, ein offizielles LLM-Abonnement erworben zu haben, berichteten Mitarbeiter aus über 90 % der von uns befragten Unternehmen von der regelmäßigen Nutzung privater KI-Tools für berufliche Aufgaben.“ Die Forscher werteten dies als Zeichen dafür, was Mitarbeiter als nützlich empfinden. Aus Sicherheitssicht ist dies zudem ein Beleg dafür, dass Unternehmensdaten ohne Aufsicht weitergegeben werden.

Warum „Shadow AI“ die „Shadow-IT“-Kontrollen umgeht

Die IT-Führung hat das letzte Jahrzehnt damit verbracht, Schatten-IT einzudämmen. Die Teams haben Netzwerke abgesichert, die Verwaltung mobiler Geräte durchgesetzt, nicht genehmigte SaaS-Anwendungen blockiert und Drittanbieter vor Vertragsunterzeichnung überprüft. Diese Kontrollmaßnahmen setzen voraus, dass sich alle an den Prozess halten; doch wenn ein kostenloses Tool die Arbeit beschleunigt, ändern sich die Anreize. Filialleiter und Verkaufspersonal greifen zunehmend auf kostenlose LLM-Tools zurück, um Schichtankündigungen zu verfassen und Berichte über Kundenvorfälle zu prüfen. Neben dem typischen Risiko von Datenlecks bringt diese Praxis der Schatten-KI neue Herausforderungen mit sich: ungenaue Antworten, unsicherer Quellcode und Integrationen, die niemand genehmigt hat.

Der Einsatz dezentraler KI birgt zudem Compliance-Risiken im Rahmen des EU-KI-Gesetzes, der OWASP Top 10, des NIST AI RMF und der Norm ISO 42001. Für Unternehmen, die Hunderte oder Tausende von Standorten betreiben, entspricht die Lösung der Vorgehensweise der IT-Abteilung bei der Verwaltung jeder anderen Infrastrukturkomponente. Sie würden keinen Router aus Ihrem Privathaushalt verwenden, um Unternehmensnetzwerke zu sichern – warum sollten Sie also einen Chatbot für Privatanwender in einem Frontline-Workflow einsetzen? Die Alternative ist eine KI, die für den Einsatz in Unternehmen entwickelt wurde und von Ihrer IT-Abteilung kontrolliert wird; diese lässt sich präzise dort einsetzen, wo das Frontline-Team bereits arbeitet.

KI für Verbraucher vs. KI für Unternehmen: Wer kontrolliert die Daten?

Ein Mitarbeiter, der sich eigenmächtig bei einer kommerziellen KI-Plattform anmeldet, erwirbt damit einen vorgefertigten Dienst. In diesem Fall verliert das Unternehmen den Überblick darüber, wie seine Daten gespeichert werden – ganz zu schweigen von der Kontrolle über das zugrunde liegende Modell.

Ein LLM für Endverbraucher ist bereits mit eigenen Einschränkungen, Funktionen, Sicherheitsvorkehrungen usw. vorinstalliert. Darauf haben Sie keinen Einfluss. Wenn Sie jedoch direkt über eine sichere API einkaufen, kann der Unternehmenskunde Sicherheitsvorkehrungen entsprechend seiner eigenen Standards festlegen.

Letztendlich läuft es darauf hinaus, wer die Kontrolle über die Daten hat:

• Consumer / Shadow AI: Trainiert öffentliche Modelle mit Unternehmensdaten und bietet keinerlei Audit-Protokolle für Unternehmen. Das System basiert auf offenen Eingabeaufforderungen ohne organisatorische Sicherheitsvorkehrungen.
• Regulierte Unternehmens-KI: Stellt isolierte Dateninstanzen bereit, bei denen interne Daten niemals zum Trainieren externer Modelle verwendet werden. Dabei werden rollenbasierte Abfragen genutzt, um interne Einschränkungen und Benutzerberechtigungen durchzusetzen.

Ein im Rahmen der MIT-Studie befragter Führungskraft beschrieb eine zentrale Anforderung an jeden KI-Anbieter: „Ich kann nicht riskieren, dass Kundendaten mit dem Modell eines anderen vermischt werden, selbst wenn der Anbieter versichert, dass dies unbedenklich ist.“

Eine dedizierte API-Bereitstellung schließt diese Lücke, da sie es dem Unternehmen ermöglicht, seine eigenen Richtlinien zur Datenaufbewahrung und seinen eigenen Sicherheitsbereich zu konfigurieren.

Wie WorkJam Gemini über eine sichere API nutzt

Bei WorkJam ermöglicht uns unsere Partnerschaft mit Google den Zugriff auf Gemini auf der Basisebene. Die Anbindung erfolgt über eine steuerbare API-Schnittstelle, die es uns ermöglicht, zusätzlich zu den von Google bereitgestellten Sicherheitsmaßnahmen eigene Schutzmechanismen zu entwickeln. Der KI-Agent arbeitet im Rahmen der individuellen Vorgaben jedes einzelnen Nutzers, einschließlich Schichtplänen, Arbeitsvorschriften und Gewerkschaftsvereinbarungen. Auch bei hohem Transaktionsaufkommen hält er sich strikt an die Richtlinien des Unternehmens.

Datenschutz durch eine „Closed-Box“-Architektur

Wenn Führungskräfte an vorderster Front Leistungsdaten von Filialen oder firmeneigene Standardarbeitsanweisungen kopieren und in öffentliche LLMs einfügen, verlassen diese Informationen die Unternehmensgrenzen. Die Lösung des Problems der „Schatten-KI“ erfordert mehr als nur eine Richtlinienbeschränkung. Mitarbeiter greifen auf diese Tools zurück, weil sie hilfreich sind, und Forscher des MIT stellten fest, dass „diese Schattennutzung eine Rückkopplungsschleife erzeugt: Mitarbeiter wissen, wie sich gute KI anfühlt, wodurch sie gegenüber statischen Unternehmens-Tools weniger tolerant sind.“

„The Fix“ ist ein sicheres Tool, das speziell für diese Aufgabe innerhalb der Arbeitsabläufe entwickelt wurde, die die Teams an vorderster Front bereits nutzen.

So funktioniert der Closed-Box-KI-Agent

Wir haben den KI-Agenten von WorkJam als geschlossene Lösung entwickelt, die auf die vom Kunden freigegebenen Daten und Geschäftssysteme zurückgreift. Auf diese Weise ist jede von ihm abgegebene Empfehlung nachvollziehbar, und es gibt einen Mitarbeiter, der jede Empfehlung überprüft und bestätigt, bevor vor Ort oder in der Produktion Maßnahmen ergriffen werden.

Dieses Konzept basiert auf dem „Insights to Execution“-Framework. Die Plattform generiert Erkenntnisse aus Betriebsdaten und Geschäftssystemen. Die Architektur stützt sich auf die „Task Priority Engine“, die die Prioritäten kontinuierlich anhand von sechs Signalkategorien neu berechnet: Filialbetrieb, Personal, Kundensignale, kommerzielle Signale, Unternehmens-KI und WorkJam-Aufgabendaten. Diese Engine generiert nachvollziehbare Begründungscodes, um nachzuweisen, dass die KI auf der Grundlage von Logik und nicht aufgrund von Vermutungen handelt. Somit basieren Verbesserungen im Laufe der Zeit stets auf realen Ergebnissen, und Eingabeaufforderungen werden niemals gespeichert. Darüber hinaus wird nichts, was ein Mitarbeiter in die Benutzeroberfläche eingibt, als Trainingsdaten für externe Modelle verwendet.

Für Teams mit Kundenkontakt führt der KI-Agent Arbeitsabläufe aus. Er bewältigt mehrstufige Gespräche, um Mitarbeiter bei komplexen Anfragen oder schrittweisen Prozessen anzuleiten. Ein Mitarbeiter kann direkt innerhalb der Benutzeroberfläche eine Schicht tauschen oder einen Schulungsschritt absolvieren, ohne eine neue Anwendung öffnen zu müssen.

Die Architektur gewährleistet eine Null-Speicherung von Eingaben. Wenn ein Frontline-Mitarbeiter mit dem KI-Agenten interagiert, speichert das System keine vertraulichen Eingaben zum Trainieren externer Modelle.

Maßnahmen zur Verhinderung von Überstunden

Zudem schränken wir den Zugriff auf den KI-Agenten je nach Schicht, Standort und Netzwerk ein, sodass ein Mitarbeiter, der sich außerhalb der Arbeitszeit oder außerhalb des Unternehmensgeländes befindet, keinen Zugriff auf vergütungspflichtige Funktionen hat. Der Agent kann so sicherstellen, dass Interaktionen keine vergütungspflichtigen Aktivitäten außerhalb der Arbeitszeit im Sinne des Fair Labor Standards Act (FLSA) und der Gesetze zur vorausschauenden Dienstplanerstellung darstellen. Ein lückenloser Prüfpfad und die Datenermittlung im Rahmen von Aufbewahrungspflichten für Rechtsstreitigkeiten liefern dem Leiter der Rechtsabteilung und den Führungskräften der Personalabteilung die erforderlichen Unterlagen.

Globale Compliance und zertifizierte Grundlagemodelle

Wir entwickeln unseren KI-Agenten auf Basis von Googles „Gemini“, da Google über die Zertifizierung nach ISO 42001 verfügt, die einen geprüften Rahmen für die Einhaltung der KI-Gesetzgebung, einschließlich des EU-KI-Gesetzes, bietet. Diese Zertifizierung bietet uns ein Grundmaß an Sicherheit, auf das wir uns verlassen können, und bildet den Ausgangspunkt für unsere eigene Arbeit.

Der Mehrwert von WorkJam liegt in der Ausführungsebene, die auf dem Basismodell aufbaut. Diese Ebene trifft eine Entscheidung und setzt diese vor Ort mithilfe der Tools um, die Ihre Frontline-Mitarbeiter bereits nutzen. Kombinieren Sie ein zertifiziertes Basismodell mit unseren Ausführungssteuerungen, und Sie erhalten autonome Arbeitsabläufe, die Ihre Compliance-Anforderungen erfüllen.

Wie wir unsere KI-Sicherheitsvorkehrungen testen

Schon früh haben wir die Sicherheitsvorkehrungen des Anbieters selbst einem Penetrationstest unterzogen, Möglichkeiten gefunden, diese zu verschärfen, und sind dabei über die Empfehlungen des Anbieters hinausgegangen. Wir testen unsere KI-Technologie, einschließlich der Sicherheitsvorkehrungen, nach wie vor jedes Jahr im Rahmen unserer Penetrationstests erneut.

Integration mit dem Model Context Protocol (MCP)

CIOs in Unternehmen erwarten, dass sich neue Plattformen nahtlos in die bereits getätigten KI-Investitionen integrieren lassen. WorkJam nutzt das Model Context Protocol (MCP) als Standardschnittstelle, um die Umsetzung an der Front direkt mit den bestehenden KI-Tools des Unternehmens und Datenquellen von Drittanbietern zu verknüpfen.

Genau in dieser Vernetzung liegt auch das nächste Sicherheitsrisiko. MCP-Server und Verbindungen zwischen Agenten ermöglichen es einem KI-Agenten, einen anderen aufzurufen; verfügt der zweite Agent über umfassendere Berechtigungen, kann der erste diese übernehmen. Jemand, der ohne Wissen der IT-Abteilung einen MCP-Server einrichtet, stellt „Shadow-KI“ in ihrer neuesten Form dar, und Sicherheitsteams benötigen Tools, die dies erkennen und unterbinden können. Bei WorkJam haben wir interne Tools entwickelt, die unserem Team eine manuelle Überwachung dieser Interaktionen ermöglichen, einschließlich der Möglichkeit, eine Verbindung zu blockieren und die Reichweite einer einzelnen Interaktion zu begrenzen – was Sicherheitsteams als „Blast Radius“ bezeichnen.

Geregelte Autonomie

Jedes unüberwachte KI-Tool für Endnutzer in Ihrem operativen Bereich stellt ein Risiko für Compliance-Verstöße dar. Der Ersatz dieser nicht autorisierten Tools durch eine sichere Alternative schützt Ihre Daten und verringert das Risiko von Sicherheitslücken.

Das verstehen wir unter „gesteuerter Autonomie“: eine KI, die innerhalb der vom Unternehmen festgelegten Rahmenbedingungen arbeitet und alle Benutzerberechtigungen, Rollen sowie Regeln zur Schichtabgrenzung berücksichtigt.

Diese Architektur verhindert kompensierbare Aktivitäten außerhalb des Taktzyklus und gewährleistet gleichzeitig, dass menschliche Bediener auf jeder Ebene die Kontrolle behalten.

Häufig gestellte Fragen zu Shadow AI

Was ist „Shadow AI“?

Unter „Shadow AI“ versteht man die Nutzung nicht genehmigter, in der Regel kostenloser KI-Tools durch Mitarbeiter zur Erledigung ihrer Arbeit, außerhalb der Sicht- und Kontrollmöglichkeiten der IT- und Sicherheitsabteilungen. Es handelt sich dabei um die KI-Variante der „Shadow-IT“, durch die Unternehmensdaten in Systeme gelangen, die das Unternehmen weder einsehen noch kontrollieren kann.

Wie verbreitet ist „Shadow-KI“?

Das Projekt NANDA des MIT ergab, dass Mitarbeiter aus über 90 % der befragten Unternehmen angaben, regelmäßig private KI-Tools für die Arbeit zu nutzen, während nur 40 % der Unternehmen angaben, ein offizielles LLM-Abonnement erworben zu haben.

Stellt die Nutzung eines kostenlosen KI-Tools am Arbeitsplatz einen Sicherheitsvorfall dar?

Behandeln Sie es als solches. Kostenlose LLMs für Verbraucher speichern in der Regel die Eingaben der Nutzer und können diese zum Trainieren öffentlicher Modelle verwenden. Wenn also ein Mitarbeiter ein vertrauliches Dokument in ein solches Modell einfügt, können diese Daten außerhalb der Kontrolle des Unternehmens gelangen, bevor jemand bemerkt, dass dies geschehen ist.

Was ist der Unterschied zwischen „Shadow AI“ und „Shadow IT“?

Unter „Shadow-IT“ versteht man jede nicht genehmigte Software oder jeden nicht genehmigten Dienst. „Shadow-AI“ ist die Untergruppe, die sich auf nicht genehmigte KI-Tools konzentriert, und birgt Risiken, die über Datenlecks hinausgehen, darunter ungenaue Ergebnisse, unsicherer Code und unsichere Integrationen zwischen verschiedenen Agenten.

Wie können Unternehmen „Schatten-KI“ an der Basis verhindern?

Bieten Sie Ihren Mitarbeitern eine sichere Alternative, die speziell für die von ihnen angestrebte Aufgabe entwickelt wurde und von der IT-Abteilung verwaltet wird, und kombinieren Sie diese mit einer Überwachungslösung, die die unzulässige Nutzung von KI erkennen und unterbinden kann.

Was ist die Norm ISO 42001, und warum ist sie für den Bereich der künstlichen Intelligenz von Bedeutung?

ISO/IEC 42001 ist eine internationale Norm für Managementsysteme im Bereich der künstlichen Intelligenz. Sie legt Grundsätze für die Entwicklung sicherer, rechenschaftspflichtiger und ethisch geregelter KI fest und steht im Einklang mit den Verpflichtungen aus Rechtsvorschriften wie dem EU-KI-Gesetz.

Gilt das EU-KI-Gesetz für KI-Tools im operativen Einsatz?

Ja, sofern diese Instrumente EU-Arbeitnehmer oder -Tätigkeiten betreffen. Ähnlich wie die DSGVO sieht sie Sanktionen bei Nichteinhaltung vor und verlangt Schutzmaßnahmen, darunter die Einbeziehung eines Menschen in den Prozess.