Was passiert, wenn KI-Chatbots interne Unternehmensdaten preisgeben?

von

Zuletzt aktualisiert:
6 Lesezeit: 2 Minuten
Was passiert, wenn KI-Chatbots interne Unternehmensdaten preisgeben?

Wichtigste Erkenntnisse

  • Chatbots können Zugangsdaten, personenbezogene Daten, Quellcode, Finanzdaten und geistiges Eigentum offenlegen.
  • Vernetzte Assistenten bergen ein höheres Risiko, da sie Daten aus anderen Unternehmenssystemen abrufen können.
  • Das Löschen der sichtbaren Unterhaltung beweist nicht, dass Protokolle, Kopien oder nachfolgende Aktionen ebenfalls verschwunden sind.
  • Ihre ersten Maßnahmen sollten sich auf die Eindämmung, die Sicherung von Beweismitteln, die regelmäßige Änderung von Zugangsdaten und die Bewertung des Risikos konzentrieren.
  • Richtlinien allein reichen nicht aus. Sie benötigen Zugriffsbeschränkungen, Maßnahmen zum Schutz vor Datenverlust und klare Regeln für den Einsatz von KI.

Ein Datenleck bei einem KI-Chatbot beschränkt sich selten auf die ursprüngliche Unterhaltung. Möglicherweise müssen Sie Passwörter ändern, Kunden gemäß den Datenschutzgesetzen benachrichtigen, vertrauliche Dokumente vernichten oder sich mit Phishing und Zahlungsbetrug auseinandersetzen, die auf der Grundlage der durchgesickerten Informationen begangen werden.

Dass Mitarbeiter vertrauliche Texte in einen öffentlichen Chatbot einfügen, ist nur ein möglicher Angriffspunkt. Vernetzte KI-Assistenten können Ihren E-Mail-Posteingang, Ihren Cloud-Speicher, Ihr CRM und interne Nachrichten durchsuchen. Wenn Sie einem dieser Assistenten zu weitreichende Berechtigungen erteilen oder zulassen, dass er böswillige Anweisungen befolgt, die in einem Dokument versteckt sind, kann eine einzige Interaktion zu einem umfassenden Datenleck führen.

Wie kann ein Chatbot interne Daten preisgeben?

Wie kann ein Chatbot interne Daten preisgeben?

Ein Datenleck bei einem Chatbot entsteht auf einen der folgenden drei Wege:

1. Ein Mitarbeiter gibt vertrauliche Informationen weiter

Ein Mitarbeiter könnte beispielsweise Quellcode zum Debuggen hochladen, Kundeninformationen in einen Schreibassistenten einfügen oder Besprechungsnotizen zur Zusammenfassung einreichen. Die meisten versuchen dabei einfach nur, schneller zu arbeiten.

Ein öffentliches oder nicht genehmigtes KI-Tool befindet sich außerhalb Ihrer üblichen Geschäftsumgebung. Sobald ein Mitarbeiter Informationen übermittelt, verlieren Sie möglicherweise die Kontrolle darüber, wie diese erfasst, gespeichert oder verarbeitet werden.

Dies ist ein Aspekt der umfassenderen Cybersicherheitsrisiken im Zusammenhang mit generativer KI, zu denen Phishing, Identitätsbetrug, Betrug und Diebstahl geistigen Eigentums gehören.

2. Ein vernetzter Assistent liefert mehr Ergebnisse als erwartet

Ein einfacher Chatbot kann möglicherweise nur die aktuelle Unterhaltung einsehen. Ein vernetzter Assistent kann hingegen E-Mails, freigegebene Laufwerke, Kalender, den internen Chat, Kundendaten und Code-Repositorys durchsuchen.

Das führt zu einem Berechtigungsproblem. Der Assistent muss möglicherweise gar nicht in einen geschützten Ordner eindringen. Er kann jedoch dazu führen, dass pauschale, veraltete oder schlecht konfigurierte Berechtigungen einfacher zu handhaben sind.

Angenommen, ein Mitarbeiter bittet um eine Zusammenfassung der Gespräche über eine bevorstehende Umstrukturierung. Der Assistent könnte Entwürfe von Personalunterlagen und E-Mails der Geschäftsleitung ausfindig machen, auf die der Mitarbeiter zwar in Papierform Zugriff hatte, die er aber von Hand niemals gefunden hätte.

3. Bösartige Inhalte manipulieren den Assistenten

Ein Angreifer kann Anweisungen in einer E-Mail, einer Webseite, einem Dokument oder einem Support-Ticket verstecken. Wenn der Assistent diesen Inhalt liest, könnte er die Worte des Angreifers fälschlicherweise für einen berechtigten Befehl halten.

Dies ist eine indirekte Eingabeaufforderung. Ein Angreifer kann mithilfe eines manipulierten Dokuments den Assistenten dazu bringen, nach vertraulichen Dateien zu suchen, Kontodaten preiszugeben oder einen externen Dienst zu kontaktieren. Der Mitarbeiter hat den Assistenten möglicherweise lediglich gebeten, eine ganz normal aussehende Datei zusammenzufassen.

Was passiert nach einem Datenleck bei einem Chatbot?

Was passiert nach einem Datenleck bei einem Chatbot?

Das Ergebnis hängt davon ab, welche Daten offengelegt wurden, auf welche Systeme der Chatbot Zugriff hatte und ob die Informationen die genehmigte Umgebung verlassen haben.

Anmeldedaten sind nicht mehr sicher

Wenn das durchgesickerte Material Passwörter, API-Schlüssel, Authentifizierungstoken oder Datenbank-Zugangsdaten enthält, sollten Sie davon ausgehen, dass diese möglicherweise kopiert wurden.
Das Löschen der Unterhaltung reicht nicht aus. Widerrufen und ersetzen Sie die Zugangsdaten, überprüfen Sie, ob sie verwendet wurden, und entfernen Sie sie aus den betroffenen Dateien und Repositories.

Durchgesickerte Informationen können Betrug begünstigen

Interne Dokumente können Aufschluss darüber geben, wer Zahlungen genehmigt, wie Führungskräfte schreiben und welche Lieferanten Sie nutzen. Sie können zudem zeigen, wie Rechnungen aussehen und wann Entscheidungsträger auf Reisen sind.

Ein Angreifer kann diesen Kontext nutzen, um überzeugende E-Mail-Betrugsversuche wie „Business Email Compromise“, „Supplier Impersonation“ oder „Executive Fraud“ zu inszenieren.
DMARC hindert einen Mitarbeiter zwar nicht daran, ein vertrauliches Dokument hochzuladen, kann jedoch Angreifer daran hindern, Ihre Domain zu fälschen, um diesen durchgesickerten Kontext in betrügerischen E-Mails zu missbrauchen.

Geistiges Eigentum könnte an Wert verlieren

Quellcode, Produktpläne, Preismodelle und Ausschreibungsinformationen können ihren wirtschaftlichen Wert verlieren, sobald sie in die falschen Hände geraten.

Ein Datenleck kann zu vertraglichen Problemen führen, wenn Kundendaten oder Material, das Eigentum von Partnern ist, über ein nicht genehmigtes Tool verarbeitet wurde. Je nach Art der Daten und der geltenden Rechtsordnung müssen Sie möglicherweise Datenschutzgesetze, Vertraulichkeitsklauseln und Datenverarbeitungsvereinbarungen prüfen. Überprüfen Sie außerdem die Bedingungen Ihrer Cyberversicherung und Ihre Meldepflichten.

„Der größte Fehler besteht darin, Datenlecks bei KI als ein Problem der Eingabeaufforderung zu betrachten. Sobald ein Chatbot E-Mails, Dateien und CRM-Datensätze durchsuchen kann, wird dies zu einem Problem in Bezug auf Identitäten, Zugriffsrechte und die Reaktion auf Vorfälle.“

Brad Russell, Gründer von Digital Hitmen

Die Ermittlungs- und Bergungskosten beginnen

Möglicherweise benötigen Sie Rechtsberatung, digitale Forensik und die Erneuerung von Zugangsdaten. Anschließend können die Kommunikation mit Kunden, die Systemüberwachung und vorübergehende Einschränkungen der KI-Nutzung folgen.

Laut dem IBM-Bericht „Cost of a Data Breach 2026“ belaufen sich die weltweiten Durchschnittskosten einer Datenpanne auf 4,99 Millionen US-Dollar – ein Rekordhoch –, wobei KI-gesteuerte Angriffe im Vergleich zum Vorjahr um 56 % zugenommen haben. Unter den Unternehmen, die einen KI-bezogenen Sicherheitsvorfall meldeten, verfügten 92 % nicht über angemessene Zugriffskontrollen für KI, und nur 40 % der Unternehmen wenden überhaupt Zugriffskontrollen für KI-Modelle und -Daten an. Diese Zahlen deuten darauf hin, dass Sicherheitsmängel im KI-Bereich eher auf Versäumnisse bei den Zugriffskontrollen und der Governance zurückzuführen sind als auf Modellfehler.

Die Ermittlungs- und Bergungskosten beginnen

Was sollten Sie in den ersten 24 Stunden tun?

Ihre oberste Priorität ist es, den Vorfall einzudämmen, ohne dabei die Beweise zu vernichten, die für dessen Aufklärung erforderlich sind.

1. Trennen Sie das betroffene Werkzeug ab

Deaktivieren oder beschränken Sie das Konto und sperren Sie dessen Zugriff auf verbundene E-Mail-, Speicher-, CRM-, Browser- und Messaging-Systeme. Setzen Sie automatisierte externe Aktionen aus, löschen Sie das Konto jedoch nicht, bevor Sie die relevanten Protokolle gesichert haben.

2. Die Beweismittel sichern

Sammeln:

  • Aufgabenstellungen und Antworten
  • Namen der hochgeladenen Dateien
  • Verbindungs- und Identitätsprotokolle
  • Tool-Aufrufe
  • Ausgehende Netzwerkanfragen
  • Browser-Verlauf
  • Verwaltungstechnische Änderungen
  • Relevante E-Mail-Aktivitäten

Sie müssen herausfinden, was der Assistent gesehen, besorgt und getan hat.

3. Die offengelegten Informationen identifizieren

Bestimmen Sie:

  • Um welche Datensätze handelte es sich?
  • Ob personenbezogene Daten oder Zugangsdaten enthalten waren
  • Auf welche vernetzten Systeme konnte zugegriffen werden?
  • Ob Informationen außerhalb des Unternehmens übermittelt wurden
  • Wer könnte es erhalten haben?

Gehen Sie nicht davon aus, dass die sichtbaren Reaktionen das gesamte Ausmaß des Vorfalls widerspiegeln.

4. Offengelegte Zugangsdaten widerrufen

Ersetzen Sie betroffene Passwörter, Schlüssel, Tokens und geteilte Links umgehend. Überprüfen Sie die Anmelde- und Zugriffsprotokolle auf verdächtige Aktivitäten nach dem mutmaßlichen Sicherheitsvorfall.

5. Benachrichtigungspflichten prüfen

Prüfen Sie Ihre rechtlichen, behördlichen, vertraglichen und versicherungstechnischen Verpflichtungen. Holen Sie rechtlichen Rat ein, wenn der Vorfall personenbezogene Daten, vertrauliches Material, wichtige Kundendaten oder sensible geistige Eigentumsrechte betrifft.

6. Kommunizieren Sie umsichtig

Teilen Sie den Betroffenen mit, was bereits bestätigt ist, was noch untersucht wird und wie sie nun weiter vorgehen sollten. Vermeiden Sie es zu behaupten, dass niemand auf die Daten zugegriffen habe, solange dies nicht durch Beweise belegt ist.

Datenleck bei einem Chatbot

Wie können Sie einen weiteren Datenleck bei Chatbots verhindern?

Man braucht mehrere Kontrollebenen. Mitarbeiterschulungen sind zwar hilfreich, können aber nicht die gesamte Abwehr übernehmen.

Eine zugelassene KI-Umgebung bereitstellen

Ein pauschales Verbot kann Mitarbeiter dazu veranlassen, auf private Konten zurückzugreifen und KI im Verborgenen zu nutzen. Stellen Sie Ihren Mitarbeitern ein zugelassenes Geschäftstool mit zentraler Verwaltung und Protokollierung von Prüfvorgängen zur Verfügung. Ergänzen Sie dies durch Aufbewahrungskontrollen, verwaltete Konnektoren und Single Sign-On.

Verbotene Daten definieren

Legen Sie fest, welche Daten Mitarbeiter nicht in öffentliche oder nicht genehmigte Tools eingeben dürfen, darunter:

  • Passwörter und Zugriffstoken
  • Kundendatenbanken
  • Identitätsdaten oder medizinische Informationen
  • Rechtsberatung
  • Vertraulicher Quellcode
  • Noch nicht veröffentlichte Finanzdaten
  • Übernahme- oder Umstrukturierungspläne

„Geben Sie keine sensiblen Daten weiter“ ist zu vage, um als Verhaltensrichtlinie zu dienen.

Datenverlustprävention anwenden

Maßnahmen zur Verhinderung von Datenverlusten können Eingabeaufforderungen, Uploads und kopierten Text auf Anmeldedaten, personenbezogene Informationen und Zahlungsdaten überprüfen. Außerdem können sie Quellcode und Vertraulichkeitskennzeichnungen kennzeichnen. Je nach Risiko kann die Maßnahme eine Warnung ausgeben, Daten schwärzen, den Vorgang blockieren oder eine Genehmigung erfordern.

Berechtigungen für Chatbots und Agenten einschränken

Jeder vernetzte Assistent sollte nur Zugriff auf die Systeme und Datensätze haben, die für seine Aufgabe erforderlich sind.

In Microsoft-Umgebungen können Sicherheitsteams hochriskante KI-Agenten in Microsoft Entra mithilfe von „Conditional Access“ blockieren. PowerDMARC weist darauf hin, dass dies für Agentenidentitäten gilt, während Agenten, die die delegierten Berechtigungen einer Person nutzen, separate, benutzerbezogene Kontrollen erfordern.

Externe Aktionen einschränken

Es muss eine manuelle Freigabe erfolgen, bevor ein Assistent externe E-Mails versendet, Daten exportiert oder Dokumente freigibt. Gleiches gilt für die Änderung von Berechtigungen, das Erstellen von Zahlungsaufforderungen, die Kontaktaufnahme mit einer unbekannten Domain oder die Ausführung von Code.

Den E-Mail-Kanal schützen

KI-Missbrauch und E-Mail-Betrug können sich gegenseitig verstärken. Setzen Sie SPF, DKIM und DMARC in Verbindung mit Multi-Faktor-Authentifizierung und E-Mail-Filterung ein. Ergänzen Sie dies zusätzlich durch eine unabhängige Verifizierung bei Zahlungsvorgängen oder Kontoänderungen.

Die E-Mail-Authentifizierung verhindert zwar nicht jede Chatbot-Sicherheitslücke, erschwert es jedoch, sich als Ihre Domain auszugeben, sobald ein Angreifer über nützliche interne Informationen verfügt.

Behandeln Sie KI-Assistenten als privilegierte Systembenutzer

Betrachten Sie einen Datenleck bei einem Chatbot nicht als einen vereinzelten Fehler eines Mitarbeiters oder als eine Unterhaltung, die Sie einfach löschen und vergessen können.

Ein KI-Assistent mit Zugriff auf E-Mails, Geschäftsdateien und Kundensysteme erhöht das Risiko. Ein Datenleck kann Zugangsdaten offenlegen, Betrug begünstigen, vertragliche Verpflichtungen auslösen oder eine formelle Reaktion auf den Vorfall erforderlich machen.

Sie müssen KI nicht meiden. Behandeln Sie jeden vernetzten Assistenten wie einen Benutzer mit erweiterten Rechten. Schränken Sie ein, was die einzelnen Assistenten lesen und senden dürfen, protokollieren Sie ihre Aktivitäten und stellen Sie sicher, dass Sie sie schnell deaktivieren können, falls etwas schiefgeht.

CTA