Cybersecurity-Risiken der generativen KI

Mit der neu entdeckten Leistungsfähigkeit der generativen KI-Technologie steigen auch die generativen KI-Cybersicherheitsrisiken. Generative KI ist eine Spitzentechnologie, die maschinelles Lernen (ML) und künstliche Intelligenz (KI) miteinander verbindet.

Wir stehen an der Schwelle zu einer technologischen Renaissance, in der sich KI-Technologien exponentiell weiterentwickeln werden. Allerdings dürfen die mit generativer KI verbundenen Risiken für die Cybersicherheit nicht übersehen werden. Untersuchen wir diesen Aspekt, um zu verstehen, wie Sie die Cybersicherheitsprobleme verhindern können, die sich aus der Nutzung und dem Missbrauch von generativer KI ergeben.

Was ist generative KI?

Generative KI, kurz für Generative Künstliche Intelligenz, bezieht sich auf eine Klasse von Techniken der künstlichen Intelligenz, die sich auf die Erstellung neuer Daten konzentrieren, die bestehenden Daten ähneln oder ähnlich sind. Anstatt explizit für eine bestimmte Aufgabe programmiert zu werden, lernen generative KI-Modelle Muster und Strukturen aus den Daten, für die sie mit einem Text-, Video- oder Bildkommentar-Tool trainiert wurden, und generieren dann neue Inhalte auf der Grundlage dieses gelernten Wissens.

Das Hauptziel generativer KI ist es, Daten zu generieren, die von echten Daten nicht zu unterscheiden sind, sodass sie so aussehen, als wären sie von einem Menschen erstellt worden oder stammten aus derselben Verteilung wie die Originaldaten. Aus diesem Grund werden zunehmend Tools wie KI-Detektoren eingesetzt, um KI-generierte Ergebnisse zu analysieren und zu unterscheiden. Diese Fähigkeit findet in verschiedenen Bereichen zahlreiche Anwendungen, beispielsweise bei der Generierung natürlicher Sprache, der Bildsynthese, der Musikkomposition, der Umwandlung von Text in Sprache und sogar bei der Videogenerierung. GPT-4, der Nachfolger des von OpenAI entwickelten Sprachmodells GPT-3, repräsentiert die nächste Generation dieser leistungsstarken Tools, die den Bereich der KI weiter revolutionieren, aber auch die damit verbundenen Risiken potenziell erhöhen dürften.

Vereinfachen Sie die generative KI-Sicherheit mit PowerDMARC!

Warum ist generative KI die nächste große Bedrohung für die Cybersicherheit?

GPT-3, GPT-4 und andere generative KI-Tools sind nicht immun gegen generative KI-Cybersicherheitsrisiken und Cyberbedrohungen. Unternehmen müssen Maßnahmen ergreifen, um erhebliche Cyberrisiken im Zusammenhang mit generativer KI zu vermeiden. Diese Tools, die in der Lage sind, realistische, menschenähnliche Sprache zu erzeugen, können ausgenutzt werden, um äußerst überzeugende betrügerische Mitteilungen zu erstellen, wodurch Bedrohungen wie Phishing und E-Mail-Betrug noch gefährlicher werden. KI-gestützte Tools können auch den gesamten Prozess der Erstellung und Versendung bösartiger E-Mails automatisieren und so groß angelegte Angriffe ermöglichen.

Wie von Terence Jacksonein leitender Sicherheitsberater von Microsoft, in einem Artikel für Forbes hervorhebt, weisen die Datenschutzrichtlinien von Plattformen wie ChatGPT auf die Sammlung wichtiger Nutzerdaten wie IP-Adresse, Browserinformationen und Browsing-Aktivitäten hin, die an Dritte weitergegeben werden können.

Jackson warnt auch vor den Gefahren für die Cybersicherheit, die von generativer KI ausgehen, Sie vergrößert die Angriffsfläche und bietet Hackern neue Möglichkeiten, die sie ausnutzen können. Cyberkriminelle nutzen KI bereits, um große Datensätze zu analysieren, um effektive Phishing-Strategien zu ermitteln, Angriffe durch die Analyse öffentlicher Daten zu personalisieren und gefälschte Anmeldeseiten zu erstellen, die mit legitimen Seiten nahezu identisch sind.

Außerdem, ein Wired-Artikel vom April die Schwachstellen dieser Tools aufgedeckt und die Cyberrisiken der generativen KI hervorgehoben.

In nur wenigen Stunden umging ein Sicherheitsforscher die Sicherheitssysteme von OpenAI und manipulierte GPT-4. Dies verdeutlicht die potenziellen Cyberbedrohungen durch generative KI und die Notwendigkeit robuster Cybersicherheitsmaßnahmen.

Enthüllung der 7 größten Cybersecurity-Risiken der generativen KI

Generative KI ist ein leistungsfähiges Instrument zur Lösung von Problemen, birgt aber auch einige Risiken. Das offensichtlichste Risiko besteht darin, dass sie für böswillige Zwecke wie den Diebstahl geistigen Eigentums oder Betrug eingesetzt werden kann.

Erstellung von Phishing-E-Mails und E-Mail-Betrug

Das größte Cybersecurity-Risiko der generativen KI ist die Erstellung äußerst überzeugender Phishing-E-Mails und anderer Formen des E-Mail-Betrugs.

Die Bedrohung durch E-Mail-Betrug ist real, anhaltend und wird dank KI immer raffinierter.

Da immer mehr Unternehmen digitale Kommunikation nutzen, setzen Kriminelle KI ein, um betrügerische E-Mails zu erstellen. Bei Phishing-Angriffen wird häufig eine gefälschte E-Mail mit einem Anhang oder Link von einer Quelle verschickt, die sich als legitime Einrichtung ausgibt (z. B. eine Bank oder ein Kollege). Diese sehen legitim aus, führen aber in Wirklichkeit zu einer gefälschten Website, um Anmeldedaten zu stehlen oder Malware zu installieren. Dank verbesserter Grammatik, personalisiertem Inhalt und realistischem Tonfall sind diese E-Mails schwerer zu erkennen.

Eine weitere gefährliche Form ist Business Email Compromise (BEC), bei der sich Angreifer mit Hilfe von KI als Führungskräfte oder Mitarbeiter ausgeben, um betrügerische Geldüberweisungen anzufordern. BEC-Angriffe sind aufgrund des ausgeklügelten Social Engineering besonders effektiv und können zu erheblichen finanziellen Verlusten führen.

Modellmanipulationen und Vergiftungen

Ein großes Cybersecurity-Risiko für generative KI ist die Modellmanipulation und -vergiftung. Bei dieser Art von Angriffen wird ein bestehendes Modell so manipuliert oder verändert, dass es falsche Ergebnisse liefert.

Ein Angreifer könnte zum Beispiel ein Bild so verändern, dass es wie ein anderes Bild aus Ihrer Datenbank aussieht, statt wie das eigentliche Bild. Der Angreifer könnte dann diese manipulierten Bilder als Teil seiner Angriffsstrategie gegen Ihr Netzwerk oder Ihr Unternehmen verwenden.

Adversarische Angriffe

Angriffe auf Algorithmen des maschinellen Lernens werden immer häufiger, da Hacker versuchen, die Schwachstellen dieser Systeme auszunutzen.

Die Verwendung von Gegenbeispielen - ein Angriff, der einen Algorithmus dazu veranlasst, einen Fehler zu machen oder Daten falsch zu klassifizieren - gibt es schon seit den frühen Tagen der KI-Forschung.

Da die Angriffe jedoch immer raffinierter und mächtiger werden, bedrohen sie alle Arten von maschinellen Lernsystemen, einschließlich generativer Modelle oder Chatbots.

Verstöße gegen den Datenschutz

Ein häufiges Problem bei generativen Modellen ist, dass sie während des Trainings- oder Generierungsprozesses versehentlich sensible Daten über Personen oder Organisationen preisgeben könnten.

So kann ein Unternehmen beispielsweise mit generativen Modellen ein Bild erstellen, das versehentlich vertrauliche Informationen über seine Kunden oder Mitarbeiter preisgibt.

Wenn dies geschieht, kann es zu Datenschutzverletzungen und Schadensersatzklagen führen.

Deepfakes und synthetische Medien

Generative Modelle können auch für schändliche Zwecke eingesetzt werden, indem sie gefälschte Videos und Audioaufnahmen erzeugen, die in Deepfakes (gefälschte Videos) oder synthetischen Medien (gefälschte Nachrichten) verwendet werden können. Die Technologie, die hinter diesen Angriffen steckt, ist relativ einfach: Jemand braucht Zugang zu dem richtigen Datensatz und einige grundlegende Software-Tools, um mit der Erstellung bösartiger Inhalte zu beginnen. 

Auch wenn diese Angriffe besorgniserregend sind, darf man nicht vergessen, dass generative KI-Apps auch für positive Zwecke genutzt werden können. So sind beispielsweise KI-Videogeneratoren großartige Lösungen für die Erstellung von Inhalten, mit denen Nutzer hochwertige Videos für Marketing, Bildung und Unterhaltung produzieren können. Der Einsatz von KI-Stimmen bei der Produktion von Audioinhalten kann die Zugänglichkeit deutlich verbessern, so dass Menschen mit Hörbehinderungen besser auf Informationen zugreifen können und ein intensiveres Hörerlebnis für alle entsteht. Dasselbe gilt für die KI-Videobearbeitung, die bei verantwortungsvollem Einsatz die Produktion für Bildungs- und Marketingzwecke vereinfacht.

Diebstahl von geistigem Eigentum

Da KI-Tools immer besser in der Lage sind, Software zu schreiben, verschärfen sich die Debatten darüber, ob KI Programmierjobs ersetzen wird, was zu Bedenken hinsichtlich der Eigentumsrechte an generiertem Code, der Sicherheitsverantwortung und der Offenlegung proprietärer Logik führt. Der Diebstahl geistigen Eigentums ist heute eines der größten Probleme in der Technologiebranche und wird mit der Weiterentwicklung der künstlichen Intelligenz noch zunehmen.

Generative KI kann gefälschte Daten generieren, die authentisch und für den Menschen nachvollziehbar aussehen und möglicherweise geschützte Designs, Codes oder kreative Werke imitieren. 

Dieser Datentyp könnte in verschiedenen Branchen wie dem Gesundheitswesen, dem Finanzwesen, der Verteidigung und der Regierung verwendet werden. Er könnte sogar gefälschte Konten in sozialen Medien erstellen oder sich online als eine Person ausgeben.

Böswillige Verwendung von generierten Inhalten

Generative KI kann auch Inhalte manipulieren, indem sie die Bedeutung oder den Kontext von Wörtern oder Sätzen in Texten oder Bildern auf einer Webseite oder einer Social-Media-Plattform ändert.

Nehmen wir an, Sie verwenden eine Anwendung, die automatisch Bildunterschriften für Bilder erstellt, ohne dass ein menschliches Eingreifen erforderlich ist. Damit könnte jemand die Bildunterschrift von "ein weißer Hund" in "eine schwarze Katze" ändern, ohne das Foto selbst zu verändern (nur durch Bearbeitung der Bildunterschrift). Diese Möglichkeit kann genutzt werden, um Fehlinformationen zu verbreiten oder Personen und Organisationen zu diffamieren.

Wie Sie Ihre Verteidigung gegen generative KI-Cybersicherheitsrisiken verstärken können

Als Reaktion auf diese wachsende Besorgnis müssen die Unternehmen ihre Abwehrmaßnahmen gegen diese Risiken verstärken. Je leistungsfähiger KI wird, desto dringender wird der Bedarf an fortschrittlichen Sicherheitsmaßnahmen.

Hier sind einige Tipps dazu:

E-Mail-Authentifizierung implementieren (DMARC, SPF, DKIM)

DMARC (Domain-based Message Authentication, Reporting & Conformance) ist ein E-Mail-Authentifizierungsprotokoll, das E-Mail-Spoofing und Phishing-Angriffe verhindert, die sich als Ihre eigene Domain ausgeben.

Durch die Implementierung eines DMARC-Analysatorkönnen Unternehmen sicherstellen, dass nur autorisierte Absender ihre Domäne für die E-Mail-Kommunikation nutzen können, und so die mit KI-generierten Phishing-E-Mails und BEC-Angriffen verbundenen Risiken minimieren.

DMARC bietet zusätzlichen Schutz, indem es Domaininhabern ermöglicht, Berichte über die E-Mail-Zustellung zu erhalten und notwendige Maßnahmen zur Verbesserung der E-Mail-Sicherheit zu ergreifen.

Sie müssen entweder SPF (Sender Policy Framework) oder DKIM (DomainKeys Identified Mail) oder beide (empfohlen) als Voraussetzung für die Implementierung von DMARC implementieren. Diese Protokolle helfen dabei, zu überprüfen, ob eine E-Mail, die behauptet, von Ihrer Domäne zu stammen, tatsächlich von Ihnen autorisiert wurde.

Aktivieren Sie die Multi-Faktor-Authentifizierung (MFA)

MFA fügt den Benutzerkonten eine zusätzliche Sicherheitsebene hinzu, indem zusätzlich zum Passwort eine zweite Form der Verifizierung (z. B. ein Code aus einer mobilen App oder SMS) verlangt wird. Dadurch wird das Risiko einer Kontokompromittierung erheblich verringert, selbst wenn die Anmeldedaten durch Phishing gestohlen werden.

E-Mail-Filterung verwenden

Fortschrittliche E-Mail-Filterlösungen können dabei helfen, bösartige E-Mails, einschließlich ausgeklügelter KI-generierter Phishing-Versuche, zu erkennen und zu blockieren, bevor sie die Posteingänge der Nutzer erreichen. Diese nutzen oft ihre eigenen KI/ML-Modelle, um verdächtige Muster zu erkennen.

Mitarbeiter ausbilden

Die menschliche Wachsamkeit bleibt eine wichtige Verteidigungsschicht. Die Aufklärung der Mitarbeiter über die Risiken von KI-gestütztem E-Mail-Betrug, die Erkennung von Phishing-E-Mails (selbst von überzeugenden), BEC-Taktiken und die Bedeutung der Überprüfung von Anfragen (insbesondere bei Geldtransfers oder sensiblen Daten) kann erfolgreiche Angriffe erheblich reduzieren. Regelmäßige Schulungen zum Sicherheitsbewusstsein sind der Schlüssel.

Überprüfung von Anträgen auf sensible Maßnahmen

Insbesondere wenn Sie Anfragen für Geldtransfers oder die Weitergabe vertraulicher Informationen per E-Mail erhalten, sollten Sie die Anfrage immer über einen separaten, vertrauenswürdigen Kommunikationskanal überprüfen (z. B. durch einen Anruf bei einer bekannten Nummer oder ein persönliches Gespräch). Verlassen Sie sich nicht ausschließlich auf die E-Mail-Kommunikation, da diese kompromittiert oder gefälscht sein könnte.

Verwenden Sie sichere Passwörter und Passwort-Manager

Fördern oder erzwingen Sie die Verwendung starker, eindeutiger Passwörter für verschiedene Konten. Die Verwendung von Passwort-Managern hilft den Nutzern, komplexe Passwörter zu erstellen und sicher zu speichern, wodurch das Risiko des Diebstahls von Zugangsdaten verringert wird.

Software auf dem neuesten Stand halten

Stellen Sie sicher, dass die gesamte Software, einschließlich E-Mail-Clients, Webbrowsern und Betriebssystemen, regelmäßig aktualisiert wird. Updates enthalten oft Patches für Sicherheitslücken, die sonst von Angreifern ausgenutzt werden könnten.

Regelmäßige Sicherheitsaudits durchführen

Eine weitere Möglichkeit, den Zugriff von Hackern auf Ihr System zu verhindern, ist die regelmäßige Durchführung von Cybersicherheits-Audits.

Diese Audits helfen dabei, potenzielle Schwachstellen in Ihren Systemen, Prozessen und Abwehrmechanismen zu identifizieren, einschließlich E-Mail-Systemen und KI-Modellimplementierungen. Die Audits machen Vorschläge, wie Schwachstellen behoben werden können, bevor sie zu größeren Problemen werden (z. B. Malware Infektionen oder erfolgreiche Betrugsversuche).

Ausbildung in der Opposition

Adversariales Training ist eine Möglichkeit, den gegnerischen Angriff zu simulieren und das Modell zu stärken. Dabei wird ein Gegner (oder ein Angreifer) eingesetzt, der versucht, das System zu täuschen, indem er ihm falsche Antworten gibt. Ziel ist es, herauszufinden, wie das Modell reagiert und wo seine Grenzen liegen, damit wir robustere Modelle entwickeln können, die der Manipulation widerstehen.

Robuste Merkmalsextraktion

Eine andere Lösung ist die robuste Merkmalsextraktion (RFE). RFE nutzt Deep Learning, um relevante Merkmale aus Rohbildern oder -daten zu extrahieren, die weniger anfällig für kleinere Störungen durch Angreifer sind. Die Technik ist skalierbar und kann bei großen Datensätzen eingesetzt werden. Sie kann auch mit anderen Techniken wie Verification Through Sampling (VTS) und Outlier Detection (OD) kombiniert werden, um die Genauigkeit und Widerstandsfähigkeit der Merkmalsextraktion zu verbessern.

Sichere Modellarchitektur

Secure Model Architecture (SMA) nutzt eine sichere Modellarchitektur, um Angriffe zu verhindern, die Schwachstellen im Softwarecode, in Datendateien oder anderen Komponenten eines KI-Systems ausnutzen. Die Idee hinter SMA ist, dass ein Angreifer eine Schwachstelle im Code selbst finden müsste, anstatt einfach nur Eingaben zu manipulieren, um Schwächen in der Logik des Modells auszunutzen. Der Einsatz umfassender Software-Code-Audit-Services ist entscheidend für die Identifizierung und Minderung von Schwachstellen in KI-Systemen, um die Integrität und Sicherheit generativer KI-Technologien gegen komplexe Cyber-Bedrohungen zu gewährleisten.

Regelmäßige Modellaudits

Die Modellprüfung ist seit vielen Jahren ein wesentlicher Bestandteil der Cybersicherheit, und sie ist für KI-Systeme von entscheidender Bedeutung. Dabei werden die in einem System verwendeten Modelle geprüft, um sicherzustellen, dass sie solide sind, die erwartete Leistung erbringen und auf dem neuesten Stand bleiben. Die Modellprüfung kann auch dazu verwendet werden, Schwachstellen, Verzerrungen oder potenzielle Datenlecks in Modellen zu erkennen und Modelle zu identifizieren, die möglicherweise von Hackern beschädigt oder verändert wurden (Model Poisoning).

Validierung und Filterung von Eingaben

Die Eingabevalidierung ist einer der wichtigsten Schritte, die ein Modellentwickler unternehmen kann, bevor er sein Modell in der Produktionsumgebung einsetzt. Die Eingabevalidierung stellt sicher, dass die in ein Modell eingegebenen Daten nicht ungenau, falsch geformt oder böswillig von Hackern verändert werden, die versuchen könnten, Schwachstellen im System auszunutzen (z. B. Prompt-Injection-Angriffe). Mit der Eingabefilterung können Entwickler festlegen, welche Datentypen, -formate oder -inhalte für ihre Modelle zugelassen werden sollen, und gleichzeitig verhindern, dass andere Arten von Daten ebenfalls durchgelassen werden.

Abschließende Worte

Die Technologie bietet zwar zahlreiche Vorteile und Fortschritte, öffnet aber auch die Tür zu potenziellen Schwachstellen und Bedrohungen.

Die Fähigkeit der generativen KI, überzeugende gefälschte Bilder, Videos und Texte zu erstellen, gibt Anlass zu Bedenken hinsichtlich Identitätsdiebstahl, Fehlinformationskampagnen und Betrug.

Darüber hinaus kann der böswillige Einsatz generativer KI bestehende Cyber-Bedrohungen verstärken, z. B. Phishing-Angriffe und Social Engineering deutlich effektiver und schwieriger zu erkennen machen.

Während sich diese Technologie weiterentwickelt, müssen Unternehmen und Einzelpersonen Cybersicherheitsmaßnahmen Priorität einräumen, einschließlich robuster Authentifizierung (wie MFA und DMARC), kontinuierlicher Überwachung, regelmäßiger Schwachstellenbewertungen und Audits, Sicherung der KI-Modelle selbst und kontinuierlicher Mitarbeiterschulung, um die mit generativer KI verbundenen Risiken zu mindern.

Auf diese Weise können wir das Potenzial dieser Technologie nutzen und uns gleichzeitig vor den damit verbundenen Problemen der Cybersicherheit schützen.

"`

• Über
• Neueste Beiträge

Ahona Rudra

Experte für Domain- und E-Mail-Sicherheit bei PowerDMARC

Ahona ist Marketing-Managerin bei PowerDMARC und verfügt über mehr als 5 Jahre Erfahrung im Schreiben über Cybersicherheitsthemen, insbesondere im Bereich Domain- und E-Mail-Sicherheit. Ahona hat einen Postgraduierten-Abschluss in Journalismus und Kommunikation und ist seit 2019 in der Sicherheitsbranche tätig.

Neueste Beiträge von Ahona Rudra (alle anzeigen)

• DMARC-MSP-Fallstudie: Wie die Digital Infinity IT Group die DMARC- und DKIM-Verwaltung für ihre Kunden mit PowerDMARC optimierte – 21. April 2026
• Was ist DANE? DNS-basierte Authentifizierung benannter Entitäten erklärt (2026) – 20. April 2026
• VPN-Sicherheit für Einsteiger: Bewährte Methoden zum Schutz Ihrer Privatsphäre – 14. April 2026