Co się dzieje, gdy chatboty oparte na sztucznej inteligencji ujawniają poufne dane firmowe?

przez

Ostatnia aktualizacja:
6 czas czytania: 2 minuty
Co się dzieje, gdy chatboty oparte na sztucznej inteligencji ujawniają poufne dane firmowe?

Kluczowe wnioski

  • Chatboty mogą ujawniać dane uwierzytelniające, dane osobowe, kod źródłowy, dane finansowe oraz własność intelektualną.
  • Asystenci podłączeni do sieci stwarzają większe ryzyko, ponieważ mogą pobierać dane z innych systemów biznesowych.
  • Usunięcie widocznej rozmowy nie oznacza, że zniknęły logi, kopie lub działania podjęte w jej wyniku.
  • Pierwsze działania powinny skupiać się na ograniczeniu rozprzestrzeniania się, zabezpieczeniu dowodów, zmianie danych uwierzytelniających oraz ocenie narażenia.
  • Same zasady to za mało. Potrzebny jest ograniczony dostęp, zabezpieczenia przed utratą danych oraz jasne zasady zarządzania sztuczną inteligencją.

Wyciek danych z chatbota opartego na sztucznej inteligencji rzadko ogranicza się wyłącznie do pierwotnej rozmowy. Konieczne może okazać się zmiana haseł, powiadomienie klientów zgodnie z przepisami o ochronie danych osobowych, zniszczenie poufnych dokumentów lub zajęcie się przypadkami phishingu i oszustw płatniczych wynikających z ujawnionego kontekstu.

Wklejanie przez pracowników poufnych treści do publicznego chatbota to tylko jeden z punktów dostępu. Połączone asystenty oparte na sztucznej inteligencji mogą przeszukiwać skrzynkę odbiorczą, pamięć w chmurze, system CRM oraz wiadomości wewnętrzne. Jeśli przyznasz jednemu z tych asystentów zbyt szerokie uprawnienia lub pozwolisz mu wykonać złośliwe polecenia ukryte w dokumencie, pojedyncza interakcja może przerodzić się w poważniejszy wyciek danych.

W jaki sposób chatbot może ujawnić dane wewnętrzne?

W jaki sposób chatbot może doprowadzić do wycieku danych wewnętrznych?

Wyciek danych z chatbota może nastąpić na jeden z trzech sposobów:

1. Pracownik ujawnia informacje poufne

Pracownik może przesłać kod źródłowy w celu debugowania, wkleić dane klienta do narzędzia wspomagającego pisanie lub przesłać notatki ze spotkania w celu sporządzenia podsumowania. Większość z nich po prostu stara się pracować szybciej.

Publiczne lub niezatwierdzone narzędzie oparte na sztucznej inteligencji funkcjonuje poza zwykłym środowiskiem biznesowym firmy. Gdy pracownik przekaże informacje, firma może stracić kontrolę nad sposobem ich rejestrowania, przechowywania lub przetwarzania.

Jest to jeden z elementów szerszego spektrum zagrożeń dla cyberbezpieczeństwa związanych z generatywną sztuczną inteligencją, do których należą phishing, podszywanie się pod inne osoby, oszustwa oraz kradzież własności intelektualnej.

2. Asystent z dostępem do sieci dostarcza więcej informacji, niż można by się spodziewać

Prosty chatbot może mieć wgląd jedynie w bieżącą rozmowę. Zintegrowany asystent może przeszukiwać pocztę elektroniczną, udostępnione dyski, kalendarze, czat wewnętrzny, dane klientów oraz repozytoria kodu.

Powoduje to problem z uprawnieniami. Asystent niekoniecznie musi uzyskiwać dostęp do folderu o ograniczonym dostępie. Może to ułatwić korzystanie z uprawnień o zbyt szerokim zakresie, nieaktualnych lub źle skonfigurowanych.

Załóżmy, że pracownik prosi o podsumowanie rozmów dotyczących zbliżającej się restrukturyzacji. Asystent mógłby odnaleźć projekty dokumentów kadrowych oraz e-maile kierownictwa, do których pracownik miał dostęp w formie papierowej, ale których nigdy nie znalazłby samodzielnie.

3. Złośliwa treść manipuluje asystentem

Osoba atakująca może ukryć instrukcje w wiadomości e-mail, na stronie internetowej, w dokumencie lub w zgłoszeniu do pomocy technicznej. Jeśli asystent odczyta tę treść, może pomylić słowa osoby atakującej z autoryzowanym poleceniem.

Jest to pośrednie wprowadzenie polecenia. Osoba atakująca może wykorzystać zainfekowany dokument, aby skłonić asystenta do wyszukania poufnych plików, ujawnienia danych konta lub nawiązania połączenia z usługą zewnętrzną. Pracownik mógł jedynie poprosić go o podsumowanie pliku, który wyglądał na zwyczajny.

Co się dzieje po wycieku danych z chatbota?

Co się dzieje po wycieku danych z chatbota?

Wynik zależy od tego, jakie dane zostały ujawnione, do jakich systemów chatbot miał dostęp oraz czy informacje opuściły zatwierdzone środowisko.

Dane uwierzytelniające stają się niebezpieczne

Jeśli ujawnione dane zawierają hasła, klucze API, tokeny uwierzytelniające lub dane logowania do baz danych, należy założyć, że mogły one zostać skopiowane.
Usunięcie rozmowy nie wystarczy. Należy unieważnić i zastąpić dane logowania, sprawdzić, czy zostały one wykorzystane, oraz usunąć je z plików i repozytoriów, których to dotyczy.

Ujawnione informacje mogą sprzyjać oszustwom

Dokumenty wewnętrzne mogą ujawnić, kto zatwierdza płatności, w jaki sposób piszą członkowie kierownictwa oraz z jakich dostawców korzystasz. Mogą one również ujawnić, jak wyglądają faktury i kiedy osoby decyzyjne są w podróży.

Osoba atakująca może wykorzystać te informacje do stworzenia przekonujących oszustw typu „business email compromise”, podszywania się pod dostawców lub oszustw związanych z kadrą kierowniczą.
DMARC nie powstrzyma pracownika przed opublikowaniem poufnego dokumentu, ale może uniemożliwić osobom atakującym sfałszowanie Twojej domeny w celu wykorzystania tych ujawnionych informacji w fałszywych wiadomościach e-mail.

Wartość własności intelektualnej może spaść

Kod źródłowy, plany produktowe, modele cenowe i informacje dotyczące przetargów mogą stracić swoją wartość handlową w chwili, gdy trafią w ręce niewłaściwej osoby.

Wyciek danych może spowodować problemy umowne, jeśli informacje o klientach lub materiały należące do partnerów zostały przetworzone za pomocą nieautoryzowanego narzędzia. W zależności od rodzaju danych i obowiązującego prawa może zaistnieć konieczność zapoznania się z przepisami dotyczącymi ochrony prywatności, klauzulami poufności oraz umowami o przetwarzaniu danych. Należy również sprawdzić warunki ubezpieczenia od cyberzagrożeń oraz obowiązki w zakresie zgłaszania incydentów.

„Największym błędem jest traktowanie wycieku danych związanych ze sztuczną inteligencją jako zwykłego problemu. Gdy chatbot zyskuje możliwość przeszukiwania wiadomości e-mail, plików i rekordów w systemie CRM, staje się to problemem związanym z tożsamością, dostępem i reagowaniem na incydenty”.

Brad Russell, założyciel firmy Digital Hitmen

Rozpoczynają się koszty dochodzenia i odzyskiwania mienia

Może zaistnieć potrzeba skorzystania z porady prawnej, usług z zakresu informatyki śledczej oraz wymiany danych uwierzytelniających. Następnie mogą zostać wprowadzone działania w zakresie komunikacji z klientami, monitorowania systemu oraz tymczasowych ograniczeń dotyczących sztucznej inteligencji.

W raporcie IBM „Cost of a Data Breach Report 2026” podano, że średni globalny koszt naruszenia bezpieczeństwa danych wynosi 4,99 mln USD, co stanowi rekordowy poziom, a liczba ataków opartych na sztucznej inteligencji wzrosła o 56% w ujęciu rok do roku. Wśród organizacji, które zgłosiły incydent bezpieczeństwa związany ze sztuczną inteligencją, 92% nie posiadało odpowiednich mechanizmów kontroli dostępu do systemów opartych na sztucznej inteligencji, a jedynie 40% organizacji w ogóle stosuje takie mechanizmy w odniesieniu do modeli i danych związanych ze sztuczną inteligencją. Liczby te wskazują, że awarie w zakresie bezpieczeństwa sztucznej inteligencji wynikają w większym stopniu z niedociągnięć w zakresie dostępu i zarządzania niż z wad samych modeli.

Rozpoczynają się koszty dochodzenia i odzyskiwania mienia

Co należy zrobić w ciągu pierwszych 24 godzin?

Twoim priorytetem jest opanowanie zdarzenia bez niszczenia dowodów niezbędnych do jego wyjaśnienia.

1. Odłącz uszkodzone narzędzie

Zablokuj lub ogranicz uprawnienia konta oraz odetnij mu dostęp do powiązanych usług poczty elektronicznej, pamięci masowej, systemu CRM, przeglądarki i komunikatorów. Wstrzymaj automatyczne działania zewnętrzne, ale nie usuwaj danych z konta przed zabezpieczeniem odpowiednich logów.

2. Zabezpieczenie dowodów

Zbierz:

  • Pytania i odpowiedzi
  • Nazwy przesłanych plików
  • Dzienniki złączy i tożsamości
  • Wywołania narzędzi
  • Wychodzące żądania sieciowe
  • Historia przeglądarki
  • Zmiany administracyjne
  • Istotna aktywność związana z pocztą elektroniczną

Musisz ustalić, co asystent widział, co przyniósł i co zrobił.

3. Zidentyfikuj ujawnione informacje

Określ:

  • Które zapisy były objęte sprawą
  • Czy zawierały one dane osobowe lub dane uwierzytelniające
  • Które z podłączonych systemów były dostępne
  • Czy informacje zostały przekazane poza firmę
  • Kto mógł to otrzymać

Nie należy zakładać, że widoczna reakcja odzwierciedla pełny zakres zdarzenia.

4. Unieważnienie ujawnionych danych uwierzytelniających

Należy niezwłocznie zmienić hasła, klucze, tokeny i udostępnione linki, których dotyczy ta sytuacja. Należy przejrzeć zapisy dotyczące logowań i dostępu pod kątem podejrzanych działań, które miały miejsce po domniemanym wycieku.

5. Ocena wymogów dotyczących powiadamiania

Należy przeanalizować swoje zobowiązania prawne, regulacyjne, umowne i ubezpieczeniowe. Należy zasięgnąć porady prawnej, jeśli zdarzenie dotyczy danych osobowych, materiałów objętych tajemnicą, danych ważnych klientów lub wrażliwej własności intelektualnej.

6. Komunikuj się rozważnie

Poinformuj osoby, których ta sprawa dotyczy, o tym, co zostało potwierdzone, co jest nadal przedmiotem dochodzenia oraz jakie dalsze kroki powinny podjąć. Unikaj twierdzeń, że nikt nie uzyskał dostępu do danych, dopóki nie zostaną to potwierdzone dowodami.

wyciek danych z chatbota

Jak zapobiec kolejnemu wyciekowi danych z chatbota?

Potrzebnych jest kilka poziomów kontroli. Szkolenia pracowników są pomocne, ale nie mogą stanowić jedynego elementu zabezpieczenia.

Zapewnij zatwierdzone środowisko AI

Całkowity zakaz może skłonić pracowników do korzystania z kont prywatnych i „cieniowej” sztucznej inteligencji. Należy zapewnić pracownikom zatwierdzone narzędzie biznesowe z centralnym zarządzaniem i rejestracją audytową. Dodatkowo należy wprowadzić mechanizmy kontroli przechowywania danych, zarządzane złącza oraz funkcję pojedynczego logowania.

Zdefiniuj dane zabronione

Należy określić, jakich danych pracownicy nie wolno wprowadzać do narzędzi publicznych lub niezatwierdzonych, w tym:

  • Hasła i tokeny dostępu
  • Bazy danych klientów
  • Dane osobowe lub informacje medyczne
  • Porady prawne
  • Poufny kod źródłowy
  • Niepublikowane informacje finansowe
  • Plany przejęcia lub restrukturyzacji

„Nie udostępniaj danych wrażliwych” to zbyt ogólne sformułowanie, by mogło służyć jako wskazówka dotycząca postępowania.

Wprowadź system zapobiegania utracie danych

Mechanizmy zapobiegania utracie danych mogą sprawdzać okna dialogowe, przesyłane pliki i kopiowany tekst pod kątem danych uwierzytelniających, danych osobowych oraz danych płatniczych. Mogą również wykrywać kod źródłowy i oznaczenia poufności. W zależności od poziomu ryzyka mechanizm ten może wyświetlać ostrzeżenie, zamazać dane, zablokować operację lub wymagać zatwierdzenia.

Ogranicz uprawnienia chatbotów i agentów

Każdy podłączony asystent powinien mieć dostęp wyłącznie do tych systemów i danych, które są niezbędne do wykonania jego zadania.

W środowiskach Microsoftu zespoły ds. bezpieczeństwa mogą blokować agentów AI wysokiego ryzyka w usłudze Microsoft Entra za pomocą funkcji „Dostęp warunkowy”. Firma PowerDMARC zwraca uwagę, że dotyczy to tożsamości agentów, natomiast agenci korzystający z uprawnień przekazanych przez daną osobę wymagają odrębnych mechanizmów kontroli ukierunkowanych na użytkowników.

Ograniczanie działań zewnętrznych

Wymagaj zatwierdzenia przez użytkownika przed wysłaniem przez asystenta wiadomości e-mail na adres zewnętrzny, wyeksportowaniem danych lub udostępnieniem dokumentów. To samo dotyczy zmiany uprawnień, tworzenia wniosków o płatność, nawiązywania kontaktu z nieznaną domeną lub wykonywania kodu.

Zabezpiecz kanał komunikacji e-mailowej

Wyciek danych związanych ze sztuczną inteligencją i oszustwa e-mailowe mogą się wzajemnie wzmacniać. Należy stosować mechanizmy SPF, DKIM i DMARC w połączeniu z uwierzytelnianiem wieloskładnikowym oraz filtrowaniem wiadomości e-mail. Dodatkowo warto wprowadzić niezależną weryfikację w przypadku płatności lub zmian dotyczących konta.

Uwierzytelnianie adresów e-mail nie zapobiegnie wszystkim wyciekom danych przez chatboty, ale utrudnia podszywanie się pod Twoją domenę, gdy atakujący dysponuje już przydatnymi informacjami wewnętrznymi.

Traktuj asystentów AI jak użytkowników z uprawnieniami systemowymi

Nie traktuj wycieku danych z chatbota jako pojedynczego błędu pracownika ani jako rozmowy, którą można po prostu usunąć i o której można zapomnieć.

Asystent oparty na sztucznej inteligencji, mający dostęp do poczty elektronicznej, plików firmowych i systemów klientów, podnosi stawkę. Wyciek danych może narazić na ujawnienie danych uwierzytelniających, sprzyjać oszustwom, spowodować konieczność wypełnienia zobowiązań umownych lub wymagać podjęcia formalnych działań w odpowiedzi na incydent.

Nie musisz unikać sztucznej inteligencji. Traktuj każdego podłączonego asystenta jak użytkownika systemu z uprawnieniami administratora. Ogranicz zakres danych, które każdy asystent może odczytywać i wysyłać, rejestruj jego działania i upewnij się, że w razie problemów możesz go szybko wyłączyć.

CTA