Риски кибербезопасности генеративного ИИ

С появлением новых возможностей технологии генеративного ИИ растут и риски кибербезопасности, связанные с генеративным ИИ. Генеративный ИИ представляет собой передовой технологический рубеж, объединяющий возможности машинного обучения (ML) и искусственного интеллекта (AI).

Мы стоим на пороге технологического ренессанса, когда технологии искусственного интеллекта будут развиваться в геометрической прогрессии. Однако нельзя упускать из виду риски, связанные с кибербезопасностью генеративного ИИ. Давайте рассмотрим этот аспект, чтобы понять, как можно предотвратить проблемы кибербезопасности, возникающие в результате использования и злоупотребления генеративным ИИ.

Что такое генеративный ИИ?

Генеративный ИИ, сокращенно от Generative Artificial Intelligence, относится к классу методов искусственного интеллекта, которые направлены на создание новых данных, напоминающих или похожих на существующие. Вместо того чтобы быть явно запрограммированными на выполнение конкретной задачи, модели генеративного ИИ изучают шаблоны и структуры данных, на которых они обучаются, используя инструмент аннотирования текста, видео или изображений, а затем генерируют новый контент на основе этих знаний.

Основная задача генеративного ИИ - генерировать данные, неотличимые от реальных, создавая впечатление, что они были созданы человеком или взяты из того же источника, что и исходные данные. Эта способность находит множество применений в различных областях, таких как генерация естественного языка, синтез изображений, создание музыки, преобразование текста в речь и даже создание видео. GPT-4, преемник языковой модели GPT-3, разработанной OpenAI, представляет собой следующее поколение этих мощных инструментов, которые, как ожидается, произведут дальнейшую революцию в области ИИ, но также потенциально могут увеличить связанные с этим риски.

Упростите безопасность генеративного ИИ с помощью PowerDMARC!

Почему генеративный ИИ является следующей крупнейшей угрозой кибербезопасности?

GPT-3, GPT-4 и другие инструменты генеративного ИИ не застрахованы от рисков кибербезопасности и киберугроз, связанных с генеративным ИИ. Компании должны проводить политику, чтобы избежать значительных киберрисков, связанных с генеративным ИИ. Эти инструменты, способные генерировать реалистичный, похожий на человеческий язык язык, могут быть использованы для создания очень убедительных мошеннических сообщений, что делает такие угрозы, как фишинг и мошенничество с электронной почтой, еще более опасными. Кроме того, инструменты на базе ИИ могут автоматизировать весь процесс создания и отправки вредоносных писем, что делает возможными крупномасштабные атаки.

Как отмечает Теренс Джексон (Terence Jackson)Как отметил в своей статье для Forbes главный советник по безопасности компании Microsoft, политика конфиденциальности таких платформ, как ChatGPT, предусматривает сбор таких важных данных о пользователе, как IP-адрес, информация о браузере и действиях при просмотре страниц, которые могут быть переданы третьим лицам.

Джексон также предупреждает об угрозах кибербезопасности, которые несет в себе генеративный ИИ, Он расширяет поверхность атаки и предоставляет хакерам новые возможности для использования. Киберпреступники уже используют ИИ для анализа больших массивов данных, чтобы определить эффективные стратегии фишинга, персонализировать атаки, анализируя публичные данные, и создавать поддельные страницы входа в систему, почти идентичные легитимным.

Кроме того, в апрельской статье Wired раскрывает уязвимости этих инструментов, подчеркивая киберриски генеративного ИИ.

Всего за несколько часов исследователь безопасности обошел системы безопасности OpenAI и манипулировал GPT-4, что подчеркивает потенциальные киберугрозы генеративного ИИ и необходимость принятия надежных мер кибербезопасности.

Раскрытие 7 основных рисков кибербезопасности генеративного ИИ

Генеративный ИИ - мощный инструмент для решения задач, но он сопряжен с определенными рисками. Наиболее очевидный риск заключается в том, что он может быть использован в злонамеренных целях, например для кражи интеллектуальной собственности или мошенничества.

Создание фишинговых писем и мошенничество с электронной почтой

Самый большой риск для кибербезопасности, связанный с генеративным ИИ, - это создание очень убедительных фишинговых писем и других видов почтового мошенничества.

Угроза мошенничества с использованием электронной почты реальна, постоянна и становится все более изощренной благодаря искусственному интеллекту.

По мере того как все больше компаний используют цифровые коммуникации, преступники используют искусственный интеллект для создания обманных писем. Фишинговые атаки часто заключаются в отправке поддельного письма от источника, выдающего себя за законную организацию (например, банк или коллегу), которое содержит вложение или ссылку. Они выглядят законными, но на самом деле ведут на поддельный веб-сайт, предназначенный для кражи учетных данных или установки вредоносного ПО. Благодаря искусственному интеллекту такие письма сложнее распознать благодаря улучшенной грамматике, персонализированному контенту и реалистичному тону.

Еще одна опасная форма - компрометация деловой электронной почты (BEC), когда искусственный интеллект помогает злоумышленникам выдавать себя за руководителей или сотрудников компании, чтобы запросить мошеннические переводы средств. Атаки BEC особенно эффективны благодаря сложной социальной инженерии и могут привести к значительным финансовым потерям.

Манипулирование моделями и отравление

Одним из основных рисков кибербезопасности генеративного ИИ является манипулирование моделями и их отравление. Этот тип атак предполагает манипулирование или изменение существующей модели таким образом, чтобы она давала ложные результаты.

Например, злоумышленник может изменить изображение, сделав его похожим на другое изображение из вашей базы данных, а не на то, которым оно является на самом деле. Затем злоумышленник может использовать эти манипулированные изображения в рамках своей стратегии атаки на вашу сеть или организацию.

Состязательные атаки

Атаки на алгоритмы машинного обучения становятся все более распространенными, поскольку хакеры пытаются использовать слабые места этих систем.

Использование состязательных примеров - атак, заставляющих алгоритм ошибаться или неверно классифицировать данные, - существует с первых дней исследований в области ИИ.

Однако по мере того как атаки противника становятся все более изощренными и мощными, они угрожают всем типам систем машинного обучения, включая генеративные модели или чат-боты.

Нарушения конфиденциальности данных

Часто при использовании генеративных моделей возникает опасение, что в процессе обучения или генерации они могут случайно раскрыть конфиденциальные данные о людях или организациях.

Например, организация может создать с помощью генеративных моделей изображение, которое случайно раскроет конфиденциальную информацию о ее клиентах или сотрудниках.

Если это произойдет, то это может привести к нарушению конфиденциальности и судебным искам о возмещении ущерба.

Глубокие подделки и синтетические медиа

Генеративные модели также могут использоваться в недобросовестных целях, генерируя поддельные видео и аудиозаписи, которые могут использоваться в deepfakes (фальшивых видео) или синтетических СМИ (фальшивых новостях). Хотя эти атаки вызывают опасения, важно помнить, что ИИ можно использовать и в положительных целях. Например, инструменты для создания видео с помощью ИИ - это отличные решения для создания контента, позволяющие пользователям создавать высококачественные видеоролики для маркетинга, образования и развлечений. Использование ИИ-голосов при создании аудиоконтента может значительно улучшить доступность, позволяя людям с нарушениями слуха получать более эффективный доступ к информации и способствуя созданию более захватывающих впечатлений от прослушивания для всех.

Технология, лежащая в основе этих атак, относительно проста: для создания вредоносного контента необходим доступ к соответствующему набору данных и некоторые базовые программные средства.

Хищение интеллектуальной собственности

Кража интеллектуальной собственности - одна из самых серьезных проблем в технологической отрасли на сегодняшний день, и она будет только расти по мере развития искусственного интеллекта.

Генеративный ИИ может генерировать поддельные данные, которые выглядят подлинными и приемлемыми для человека, потенциально имитируя запатентованные проекты, код или творческие работы.

Этот тип данных может быть использован в различных отраслях, включая здравоохранение, финансы, оборону и государственное управление. С его помощью можно даже создать поддельные учетные записи в социальных сетях или выдать себя за другого человека в Интернете.

Вредоносное использование сгенерированного контента

Генеративный ИИ также может манипулировать контентом, изменяя значение или контекст слов или фраз в тексте или изображениях на веб-странице или платформе социальных сетей.

Например, если бы вы использовали приложение, которое автоматически генерирует подписи к изображениям без вмешательства человека. Это позволило бы кому-то изменить подпись с "белой собаки" на "черную кошку", не меняя ничего в самой фотографии (просто отредактировав подпись). Такая возможность может быть использована для распространения дезинформации или дискредитации людей и организаций.

Как усилить защиту от рисков кибербезопасности, связанных с генеративным искусственным интеллектом

В ответ на растущую обеспокоенность организации должны усилить защиту от этих рисков. По мере того как ИИ становится все более мощным, потребность в передовых мерах безопасности становится все более насущной.

Вот несколько советов, как это сделать:

Внедрение аутентификации электронной почты (DMARC, SPF, DKIM)

DMARC (Domain-based Message Authentication, Reporting & Conformance) - это протокол проверки подлинности электронной почты, помогающий предотвратить подмену почты и фишинговые атаки, которые выдают себя за ваш собственный домен.

Применяя DMARC-анализаторорганизации могут гарантировать, что только авторизованные отправители могут использовать их домен для переписки по электронной почте, тем самым минимизируя риски, связанные с фишинговыми письмами, генерируемыми искусственным интеллектом, и BEC-атаками.

DMARC обеспечивает дополнительные уровни защиты, позволяя владельцам доменов получать отчеты о доставке электронной почты и принимать необходимые меры для усиления ее защиты, тем самым выступая в роли щита от рисков кибербезопасности, связанных с генеративным ИИ.

Вам необходимо реализовать либо SPF (Sender Policy Framework) или DKIM (DomainKeys Identified Mail) или DKIM, или оба протокола (рекомендуется) в качестве предварительного условия для внедрения DMARC. Эти протоколы помогают проверить, что письмо, утверждающее, что оно пришло с вашего домена, было действительно авторизовано вами.

Включите многофакторную аутентификацию (MFA)

MFA добавляет дополнительный уровень безопасности к учетным записям пользователей, требуя в дополнение к паролю вторую форму проверки (например, код из мобильного приложения или SMS). Это значительно снижает риск компрометации учетной записи, даже если учетные данные были украдены с помощью фишинга.

Используйте фильтрацию электронной почты

Передовые решения для фильтрации электронной почты помогают выявлять и блокировать вредоносные письма, в том числе сложные попытки фишинга, созданные искусственным интеллектом, еще до того, как они попадут в почтовые ящики пользователей. Часто они используют собственные модели AI/ML для обнаружения подозрительных шаблонов.

Обучение сотрудников

Бдительность людей остается важнейшим элементом защиты. Информирование сотрудников о рисках мошенничества с использованием искусственного интеллекта, о том, как распознать фишинговые письма (даже убедительные), о тактике BEC и о важности проверки запросов (особенно при переводе денег или конфиденциальных данных) может значительно снизить количество успешных атак. Регулярные тренинги по повышению осведомленности о безопасности - ключевой момент.

Проверка запросов на выполнение конфиденциальных действий

Получая запросы на перевод денег или передачу конфиденциальной информации по электронной почте, всегда проверяйте запрос по отдельному, доверенному каналу связи (например, телефонный звонок на известный номер, личная беседа). Не полагайтесь только на электронную почту, так как она может быть взломана или подделана.

Используйте надежные пароли и менеджеры паролей

Поощряйте или принуждайте к использованию сложных, уникальных паролей для разных учетных записей. Использование менеджеров паролей помогает пользователям безопасно создавать и хранить сложные пароли, снижая риск кражи учетных данных.

Поддерживайте программное обеспечение в актуальном состоянии

Убедитесь, что все программное обеспечение, включая почтовые клиенты, веб-браузеры и операционные системы, регулярно обновляется. Обновления часто содержат исправления уязвимостей в системе безопасности, которые в противном случае могут быть использованы злоумышленниками.

Проводите регулярные аудиты безопасности

Еще один способ предотвратить доступ хакеров к вашей системе - регулярно проводить аудита кибербезопасности.

Такие аудиты помогут выявить потенциальные слабые места в ваших системах, процессах и средствах защиты, включая системы электронной почты и внедрение моделей искусственного интеллекта. Аудиты подскажут, как устранить уязвимости до того, как они превратятся в серьезные проблемы (например, в вредоносное ПО заражения вредоносными программами или успешные попытки мошенничества).

Состязательный тренинг

Обучение с использованием противника - это способ имитации атаки противника и укрепления модели. В нем используется противник (или злоумышленник), который пытается обмануть систему, давая ей неправильные ответы. Цель - выяснить, как будет реагировать модель и каковы ее ограничения, чтобы мы могли разработать более надежные модели, способные противостоять манипуляциям.

Надежное извлечение признаков

Другое решение - Robust Feature Extraction (RFE). RFE использует глубокое обучение для извлечения релевантных признаков из необработанных изображений или данных, которые менее восприимчивы к незначительным враждебным возмущениям. Эта техника масштабируется и может использоваться на больших наборах данных. Кроме того, ее можно комбинировать с другими методами, такими как верификация по выборке (VTS) и обнаружение выбросов (OD), для повышения точности и устойчивости извлечения признаков.

Архитектура защищенной модели

Архитектура безопасных моделей (SMA) использует архитектуру безопасных моделей для предотвращения атак, использующих уязвимости в программном коде, файлах данных или других компонентах системы искусственного интеллекта. Идея SMA заключается в том, что злоумышленник должен найти уязвимость в самом коде, а не просто манипулировать входными данными, чтобы использовать слабые места в логике модели. Использование комплексных услуг по аудиту программного кода имеет решающее значение для выявления и устранения уязвимостей в системах ИИ, обеспечивая целостность и безопасность технологий генеративного ИИ от сложных киберугроз.

Регулярный модельный аудит

Аудит моделей уже много лет является неотъемлемой частью кибербезопасности, а для систем искусственного интеллекта он просто необходим. Он включает в себя проверку моделей, используемых в системе, чтобы убедиться, что они надежны, работают так, как ожидается, и остаются актуальными. Аудит моделей также может использоваться для обнаружения уязвимостей, погрешностей или потенциальной утечки данных в моделях, а также для выявления моделей, которые могли быть повреждены или изменены хакерами (отравление моделей).

Валидация и фильтрация входных данных

Проверка ввода - один из самых важных шагов, которые может предпринять разработчик модели перед развертыванием модели в производственной среде. Проверка ввода гарантирует, что данные, вводимые в модель, не являются неточными, искаженными или злонамеренно измененными хакерами, которые могут попытаться использовать уязвимости в системе (например, атаки типа prompt injection). Фильтрация входных данных позволяет разработчикам указать, какие типы, форматы или содержание данных должны быть разрешены в их моделях, не допуская при этом попадания других типов данных.

Заключительные слова

Несмотря на то, что эта технология дает множество преимуществ и достижений, она также открывает двери для потенциальных уязвимостей и угроз.

Способность генеративного ИИ создавать убедительные поддельные изображения, видео и тексты вызывает опасения в отношении кражи личных данных, кампаний по дезинформации и мошенничества.

Более того, злонамеренное использование генеративного ИИ может усилить существующие киберугрозы, например, сделать фишинговые атаки и социальную инженерию значительно эффективнее и сложнее для обнаружения.

Поскольку эта технология продолжает развиваться, организации и частные лица должны уделять первоочередное внимание мерам кибербезопасности, включая надежную аутентификацию (например, MFA и DMARC), постоянный мониторинг, регулярную оценку уязвимостей и аудит, защиту самих моделей ИИ и постоянное обучение сотрудников для снижения рисков, связанных с генеративным ИИ.

Таким образом, мы сможем использовать потенциал этой технологии, одновременно защищаясь от присущих ей проблем кибербезопасности.

"`

• О сайте
• Последние сообщения

Ахона Рудра

Эксперт по безопасности доменов и электронной почты в PowerDMARC

Аона - менеджер по маркетингу в PowerDMARC, имеет более чем 5-летний опыт написания статей на темы кибербезопасности, специализируясь на безопасности доменов и электронной почты. Ахона получила диплом о высшем образовании по специальности "Журналистика и коммуникации", а с 2019 года начала работать в сфере безопасности.

Последние сообщения Ахона Рудра (см. все)

• Компрометация электронной почты поставщика (VEC): как предотвратить атаки со стороны доверенных поставщиков - 3 июля 2025 г.
• Маркетинговые электронные письма не доходят до почтовых ящиков клиентов - 2 июля 2025 г.
• Пример из практики DMARC MSP: Как S-IT автоматизировала управление аутентификацией электронной почты с помощью PowerDMARC - 29 июня 2025 г.