Риски кибербезопасности генеративного ИИ
Время чтения: 6 мин
С появлением новых возможностей технологии генеративного ИИ растут и риски кибербезопасности, связанные с генеративным ИИ. Генеративный ИИ представляет собой передовой технологический рубеж, объединяющий возможности машинного обучения (ML) и искусственного интеллекта (AI).
Мы стоим на пороге технологического ренессанса, когда технологии искусственного интеллекта будут развиваться в геометрической прогрессии. Однако нельзя упускать из виду риски, связанные с кибербезопасностью генеративного ИИ. Давайте рассмотрим этот аспект, чтобы понять, как можно предотвратить проблемы кибербезопасности, возникающие в результате использования и злоупотребления генеративным ИИ.
Что такое генеративный ИИ?
Генеративный ИИ, сокращенно от Generative Artificial Intelligence, относится к классу методов искусственного интеллекта, которые направлены на создание новых данных, напоминающих или похожих на существующие. Вместо того чтобы быть явно запрограммированными на выполнение конкретной задачи, модели генеративного ИИ изучают шаблоны и структуры данных, на которых они обучаются, используя инструмент аннотирования текста, видео или изображений, а затем генерируют новый контент на основе этих знаний.
Основная задача генеративного ИИ - генерировать данные, неотличимые от реальных, создавая впечатление, что они были созданы человеком или взяты из того же источника, что и исходные данные. Эта возможность находит множество применений в различных областях, таких как генерация естественного языка, синтез изображений, создание музыки, преобразование текста в речь и даже создание видео.
Почему генеративный ИИ является следующей крупнейшей угрозой кибербезопасности?
GPT-3, GPT-4 и другие инструменты генеративного ИИ не защищены от рисков кибербезопасности и киберугроз, связанных с генеративным ИИ. Компании должны проводить политику, чтобы избежать значительных киберрисков, связанных с генеративным ИИ.
Как отмечает Теренс Джексон (Terence Jackson)Как отметил в своей статье для Forbes главный советник по безопасности компании Microsoft, политика конфиденциальности таких платформ, как ChatGPT, предусматривает сбор таких важных данных о пользователе, как IP-адрес, информация о браузере и действиях при просмотре страниц, которые могут быть переданы третьим лицам.
Джексон также предупреждает об угрозах кибербезопасности, которые несет в себе генеративный ИИ, расширяя поверхность атаки и предоставляя хакерам новые возможности для использования.
Кроме того, в апрельской статье Wired раскрывает уязвимости этих инструментов, подчеркивая киберриски генеративного ИИ.
Всего за несколько часов исследователь безопасности обошел системы безопасности OpenAI и манипулировал GPT-4, что подчеркивает потенциальные киберугрозы генеративного ИИ и необходимость принятия надежных мер кибербезопасности.
Раскрытие 7 основных рисков кибербезопасности генеративного ИИ
Генеративный ИИ - мощный инструмент для решения задач, но он сопряжен с определенными рисками. Наиболее очевидный риск заключается в том, что он может быть использован в злонамеренных целях, например для кражи интеллектуальной собственности или мошенничества.
Создание фишинговых писем
Самый большой риск кибербезопасности генеративного ИИ - это создание фишинга.
Угроза фишинга реальна, и она не исчезает.
По мере того как все больше компаний используют электронную почту и другие виды цифровых коммуникаций для продвижения своих продуктов и услуг, преступники становятся все более изощренными в попытках обманом заставить людей предоставить личную информацию.
Наиболее распространенные виды мошенничества называются "фишинговыми", поскольку они часто связаны с отправкой поддельного электронного письма из надежного источника (например, из вашего банка), содержащего вложение или ссылку, которая выглядит законной, но на самом деле ведет на поддельный сайт, где вы вводите свои учетные данные для получения доступа к своему счету.
Манипулирование моделями и отравление
Одним из основных рисков кибербезопасности генеративного ИИ является манипулирование моделями и их отравление. Этот тип атак предполагает манипулирование или изменение существующей модели таким образом, чтобы она давала ложные результаты.
Например, злоумышленник может изменить изображение, сделав его похожим на другое изображение из вашей базы данных, а не на то, которым оно является на самом деле. Затем злоумышленник может использовать эти манипулированные изображения в рамках своей стратегии атаки на вашу сеть или организацию.
Состязательные атаки
Атаки на алгоритмы машинного обучения становятся все более распространенными, поскольку хакеры пытаются использовать слабые места этих систем.
Использование состязательных примеров - атак, заставляющих алгоритм ошибаться или неверно классифицировать данные, - существует с первых дней исследований в области ИИ.
Однако по мере того как атаки противника становятся все более изощренными и мощными, они угрожают всем типам систем машинного обучения, включая генеративные модели или чат-боты.
Нарушения конфиденциальности данных
Часто при использовании генеративных моделей возникает опасение, что они могут непреднамеренно раскрыть конфиденциальные данные о частных лицах или организациях.
Например, организация может создать с помощью генеративных моделей изображение, которое случайно раскроет конфиденциальную информацию о ее клиентах или сотрудниках.
Если это произойдет, то это может привести к нарушению конфиденциальности и судебным искам о возмещении ущерба.
Глубокие подделки и синтетические медиа
Генеративные модели также могут использоваться в недобросовестных целях, генерируя поддельные видео и аудиозаписи, которые могут использоваться в deepfakes (фальшивых видео) или синтетических СМИ (фальшивых новостях). Хотя эти атаки вызывают опасения, важно помнить, что ИИ можно использовать и в положительных целях. Например, инструменты для создания видео с помощью ИИ - это отличные решения для создания контента, позволяющие пользователям создавать высококачественные видеоролики для маркетинга, образования и развлечений. Использование ИИ-голосов при создании аудиоконтента может значительно улучшить доступность, позволяя людям с нарушениями слуха получать более эффективный доступ к информации и способствуя созданию более захватывающих впечатлений от прослушивания для всех.
Технология, лежащая в основе этих атак, относительно проста: для создания вредоносного контента необходим доступ к соответствующему набору данных и некоторые базовые программные средства.
Хищение интеллектуальной собственности
Кража интеллектуальной собственности - одна из самых серьезных проблем в технологической отрасли на сегодняшний день, и она будет только расти по мере развития искусственного интеллекта.
Генеративный ИИ может генерировать поддельные данные, которые выглядят достоверно и понятны человеку.
Этот тип данных может быть использован в различных отраслях, включая здравоохранение, финансы, оборону и государственное управление. С его помощью можно даже создать поддельные учетные записи в социальных сетях или выдать себя за другого человека в Интернете.
Вредоносное использование сгенерированного контента
Генеративный ИИ также может манипулировать контентом, изменяя значение или контекст слов или фраз в тексте или изображениях на веб-странице или платформе социальных сетей.
Например, если бы вы использовали приложение, автоматически генерирующее подписи к изображениям без вмешательства человека. Это позволило бы изменить надпись с "белая собака" на "черная кошка", не меняя при этом саму фотографию (просто отредактировав надпись).
Как усилить защиту от рисков кибербезопасности, связанных с генеративным искусственным интеллектом
В ответ на растущую озабоченность организации должны усилить защиту от этих рисков.
Вот несколько советов, как это сделать:
Переход на DMARC
DMARC это протокол аутентификации электронной почты, позволяющий предотвратить подмену почты и фишинговые атаки, выдающие себя за ваш собственный домен.
Внедрение DMARC-анализаторорганизации могут гарантировать, что только авторизованные отправители могут использовать их домен для почтовых коммуникаций, тем самым минимизируя риски, связанные с фишинговыми письмами, генерируемыми искусственным интеллектом.
DMARC обеспечивает дополнительные уровни защиты, позволяя владельцам доменов получать отчеты о доставке электронной почты и принимать необходимые меры для усиления ее защиты, тем самым выступая в роли щита от рисков кибербезопасности, связанных с генеративным ИИ.
Вам необходимо реализовать либо SPF или DKIM или DKIM (рекомендуется) в качестве предварительного условия для реализации DMARC.
Проведение аудита безопасности
Еще одним способом предотвращения доступа хакеров к вашей системе является проведение аудита кибербезопасности.
Такие аудиты помогут выявить потенциальные слабые места в системе и подскажут, как устранить их до того, как они превратятся в серьезные проблемы (такие как вредоносное ПО заражения вредоносными программами).
Состязательный тренинг
Обучение с использованием противника - это способ имитации атаки противника и укрепления модели. При этом используется противник (или злоумышленник), который пытается обмануть систему, давая ей неправильные ответы. Цель состоит в том, чтобы выяснить, как будет реагировать модель и каковы ее ограничения, чтобы разработать более надежные модели.
Надежное извлечение признаков
Другим решением является Robust Feature Extraction (RFE). RFE использует глубокое обучение для извлечения релевантных признаков из необработанных изображений. Эта технология масштабируется и может использоваться на больших наборах данных. Кроме того, для повышения точности извлечения признаков ее можно комбинировать с другими методами, такими как Verification Through Sampling (VTS) и Outlier Detection (OD).
Архитектура защищенной модели
Архитектура безопасной модели (SMA) использует архитектуру безопасной модели для предотвращения атак, использующих уязвимости в программном коде, файлах данных или других компонентах системы ИИ. Идея, лежащая в основе SMA, заключается в том, что злоумышленник должен найти уязвимость в коде, а не просто использовать уязвимость в самой системе. Использование комплексных услуг по аудиту программного кода имеет решающее значение для выявления и устранения уязвимостей в системах ИИ, обеспечения целостности и безопасности технологий генеративного ИИ от изощренных киберугроз.
Регулярный модельный аудит
Аудит моделей уже много лет является неотъемлемой частью кибербезопасности. Он предполагает проверку моделей, используемых в системе, на предмет их надежности и актуальности. Аудит моделей также может использоваться для обнаружения уязвимостей в моделях, а также для выявления моделей, которые могли быть повреждены или изменены хакерами.
Валидация и фильтрация входных данных
Проверка ввода данных - один из важнейших этапов, который должен выполнить разработчик модели перед ее внедрением в производственную среду. Входная проверка гарантирует, что данные, вводимые в модель, не будут неточными или злонамеренно измененными хакерами, которые могут попытаться использовать уязвимости в системе. Фильтрация входных данных позволяет разработчикам определить, какие типы данных должны быть пропущены через модель, не допуская при этом попадания других типов данных.
Заключительные слова
Несмотря на то, что эта технология дает множество преимуществ и достижений, она также открывает двери для потенциальных уязвимостей и угроз.
Способность генеративного ИИ создавать убедительные поддельные изображения, видео и тексты вызывает опасения в отношении кражи личных данных, кампаний по дезинформации и мошенничества.
Более того, злонамеренное использование генеративного ИИ может усилить существующие киберугрозы, такие как фишинговые атаки и социальная инженерия.
По мере развития этой технологии организации и частные лица должны уделять первостепенное внимание мерам кибербезопасности, включая надежную аутентификацию, постоянный мониторинг и регулярную оценку уязвимостей, чтобы снизить риски, связанные с генеративным ИИ.
Таким образом, мы сможем использовать потенциал этой технологии, одновременно защищаясь от присущих ей проблем кибербезопасности.
Эксперт по безопасности доменов и электронной почты в PowerDMARC
Аона - менеджер по маркетингу в PowerDMARC, имеет более чем 5-летний опыт написания статей на темы кибербезопасности, специализируясь на безопасности доменов и электронной почты. Ахона получила диплом о высшем образовании по специальности "Журналистика и коммуникации", а с 2019 года начала работать в сфере безопасности.
Последние сообщения Ахона Рудра (см. все)
- Рост числа фишинговых атак с использованием претекстов - 15 января 2025 г.
- DMARC станет обязательным для индустрии платежных карт с 2025 года - 12 января 2025 г.
- Изменения в NCSC Mail Check и их влияние на безопасность электронной почты в государственном секторе Великобритании - 11 января 2025 г.
