Riesgos de ciberseguridad de la IA generativa

A medida que emerge el nuevo poder de la tecnología de IA generativa, también lo hacen los riesgos de ciberseguridad de la IA generativa. La IA generativa representa la frontera tecnológica de vanguardia, ya que combina las capacidades del aprendizaje automático (ML) y la inteligencia artificial (IA).

Estamos a las puertas de un renacimiento tecnológico en el que las tecnologías de IA avanzarán exponencialmente. Sin embargo, no se pueden pasar por alto los riesgos asociados a la ciberseguridad de la IA generativa. Exploremos este ángulo para entender cómo se pueden prevenir los retos de ciberseguridad derivados del uso y abuso de la IA Generativa.

¿Qué es la IA Generativa?

La IA generativa, abreviatura de Generative Artificial Intelligence (Inteligencia Artificial Generativa), se refiere a una clase de técnicas de inteligencia artificial que se centran en crear nuevos datos que se parezcan o sean similares a los datos existentes. En lugar de estar explícitamente programados para una tarea específica, los modelos de IA generativa aprenden patrones y estructuras a partir de los datos con los que se entrenan utilizando una herramienta de anotación de texto, vídeo o imagen, y luego generan nuevos contenidos basados en ese conocimiento aprendido.

El objetivo principal de la IA generativa es generar datos que no se distingan de los reales, haciendo que parezcan creados por un humano o procedentes de la misma distribución que los datos originales. Esta capacidad tiene numerosas aplicaciones en diversos ámbitos, como la generación de lenguaje natural, la síntesis de imágenes, la composición musical, la conversión de texto a voz e incluso la generación de vídeo. GPT-4, el sucesor del modelo de lenguaje GPT-3 desarrollado por OpenAI, representa la próxima generación de estas potentes herramientas, de las que se espera que revolucionen aún más el campo de la IA, pero también que aumenten potencialmente los riesgos asociados.

¡Simplifique la seguridad de la IA generativa con PowerDMARC!

¿Por qué la IA generativa es la próxima gran amenaza para la ciberseguridad?

GPT-3, GPT-4 y otras herramientas de IA generativa no son inmunes a los riesgos de ciberseguridad y las ciberamenazas de la IA generativa. Las empresas deben aplicar políticas para evitar los importantes riesgos cibernéticos asociados a la IA generativa. Estas herramientas, con su capacidad para generar un lenguaje realista y similar al humano, pueden ser explotadas para crear comunicaciones fraudulentas altamente convincentes, haciendo que amenazas como el phishing y el fraude por correo electrónico sean aún más peligrosas. Las herramientas impulsadas por IA también pueden automatizar todo el proceso de creación y envío de correos electrónicos maliciosos, lo que permite ataques a gran escala.

Como destaca Terence Jacksonasesor jefe de seguridad de Microsoft, en un artículo para Forbes, la política de privacidad de plataformas como ChatGPT indica la recopilación de datos cruciales del usuario, como la dirección IP, la información del navegador y las actividades de navegación, que pueden compartirse con terceros.

Jackson también advierte sobre las amenazas a la ciberseguridad que plantea la IA generativa, ampliando la superficie de ataque y proporcionando nuevas oportunidades que los hackers pueden explotar. Los ciberdelincuentes ya utilizan la IA para analizar grandes conjuntos de datos con el fin de determinar estrategias eficaces de phishing, personalizar los ataques analizando datos públicos y crear páginas de inicio de sesión falsas casi idénticas a las legítimas.

Además, un artículo de Wired de abril reveló las vulnerabilidades de estas herramientas, haciendo hincapié en los riesgos cibernéticos de la IA generativa.

En apenas unas horas, un investigador de seguridad burló los sistemas de seguridad de OpenAI y manipuló la GPT-4, lo que pone de manifiesto las posibles ciberamenazas de la IA generativa y la necesidad de adoptar medidas de ciberseguridad sólidas.

Desvelar los 7 principales riesgos de ciberseguridad de la IA generativa

La IA generativa es una poderosa herramienta para resolver problemas, pero plantea algunos riesgos. El riesgo más evidente es que pueda utilizarse con fines malintencionados, como el robo de propiedad intelectual o el fraude.

Creación de correos electrónicos de phishing y fraude por correo electrónico

El mayor riesgo de ciberseguridad de la IA generativa es la creación de correos electrónicos de phishing muy convincentes y otras formas de fraude por correo electrónico.

La amenaza del fraude por correo electrónico es real, persistente y cada vez más sofisticada gracias a la IA.

A medida que más empresas utilizan las comunicaciones digitales, los delincuentes aprovechan la IA para elaborar correos electrónicos engañosos. Los ataques de phishing suelen consistir en un correo electrónico falso enviado desde una fuente que se hace pasar por una entidad legítima (como un banco o un colega) y que contiene un archivo adjunto o un enlace. Parecen legítimos, pero en realidad conducen a un sitio web falso diseñado para robar credenciales o instalar malware. La IA hace que estos correos sean más difíciles de detectar gracias a la mejora de la gramática, el contenido personalizado y el tono realista.

Otra forma peligrosa es el Business Email Compromise (BEC), en el que la IA ayuda a los atacantes a hacerse pasar por ejecutivos o empleados para solicitar transferencias de fondos fraudulentas. Los ataques BEC son particularmente eficaces debido a la sofisticada ingeniería social, lo que puede dar lugar a importantes pérdidas financieras.

Manipulación e intoxicación de modelos

Uno de los principales riesgos de ciberseguridad de la IA generativa es la manipulación y el envenenamiento de modelos. Este tipo de ataque consiste en manipular o cambiar un modelo existente para que produzca resultados falsos.

Por ejemplo, un atacante podría cambiar una imagen para que pareciera otra imagen de su base de datos en lugar de lo que es. El atacante podría entonces utilizar estas imágenes manipuladas como parte de su estrategia de ataque contra su red u organización.

Ataques adversarios

Los ataques adversarios contra algoritmos de aprendizaje automático son cada vez más comunes, ya que los piratas informáticos buscan explotar los puntos débiles de estos sistemas.

El uso de ejemplos adversos -un ataque que hace que un algoritmo cometa un error o clasifique mal los datos- ha existido desde los primeros días de la investigación en IA.

Sin embargo, a medida que los ataques adversarios se vuelven más sofisticados y potentes, amenazan a todo tipo de sistemas de aprendizaje automático, incluidos los modelos generativos o los chatbots.

Protección de datos

Una preocupación común con los modelos generativos es que puedan revelar inadvertidamente datos sensibles sobre individuos u organizaciones durante su proceso de entrenamiento o generación.

Por ejemplo, una organización puede crear una imagen utilizando modelos generativos que revelen accidentalmente información confidencial sobre sus clientes o empleados.

Si esto ocurre, puede dar lugar a violaciones de la privacidad y demandas por daños y perjuicios.

Deepfakes y medios sintéticos

Los modelos generativos también pueden utilizarse con fines nefastos generando vídeos y grabaciones de audio falsos que pueden utilizarse en deepfakes (vídeos falsos) o medios sintéticos (noticias falsas). Aunque estos ataques son preocupantes, es importante recordar que la IA también puede aprovecharse para usos positivos. Por ejemplo, las herramientas de generación de vídeo con IA son soluciones excelentes para la creación de contenidos, ya que permiten a los usuarios producir vídeos de alta calidad para marketing, educación y entretenimiento. El uso de voces de IA en la producción de contenidos de audio puede mejorar significativamente la accesibilidad, permitiendo a las personas con discapacidad auditiva acceder a la información de manera más eficaz y contribuyendo a experiencias de escucha más envolventes para todos.

La tecnología que hay detrás de estos ataques es relativamente sencilla: alguien necesita acceder al conjunto de datos adecuado y a algunas herramientas básicas de software para empezar a crear contenidos maliciosos.

Robo de propiedad intelectual

El robo de propiedad intelectual es una de las mayores preocupaciones de la industria tecnológica actual y no hará sino aumentar a medida que la inteligencia artificial avance.

La IA generativa puede generar datos falsos que parezcan auténticos y pasables para los humanos, imitando potencialmente diseños propios, códigos u obras creativas.

Este tipo de datos podría utilizarse en diversos sectores, como la sanidad, las finanzas, la defensa y la administración pública. Incluso podría crear cuentas falsas en redes sociales o suplantar la identidad de una persona en Internet.

Uso malintencionado de contenidos generados

La IA generativa también puede manipular contenidos cambiando el significado o el contexto de palabras o frases dentro del texto o las imágenes de una página web o una plataforma de redes sociales.

Por ejemplo, si utilizara una aplicación que generara automáticamente pies de foto sin intervención humana. Esto permitiría a alguien cambiar el pie de foto de "un perro blanco" a "un gato negro" sin cambiar realmente nada de la foto en sí (sólo editando el pie de foto). Esta capacidad puede utilizarse para difundir información errónea o difamar a personas y organizaciones.

Cómo reforzar sus defensas contra los riesgos de ciberseguridad de la IA generativa

En respuesta a esta creciente preocupación, las organizaciones deben reforzar sus defensas contra estos riesgos. A medida que la IA se hace más potente, la necesidad de medidas de seguridad avanzadas se hace más acuciante.

He aquí algunos consejos para hacerlo:

Implantar la autenticación del correo electrónico (DMARC, SPF, DKIM)

DMARC (Domain-based Message Authentication, Reporting & Conformance) es un protocolo de autenticación de correo electrónico que ayuda a evitar los ataques de suplantación de identidad y phishing que suplantan su propio dominio.

Mediante la implementación de un analizador DMARClas organizaciones pueden garantizar en la medida de lo posible que sólo los remitentes autorizados pueden utilizar su dominio para las comunicaciones por correo electrónico, minimizando así los riesgos asociados con los correos electrónicos de phishing generados por IA y los ataques BEC.

DMARC proporciona capas adicionales de protección al permitir a los propietarios de dominios recibir informes sobre la entrega de correo electrónico y tomar las medidas necesarias para reforzar la seguridad del correo electrónico, actuando así como un escudo contra los riesgos generativos de ciberseguridad de la IA.

Debe aplicar SPF (Sender Policy Framework) o DKIM (DomainKeys Identified Mail) o ambos (recomendado) como prerrequisito para la implementación de DMARC. Estos protocolos ayudan a verificar que un correo electrónico que dice proceder de su dominio ha sido realmente autorizado por usted.

Activar la autenticación multifactor (AMF)

La AMF añade una capa adicional de seguridad a las cuentas de usuario al requerir una segunda forma de verificación (por ejemplo, un código de una aplicación móvil o un SMS) además de una contraseña. Esto reduce significativamente el riesgo de que la cuenta se vea comprometida, incluso si las credenciales se roban a través de phishing.

Utilice el filtrado de correo electrónico

Las soluciones avanzadas de filtrado de correo electrónico pueden ayudar a identificar y bloquear los mensajes maliciosos, incluidos los sofisticados intentos de phishing generados por IA, antes de que lleguen a las bandejas de entrada de los usuarios. A menudo utilizan sus propios modelos de IA/ML para detectar patrones sospechosos.

Educar a los empleados

La vigilancia humana sigue siendo una capa de defensa fundamental. Educar a los empleados sobre los riesgos del fraude por correo electrónico impulsado por IA, cómo identificar los correos electrónicos de phishing (incluso los convincentes), las tácticas de BEC y la importancia de verificar las solicitudes (especialmente para transferencias de dinero o datos confidenciales) puede reducir significativamente el éxito de los ataques. La formación periódica en materia de seguridad es fundamental.

Verificar las solicitudes de acciones sensibles

Especialmente cuando reciba solicitudes de transferencias de dinero o comparta información confidencial por correo electrónico, verifique siempre la solicitud utilizando un canal de comunicación independiente y de confianza (por ejemplo, una llamada telefónica a un número conocido, una conversación en persona). No confíe únicamente en la comunicación por correo electrónico, ya que podría estar comprometida o ser falsificada.

Utilice contraseñas seguras y gestores de contraseñas

Fomente o imponga el uso de contraseñas seguras y únicas para las distintas cuentas. El uso de gestores de contraseñas ayuda a los usuarios a crear y almacenar contraseñas complejas de forma segura, reduciendo el riesgo asociado al robo de credenciales.

Mantener actualizado el software

Asegúrese de que todo el software, incluidos los clientes de correo electrónico, los navegadores web y los sistemas operativos, se actualiza con regularidad. Las actualizaciones suelen contener parches para vulnerabilidades de seguridad que, de otro modo, podrían ser aprovechadas por los atacantes.

Realice auditorías de seguridad periódicas

Otra forma de evitar que los piratas informáticos accedan a su sistema es realizar periódicamente auditorías de ciberseguridad.

Estas auditorías le ayudarán a identificar posibles puntos débiles en sus sistemas, procesos y defensas, incluidos los sistemas de correo electrónico y la implantación de modelos de IA. Las auditorías sugieren cómo parchear las vulnerabilidades antes de que se conviertan en problemas graves (como malware malware o intentos de fraude).

Formación adversarial

El entrenamiento adversarial es una forma de simular el ataque adversarial y fortalecer el modelo. Utiliza un adversario (o un atacante) que intenta engañar al sistema dándole respuestas erróneas. El objetivo es averiguar cómo reaccionará el modelo y cuáles son sus limitaciones para poder diseñar modelos más robustos capaces de resistir la manipulación.

Extracción robusta de características

Otra solución es la extracción robusta de características (RFE). La RFE utiliza el aprendizaje profundo para extraer características relevantes de imágenes o datos sin procesar que son menos susceptibles a pequeñas perturbaciones adversas. La técnica es escalable y puede utilizarse en grandes conjuntos de datos. También puede combinarse con otras técnicas, como la verificación mediante muestreo (VTS) y la detección de valores atípicos (OD), para mejorar la precisión y la resistencia de la extracción de características.

Modelo de arquitectura segura

La Arquitectura de Modelo Seguro (SMA) utiliza una arquitectura de modelo seguro para prevenir ataques que explotan vulnerabilidades en el código del software, archivos de datos u otros componentes de un sistema de IA. La idea que subyace a la SMA es que un atacante tendría que encontrar una vulnerabilidad en el propio código en lugar de limitarse a manipular las entradas para explotar los puntos débiles de la lógica del modelo. El empleo de servicios integrales de auditoría de código de software es crucial para identificar y mitigar las vulnerabilidades dentro de los sistemas de IA, garantizando la integridad y seguridad de las tecnologías de IA generativa frente a sofisticadas ciberamenazas.

Auditoría periódica de modelos

La auditoría de modelos ha sido una parte esencial de la ciberseguridad durante muchos años, y es fundamental para los sistemas de IA. Consiste en examinar los modelos utilizados en un sistema para garantizar que son sólidos, funcionan como se espera de ellos y se mantienen actualizados. La auditoría de modelos también puede utilizarse para detectar vulnerabilidades, sesgos o posibles fugas de datos en los modelos, así como para identificar modelos que podrían haber sido corrompidos o alterados por piratas informáticos (envenenamiento de modelos).

Validación y filtrado de entradas

La validación de la entrada es uno de los pasos más importantes que un desarrollador de modelos puede dar antes de desplegar su modelo en entornos de producción. La validación de la entrada garantiza que los datos que se introducen en un modelo no son inexactos, están malformados o han sido alterados maliciosamente por piratas informáticos que podrían intentar explotar las vulnerabilidades del sistema (por ejemplo, ataques de inyección puntual). El filtrado de entrada permite a los desarrolladores especificar qué tipos de datos, formatos o contenidos deben permitirse a través de sus modelos, impidiendo al mismo tiempo que cualquier otro tipo de datos pueda pasar.

Palabras finales

Aunque la tecnología ofrece numerosas ventajas y avances, también abre la puerta a posibles vulnerabilidades y amenazas.

La capacidad de la IA generativa para crear imágenes, vídeos y textos falsos y convincentes suscita preocupación por la usurpación de identidad, las campañas de desinformación y el fraude.

Además, el uso malintencionado de la IA generativa puede amplificar las ciberamenazas existentes, como hacer que los ataques de phishing y la ingeniería social sean mucho más eficaces y difíciles de detectar.

A medida que esta tecnología sigue evolucionando, las organizaciones y las personas deben priorizar las medidas de ciberseguridad, incluida la autenticación robusta (como MFA y DMARC), el monitoreo continuo, las evaluaciones y auditorías regulares de vulnerabilidad, la seguridad de los propios modelos de IA y la educación continua de los empleados para mitigar los riesgos asociados con la IA generativa.

De este modo, podemos aprovechar el potencial de esta tecnología y, al mismo tiempo, protegernos de los problemas de ciberseguridad que conlleva.

"`

• Acerca de
• Últimas publicaciones

Ahona Rudra

Experto en seguridad de dominios y correo electrónico de PowerDMARC

Ahona es la Directora de Marketing de PowerDMARC, con más de 5 años de experiencia escribiendo sobre temas de ciberseguridad, especializada en seguridad de dominios y correo electrónico. Ahona tiene un posgrado en Periodismo y Comunicaciones, consolidando su carrera en el sector de la seguridad desde 2019.

Últimas publicaciones de Ahona Rudra (ver todas)

• Vendor Email Compromise (VEC): Cómo detener los ataques de proveedores de confianza - 3 de julio de 2025
• Los correos electrónicos de marketing no llegan a las bandejas de entrada de los clientes - 2 de julio de 2025
• Caso práctico de DMARC MSP: Cómo S-IT automatizó la gestión de la autenticación del correo electrónico con PowerDMARC - 29 de junio de 2025