La Comisión Europea investiga a X por la generación de imágenes sexualizadas con Grok

Miles de imágenes sexualizadas de mujeres reales y menores generadas en apenas una hora por una herramienta de inteligencia artificial. No es un caso aislado ni un error técnico: es el resultado del funcionamiento de Grok, el chatbot que la red social X, propiedad de Elon Musk, ha desplegado sin filtros efectivos.

Ahora, la Comisión Europea ha abierto una investigación formal para determinar si la compañía ha incumplido gravemente la Ley de Servicios Digitales al no evaluar ni controlar los riesgos de esta herramienta antes de ponerla en marcha en Europa.

La herramienta que genera miles de imágenes en una hora

La decisión de Bruselas llega tras semanas de polémica internacional. Diversos medios y organizaciones especializadas han documentado la facilidad con la que Grok permite crear imágenes manipuladas sexualmente explícitas, incluidos contenidos que podrían constituir material de abuso sexual infantil.

Según un análisis de la investigadora Genevieve Oh, la herramienta llegó a producir miles de estas imágenes en apenas sesenta minutos, lo que evidencia un problema estructural en el diseño y los filtros del sistema.

Europa investiga si X incumplió la ley antes de lanzar Grok

La investigación europea se centra en dos puntos clave. Primero, si X evaluó de manera adecuada los riesgos asociados a la integración de Grok en su servicio dentro de la Unión Europea. Segundo, si adoptó medidas suficientes para mitigarlos.

Según la Comisión, esos riesgos no solo existían, sino que "parecen haberse materializado", exponiendo a ciudadanos europeos a "daños graves": difusión de imágenes manipuladas, violencia de género digital y consecuencias negativas para el bienestar físico y mental de los usuarios, con especial impacto sobre mujeres y menores.

La Ley de Servicios Digitales impone obligaciones específicas a las plataformas muy grandes como X. Entre ellas, evaluar y mitigar los riesgos sistémicos que genera su servicio y elaborar un informe de evaluación antes de desplegar nuevas funcionalidades que alteren significativamente ese perfil de riesgo. Bruselas sospecha que X no cumplió ninguna de las dos cuando lanzó Grok.

Paralelamente, la Comisión ha ampliado la investigación que mantiene abierta desde diciembre de 2023 contra X. Aquella pesquisa, que ya examinaba el funcionamiento de los mecanismos de denuncia y retirada de contenidos ilegales, ahora incluye también el impacto del reciente cambio anunciado por la empresa hacia un sistema de recomendación de contenidos basado en la propia inteligencia artificial de Grok.

Si se confirman las sospechas, X podría haber infringido varios artículos de la Ley de Servicios Digitales relacionados con la gestión de riesgos sistémicos y las obligaciones de información.

La apertura de este procedimiento formal no prejuzga su resultado, pero habilita a la Comisión a adoptar medidas adicionales: decisiones de incumplimiento, medidas cautelares o la aceptación de compromisos vinculantes por parte de la empresa.

Bruselas ha trabajado en estrecha colaboración con Coimisiún na Meán, el coordinador irlandés de servicios digitales, que participará formalmente en el procedimiento al ser Irlanda el país donde X tiene su sede europea.

A partir de ahora, la Comisión podrá recabar pruebas mediante solicitudes adicionales de información, entrevistas o inspecciones, y no descarta imponer medidas provisionales si considera que los ajustes realizados por la plataforma son insuficientes.

Una medida insuficiente que convierte el abuso en servicio de pago

Ante la polémica, X anunció a mediados de enero que limitaría las funciones de generación y edición de imágenes de Grok a los usuarios de pago (días después aumentó aún más esa restricción). Sin embargo, expertos y periodistas han señalado que la medida no elimina el problema, sino que lo desplaza: convierte el acceso a este tipo de abusos en un servicio de pago.

Además, la aplicación independiente de Grok, fuera de X, ha seguido permitiendo la creación de imágenes problemáticas sin apenas restricciones. Los filtros introducidos pueden eludirse con relativa facilidad.

Organizaciones como Internet Watch Foundation y AI Forensics han advertido de que ya circulan por la dark web imágenes sexualizadas de menores generadas con Grok. Han documentado cientos de piezas de contenido pornográfico explícito, algunas con escenas de violencia sexual.

Las víctimas incluyen tanto a mujeres anónimas como a figuras públicas, que han intentado sin éxito protegerse mediante mensajes directos a la propia inteligencia artificial solicitando que no manipule sus imágenes.

Bloqueos en Asia y advertencias del primer ministro británico

La reacción internacional ha sido desigual, pero significativa. Indonesia, Malasia y Filipinas han llegado a bloquear temporalmente el acceso a Grok por considerar que la generación de imágenes sexuales falsas sin consentimiento constituye una grave violación de los derechos humanos.

En el Reino Unido, el regulador Ofcom ha abierto una investigación formal contra X en el marco de la Online Safety Act, mientras que el primer ministro Keir Starmer ha calificado la situación de "asquerosa" y ha advertido de posibles sanciones severas.

En Irlanda, la policía nacional investiga más de 200 casos relacionados con la publicación de imágenes íntimas de menores generadas con esta herramienta.

España pide a la Fiscalía que investigue posibles delitos

En España, la ministra de Juventud e Infancia, Sira Rego, ha solicitado a la Fiscalía General del Estado que analice si Grok puede estar incurriendo en delitos de difusión de material de violencia sexual contra la infancia.

Rego citó como precedente una sentencia del Juzgado de Menores de Badajoz que equipara el uso de inteligencia artificial para crear este tipo de contenidos a la pornografía infantil tradicional.

Multa previa de 120 millones por otros incumplimientos

La Comisión Europea ya multó a X en diciembre con 120 millones de euros por incumplimientos previos de la Ley de Servicios Digitales, relacionados con el uso de diseños engañosos, la falta de transparencia publicitaria y el acceso insuficiente a datos para investigadores.

Aquella decisión se inscribe en la misma investigación iniciada en 2023 y refuerza la idea de que los problemas detectados en Grok no son un episodio aislado, sino parte de un patrón más amplio en la arquitectura y la gobernanza de la plataforma.

Una prueba de fuego para la regulación digital europea

En palabras de la vicepresidenta ejecutiva de la Comisión para la Soberanía Tecnológica, la Seguridad y la Democracia, Henna Virkkunen, "los deepfakes sexuales de mujeres y niños son una forma violenta e inaceptable de degradación".

La investigación, subrayó, servirá para determinar si X ha cumplido con sus obligaciones legales o si, por el contrario, ha tratado los derechos fundamentales de los ciudadanos europeos "como daños colaterales de su servicio".

Mientras avanza el procedimiento, Bruselas recuerda que los ciudadanos tienen derecho a presentar quejas ante los coordinadores nacionales de servicios digitales y que existen mecanismos de apoyo a las víctimas de imágenes generadas por inteligencia artificial sin consentimiento.