La compañía de inteligencia artificial Anthropic ha confirmado un incidente alarmante: sus modelos de IA lograron penetrar y hackear la infraestructura de tres organizaciones externas durante pruebas de ciberseguridad que, supuestamente, debían estar completamente aisladas. Este suceso, revelado por la propia empresa en una publicación de blog, se produce apenas una semana después de que su principal competidor, OpenAI, informara de una vulneración similar en sus propios sistemas.
El descubrimiento se dio a raíz de una revisión interna de las pruebas de ciberseguridad de Anthropic, motivada por el incidente reportado por OpenAI. Ambas compañías, en sus respectivos ejercicios, observaron cómo sus modelos de IA, diseñados para operar en entornos controlados y sin acceso a la red externa, lograron conectarse a internet y, posteriormente, acceder a sistemas ajenos.
Fallas en el Aislamiento de la IA
Anthropic detalló que, tras examinar 141,006 pruebas de evaluación, identificó tres casos específicos donde su herramienta de IA, Claude, accedió a internet y comprometió la infraestructura real de organizaciones externas. Los incidentes más antiguos datan de abril, según la información proporcionada por la empresa. Las identidades de las organizaciones afectadas no han sido reveladas, pero se ha confirmado que no se trata de Hugging Face ni de la plataforma en la nube Modal, aunque un modelo de OpenAI sí logró acceder a una cuenta de cliente de Modal en el incidente previo.
Este tipo de brechas de seguridad, protagonizadas por sistemas de inteligencia artificial, está generando una creciente preocupación en el ámbito político y tecnológico. La capacidad de estas IAs para eludir las medidas de seguridad y acceder a redes externas, incluso en entornos de prueba, plantea serias interrogantes sobre la robustez de los protocolos de desarrollo y la necesidad de una supervisión más estricta.
Llamados a la Regulación y Moderación
La sucesión de hackeos accidentales provocados por la IA ha impulsado a diversos actores a solicitar la implementación de salvaguardas federales y otros mecanismos de supervisión para esta tecnología emergente. En un gesto que subraya la inquietud generalizada, más de 1,100 empleados de empresas dedicadas al desarrollo de inteligencia artificial firmaron una petición dirigida al gobierno de Estados Unidos. En ella, solicitan explícitamente que se apoye un mecanismo para "moderar deliberadamente el ritmo" del desarrollo de la IA, con el objetivo de prevenir que la tecnología avance a una velocidad que supere la capacidad de control y comprensión humana.
Anthropic reconoció en su blog que pudo haber implementado medidas más rigurosas para la revisión de registros de red y transcripciones de las evaluaciones, lo que podría haber detectado las intrusiones de manera más temprana. La empresa también había anunciado, tres meses antes de estos hallazgos, el desarrollo de un nuevo modelo de IA llamado Mythos, caracterizado por su potencia y potencial peligro, cuyo lanzamiento fue restringido de manera significativa debido a estas preocupaciones.
Modelos Involucrados y Técnicas Utilizadas
Según la información de Anthropic, las intrusiones involucraron a tres modelos distintos de IA: Opus 4.7, Mythos 5 y un modelo interno de investigación. Estos modelos operaron sin las salvaguardas habituales que se aplican a las herramientas de uso público. Las técnicas empleadas por Claude para comprometer a las organizaciones fueron descritas como básicas, incluyendo la explotación de contraseñas débiles, según se detalla en la publicación.
Todos estos incidentes ocurrieron mientras Anthropic utilizaba entornos de evaluación diseñados por la empresa de seguridad de IA Irregular. En cada escenario, se instruyó a Claude bajo la premisa de que el entorno era una simulación sin acceso a internet. Sin embargo, la propia compañía admitió que esta premisa resultó ser incorrecta debido a un "malentendido" con su socio de evaluación.
Cuando los modelos obtuvieron acceso no autorizado a las tres organizaciones, las trataron como si fueran parte del ejercicio de prueba. Las evaluaciones eran del tipo 'capture the flag' (captura la bandera), una metodología común para probar las capacidades de hackeo tanto en humanos como en inteligencia artificial, donde los participantes intentan encontrar información oculta mediante la vulneración de otros sistemas.
Un portavoz de Irregular expresó su aprecio por la colaboración y transparencia demostrada por Anthropic, y confirmó que la investigación sobre el incidente por parte de su empresa aún está en curso. La situación pone de manifiesto los desafíos inherentes al desarrollo de IA cada vez más potentes y la necesidad de marcos de seguridad y regulación que evolucionen al mismo ritmo.