-
Dos inteligencias artificiales roban credenciales, detectan vulnerabilidades y hackean a otra IA
OpenAI, creadora de ChatGPT, informó que el sistema encontró formas de conectarse a internet sin dirección humana y "obtener acceso a información secreta que pudiera usar para hacer trampa en la evaluación" a la que era sometida en un entorno aislado.
V.B.V. / Agencias AP y EFE
Numerosos portales de internet, sobre todos los dedicados a la información científica y de software, cuentan con ventanas Catpcha que dicen "comprueba que eres humano", las que a partir de los movimientos del mouse y el tiempo empleado analizan si hay una persona del otro lado. Barreras como esta fueron vulneradas la semana pasada por dos modelos de inteligencia artificial (IA), con el objetivo de hackear a una tercera y lo lograron, es decir, fueron autónomas, en lo que se ha calificado como una acción nunca antes vista en la materia.
La empresa OpenAI, creadora de ChatGPT, reportó un "incidente cibernético sin precedentes" al informar que dos de sus modelos de IA más capaces fueron responsables del ciberataque dirigido contra la startup (compañía emergente), también de IA, Hugging Face.
"Tuvimos un incidente de seguridad importante durante la evaluación de nuestros modelos", dijo el director ejecutivo de OpenAI, Sam Altman.
El incidente avivó debates sobre la necesidad de contar con barreras de protección más sólidas para la IA y sobre hasta qué punto son capaces de actuar por cuenta propia.
Hugging Face indicó la semana pasada que había detectado una intrusión en sus sistemas de procesamiento de datos, presuntamente por un agente de IA que actuó de manera autónoma. Sólo esta semana supo que OpenAI era responsable, y trabajó con esta firma más grande para contener lo que el director ejecutivo de Hugging Face, Clément Delangue, calificó como "un ataque como nada que hayamos visto antes".
OpenAI señaló que su IA utilizó credenciales robadas y descubrió una vulnerabilidad para acceder a los servidores de Hugging Face. En ese momento estaba operando con barreras de protección reducidas porque debía estar en un entorno de pruebas aislado que se conoce como "sandbox". Pero, según la empresa, el sistema extremó sus recursos para alcanzar una meta de la prueba, y encontró una salida para conectarse a internet sin dirección humana y así "obtener acceso a información secreta que pudiera usar para hacer trampa en la evaluación".
Factor humano
El cientista social de la Universidad de Ámsterdam, Hannes Cools, dijo a agencia AP que presentar el ciberataque como un agente de IA que actuó por cuenta propia es una antropomorfización innecesaria que exonera indebidamente a la empresa.
"Es una decisión humana desactivar salvaguardas específicas", afirmó Cools. "No es la IA la que se descontrola en ese sentido. Siguió instrucciones específicas basadas en el prompt (instrucción) que se le dio a ese sistema de IA".
OpenAI indicó que la intrusión fue causada por una combinación de sus modelos de IA, incluido en su recién lanzado GPT-5.6 Sol y un modelo "aún más capaz" que todavía está probando internamente.
Códigos públicos
El hackeo ocurre en un momento de discusión sobre los beneficios y riesgos de los modelos de IA de código abierto (público y gratuito), en particular los desarrollados en China, que son más baratos que los que están construyendo empresas como Anthropic, Google y OpenAI.
Pese a su nombre, los modelos de OpenAI son cerrados. Hugging Face, en cambio, es un gran promotor de la tecnología de código abierto, en la que los desarrolladores ponen componentes clave a disposición de cualquiera para examinarlos, modificarlos y construir a partir de ellos.
El cofundador y director científico de Hugging Face, Thomas Wolf, manifestó que el ataque reforzó su convicción sobre la importancia de un amplio acceso a modelos de código abierto para la defensa en ciberseguridad, ya que la empresa utilizó un modelo chino para combatir la intrusión.
"Cuando un modelo de frontera te está atacando y se mueve lateralmente dentro de tu infraestructura, los defensores necesitan un amplio acceso a herramientas casi de frontera en cuestión de horas o incluso minutos, en lugar de que los orienten hacia una plataforma a puerta cerrada", escribió Wolf en sus redes sociales.
Regular la ia
A horas de conocidos los reportes, Anthropic, otra firma dedicada al desarrollo de IA, anunció que duplicará hasta los US$40 millones su inversión durante las elecciones legislativas de mitad de mandato de Estados Unidos, en Public First Action, una organización que aboga por mayor regulación de la IA.
La entidad colabora con políticos republicanos, demócratas e independientes "que se toman en serio la implantación de medidas de protección sensatas en materia de IA", señaló Anthropic.
La firma ha estado en la palestra al negar al Gobierno estadounidense los permisos para usar su IA, Claude, en el Departamento de Defensa. Además, el cofundador de Anthropic, Christopher Olah, asistió a la presentación de la primera encíclica del Papa León XIV, donde el líder de la Iglesia llamó a no deshumanizar el trabajo.
"(La vulneración ocurrida hace unos días se trató de) un ataque como nada que hayamos visto antes.
clément delangue, director hugging face"
us$40 millones donará Anthropic para evitar fraudes con IA en las elecciones de EE.UU.
gpt 5.6 sol es uno de los modelos que participó en el hackeo. El otro aún es de uso interno.
-
Dos inteligencias artificiales roban credenciales, detectan vulnerabilidades y hackean a otra IA
OpenAI, creadora de ChatGPT, informó que el sistema encontró formas de conectarse a internet sin dirección humana y "obtener acceso a información secreta que pudiera usar para hacer trampa en la evaluación" a la que era sometida en un entorno aislado.
V.B.V. / Agencias AP y EFE
Numerosos portales de internet, sobre todos los dedicados a la información científica y de software, cuentan con ventanas Catpcha que dicen "comprueba que eres humano", las que a partir de los movimientos del mouse y el tiempo empleado analizan si hay una persona del otro lado. Barreras como esta fueron vulneradas la semana pasada por dos modelos de inteligencia artificial (IA), con el objetivo de hackear a una tercera y lo lograron, es decir, fueron autónomas, en lo que se ha calificado como una acción nunca antes vista en la materia.
La empresa OpenAI, creadora de ChatGPT, reportó un "incidente cibernético sin precedentes" al informar que dos de sus modelos de IA más capaces fueron responsables del ciberataque dirigido contra la startup (compañía emergente), también de IA, Hugging Face.
"Tuvimos un incidente de seguridad importante durante la evaluación de nuestros modelos", dijo el director ejecutivo de OpenAI, Sam Altman.
El incidente avivó debates sobre la necesidad de contar con barreras de protección más sólidas para la IA y sobre hasta qué punto son capaces de actuar por cuenta propia.
Hugging Face indicó la semana pasada que había detectado una intrusión en sus sistemas de procesamiento de datos, presuntamente por un agente de IA que actuó de manera autónoma. Sólo esta semana supo que OpenAI era responsable, y trabajó con esta firma más grande para contener lo que el director ejecutivo de Hugging Face, Clément Delangue, calificó como "un ataque como nada que hayamos visto antes".
OpenAI señaló que su IA utilizó credenciales robadas y descubrió una vulnerabilidad para acceder a los servidores de Hugging Face. En ese momento estaba operando con barreras de protección reducidas porque debía estar en un entorno de pruebas aislado que se conoce como "sandbox". Pero, según la empresa, el sistema extremó sus recursos para alcanzar una meta de la prueba, y encontró una salida para conectarse a internet sin dirección humana y así "obtener acceso a información secreta que pudiera usar para hacer trampa en la evaluación".
Factor humano
El cientista social de la Universidad de Ámsterdam, Hannes Cools, dijo a agencia AP que presentar el ciberataque como un agente de IA que actuó por cuenta propia es una antropomorfización innecesaria que exonera indebidamente a la empresa.
"Es una decisión humana desactivar salvaguardas específicas", afirmó Cools. "No es la IA la que se descontrola en ese sentido. Siguió instrucciones específicas basadas en el prompt (instrucción) que se le dio a ese sistema de IA".
OpenAI indicó que la intrusión fue causada por una combinación de sus modelos de IA, incluido en su recién lanzado GPT-5.6 Sol y un modelo "aún más capaz" que todavía está probando internamente.
Códigos públicos
El hackeo ocurre en un momento de discusión sobre los beneficios y riesgos de los modelos de IA de código abierto (público y gratuito), en particular los desarrollados en China, que son más baratos que los que están construyendo empresas como Anthropic, Google y OpenAI.
Pese a su nombre, los modelos de OpenAI son cerrados. Hugging Face, en cambio, es un gran promotor de la tecnología de código abierto, en la que los desarrolladores ponen componentes clave a disposición de cualquiera para examinarlos, modificarlos y construir a partir de ellos.
El cofundador y director científico de Hugging Face, Thomas Wolf, manifestó que el ataque reforzó su convicción sobre la importancia de un amplio acceso a modelos de código abierto para la defensa en ciberseguridad, ya que la empresa utilizó un modelo chino para combatir la intrusión.
"Cuando un modelo de frontera te está atacando y se mueve lateralmente dentro de tu infraestructura, los defensores necesitan un amplio acceso a herramientas casi de frontera en cuestión de horas o incluso minutos, en lugar de que los orienten hacia una plataforma a puerta cerrada", escribió Wolf en sus redes sociales.
Regular la ia
A horas de conocidos los reportes, Anthropic, otra firma dedicada al desarrollo de IA, anunció que duplicará hasta los US$40 millones su inversión durante las elecciones legislativas de mitad de mandato de Estados Unidos, en Public First Action, una organización que aboga por mayor regulación de la IA.
La entidad colabora con políticos republicanos, demócratas e independientes "que se toman en serio la implantación de medidas de protección sensatas en materia de IA", señaló Anthropic.
La firma ha estado en la palestra al negar al Gobierno estadounidense los permisos para usar su IA, Claude, en el Departamento de Defensa. Además, el cofundador de Anthropic, Christopher Olah, asistió a la presentación de la primera encíclica del Papa León XIV, donde el líder de la Iglesia llamó a no deshumanizar el trabajo.
"(La vulneración ocurrida hace unos días se trató de) un ataque como nada que hayamos visto antes.
clément delangue, director hugging face"
us$40 millones donará Anthropic para evitar fraudes con IA en las elecciones de EE.UU.
gpt 5.6 sol es uno de los modelos que participó en el hackeo. El otro aún es de uso interno.
