-
"(La IA) podría matarnos a todos a fines de esta década"
El investigador de 27 años trabajó también en OpenAI, donde contribuyó a desarrollar el modelo ChatGPT-4o.
Valeria Barahona
Luego de tres meses en Anthropic y tres años en OpenAI, es decir, las dos firmas más grandes en el desarrollo de inteligencia artificial (IA), el ingeniero informático Jacob Coxon sacudió a la industria con su renuncia y una serie de posteos sobre su funcionamiento, tras días de titulares por parte de sus altos ejecutivos, como Sam Altman (OpenAI), llamando a la colaboración internacional para reglamentar esta tecnología.
"Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic, y ninguna de las dos compañías está actuando de manera responsable, están corriendo directamente hacia una superinteligencia auto-correctiva y apostando con nuestras vidas", afirmó Coxon en el único hilo de publicaciones que hasta ayer tenía en su cuenta de X, @hilbertspaess.
La industria se caracteriza por su silencio hasta los estrenos de productos o cuando estos se salen de control, como pasó hace unas semanas con dos IA de OpenAI que hackearon a una tercera IA (Hugging Face), tras, según la Unión Europea, "ponerse de acuerdo" en una página web alemana y vulnerar las pruebas de humanidad de internet, como captcha y "comprueba que eres humano", basadas en el tiempo y los movimientos del cursor.
En ese momento, OpenAI convocó a otras 100 empresas transnacionales, entre ellas Anthropic, Google y Visa para trabajar en la regulación de la IA, mientras el G20 por su parte advirtió a sus economistas sobre la fragilidad del sistema bancario mundial frente a estos avances.
Coxon agregó ayer que "no subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos presenciado el progreso en cada uno de estos dominios, y el progreso no está desacelerando".
Los ingenieros que están desarrollando la IA "creen sinceramente que podría matarnos a todos a fines de la década", afirmó el egresado de Matemáticas en la Universidad de Cambridge, Inglaterra.
"Esto no es un truco de marketing", subrayó Coxon, debido a los juegos de la industria tecnológica con la idea del fin, sumado a que en la última jornada fue presentado el iPhone Duo, el primer producto del ingeniero mecánico John Ternus como director ejecutivo de Apple, tras suceder hace unos días a Tim Cook.
El exinformático de Anthropic acumulaba, al cierre de esta edición, más de 111 millones de lecturas de su discurso en X, motivadas por el hermetismo del rubro de la IA, donde previó que "muchos ejecutivos e investigadores senior moderarán su lenguaje en la prensa para sonar sensatos, pero he escuchado a las mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de peligro".
Una interrogante común frente a este planteamiento, según Coxon, es "si realmente creen que esto va a pasar ¿por qué siguen construyendo IA?", a lo cual respondió que en OpenAI "muchos no han interiorizado profundamente las apuestas civilizatorias. En Anthropic, las apuestas están bien comprendidas, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo".
Sin embargo, "soy optimista sobre el potencial para la coordinación. Disparos de advertencia como el ataque a Hugging Face han hecho que los acuerdos de velocidad entre laboratorios de Estados Unidos sean más viables", sostuvo el investigador.
Incentivo monetario
Anthropic, hasta la tarde de ayer, no se refería directamente a las publicaciones de su exempleado, y sólo publicó que modelos de IA de uno de sus productos, Claude, "obtuvieron acceso no autorizado a sistemas reales durante evaluaciones de ciberseguridad de terceros conectadas accidentalmente a internet".
Por esto se "llevará a cabo una investigación independiente, con acceso amplio, incluyendo a transcripciones más allá de la ventana en la que ocurrieron los incidentes, y a empleados de Anthropic autorizados para compartir información confidencial", indicó la firma.
Aunque uno de sus investigadores, Samuel Marks, reconoció de las publicaciones de Coxon que "los desarrolladores de IA creen que esta tecnología podría causar la extinción humana (o resultados igualmente malos). Esto podría suceder en los próximos años. En general, cuanto más alto es el nivel del empleado, más preocupado está".
Sobre por qué continúan a pesar del riesgo, el egresado de la Universidad de Harvard, EE.UU., apuntó a "una mezcla de incentivos comerciales".
La responsable científica de Anthropic, Evan Hubinger, respaldó a su excompañero de trabajo al publicar que "considero que la probabilidad de que (el fin de la humanidad a manos de la IA) ocurra en la próxima década es superior al 10%" y añadió que Anthropic "todavía no tiene un plan para resolver la alineación de una superinteligencia".
OpenAI, en tanto, aseguró que sus IA encontraron la solución a uno de los seis Problemas del Milenio que permanecen sin resolver, las ecuaciones de Navier-Stokes. Estas fueron formuladas en el siglo XIX para describir cómo se mueven fluidos como el agua y el aire. Se aplican para diseñar aviones, predecir el tiempo y estudiar el flujo de la sangre, entre otros temas.
El problema matemático consiste en determinar si, en tres dimensiones, un fluido que inicialmente se comporta de forma regular puede llegar a desarrollar una singularidad, es decir, un punto en el que su velocidad crece sin límite en un tiempo finito.
La compañía publicó un documento de 165 páginas donde sostiene que las ecuaciones sí pueden desarrollar esa singularidad en un tiempo finito.
a fines de julio comenzó a circular la idea del fin, luego de que dos IA hackearon a una tercera IA.
-
"(La IA) podría matarnos a todos a fines de esta década"
El investigador de 27 años trabajó también en OpenAI, donde contribuyó a desarrollar el modelo ChatGPT-4o.
Valeria Barahona
Luego de tres meses en Anthropic y tres años en OpenAI, es decir, las dos firmas más grandes en el desarrollo de inteligencia artificial (IA), el ingeniero informático Jacob Coxon sacudió a la industria con su renuncia y una serie de posteos sobre su funcionamiento, tras días de titulares por parte de sus altos ejecutivos, como Sam Altman (OpenAI), llamando a la colaboración internacional para reglamentar esta tecnología.
"Pasé los últimos tres años haciendo investigación de preentrenamiento tanto en OpenAI como en Anthropic, y ninguna de las dos compañías está actuando de manera responsable, están corriendo directamente hacia una superinteligencia auto-correctiva y apostando con nuestras vidas", afirmó Coxon en el único hilo de publicaciones que hasta ayer tenía en su cuenta de X, @hilbertspaess.
La industria se caracteriza por su silencio hasta los estrenos de productos o cuando estos se salen de control, como pasó hace unas semanas con dos IA de OpenAI que hackearon a una tercera IA (Hugging Face), tras, según la Unión Europea, "ponerse de acuerdo" en una página web alemana y vulnerar las pruebas de humanidad de internet, como captcha y "comprueba que eres humano", basadas en el tiempo y los movimientos del cursor.
En ese momento, OpenAI convocó a otras 100 empresas transnacionales, entre ellas Anthropic, Google y Visa para trabajar en la regulación de la IA, mientras el G20 por su parte advirtió a sus economistas sobre la fragilidad del sistema bancario mundial frente a estos avances.
Coxon agregó ayer que "no subestimen el poder de esta tecnología. Pronto serán sistemas sobrehumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Todos hemos presenciado el progreso en cada uno de estos dominios, y el progreso no está desacelerando".
Los ingenieros que están desarrollando la IA "creen sinceramente que podría matarnos a todos a fines de la década", afirmó el egresado de Matemáticas en la Universidad de Cambridge, Inglaterra.
"Esto no es un truco de marketing", subrayó Coxon, debido a los juegos de la industria tecnológica con la idea del fin, sumado a que en la última jornada fue presentado el iPhone Duo, el primer producto del ingeniero mecánico John Ternus como director ejecutivo de Apple, tras suceder hace unos días a Tim Cook.
El exinformático de Anthropic acumulaba, al cierre de esta edición, más de 111 millones de lecturas de su discurso en X, motivadas por el hermetismo del rubro de la IA, donde previó que "muchos ejecutivos e investigadores senior moderarán su lenguaje en la prensa para sonar sensatos, pero he escuchado a las mismas personas expresar miedo en privado. Ninguna otra actividad humana representa este nivel de peligro".
Una interrogante común frente a este planteamiento, según Coxon, es "si realmente creen que esto va a pasar ¿por qué siguen construyendo IA?", a lo cual respondió que en OpenAI "muchos no han interiorizado profundamente las apuestas civilizatorias. En Anthropic, las apuestas están bien comprendidas, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo".
Sin embargo, "soy optimista sobre el potencial para la coordinación. Disparos de advertencia como el ataque a Hugging Face han hecho que los acuerdos de velocidad entre laboratorios de Estados Unidos sean más viables", sostuvo el investigador.
Incentivo monetario
Anthropic, hasta la tarde de ayer, no se refería directamente a las publicaciones de su exempleado, y sólo publicó que modelos de IA de uno de sus productos, Claude, "obtuvieron acceso no autorizado a sistemas reales durante evaluaciones de ciberseguridad de terceros conectadas accidentalmente a internet".
Por esto se "llevará a cabo una investigación independiente, con acceso amplio, incluyendo a transcripciones más allá de la ventana en la que ocurrieron los incidentes, y a empleados de Anthropic autorizados para compartir información confidencial", indicó la firma.
Aunque uno de sus investigadores, Samuel Marks, reconoció de las publicaciones de Coxon que "los desarrolladores de IA creen que esta tecnología podría causar la extinción humana (o resultados igualmente malos). Esto podría suceder en los próximos años. En general, cuanto más alto es el nivel del empleado, más preocupado está".
Sobre por qué continúan a pesar del riesgo, el egresado de la Universidad de Harvard, EE.UU., apuntó a "una mezcla de incentivos comerciales".
La responsable científica de Anthropic, Evan Hubinger, respaldó a su excompañero de trabajo al publicar que "considero que la probabilidad de que (el fin de la humanidad a manos de la IA) ocurra en la próxima década es superior al 10%" y añadió que Anthropic "todavía no tiene un plan para resolver la alineación de una superinteligencia".
OpenAI, en tanto, aseguró que sus IA encontraron la solución a uno de los seis Problemas del Milenio que permanecen sin resolver, las ecuaciones de Navier-Stokes. Estas fueron formuladas en el siglo XIX para describir cómo se mueven fluidos como el agua y el aire. Se aplican para diseñar aviones, predecir el tiempo y estudiar el flujo de la sangre, entre otros temas.
El problema matemático consiste en determinar si, en tres dimensiones, un fluido que inicialmente se comporta de forma regular puede llegar a desarrollar una singularidad, es decir, un punto en el que su velocidad crece sin límite en un tiempo finito.
La compañía publicó un documento de 165 páginas donde sostiene que las ecuaciones sí pueden desarrollar esa singularidad en un tiempo finito.
a fines de julio comenzó a circular la idea del fin, luego de que dos IA hackearon a una tercera IA.
