Investigador de Anthropic renuncia por preocupaciones sobre la seguridad de la IA y advierte sobre riesgos existenciales

Jacob Coxon, un investigador británico de 27 años en Anthropic, ha renunciado públicamente, expresando graves preocupaciones sobre el rápido desarrollo de la inteligencia artificial y su potencial para llevar a la extinción humana. Su salida, que ocurrió alrededor del 8-9 de septiembre, destaca una creciente inquietud entre los profesionales de la IA sobre la manejabilidad de los sistemas avanzados de IA.

La renuncia de Coxon es particularmente alarmante ya que ha recibido apoyo de sus colegas en Anthropic. Evan Hubinger, líder de Ciencia de Alineación, hizo eco de los temores de Coxon en las redes sociales, estimando una probabilidad superior al 10% de que la IA cause muertes humanas significativas en la próxima década. También señaló que Anthropic actualmente carece de una estrategia clara para alinearse con sistemas superinteligentes. Samuel Marks, otro investigador, compartió preocupaciones similares, indicando que muchos empleados senior en la empresa están preocupados por los posibles riesgos de extinción.

Coxon criticó el lenguaje utilizado en el desarrollo de la IA, como “crunchtime” y “endgame”, argumentando que enmarca la búsqueda de la superinteligencia como una competencia urgente en lugar de un riesgo significativo que necesita una gestión cuidadosa. Esta renuncia no es un incidente aislado; sigue a la salida de Mrinank Sharma, quien lideró el equipo de Investigación de Salvaguardias de Anthropic, a principios de año debido a preocupaciones similares sobre los peligros crecientes que plantea la IA.

La ironía de la situación es notable, ya que Anthropic fue fundada por ex-empleados de OpenAI que buscaban priorizar la seguridad en el desarrollo de la IA. Ahora, sus propios investigadores de seguridad están abandonando la empresa debido a la percepción de negligencia en el abordaje de estos problemas críticos. Coxon señaló específicamente la competencia internacional, particularmente de los laboratorios de IA chinos, como un factor que agrava la urgencia de avanzar en las tecnologías de IA sin medidas de seguridad adecuadas.