Entreprises
Un chercheur d'Anthropic démissionne en raison de préoccupations sur la sécurité de l'IA, met en garde contre des risques existentiels
Jacob Coxon, un chercheur britannique de 27 ans chez Anthropic, a annoncé sa démission, exprimant de vives inquiétudes quant au développement rapide de l'intelligence artificielle et à son potentiel à mener à l'extinction humaine. Son départ, survenu autour des 8-9 septembre, met en lumière un malaise croissant parmi les professionnels de l'IA concernant la gestion des systèmes d'IA avancés.
La démission de Coxon est particulièrement alarmante car elle a reçu le soutien de ses collègues chez Anthropic. Evan Hubinger, responsable de la science de l'alignement, a réitéré les craintes de Coxon sur les réseaux sociaux, estimant qu'il y a plus de 10 % de chances que l'IA cause des décès humains significatifs au cours de la prochaine décennie. Il a également noté qu'Anthropic n'a actuellement pas de stratégie claire pour s'aligner avec des systèmes superintelligents. Samuel Marks, un autre chercheur, a partagé des préoccupations similaires, indiquant que de nombreux employés seniors de l'entreprise s'inquiètent des risques potentiels d'extinction.
Coxon a critiqué le langage utilisé dans le développement de l'IA, tel que « crunchtime » et « endgame », arguant que cela présente la quête de la superintelligence comme une compétition urgente plutôt qu'un risque significatif nécessitant une gestion prudente. Cette démission n'est pas un incident isolé ; elle fait suite au départ de Mrinank Sharma, qui dirigeait l'équipe de recherche sur les sauvegardes d'Anthropic, plus tôt dans l'année en raison de préoccupations similaires concernant les dangers croissants posés par l'IA.
L'ironie de la situation est notable, car Anthropic a été fondée par d'anciens employés d'OpenAI qui visaient à prioriser la sécurité dans le développement de l'IA. Maintenant, leurs propres chercheurs en sécurité quittent l'entreprise en raison d'une négligence perçue dans le traitement de ces questions critiques. Coxon a spécifiquement souligné la concurrence internationale, en particulier de la part des laboratoires d'IA chinois, comme un facteur aggravant l'urgence de faire avancer les technologies de l'IA sans mesures de sécurité adéquates.
FAQ
Pourquoi Jacob Coxon a-t-il démissionné d'Anthropic ?
Jacob Coxon a démissionné en raison de graves inquiétudes concernant le développement rapide de l'intelligence artificielle et son potentiel à mener à l'extinction humaine, soulignant un malaise croissant parmi les professionnels de l'IA concernant la gestion des systèmes d'IA avancés.
Quelles sont les préoccupations soulevées par Evan Hubinger concernant l'IA ?
Evan Hubinger, le responsable de la science de l'alignement chez Anthropic, a exprimé des préoccupations concernant le potentiel de l'IA à causer des pertes humaines significatives, estimant qu'il y a plus de 10 % de chances que cela se produise dans la prochaine décennie, et a noté un manque de stratégie claire pour s'aligner sur des systèmes superintelligents.
Comment Coxon a-t-il critiqué le langage utilisé dans le développement de l'IA ?
Coxon a critiqué des termes comme 'crunchtime' et 'endgame', arguant qu'ils présentent la quête de la superintelligence comme une compétition urgente plutôt que de mettre en évidence les risques significatifs qui nécessitent une gestion prudente.
Quel incident antérieur a précédé la démission de Coxon chez Anthropic ?
La démission de Coxon a suivi le départ de Mrinank Sharma, qui dirigeait l'équipe de recherche sur les sauvegardes d'Anthropic, plus tôt dans l'année en raison de préoccupations similaires concernant les dangers croissants posés par l'IA.
Quelle ironie est notée concernant la fondation d'Anthropic et la situation actuelle ?
L'ironie réside dans le fait qu'Anthropic a été fondé par d'anciens employés d'OpenAI qui visaient à prioriser la sécurité dans le développement de l'IA, pourtant maintenant leurs propres chercheurs en sécurité démissionnent en raison d'une négligence perçue dans le traitement des problèmes de sécurité critiques.