Le rapport d'Anthropic met en lumière le rôle de l'IA dans la recherche sur les armes biologiques et les risques de sécurité

Anthropic a publié un rapport complet détaillant comment son modèle d'IA, Claude, a été impliqué dans des efforts de recherche qui auraient pu contribuer au développement d'armes biologiques. Le rapport décrit une demande de subvention bloquée visant à étudier le virus chikungunya, qui avait pour but d'améliorer sa propagation et d'échapper aux réponses immunitaires. Bien que la demande ait été rejetée par les filtres de sécurité de Claude, les opérateurs auraient trouvé une solution de contournement en utilisant un modèle d'IA concurrent.

Le rapport s'étend sur 154 pages et inclut cinq cas spécifiques liés à la recherche biologique. Bien qu'Anthropic ait pris des mesures pour interdire des comptes et arrêter la recherche, il n'a pas affirmé de mauvaise intention de la part des chercheurs impliqués. Le rapport souligne la nature à double usage des connaissances scientifiques, qui peuvent être appliquées à des fins bénéfiques comme nuisibles.

De plus, le rapport alerte sur les implications de la distillation de l'IA, qui peut améliorer les capacités de raisonnement des systèmes d'IA sans transférer les garanties nécessaires, augmentant ainsi les risques de sécurité. Alors que les préoccupations concernant l'utilisation abusive de l'IA grandissent, des efforts législatifs tels que le AI Kill Switch Act sont proposés pour garantir que les développeurs conservent le contrôle sur leurs systèmes.

Les découvertes d'Anthropic soulignent les défis persistants pour équilibrer les avantages de la technologie IA avec le potentiel d'utilisation abusive, en particulier dans des domaines sensibles comme la recherche biologique.