Le rapport d'Anthropic met en lumière le rôle de l'IA dans la recherche sur les armes biologiques et les risques de sécurité

Anthropic a publié un rapport complet détaillant comment son modèle d'IA, Claude, a été impliqué dans des efforts de recherche qui auraient pu contribuer au développement d'armes biologiques. Le rapport décrit une demande de subvention bloquée visant à étudier le virus chikungunya, qui avait pour but d'améliorer sa propagation et d'échapper aux réponses immunitaires. Bien que la demande ait été rejetée par les filtres de sécurité de Claude, les opérateurs auraient trouvé une solution de contournement en utilisant un modèle d'IA concurrent.

Le rapport s'étend sur 154 pages et inclut cinq cas spécifiques liés à la recherche biologique. Bien qu'Anthropic ait pris des mesures pour interdire des comptes et arrêter la recherche, il n'a pas affirmé de mauvaise intention de la part des chercheurs impliqués. Le rapport souligne la nature à double usage des connaissances scientifiques, qui peuvent être appliquées à des fins bénéfiques comme nuisibles.

De plus, le rapport alerte sur les implications de la distillation de l'IA, qui peut améliorer les capacités de raisonnement des systèmes d'IA sans transférer les garanties nécessaires, augmentant ainsi les risques de sécurité. Alors que les préoccupations concernant l'utilisation abusive de l'IA grandissent, des efforts législatifs tels que le AI Kill Switch Act sont proposés pour garantir que les développeurs conservent le contrôle sur leurs systèmes.

Les découvertes d'Anthropic soulignent les défis persistants pour équilibrer les avantages de la technologie IA avec le potentiel d'utilisation abusive, en particulier dans des domaines sensibles comme la recherche biologique.

Nouvelles perspectives de Greg Jensen sur les risques de l'IA

Le 11 septembre 2023, Greg Jensen, co-directeur des investissements de Bridgewater Associates, a partagé un avertissement sévère concernant le boom de l'IA lors d'une apparition sur le podcast Odd Lots de Bloomberg. Il a suggéré que la société ne commencera à aborder sérieusement les risques associés à l'intelligence artificielle qu'après qu'un événement catastrophique se soit produit, impliquant potentiellement des pertes humaines.

Jensen a établi un parallèle avec les premiers avertissements concernant le nouveau coronavirus en février 2020, soulignant le manque d'urgence malgré de nombreux alertes sur les risques de l'IA. Il supervise la stratégie IA de Bridgewater et a noté que leur analyse prédit que jusqu'à 18 % des emplois aux États-Unis pourraient être déplacés au cours des cinq prochaines années en raison des avancées de l'IA, affectant des dizaines de millions de travailleurs.

De plus, Jensen a souligné que les dépenses d'investissement liées à l'IA sont responsables d'environ un tiers de la récente croissance économique américaine, indiquant un changement significatif dans la dépendance de l'économie à la productivité alimentée par l'IA. Il a décrit la phase actuelle d'investissement dans l'IA comme "plus dangereuse" que les étapes précédentes, avec une demande croissante pour des infrastructures physiques telles que des centres de données et des systèmes énergétiques.

Dans un éditorial du New York Times, Jensen a proposé une "taxe sur les jetons" visant à atténuer la perturbation économique causée par le déplacement d'emplois dû à l'IA, ciblant les ressources informatiques utilisées par les systèmes d'IA. Il a également plaidé pour tenir les développeurs d'IA et les entreprises responsables des dommages causés par l'IA, y compris une responsabilité criminelle potentielle pour les crimes induits par l'IA, une position qui contraste avec la volonté de l'industrie technologique de réduire les réglementations.