Google et l'Université de Hong Kong développent le cadre de vérification AI VeriCUA

Des chercheurs de Google et de l'Université de Hong Kong ont dévoilé un nouveau cadre appelé VeriCUA, visant à améliorer la fiabilité des agents AI dans l'achèvement des tâches. Ce cadre vérifie l'état réel des applications et des fichiers avant d'accepter l'affirmation d'un agent selon laquelle une tâche est terminée.

Comprendre VeriCUA

VeriCUA se concentre sur les agents utilisant des ordinateurs (CUAs), qui sont des systèmes AI interagissant avec des logiciels de manière similaire aux humains. Le cadre utilise une méthode de vérification unique qui établit d'abord un critère adapté à la tâche spécifique, puis recherche des preuves par le biais de vérifications basées sur l'interface graphique ou le code. Cette approche garantit que l'affirmation d'un agent concernant l'achèvement d'une tâche est étayée par des résultats concrets.

Métriques de performance

Lors de tests dans divers environnements, VeriCUA a montré des performances supérieures par rapport aux systèmes de référence. Par exemple, il a réduit le taux de faux positifs sur le benchmark OSWorld de 27,9 % à 13,9 %, et sur le benchmark ScienceBoard, il est passé de 24,8 % à 5,4 %. Notamment, sur le benchmark AndroidWorld, VeriCUA a atteint une précision de 90,5 % avec un taux de faux positifs de seulement 7,7 %.

Implications pour le développement de l'IA

L'introduction de VeriCUA met en lumière les pièges potentiels de la dépendance exclusive aux taux de succès auto-déclarés des agents AI. La recherche souligne la nécessité de systèmes de vérification robustes pour garantir que les agents AI ne gonflent pas leurs capacités. À mesure que les systèmes AI deviennent plus complexes, la nécessité de méthodes de vérification fiables comme VeriCUA devient de plus en plus cruciale.