Cryptelio

Astra pour le Droit 6.2 d'OpenAI atteint un score de 20,8 % dans le benchmark LAB-AA de Harvey

Cryptelio Editorial Publié 17 nov. 2026 · 19:03 UTC
Astra pour le Droit 6.2 d'OpenAI atteint un score de 20,8 % dans le benchmark LAB-AA de Harvey

Astra pour le Droit 6.2 d'OpenAI s'est imposé comme le leader du benchmark LAB-AA v1.1 de Harvey, atteignant un taux de réussite de 20,8 % après avoir filtré les hallucinations. Ce score place Astra pour le Droit 6.2 devant tous les autres modèles évalués, y compris le propre GPT-6.2 Astra d'OpenAI, qui a enregistré un score de 15,0 %.

Le benchmark LAB-AA v1.1 de Harvey se compose de 120 tâches privées dérivées de scénarios juridiques réels dans 24 domaines de pratique, garantissant que les modèles ne peuvent pas se fier uniquement à leur expertise dans des domaines spécifiques. La performance d'Astra pour le Droit 6.2 reflète une amélioration significative par rapport à son prédécesseur, avec un écart de 5,8 points de pourcentage. De plus, il a enregistré un taux d'hallucination remarquablement bas de 0,03 par tâche, le meilleur parmi les modèles évalués.

La mise à jour, annoncée le 17 novembre 2026, élargit également l'accès à Astra pour le Droit grâce au programme Trusted Access d'OpenAI pour les clients de ChatGPT Enterprise. OpenAI prévoit de proposer le modèle via API à des partenaires, y compris Harvey et Legora. Harvey a exprimé son enthousiasme pour cette mise à jour, notant qu'Astra pour le Droit 6.2 produit des mémoires préférés par les juges par rapport à ceux de son prédécesseur environ 90 % du temps.

Dans une évaluation distincte par le benchmark de recherche juridique Vals AI, Astra pour le Droit a obtenu un score complet de 53,8 % sur les questions de recherche, en hausse par rapport à près de 46 % en septembre. Bien que ces avancées soient prometteuses, il est important de noter qu'un taux de réussite de 20,8 % indique que même le meilleur modèle de ce benchmark n'a pas réussi à compléter environ quatre tâches sur cinq selon des critères de notation stricts.

FAQ

Qu'est-ce que le benchmark Harvey LAB-AA ?

Le benchmark Harvey LAB-AA est une évaluation standardisée composée de 120 tâches privées dérivées de scénarios juridiques réels dans 24 domaines de pratique, conçue pour évaluer la performance des modèles d'IA dans des contextes juridiques.

Comment Astra for Law 6.2 a-t-il performé dans le benchmark Harvey LAB-AA ?

Astra for Law 6.2 a atteint un taux de réussite global de 20,8 % avec un filtre de hallucination, ce qui en fait le modèle leader dans le benchmark, surpassant d'autres modèles évalués, y compris le GPT-6.2 Astra d'OpenAI.

Quelles améliorations ont été apportées à Astra for Law 6.2 par rapport à son prédécesseur ?

Astra for Law 6.2 montre une amélioration significative avec une augmentation de 5,8 points de pourcentage du taux de réussite global et un taux de hallucination remarquablement bas de 0,03 par tâche.

Quelle est l'importance du taux de hallucination dans les modèles d'IA ?

Le taux de hallucination indique à quelle fréquence un modèle d'IA génère des informations incorrectes ou nonsensiques. Un taux de hallucination plus bas suggère un modèle plus fiable et précis.

Comment les utilisateurs peuvent-ils accéder à Astra for Law 6.2 ?

Astra for Law 6.2 est disponible via le programme d'accès de confiance d'OpenAI pour les clients de ChatGPT Enterprise, et OpenAI prévoit de proposer le modèle via API à des partenaires, y compris Harvey et Legora.

À lire aussi

Commentaires

Les commentaires sont modérés avant publication.

Pas encore de commentaires — soyez le premier.

Commenter en invité

Captcha