OpenAI's Astra for Law 6.2 erreicht 20,8% im Harvey LAB-AA Benchmark
OpenAI’s Astra for Law 6.2 hat sich als führend im Harvey LAB-AA v1.1 Benchmark etabliert und erreicht eine Halluzinations-gesteuerte Durchfallquote von 20,8%. Dieser Wert positioniert Astra for Law 6.2 vor allen anderen bewerteten Modellen, einschließlich OpenAI’s eigenem GPT-6.2 Astra, das einen Score von 15,0% erzielte.
Der Harvey LAB-AA v1.1 Benchmark besteht aus 120 privaten Aufgaben, die aus realen rechtlichen Szenarien in 24 Praxisbereichen abgeleitet wurden, was sicherstellt, dass die Modelle nicht ausschließlich auf Fachwissen in bestimmten Bereichen zurückgreifen können. Die Leistung von Astra for Law 6.2 spiegelt eine signifikante Verbesserung gegenüber seinem Vorgänger wider, mit einem Abstand von 5,8 Prozentpunkten. Darüber hinaus verzeichnete es eine bemerkenswert niedrige Halluzinationsrate von 0,03 pro Aufgabe, die beste unter den bewerteten Modellen.
Das Upgrade, das am 17. November 2026 angekündigt wurde, erweitert auch den Zugang zu Astra for Law über OpenAI’s Trusted Access Program für ChatGPT Enterprise-Kunden. OpenAI plant, das Modell über API an Partner wie Harvey und Legora anzubieten. Harvey hat seine Begeisterung über das Upgrade zum Ausdruck gebracht und festgestellt, dass Astra for Law 6.2 in etwa 90% der Fälle von Richtern den früheren Modellen vorgezogen wird.
In einer separaten Bewertung durch das Vals AI Legal Research Benchmark erzielte Astra for Law einen Vollpunktwert von 53,8% bei Forschungsfragen, ein Anstieg von fast 46% im September. Während diese Fortschritte vielversprechend sind, ist es wichtig zu beachten, dass eine Durchfallquote von 20,8% bedeutet, dass selbst das beste Modell in diesem Benchmark etwa vier von fünf Aufgaben unter strengen Bewertungsrichtlinien nicht erfolgreich abschloss.
FAQ
Was ist der Harvey LAB-AA Benchmark?
Der Harvey LAB-AA Benchmark ist eine standardisierte Bewertung, die aus 120 privaten Aufgaben besteht, die aus realen rechtlichen Szenarien in 24 Praxisbereichen abgeleitet sind und darauf abzielt, die Leistung von KI-Modellen in rechtlichen Kontexten zu bewerten.
Wie hat sich Astra for Law 6.2 im Harvey LAB-AA Benchmark geschlagen?
Astra for Law 6.2 erreichte eine halluzinationsgesteuerte All-Pass-Rate von 20,8 %, was es zum führenden Modell im Benchmark macht und andere bewertete Modelle, einschließlich OpenAI's GPT-6.2 Astra, übertrifft.
Welche Verbesserungen wurden bei Astra for Law 6.2 im Vergleich zu seinem Vorgänger vorgenommen?
Astra for Law 6.2 zeigt eine signifikante Verbesserung mit einem Anstieg der All-Pass-Rate um 5,8 Prozentpunkte und einer bemerkenswert niedrigen Halluzinationsrate von 0,03 pro Aufgabe.
Was ist die Bedeutung der Halluzinationsrate bei KI-Modellen?
Die Halluzinationsrate gibt an, wie oft ein KI-Modell falsche oder unsinnige Informationen generiert. Eine niedrigere Halluzinationsrate deutet auf ein zuverlässigeres und genaueres Modell hin.
Wie können Benutzer auf Astra for Law 6.2 zugreifen?
Astra for Law 6.2 ist über OpenAI’s Trusted Access Program für ChatGPT Enterprise-Kunden verfügbar, und OpenAI plant, das Modell über API an Partner, einschließlich Harvey und Legora, anzubieten.
Kommentare
Kommentare werden vor der Veröffentlichung geprüft.
Noch keine Kommentare — schreiben Sie den ersten.