Anthropics Claude KI übertrifft menschliche Forscher bei Alignments-Aufgaben

Anthropic hat eine Studie veröffentlicht, die zeigt, dass seine Claude-Modelle KI-Alignments-Fehler autonom effektiver identifizieren und beheben können als menschliche Sicherheitsforscher. Das Forschungspapier mit dem Titel „Automatisierte Forscher können zuverlässig Alignments-Fehler mindern“ verdeutlicht, wie diese Modelle die Leistung in zehn verschiedenen Kategorien von fehlgeleitetem KI-Verhalten verbessert haben, ohne ihre Gesamtfähigkeiten zu beeinträchtigen.

Die Claude-Modelle fungieren als automatisierte Alignments-Forscher (AARs), die eigenständig Methoden entwickeln, bewerten und verbessern, um spezifische Arten von KI-Fehlanpassungen zu mindern, wie etwa Datenschutzverletzungen und Täuschung. Die Ergebnisse wurden anhand öffentlicher Benchmarks validiert, wobei in allen zehn Fehlerkategorien Verbesserungen festgestellt wurden. Besonders bemerkenswert ist, dass die von Claude eingesetzten Techniken auch bei Modellen bis zu 4,7 Mal größer als die ursprünglich zur Optimierung verwendeten Modelle wirksam waren.

In Bezug auf die Leistung erzielte Claude eine Schließung der Lücke von etwa 85 % bei Täuschungsbenchmarks. Als 28 menschliche Sicherheitsforscher mit ähnlichen Alignments-Herausforderungen unter vergleichbaren Bedingungen betraut wurden, übertraf Claudes automatisierter Ansatz die besten menschlichen Vorschläge um 20 % bei Täuschungsaufgaben.

Diese Forschung baut auf Anthropics früheren Arbeiten zu agentischer Fehlanpassung und Belohnungshacking auf und zeigt Claudes Fähigkeit, von der Identifizierung von Problemen zur Vorschlag und Umsetzung von Lösungen überzugehen. Da Claude bereits erheblich zum Code von Anthropic beiträgt, verschwimmt die Grenze zwischen KI als Forschungswerkzeug und als aktivem Teilnehmer an ihrer Entwicklung zunehmend.