KI-Forscher und Führungskräfte fordern Regulierung selbstverbessernder Systeme

In einem bedeutenden Schritt haben mehr als 1.100 KI-Forscher, darunter Chefwissenschaftler von großen Unternehmen wie OpenAI, Anthropic, Google DeepMind, Meta und NVIDIA, einen offenen Brief unterzeichnet, in dem die US-Regierung aufgefordert wird, internationale Mechanismen zu schaffen, um die Entwicklung fortschrittlicher KI-Systeme zu verlangsamen oder zu pausieren. Dieser Brief mit dem Titel „Pacing the Frontier“ hebt die Bedenken hinsichtlich der rekursiven Selbstverbesserung hervor, bei der KI-Modelle möglicherweise ihre eigenen Fähigkeiten in einem Tempo verbessern könnten, das die menschliche Aufsicht übersteigt.

Der Brief spiegelt einen wachsenden Konsens unter KI-Entwicklern wider, dass die Technologie, die sie schaffen, bald über ihre Kontrolle hinauswachsen könnte. So hat Anthropic berichtet, dass ihr Flaggschiffmodell Claude mittlerweile etwa 26 % der Forschungs- und Entwicklungsarbeit des Unternehmens ausmacht, ein deutlicher Anstieg von weniger als 1 % nur wenige Monate zuvor. Dieser Trend findet auch in der akademischen Gemeinschaft Widerhall, wo eine aktuelle Umfrage über 1.250 Arbeiten zur Selbstverbesserung von KI identifiziert hat, die zwischen Juli und September 2026 veröffentlicht wurden.

Darüber hinaus fordert ein separater Brief des AI Evaluator Forum, der von über 100 Experten unterzeichnet wurde, die Einbeziehung unabhängiger Evaluatoren in jedes KI-Labor an der Spitze, um Sicherheit und Verantwortlichkeit zu gewährleisten. Während einige Unternehmen versprochen haben, externen Evaluatoren Zugang zu gewähren, betont der Brief, dass diese Verpflichtungen institutionelle Unterstützung benötigen, um wirksam zu sein.

Die Dringlichkeit dieses Aufrufs zur Regulierung wird durch die einzigartigen Herausforderungen unterstrichen, die die rekursive Selbstverbesserung mit sich bringt. Traditionelle Aufsichtsmodelle gehen von menschlicher Entscheidungsfindung im Zentrum der Technologieentwicklung aus, aber wenn KI-Systeme ihre Fähigkeiten autonom beschleunigen können, könnte diese Annahme nicht mehr zutreffen.

In einem verwandten Entwicklungsschritt haben über 20 einflussreiche KI-Führungskräfte, darunter der Nobelpreisträger Geoffrey Hinton, ein Papier veröffentlicht, in dem gewarnt wird, dass selbstverbessernde KI zu einer Intelligenzexplosion führen könnte, bei der Systeme sich selbst über die menschliche Kontrolle hinaus verbessern. Sie plädieren für regulatorische Rahmenbedingungen, die globale technische Standards für KI-Sicherheitstests und verpflichtende unabhängige Bewertungen vor der Einführung fortschrittlicher KI-Modelle umfassen.

Während sich die Landschaft der KI-Entwicklung weiterentwickelt, werden die Forderungen nach effektiver Governance und Aufsicht zunehmend kritisch, um sicherzustellen, dass technologische Fortschritte nicht die gesellschaftlichen Schutzmaßnahmen überholen.