Unternehmen
Anthropic-Forscher tritt wegen Bedenken zur KI-Sicherheit zurück und warnt vor existenziellen Risiken
Jacob Coxon, ein 27-jähriger britischer Forscher bei Anthropic, hat öffentlich seinen Rücktritt erklärt und dabei schwerwiegende Bedenken über die rasante Entwicklung der künstlichen Intelligenz und deren potenziellen Beitrag zur menschlichen Auslöschung geäußert. Sein Rücktritt, der um den 8. bis 9. September stattfand, verdeutlicht eine wachsende Unruhe unter KI-Experten hinsichtlich der Handhabbarkeit fortschrittlicher KI-Systeme.
Coxons Rücktritt ist besonders alarmierend, da er Unterstützung von seinen Kollegen bei Anthropic erhalten hat. Evan Hubinger, der Leiter der Alignment-Wissenschaft, teilte Coxons Ängste in den sozialen Medien und schätzte die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts zu erheblichen menschlichen Todesfällen führt, auf über 10%. Er wies auch darauf hin, dass Anthropic derzeit keine klare Strategie hat, um sich mit superintelligenten Systemen in Einklang zu bringen. Samuel Marks, ein weiterer Forscher, äußerte ähnliche Bedenken und deutete an, dass viele erfahrene Mitarbeiter des Unternehmens besorgt über potenzielle existenzielle Risiken sind.
Coxon kritisierte die in der KI-Entwicklung verwendete Sprache, wie „crunchtime“ und „endgame“, und argumentierte, dass sie die Verfolgung von Superintelligenz als einen dringenden Wettbewerb darstellt, anstatt als ein erhebliches Risiko, das sorgfältig gemanagt werden muss. Dieser Rücktritt ist kein Einzelfall; er folgt dem Abgang von Mrinank Sharma, der zu Beginn des Jahres das Safeguards Research-Team von Anthropic leitete und aus ähnlichen Gründen wegen der eskalierenden Gefahren durch KI zurücktrat.
Die Ironie der Situation ist bemerkenswert, da Anthropic von ehemaligen OpenAI-Mitarbeitern gegründet wurde, die sich zum Ziel gesetzt hatten, die Sicherheit in der KI-Entwicklung zu priorisieren. Jetzt verlassen ihre eigenen Sicherheitsforscher das Unternehmen aufgrund wahrgenommener Nachlässigkeit bei der Behandlung dieser kritischen Fragen. Coxon wies insbesondere auf den internationalen Wettbewerb, insbesondere von chinesischen KI-Labors, hin, der die Dringlichkeit verstärkt, KI-Technologien ohne angemessene Sicherheitsmaßnahmen voranzutreiben.
FAQ
Warum hat Jacob Coxon bei Anthropic resigniert?
Jacob Coxon trat zurück, weil er ernsthafte Bedenken hinsichtlich der rasanten Entwicklung von künstlicher Intelligenz und deren Potenzial, zur Auslöschung der Menschheit zu führen, äußerte. Dies verdeutlicht eine wachsende Besorgnis unter KI-Profis über die Handhabbarkeit fortschrittlicher KI-Systeme.
Welche Bedenken äußerte Evan Hubinger bezüglich KI?
Evan Hubinger, der Leiter der Alignment-Wissenschaft bei Anthropic, äußerte Bedenken hinsichtlich des Potenzials von KI, erhebliche menschliche Todesfälle zu verursachen, und schätzte die Wahrscheinlichkeit dafür auf über 10 % innerhalb des nächsten Jahrzehnts. Er wies auch auf das Fehlen einer klaren Strategie hin, um sich mit superintelligenten Systemen in Einklang zu bringen.
Wie kritisierte Coxon die Sprache, die in der KI-Entwicklung verwendet wird?
Coxon kritisierte Begriffe wie 'crunchtime' und 'endgame' und argumentierte, dass sie die Verfolgung von Superintelligenz als einen dringenden Wettbewerb darstellen, anstatt die erheblichen Risiken hervorzuheben, die eine sorgfältige Verwaltung erfordern.
Welches vorherige Ereignis ging Coxons Rücktritt bei Anthropic voraus?
Coxons Rücktritt folgte auf den Abgang von Mrinank Sharma, der das Safeguards Research-Team von Anthropic leitete und früher im Jahr aufgrund ähnlicher Bedenken über die zunehmenden Gefahren durch KI ausschied.
Welche Ironie wird bezüglich der Gründung von Anthropic und der aktuellen Situation festgestellt?
Die Ironie liegt darin, dass Anthropic von ehemaligen OpenAI-Mitarbeitern gegründet wurde, die darauf abzielten, die Sicherheit in der KI-Entwicklung zu priorisieren, und nun resignieren ihre eigenen Sicherheitsforscher aufgrund wahrgenommener Nachlässigkeit bei der Behandlung kritischer Sicherheitsfragen.