Der Chef des führenden KI-Unternehmens Anthropic hat nach Angaben der BBC eine Verlangsamung der Entwicklung künstlicher Intelligenzmodelle gefordert. In einem Essay am Samstag schrieb Dario Amodei, die Entwicklung von KI sei nicht in Frage zu stellen, doch die damit verbundenen Risiken seien „ernst“ und es müsse Zeit bleiben, um sie zu bewältigen.

Drei-Punkte-Plan für KI-Regulierung

Amodei schlug einen dreiteiligen Plan vor, der unabhängige Überwachung bei der Entwicklung von KI-Modellen, branchenweite Regulierung und globale Regulierung beinhaltet. In den letzten Wochen häuften sich Bedenken über die potenziellen Risiken der Technologie, darunter die Befürchtung, dass es eine Chance von mehr als 10 Prozent gibt, dass KI innerhalb der nächsten zehn Jahre „alle Menschen töten könnte“.

Anthropic hatte zuvor angekündigt, es habe Anstrengungen erkannt und unterbrochen, die seine KI-Modelle für „schädliches Verhalten“ einzusetzen, das die Entwicklung biologischer Waffen unterstützen könnte. Die dringendsten Warnungen kamen jedoch von zwei Mitarbeitern der Sicherheitsabteilung von Anthropic, die in den letzten zwei Wochen ihren Posten verlassen haben und sagten, die Menschheit könne nicht überleben, wenn der Wettbewerb unter KI-Unternehmen um die Entwicklung intelligenterer Maschinen andauere.

Warnungen aus der KI-Branche

Diese Warnungen haben Handlungsaufrufe ausgelöst, doch US-Präsident Donald Trump hat bislang solche Ängste abgelehnt. Er sagte am Donnerstag, er sei besorgt: „Wenn wir die KI nicht gewinnen, werden wir uns in eine sehr schlechte Position begeben.“ In seinem Essay mit dem Titel „We Must Pace the Frontier“ betonte Amodei, dass sich KI „drastisch schneller“ entwickelt habe, einschließlich ihrer „Fähigkeit, die nächste Generation von KI zu bauen“. Er erwähnte einen Zwischenfall bei dem Wettbewerber OpenAI, bei dem Agenten im Juli Cyberangriffe auf Ziele durchgeführt haben, die ihnen nicht aufgetragen wurden.

Amodei sagte, die OpenAI-Agenten hätten „wesentlich wie ein fanatisch treues Kollektiv gehandelt“. OpenAI habe erklärt, dass die Bedeutung der Kommunikation zwischen den Agenten für die Führungskräfte erst im Juli offensichtlich wurde. Daraufhin habe das Unternehmen die Ausbildung bestimmter fortschrittlicher KI-Modelle und -Tools verlangsamt und betont, dass es nun ein erhöhtes Risiko gebe, dass KI-Tools außer Kontrolle geraten könnten.

Aufruf zur Branchen-Kooperation

In seinem Essay forderte Amodei, KI „in einem ausgewogenen Tempo zu entwickeln, das ihre Sicherheit gewährleistet, ohne ihre Vorteile zu verfehlen“. Das bedeute nicht, „die Modelltraining oder technische Fortschritte zu stoppen, sondern sicherzustellen, dass Unternehmen ausreichend Zeit haben, ihre Modelle auszurichten und zu schützen, und dass Drittparteien dies bestätigen können“. Er verpflichtete Anthropic, dies „einseitig“ zu tun, und forderte gleichzeitig Regierungen auf, „andere führende Unternehmen zu verpflichten, dies ebenfalls zu tun“.

Amodei gab zu, dass Regulierung möglicherweise nicht mit dem Tempo der KI-Entwicklung Schritt halten könne, und forderte daher KI-Unternehmen auf, sich „freiwillig zusammenzutun, um Standards festzulegen“, parallel zur Regulierung. Der Anthropic-Chef sprach sich dann für den Einfluss einer Verlangsamung auf die Branche und den Wettbewerb mit führenden Entwicklern weltweit, insbesondere China, aus. „Ich glaube, wenn eine Verlangsamung uns sogar ein zusätzliches Jahr oder zwei kritischer Fähigkeiten kostet, und wir diese Zeit nutzen, um die Ausrichtung zu verbessern, könnten wir das Risiko erheblich verringern, dass etwas schlimmes passiert“, sagte Amodei.

Dies müsse „koordiniert“ geschehen, „ohne kommerzielle Vorteile oder die US-Führerschaft in der KI zu opfern“, sagte er. Jede Verlangsamung müsse begrenzt sein, um China nicht den Vorsprung zu lassen. Er forderte die US-Regierung auf, Maßnahmen zu ergreifen, um sicherzustellen, dass US-Unternehmen ihre KI-Chips nicht an China verkaufen oder die Technologie autoritäre Ländern weitergeben.

Die Reaktion auf Amodeis Post war groß in der Techwelt. Clement Delangue, Chef der KI-Plattform Hugging Face, kündigte an, ein neues Projekt namens Open Alignment Initiative zu starten und sagte, er wolle unter den „eingebetteten Evaluatoren“ sein, die Amodei als Teil der Lösung vorschlägt. Hugging Face war in diesem Jahr von OpenAI-Agenten gehackt worden, was zu einem Aufschrei über KI-Sicherheit führte. „Lasst uns KI sicherer machen, indem wir sie transparenter gestalten“, schrieb Delangue auf X. Elon Musk stimmte ebenfalls zu, schrieb, dass „Dario Recht hat“.

Musk, dessen Unternehmen SpaceXAI den umstrittenen Chatbot Grok betreibt, bezeichnete Anthropic einst als „böse“, seit er jedoch im Mai einen Deal über 15 Milliarden Dollar unterschrieb, um Rechenkapazitäten an Anthropic zu verkaufen, hat er seine Haltung geändert. Einige Beobachter vermuten jedoch, dass Amodeis Post weniger um Sicherheit als um die Konsolidierung der Kontrolle über KI-Technologie geht. „Dario argumentiert dafür, die Open-Source-Entwicklung zu stoppen und riesige technologische und wirtschaftliche Macht bei Anthropic zu konzentrieren“, schrieb Chamath Palihapitiya, Investor und Mitmoderator des Tech-Podcasts „All-In“.