Der Rücktritt, der eine Debatte auslöste
Jacob Coxons Abgang von Anthropic Ende 2024 löste neue Prüfung über das Tempo der Sicherheitsforschung in führenden KI-Laboren aus. In einem öffentlichen Beitrag warnte Coxon, dass die aktuellen Entwicklungswege zur Superintelligenz unzureichende Schutzmaßnahmen hätten, und argumentierte, dass eine KI-Ausrichtung-Verlangsamung notwendig sei, um katastrophale Ergebnisse zu verhindern. Sein Rücktrittsschreiben nannte grundlegende Meinungsverschiedenheiten mit der Führung über die Ressourcenverteilung für Ausrichtungsarbeit versus Fähigkeiten-Fortschritt.
I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.
— Jacob Coxon (@hilbertspaess) September 9, 2026
Evan Hubinger, ein leitender Forschungswissenschaftler bei Anthropic, bestätigte anschließend Coxons Bedenken in einer Reihe technischer Kommentare. Hubinger räumte ein, dass seine eigene Wahrscheinlichkeit des Untergangs — p(doom) — erhöht bleibe, und verwies auf ungelöste Herausforderungen bei skalierbarer Überwachung und Interpretierbarkeit. Der Austausch hat die Forderungen der Forschungsgemeinschaft nach obligatorischen Drittprüfungen verstärkt, bevor Frontier-Modelle kritische Rechenschwellen überschreiten.
Die Debatte breitete sich schnell über Anthropic hinaus aus und veranlasste andere Labore, ihre Entwicklungskadenz zu überdenken.
KI-Ausrichtung-Verlangsamung: OpenAIs freiwilliges Tempo
OpenAI hat das Tempo seiner größten Modelltrainingsläufe bewusst gedrosselt, ein Schritt, den Chefwissenschaftler Jakub Pachocki bestätigte und der Kollegen aufforderte, freiwillige Verlangsamungen zu übernehmen, bis die Sicherheitsforschung aufholt.
Die Entscheidung folgt internen Bewertungen, wonach die Ausrichtungsarbeit hinter den Fähigkeitszuwächsen zurückblieb, was eine Umverteilung von Rechenleistung und Personal auf Interpretierbarkeit und skalierbare Überwachung veranlasste, laut einem TIME-Bericht.
Branchenbeobachter merken an, dass die selbst auferlegte Bremse einen Präzedenzfall für koordiniertes Tempo über Frontier-Labore hinweg setzen könnte, doch Kritiker argumentieren, dass ohne externe Durchsetzung die Verlangsamung ungleichmäßig sein könnte.
Gesetzgeber, die diese branchenweiten Anpassungen beobachten, haben begonnen, Richtlinien zu entwerfen, die solche Schutzmaßnahmen formalisieren sollen.
Gesetzgeberische Reaktionen: FRONTIER Act und Ban Superintelligence Act
Der FRONTIER Act, eingebracht von Senatorin Maria Cantwell und Abgeordneten Ro Khanna, würde verlangen, dass Frontier-KI-Entwickler detaillierte Sicherheitsfälle einreichen und unabhängige Audits durchlaufen, bevor Modelle 10²⁵ Gleitkommaoperationen überschreiten. Cantwell sagte, der Gesetzesentwurf „schaffe eine klare regulatorische Untergrenze, damit Sicherheitsforschung nicht von Fähigkeitszuwächsen überholt werde“, während Khanna betonte, dass „obligatorische Transparenz einen Wettlauf nach unten unter Laboren verhindere.“
Der Ban Artificial Superintelligence Act, gesponsert von Senator Josh Hawley und Abgeordneten Anna Eshoo, schlägt ein gesetzliches Verbot vor, jedes System einzusetzen, das einen definierten Superintelligenz-Schwellenwert erreicht. Hawley warnte, dass „ohne einen harten Stopp die Anreize, Sicherheitsgrenzen zu überschreiten, überwältigend seien“, und Eshoo fügte hinzu, dass „die Gesetzgebung einen wachsenden Konsens widerspiegele, dass freiwillige Pausen unzureichend seien.“ Kritiker der vorsichtigen Haltung der Ausrichtungsgemeinschaft argumentieren, dass solche Zurückhaltung notwendige Schutzmaßnahmen verzögern könnte, ein Punkt, der in einer LessWrong-Kritik hervorgehoben wird, die in Frage stellt, ob übermäßige Vorsicht den Fortschritt bei robusten Ausrichtungslösungen verlangsamt.
Häufig gestellte Fragen
Wie könnte eine KI-Ausrichtung-Verlangsamung den erwarteten Bereitstellungsplan für nächste-Generation große Sprachmodelle ändern?
Eine Verlangsamung bedeutet typischerweise die Umverteilung von Rechenressourcen vom Training zur Sicherheitsarbeit, was den Veröffentlichungszeitplan eines Modells um Monate oder sogar Jahre verlängern kann. Labore könnten Interpretierbarkeits- und skalierbare-Überwachungs-Experimente priorisieren und großangelegte Trainingsläufe verzögern, bis diese Werkzeuge ausgereift sind. Der Nettoeffekt ist ein langsameres Tempo bei Fähigkeitszuwächsen, was potenziell das Risiko der Bereitstellung unter-ausgerichteter Systeme verringert.
Welche Schwellenwerte setzt der vorgeschlagene FRONTIER Act für die Anforderung unabhängiger Sicherheitsaudits von Frontier-KI-Modellen fest?
Der Gesetzentwurf legt fest, dass jedes Modell, das 10²⁵ Gleitkommaoperationen überschreitet, einen detaillierten Sicherheitsfall einreichen und ein unabhängiges Audit durchlaufen muss, bevor es weiter skaliert wird. Er fordert auch die Dokumentation des Fortschritts der Ausrichtungsforschung und Risikobewertungen, die an das Rechenbudget des Modells gebunden sind. Diese Kriterien zielen darauf ab, eine regulatorische Untergrenze zu schaffen, die Aufsicht auslöst, sobald ein Modell ein definiertes Frontier-Niveau erreicht.
Welche konkreten Maßnahmen kann eine Organisation ergreifen, um OpenAIs freiwillige Pause umzusetzen und gleichzeitig die Ausrichtungsforschung auf Kurs zu halten?
Unternehmen können einen Teil ihrer Rechenzuweisung auf dedizierte Ausrichtungsprojekte verlagern, wie Interpretierbarkeits-Tools und skalierbare-Überwachungs-Experimente. Sie können auch interne Kontrollpunkte einrichten, die das Training pausieren, wenn Sicherheitsmetriken hinter vordefinierten Meilensteinen zurückbleiben. Die Einstellung zusätzlicher Ausrichtungsforscher und die Durchführung von Drittprüfungen des Fortschritts sind weitere Schritte, um sicherzustellen, dass die Sicherheit mit der Fähigkeitsentwicklung Schritt hält.
Last Updated on September 10, 2026 7:33 p.m. by Laszlo Szabo / NowadAIs | Published on September 10, 2026 by Laszlo Szabo / NowadAIs
