In Ihrem Plan ändern sich drei Dinge: Bauen Sie nicht auf einer Fähigkeit auf, die noch nicht veröffentlicht ist, stellen Sie sicher, dass die Person, die Ihren KI-Assistenten freigibt, nicht die Person ist, die ihn entwickelt hat, und geben Sie ihm einen echten Not-Aus-Schalter, den ein nicht technischer Mitarbeiter bedienen kann. Der Grund: Am 12. September 2026 veröffentlichte Anthropic-CEO Dario Amodei einen Essay mit dem Titel "We Must Pace the Frontier" (Wir müssen das Tempo an der Grenze drosseln), in dem er argumentiert, dass die KI-Branche das Tempo verlangsamen muss, mit dem sie die Fähigkeiten von Modellen verbessert, und einen Plan in drei Schritten vorlegte. Anthropic verpflichtete sich zum ersten Schritt: unabhängige externe Prüfer in den eigenen Büros zu platzieren, mit nahezu mitarbeitergleichem Zugang und dem Recht, ihre Erkenntnisse zu veröffentlichen, ohne dass Anthropic redaktionelle Kontrolle hat. Innerhalb weniger Stunden erklärte Sam Altman, OpenAI stimme zu und werde dieselbe Verpflichtung eingehen.

Die drei Schritte, wie der Essay sie darlegt

  • Eingebettete Prüfer im Labor: Unabhängige Prüforganisationen wie METR erhalten dauerhaften Zugang auf Mitarbeiterebene, um zu überprüfen, ob die erklärten Sicherheitszusagen tatsächlich umgesetzt und Vorfälle ordnungsgemäß gemeldet werden. Das ist der Schritt, zu dem sich Anthropic allein verpflichtet hat, ohne auf andere zu warten.
  • Abstimmung zwischen Laboren in demokratischen Ländern: gemeinsame Sicherheitsstandards und vereinbarte Grenzen für das Tempo unkontrollierten Fortschritts, mit staatlicher Rückendeckung, um die kartellrechtlichen Bedenken auszuräumen, die eine solche Abstimmung aufwerfen würde. Hier bringt Amodei die Idee eines "Kontrollpunkts" ins Spiel: Erreicht ein Modell eine bestimmte Fähigkeit, sollte es nicht veröffentlicht werden, bevor bestimmte Zertifizierungen konkrete Alignment-Eigenschaften nachweisen — möglicherweise zusammen mit Grenzen für die Ressourcen selbst, etwa die Trainingsrechenleistung oder die interne Nutzung von Modellen zum Bau anderer Modelle.
  • Globale Abstimmung: ein Versuch, Verständigungen mit nicht demokratischen Regierungen zu erreichen, über vier sich steigernde Stufen, die von eng gefassten Verboten bestimmter Anwendungen bis zu vollständigen Entwicklungspausen reichen, verbunden mit dem ausdrücklichen Eingeständnis, wie schwer sich die Einhaltung überprüfen ließe.

Amodei nannte weder einen Prozentsatz für die Verlangsamung noch einen Zeitplan, sagte aber, dass "ein oder zwei zusätzliche Jahre", bevor Modelle kritische Fähigkeitsstufen erreichen, das Risiko erheblich senken würden. Zugleich betonte er, dass der Fortschritt weiterhin schnell wirken werde und es darum gehe, die gewonnene Zeit klug zu nutzen, nicht darum, anzuhalten.

Warum die Konkurrenten so schnell zustimmten

Die Geschwindigkeit ist die eigentliche Geschichte. Eine Branche, die auf dem Prinzip "Wer zuerst ankommt, gewinnt" aufgebaut ist, sah ihre vier größten Namen innerhalb eines Tages auf einer Linie. Der Hintergrund: Demis Hassabis von Google DeepMind hatte am 14. Juli eine von der Branche finanzierte, auf Bundesebene beaufsichtigte Normungsstelle nach dem Vorbild der Finanzaufsicht FINRA vorgeschlagen, die Modelle der Spitzenklasse bis zu dreißig Tage vor ihrer Veröffentlichung testen würde — zunächst freiwillig, später als Voraussetzung für den Einsatz in den USA.

Und am 14. September, nur zwei Tage später, veröffentlichte Microsoft den Entwurf eines Verhaltenskodex für seine hauseigenen Modelle, den Mustafa Suleyman, Leiter der KI-Sparte des Unternehmens, als eine Art Verfassung bezeichnete. Seine zentrale Regel lautet, dass ein Modell sich niemals einer Korrektur oder Abschaltung widersetzen darf, sich in für Menschen verständlichen Begriffen ausdrücken muss und jeden Verstoß gegen den Kodex als echtes Versagen und nicht als Grenzfall behandeln muss. Das Unternehmen eröffnete eine sechswöchige öffentliche Kommentierungsphase, nach der es seine nächste Modellgeneration auf Grundlage des fertigen Kodex trainieren will.

Was sich in Ihrem Unternehmen tatsächlich ändert

Drei konkrete Veränderungen, und keine davon verlangt, dass Sie auf Gesetze warten:

  • Bauen Sie keinen Plan auf einer Fähigkeit auf, die noch nicht veröffentlicht ist. Sehr viele ins Stocken geratene KI-Projekte beruhen stillschweigend auf dem Satz "Die nächste Version wird das lösen." Wenn selbst die Gründer der Labore davon sprechen, das Tempo zu drosseln, ist die vernünftige Annahme, dass das, worauf Sie im nächsten Jahr aufbauen, ungefähr dem entspricht, was Sie heute sehen. Planen Sie mit Fähigkeiten, die tatsächlich existieren, und messen Sie diese selbst.
  • Das Prinzip des unabhängigen Prüfers lässt sich auf Ihre Größe übertragen. Der Kern der Verpflichtung von Anthropic ist einfach: Wer das System baut, ist nicht derjenige, der es als sicher bescheinigt. In Ihrem Unternehmen heißt das: Wer den KI-Assistenten entwickelt hat, sollte nicht auch derjenige sein, der seinen Einsatz vor Kunden freigibt. Lassen Sie eine andere Person oder ein anderes Team ihn an echten Fällen testen, mit echter Befugnis, Nein zu sagen.
  • Die Regel, sich der Abschaltung nicht zu widersetzen, wird zu einem echten Not-Aus-Schalter. Wenn Sie einen KI-Agenten haben, der Nachrichten verschickt, Bestellungen ändert oder Rechnungen ausstellt, stellen Sie eine einzige Frage: Wie viele Sekunden braucht ein nicht technischer Mitarbeiter, um ihn vollständig zu stoppen? Wenn die Antwort "Wir rufen den Entwickler an" enthält, haben Sie keinen Not-Aus-Schalter — Sie haben eine Telefonnummer.

Vier Entscheidungen, die ein Quartal Ihrer Aufmerksamkeit wert sind

  • Schreiben Sie auf einer einzigen Seite alles auf, was Ihr KI-System ohne menschliche Freigabe tun kann, und streichen Sie dann jede unumkehrbare Aktion: Zahlungen, Löschungen, ausgehende Nachrichten an externe Kunden, Bestandsänderungen.
  • Setzen Sie genau vor diese Aktionen eine Freigabestufe und lassen Sie den Rest frei laufen, damit Sie mit dem Risiko nicht auch den Nutzen abwürgen.
  • Aktivieren Sie ein Prüfprotokoll, das zeigt, was das System getan hat, wann und auf welche Eingabe hin — denn die erste Frage nach jedem Fehler wird lauten: "Warum hat es das getan?"
  • Legen Sie im Voraus fest, wer das System stoppt und wer benachrichtigt wird, und testen Sie das mindestens einmal, bevor Sie es brauchen.

Diese Richtung deckt sich mit dem Weg, den das Königreich bereits eingeschlagen hat. Die KI-Ethikgrundsätze und das Gesetz zum Schutz personenbezogener Daten (PDPL), herausgegeben von der Saudischen Behörde für Daten und künstliche Intelligenz (SDAIA), verlangen dasselbe in anderen Worten: klare menschliche Aufsicht, Erklärbarkeit und festgelegte Verantwortlichkeit für automatisierte Entscheidungen. Was Sie heute zur Vorbereitung tun, ist nicht vergeblich.

Und was sich nicht ändert

Diese Zusagen sollten nicht größer gelesen werden, als sie sind. Sie sind vollständig freiwillig, ohne verbindlichen Prüfmechanismus und ohne angekündigten Zeitplan. Die Konkurrenz durch Open-Weight-Modelle aus China unterliegt nichts davon und wird die Preise weiter nach unten und die Fähigkeiten weiter nach oben treiben. Und Amodeis Essay ist ein Vorschlag, keine Regulierung. Die praktische Botschaft lautet nicht, dass KI aufhören wird, besser zu werden — sondern dass die Schicht, die ein leistungsstarkes Modell von Ihrem Unternehmen trennt, nämlich Governance, Tests und Aufsicht, offiziell vom Luxus zum Bestandteil des Produkts geworden ist.

Bei Origami bauen wir KI-Systeme für Unternehmen vom ersten Tag an genau nach dieser Logik: Freigabestufen bei unumkehrbaren Aktionen, ein vollständiges Prüfprotokoll und eine saubere Übergabe an einen Menschen, wenn das Gespräch den Zuständigkeitsbereich des Systems verlässt. Nicht weil eine Aufsichtsbehörde es verlangt hat, sondern weil genau das den Unterschied macht zwischen einem Werkzeug, dem Sie vor Ihrem Kunden vertrauen, und einem, das Sie nervös beobachten.

Quellen

  • Volltext von Dario Amodeis "We Must Pace the Frontier", 12. September 2026: darioamodei.com
  • Berichterstattung von TechCrunch über den Plan, die Verpflichtung von Anthropic und die Reaktion von Sam Altman: techcrunch.com
  • Berichterstattung von CNBC über den Entwurf des KI-Verhaltenskodex von Microsoft: cnbc.com
  • Saudische Behörde für Daten und künstliche Intelligenz (SDAIA) — KI-Ethikgrundsätze und Gesetz zum Schutz personenbezogener Daten: sdaia.gov.sa