Wenn Sie nicht möchten, dass KI-Unternehmen ihre Modelle mit den Inhalten Ihrer Website trainieren, fügen Sie der robots.txt-Datei Ihrer Website zwei Zeilen hinzu: User-Agent: __usage_ai-training und darunter Disallow: /. Am 30. Oktober 2026 haben OpenAI, Google und Microsoft angekündigt, dieses gemeinsame Signal zu beachten: Microsoft beginnt am 1. Februar 2027, Google peilt 2027 an, und OpenAI will es in den kommenden Monaten umsetzen. Das Signal betrifft nur das Training, Ihre Website bleibt also in den Suchergebnissen von Google und Bing. Bis jedes Unternehmen es aktiviert, behalten Sie dessen bestehende Einstellungen bei. Wenn Sie unseren Beitrag über die neuen Bedingungen von Meta, die seinen Bots das Crawlen Ihrer Website erlauben, gelesen haben, ist dies der nächste Schritt.

Was wurde genau angekündigt?

Bisher musste ein Website-Betreiber, der seine Inhalte aus dem Modelltraining heraushalten wollte, den Crawler jedes Unternehmens beim Namen kennen und für jeden eine eigene Regel schreiben: GPTBot für OpenAI, ClaudeBot für Anthropic, Google-Extended für Google und einen neuen Namen für jedes neue Unternehmen. Das neue Signal ersetzt diese Liste durch einen einzigen gemeinsamen Namen. Es stammt aus einem Internet-Draft, der bei der Internet Engineering Task Force (IETF) eingereicht wurde, dem Gremium hinter vielen technischen Standards des Internets, und wurde von Kevin Kelley von Anthropic in der IETF-Arbeitsgruppe für KI-Präferenzen verfasst. Der Entwurf ist auf den 30. Oktober 2026 datiert, läuft am 3. Mai 2027 ab und ist für den Standardisierungsweg vorgesehen. Er ist also noch ein Vorschlag und kein fertiger Standard.

Die Idee ist bewusst einfach. Der Entwurf fügt der robots.txt keine neuen Befehle hinzu. Er nutzt eine gewöhnliche Gruppe, deren User-Agent-Zeile einen besonderen Namen trägt, ein sogenanntes Policy-Token, und die üblichen Allow- und Disallow-Regeln legen dann fest, welche Teile der Website genutzt werden dürfen und welche nicht. Sie können zum Beispiel das Training für die gesamte Website ablehnen, es aber für Ihren Pressebereich erlauben:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Der Entwurf definiert KI-Training als die Nutzung von Inhalten, um die gelernten Parameter eines generativen KI-Modells zu verändern, also eines Modells, das Texte, Bilder oder andere Inhalte erzeugt. Modelle, die nur zum Klassifizieren, Sortieren oder Bewerten dienen, sind nicht erfasst.

Wer wird es beachten, und ab wann?

Unternehmen Was angekündigt wurde Wann Was getrennt bleibt
OpenAI Wird das gemeinsame Signal beachten; die bisherigen Einstellungen gelten weiter «In den kommenden Monaten» GPTBot für das Training, OAI-SearchBot für Suchantworten in ChatGPT
Google Wertet eine Ablehnung über das Token als Disallow für Google-Extended, sofern Google-Extended nicht ausdrücklich festgelegt ist Peilt 2027 an Googlebot für die Google-Suche; Google-Extended für das Gemini-Training und das Grounding
Microsoft Wird das Token beachten und eine separate Präferenz pro Seite namens AI Grounding hinzufügen Ab dem 1. Februar 2027; Einstellungen bis zum 1. März 2027 Die Berechtigung für Bing-Suchergebnisse ändert sich nicht
Anthropic Der Autor des Entwurfs arbeitet dort Kein Datum auf der Hilfeseite ClaudeBot bleibt die dokumentierte Einstellung für das Training

Zwei Details der Ankündigungen sind für jedes Unternehmen mit Website wichtig. Erstens: Microsoft erklärt, dass es die alten Tags NoArchive und NoCache nach dem 1. März 2027 nicht mehr als KI-Präferenzen liest. Wenn Ihre Website darauf setzt, veröffentlichen Sie die neuen Präferenzen vor diesem Datum. Die Übergangseinstellungen für das Grounding öffnen in den Bing Webmaster Tools am 15. Dezember 2026, nur für Websites, die diese Tags bereits nutzen, und laufen am 30. September 2027 ab. Zweitens: Laut Entwurf zählt eine allgemeine Regel für alle Crawler, User-Agent: *, nicht als Trainingspräferenz. Eine pauschale Sperre sagt nicht «kein Training»; das sagt nur das benannte Token.

Training ist nicht dasselbe wie das Erscheinen in Antworten

Diesen Unterschied übersehen die meisten Website-Betreiber. Training bedeutet, dass Ihre Inhalte beim Aufbau eines künftigen Modells helfen. Antworten, bei Microsoft Grounding genannt, bedeuten, dass ein KI-Assistent Ihre Seite in dem Moment liest, in dem ein Kunde eine Frage stellt, und sie mit Link zitiert. Das neue Token betrifft nur das Training. OpenAI hält beides getrennt: GPTBot steht für das Training, während OAI-SearchBot entscheidet, ob Ihre Website in den Suchantworten von ChatGPT erscheinen kann. Microsoft geht weiter und ergänzt eine Grounding-Präferenz, die Seite für Seite gesetzt wird, mit drei Optionen: Allow; DisallowExtended, das die Nutzung auf Microsofts eigene Produkte wie Copilot beschränkt; und Disallow. Microsoft warnt, dass eine Einschränkung des Groundings Ihre Sichtbarkeit in KI-Antworten deutlich verringert und dass keine der beiden Optionen Aufnahme, Traffic oder Vergütung garantiert.

Google ist die Ausnahme, auf die Sie achten sollten. Seine Einstellung Google-Extended deckt sowohl das Training der Gemini-Modelle als auch das Grounding in den Gemini-Apps ab, und Google sagt, dass Websites, die Google-Extended ausdrücklich erlauben, in Antworten der Gemini-Apps erscheinen und Klicks erhalten können. Wenn Sie also über das gemeinsame Token ablehnen, behandelt Google das als Disallow für Google-Extended. Sie bleiben in der Google-Suche, weil Google-Extended dort weder die Aufnahme noch das Ranking beeinflusst, verzichten aber auf das Grounding in den Gemini-Apps. Wenn Ihnen diese Sichtbarkeit wichtig ist, legen Sie Google-Extended ausdrücklich fest. Wie KI-Antworten ihre Quellen auswählen, lesen Sie in So erscheint Ihr Unternehmen in ChatGPT.

Sollte Ihr Unternehmen ablehnen?

Eine einzige richtige Antwort gibt es nicht; es hängt davon ab, was Ihre Website enthält. Ablehnen ist sinnvoll, wenn der Inhalt selbst das Produkt ist: kostenpflichtige Kurse, eigene Studien, detaillierte Preislisten oder Tausende von Produktbeschreibungen, die Ihr Team geschrieben hat. Erlauben kostet wenig, wenn die Website Ihre Leistungen vorstellt und Ihr Firmenname bekannt werden soll. In beiden Fällen sollten Sie die Such- und Antwort-Crawler zulassen, denn sie bringen Ihnen Kunden.

Fünf Schritte für diese Woche

  1. Lesen Sie Ihre aktuelle Datei. Öffnen Sie ihredomain.de/robots.txt im Browser. Suchen Sie nach einem vergessenen User-agent: * mit Disallow: / oder nach einer Regel, die OAI-SearchBot, Googlebot oder Bingbot sperrt.
  2. Entscheiden Sie zwei Dinge getrennt. Training: ja oder nein. Antworten: ja oder nein. Halten Sie die Entscheidung schriftlich fest, damit der nächste Entwickler sie nicht rückgängig macht.
  3. Fügen Sie das gemeinsame Token hinzu und behalten Sie die bisherigen Regeln. Keines der drei Unternehmen beachtet das Token bisher. Behalten Sie daher Ihre Regeln für GPTBot, ClaudeBot und Google-Extended daneben, bis jedes von ihnen es tut. Die Hilfeseite von Anthropic nennt weiterhin ClaudeBot als Weg zur Ablehnung.
  4. Prüfen Sie Ihre Bing-Tags. Wenn Ihre Seiten NoArchive oder NoCache verwenden, planen Sie den Umstieg auf die neuen Präferenzen vor dem 1. März 2027.
  5. Legen Sie alles Private hinter eine Anmeldung. Die robots.txt ist ein öffentliches, freiwilliges Signal: Der Entwurf erlaubt, dass private Vereinbarungen es übersteuern, und eine Präferenz gilt für das, was nach ihrer Veröffentlichung abgerufen wird, nicht für das, was vorher gesammelt wurde.

Die Sicht von Origami

Jahrelang war die robots.txt eine Datei, an die sich im Unternehmen niemand erinnerte, einmal geschrieben von dem, der die Website gebaut hat. Das ändert sich: Sie entscheidet jetzt, ob Ihre Inhalte KI-Modelle trainieren, ob Ihre Seiten in KI-Antworten erscheinen und bald auch, wie Microsoft jede einzelne Seite behandelt. Ein gemeinsamer Name ist ein echter Fortschritt gegenüber einer Liste von Crawlern, die jeden Monat länger wurde, aber er ersetzt keine Entscheidung. Was wir oft sehen, ist eine Website, bei der niemand weiß, wer die robots.txt zuletzt bearbeitet hat, oder ein Content Delivery Network, das Crawler sperrt, die der Betreiber eigentlich willkommen heißen wollte. Bei Origami bauen wir Websites, Plattformen und individuelle Systeme und behandeln diese Einstellungen als Teil des Projekts, schriftlich festgehalten und geprüft. Wenn Sie Ihre robots.txt, Ihre CDN-Regeln und Ihre Sichtbarkeit in KI-Antworten gemeinsam prüfen lassen möchten, kontaktieren Sie uns.

Quellen