Ein User-Agent ist eine Behauptung: das Bot-Kompendium

Wenn heute etwas auf einer Website liest, ist es zunehmend kein Mensch. Die Debatte darüber dreht sich fast immer um eine einzige Frage, nämlich ob man diese Zugriffe zulassen soll. Das ist die falsche erste Frage. Die richtige lautet: Wer ist das überhaupt, und was tut er mit dem, was er liest?

Auf diese Frage gibt es eine Antwort, und sie ist unbequemer, als die meisten Übersichten zugeben.

Warum KI-Firmen überhaupt crawlen

Es gibt nicht einen Grund, es gibt sechs, und sie unterscheiden sich für dich fundamental.

Ein Trainings-Crawler sammelt Inhalte, aus denen später ein Modell entsteht. Er bringt dir keinen Besucher und keine Nennung, sondern bestenfalls, dass ein Modell in einem Jahr weiß, dass es deine Marke gibt. Ein Such-Index-Bot baut den Index, aus dem eine KI-Antwort zitiert. Ohne ihn wirst du nicht zitiert, egal wie gut deine Seite ist. Ein Live-Abruf holt deine Seite in dem Moment, in dem ein Mensch eine Frage gestellt hat und auf die Antwort wartet.

Dazu kommen drei jüngere: ein Agent, der im Auftrag eines Nutzers klickt und Formulare ausfüllt, ein Archiv wie Common Crawl, aus dem Dritte ihre Trainingsdaten beziehen, und Agent-Infrastruktur, die im Auftrag vieler KI-Anwendungen gleichzeitig crawlt.

Der Unterschied ist keine Taxonomie-Spielerei. Er entscheidet, was eine Sperre kostet. Wer den Live-Abruf sperrt, sperrt faktisch einen Menschen aus, der gerade eine Frage stellt. Wer den Such-Index-Bot sperrt, streicht sich aus den Antworten. Wer den Trainings-Crawler sperrt, verliert nichts Messbares und gewinnt Kontrolle. Drei Klassen, drei völlig verschiedene Entscheidungen, und in fast jeder robots.txt, die wir sehen, werden sie über einen Kamm geschoren.

Ein User-Agent ist eine Behauptung, kein Ausweis

Hier liegt der Punkt, an dem die meisten Bot-Listen im Netz aufhören und an dem es eigentlich erst interessant wird.

Jeder Bot nennt sich selbst im User-Agent-Header. Daran erkennt man ihn, und das ist praktisch: Auch ein Bot, der morgen zum ersten Mal auftaucht, steht damit sofort in den Daten. Nur kann diesen Header jeder schreiben, der einen HTTP-Aufruf absetzen kann. Ein GPTBot in der Kopfzeile ist ein Name, den sich der Absender selbst gegeben hat.

Deshalb gibt es eine zweite Stufe. Wo ein Anbieter einen Prüfweg veröffentlicht, lässt sich der Abruf gegen etwas halten, das der Absender nicht kontrolliert: gegen eine Liste von Adressbereichen, die der Anbieter selbst publiziert, oder über Rückwärts-DNS mit Vorwärtsbestätigung, bei dem der Name zur Adresse dem Anbieter gehören und wieder auf dieselbe Adresse zeigen muss.

Und hier wird es ehrlich: Nicht jeder Anbieter gibt einem diesen Weg. Von den 16 Anbietern in unserem Katalog haben elf einen dokumentierten Prüfweg, sechs über veröffentlichte Adresslisten und fünf über Rückwärts-DNS. Bei fünf geht es nicht, und die Gründe unterscheiden sich stark.

Update vom 19. August 2026. Hier stand ursprünglich, elf Anbieter seien überprüfbar. Das beschreibt, was die Anbieter veröffentlichen, und liest sich an dieser Stelle wie eine Aussage darüber, was wir tun. Beides ist nicht dasselbe. Wir gleichen heute sieben Anbieter bei jedem Abruf tatsächlich ab, vier über Adresslisten und drei über Rückwärts-DNS. Für Mistral, DuckDuckGo, You.com und Huawei ist ein Weg veröffentlicht, den wir noch nicht angeschlossen haben.

Aufgefallen ist uns das erst, als wir den Katalog gegen den Code gehalten haben, der die Prüfung ausführt. Bis dahin führte die Katalog-Seite diese vier als laufend abgeglichen. Sie trennt beides jetzt sichtbar. Dieser Absatz bleibt stehen, weil eine stille Korrektur an einer Zahl schlechter wäre als der Hinweis, dass sie falsch war.

Meta veröffentlicht keine Datei, sondern verweist auf eine Netzkennung, die nur über ein Protokoll abfragbar ist, das ein Cloudflare-Worker nicht sprechen kann. Amazon hat keinen maschinenlesbaren Endpunkt: Die Liste steht als Codeblock in einer HTML-Seite, ohne CIDR-Angaben. Bei ByteDance, Cohere und xAI findet sich keine belastbare Primärquelle; Cohere gibt sogar an, derzeit gar keinen Trainings-Crawler zu betreiben.

„Nicht prüfbar" heißt dabei ausdrücklich nicht „unsichtbar". Wir sehen diese Bots, wir zählen sie, wir ordnen sie dem Anbieter zu, den ihr User-Agent nennt. Was fehlt, ist der Nachweis, und den schuldet der Anbieter, nicht der Bot.

Eine Entscheidung, die wir gegen den ersten Impuls getroffen haben

Google veröffentlicht seit 2026 eine Adressliste. Wir nutzen sie nicht, und der Grund ist lehrreich genug, um ihn hier auszubreiten.

Die Liste deckt nur die nutzergetriggerten Agenten ab, nicht Googlebot und nicht Google-Extended. Sobald für einen Anbieter überhaupt eine Liste hinterlegt ist, läuft der Abgleich gegen diese Liste vor dem Rückwärts-DNS. Ein regulärer Googlebot-Abruf würde dann gegen eine Liste geprüft, in der er nichts zu suchen hat, und als Fälschung enden.

Ein falsches „nicht bestanden" ist teurer als ein fehlendes „bestanden". Das eine unterstellt einer echten Anfrage eine Täuschung, das andere sagt nur, dass wir es nicht wissen. Google bleibt deshalb beim Rückwärts-DNS, das alle Google-Crawler abdeckt. Die Adressliste wird erst nutzbar, wenn die Prüfung je Bot-Kennung statt je Anbieter auflöst, und das ist ein Umbau und kein Eintrag.

Wer eine Bot-Erkennung baut, wird solche Abwägungen mehrfach treffen. Sie gehören offengelegt, weil sie erklären, warum eine Zahl so aussieht, wie sie aussieht.

Was sich gerade verschiebt, gemessen an unseren eigenen Abrufen

Die verbreitete These lautet: Das Trainings-Crawling stagniert, der Live-Abruf wächst. In unseren eigenen Daten ist das zu sehen, aber die Zahlen verdienen den Rahmen, in dem sie stehen.

Zwei gleich lange Fenster, jeweils der Anteil an allen Bot-Abrufen auf unseren Seiten:

chatgpt-user

perplexity-user

Der Anteil der Live-Abrufe hat sich fast verdreifacht. Und die für uns überraschendste Zeile ist die dritte: Der größte Live-Abrufer auf unseren Seiten ist nicht ChatGPT, sondern Perplexity.

Jetzt die Einschränkungen, ohne die diese Tabelle nicht ehrlich wäre. Unsere Reihe beginnt am 7. Juli 2026, das ältere Fenster umfasst nur acht Tage. Betrachtet man stattdessen ganze Monate, sieht chatgpt-user sogar flach aus. Zwei Blickwinkel, zwei Antworten, und fünf Wochen sind keine Zeitreihe. Das ist eine Beobachtung mit Fenster, keine Trendaussage. In drei Monaten ist es vielleicht eine.

Wir schreiben das so ausführlich, weil in diesem Feld gerade sehr viele Prozentzahlen unterwegs sind, deren Erhebungszeitraum niemand nennt.

Der Katalog, und was drin steht

Alle 36 Kennungen mit Anbieter, Klasse, Verifikationsweg und der vollständigen User-Agent-Zeichenkette stehen im öffentlichen Bot-Katalog. Die Zeichenketten dort stammen aus unseren eigenen Abrufen und nicht aus einer fremden Zusammenstellung. Wo eine Kennung uns noch nie besucht hat, steht nichts, statt etwas abzuschreiben.

Verlinkt sind auch die Quellen, gegen die geprüft wird: die Adresslisten der Anbieter als anklickbare Dateien, beim Rückwärts-DNS die erlaubten Hostnamen. Wer nachsehen will, ob wir gegen das Richtige prüfen, muss uns nicht glauben.

Zu den zehn wichtigsten Bots gibt es eine eigene Seite mit Steckbrief, Verifikationsweg, Traffic-Einordnung und einer robots.txt-Empfehlung zum Kopieren:

• GPTBot, OpenAIs Trainingscrawler

• ChatGPT-User, der Live-Abruf hinter der Antwort

• OAI-SearchBot, die Eintrittskarte für Zitate in ChatGPT

• ClaudeBot, Anthropics Trainingscrawler

• PerplexityBot, der Index-Crawler der Antwort-Engine

• Perplexity-User, der Live-Abruf, der robots.txt bewusst ignoriert

• Googlebot, Suche und KI-Übersichten im selben Crawl

• Google-Extended, kein Bot, sondern ein Steuerhebel

• Amazonbot, der Rufus- und Alexa-Traffic

• MistralAI-User, der EU-Anbieter

Was das für deine robots.txt heißt

Vier Sätze, mehr braucht es nicht.

Live-Abruf immer erlauben. Dahinter steht ein Mensch mit einer Frage. Wer hier sperrt, sperrt keinen Roboter aus, sondern einen Interessenten.

Such-Index erlauben. Er ist die Voraussetzung dafür, überhaupt zitiert zu werden.

Training strategisch entscheiden. Kein direkter Nutzen, nur langfristige Markenkenntnis der Modelle. Wichtig dabei: Google-Extended und Applebot-Extended zu sperren kostet ausdrücklich keine Suchsichtbarkeit, das steht so in den Dokumentationen beider Anbieter.

Und die robots.txt ist eine Bitte, keine Sperre. Wer wirklich aussperren will, braucht die Regel in der Firewall dazu. Wer wirklich hereinlassen will, sollte prüfen, dass die Firewall nicht das Gegenteil tut. Der häufigste Fehler in der Praxis ist nicht die falsche robots.txt, sondern eine richtige robots.txt hinter einem Bot-Schutz, der KI-Abrufe mit 403 abweist.

Fehlt ein Bot?

Der Katalog wächst mit dem, was tatsächlich anklopft. Neue Kennungen landen automatisch in der ersten Stufe, sobald sie uns das erste Mal besuchen, und rücken in die zweite, sobald ihr Anbieter einen Prüfweg veröffentlicht.

Wenn in deinen Logs eine Kennung auftaucht, die hier nicht steht: schreib uns. Wir recherchieren sie, nehmen sie auf und sagen dir, was wir gefunden haben, auch wenn die Antwort „nicht prüfbar" lautet.

Stand 12. August 2026, Zahlen zur Prüfung korrigiert am 19. August 2026. 36 Bot-Kennungen von 16 Anbietern, elf davon mit einem dokumentierten Prüfweg. Tatsächlich abgeglichen werden davon sieben: vier über vom Anbieter veröffentlichte Adresslisten, drei über Rückwärts-DNS mit Vorwärtsbestätigung. Ein täglicher Lauf prüft, ob diese Quellen erreichbar bleiben. Die Zahlen zum Abrufverhalten stammen aus unseren eigenen Serverdaten vom 7. Juli bis 11. August 2026.