Jemand benutzt die Namen der KI-Crawler

Es gibt eine bequeme Art, über KI-Crawler zu reden, und sie besteht darin, Listen zu lesen. Welcher Anbieter crawlt, wen sollte man sperren, welcher Bot ist wie höflich. Solche Listen sind nützlich, unsere eigene gehört dazu, und sie haben alle denselben blinden Fleck: Sie beschreiben, was Anbieter über sich selbst sagen.

Wir haben in den vergangenen Tagen drei Dinge gefunden, die man in keiner Liste findet, weil sie erst im eigenen Protokoll sichtbar werden. Jeder einzelne hat eine Annahme von uns gekippt.

Erstens: Jemand trägt die Namen

Wir prüfen jeden Bot-Zugriff gegen etwas, das der Absender nicht selbst kontrolliert. Entweder gegen eine Liste von Adressbereichen, die der Anbieter veröffentlicht, oder über Rückwärts-DNS mit Vorwärtsbestätigung. Wer sich GPTBot nennt und aus einem Bereich kommt, den OpenAI veröffentlicht hat, ist mit hoher Wahrscheinlichkeit GPTBot. Wer sich so nennt und woanders herkommt, ist es nicht.

In den Daten stehen 48 Zugriffe, die sich als GPTBot, ClaudeBot und Perplexity ausgeben und dabei etwas tun, was diese Crawler nicht tun: Sie fragen gezielt nach Konfigurationsdateien. Nach Dateien, in denen üblicherweise Zugangsdaten liegen. Nicht nach Inhalten, nicht nach Produktseiten, nicht nach der Sitemap.

Von diesen 48 hat kein einziger die Prüfung bestanden. Das ist die eine Hälfte des Befunds. Die andere gehört dazu, auch wenn sie ihn abschwächt: Bei 21 davon ist die Prüfung tatsächlich durchgefallen, die Adresse gehört also nachweislich nicht dem Anbieter, dessen Namen sie trägt. Die übrigen 27 sind ungeprüft geblieben, weil für sie kein Prüfweg existiert oder die Liste des Anbieters im Moment des Zugriffs nicht erreichbar war.

Wer daraus 48 Fälschungen macht, überzeichnet. Nachgewiesen sind 21, und das ist genug.

Das ist der Punkt, an dem aus einer theoretischen Aussage eine praktische wird. Der Name im User-Agent ist frei wählbar, und offenbar wählt ihn jemand bewusst, weil er gut aussieht. Ein Zugriff, der sich GPTBot nennt, wird von Betreibern eher durchgelassen als einer ohne Namen, und wer in Protokollen nur nach auffälligen Mustern sucht, sieht einen bekannten Crawler.

Was uns daran am meisten beschäftigt hat, ist nicht der Vorgang selbst. Es ist, dass wir ihn nur gefunden haben, weil wir ohnehin prüfen. Ohne die zweite Stufe stünde in unserer Auswertung: OpenAI und Anthropic haben unsere Seiten gelesen. Diese Zahl wäre falsch gewesen, und sie hätte plausibel ausgesehen.

Zweitens: Der größte Leser ist der, den niemand prüfen kann

Der naheliegende nächste Gedanke lautet: Dann lassen wir doch nur noch durch, was die Prüfung besteht. Diesen Gedanken hatten wir auch. Er hat zwei Tage gehalten.

In unserem öffentlichen Bot-Katalog stehen 16 Anbieter, und für elf davon ist ein Prüfweg dokumentiert: sechs veröffentlichen Adressbereiche, fünf pflegen Rückwärts-DNS. Bei fünf gibt es keinen, und die Gründe sind unterschiedlich. Mal fehlt eine Primärquelle, mal steht die Liste nur als Text in einer HTML-Seite, mal betreibt der Anbieter nach eigener Auskunft gar keinen Crawler.

Das ist der dokumentierte Stand. Der tatsächlich geprüfte ist kleiner: Unsere Software prüft heute sieben Anbieter, vier über Adresslisten und drei über Rückwärts-DNS. Für vier weitere ist ein Weg veröffentlicht, bei uns aber nicht angeschlossen.

Diesen Unterschied haben wir beim Schreiben dieses Textes gefunden, und er gehört hierher, weil er dieselbe Sorte Lücke ist wie alles andere hier: Ein dokumentierter Prüfweg ist keine durchgeführte Prüfung. Wir haben den Abstand zwischen beidem nicht bemerkt, weil niemand die eine Liste gegen die andere gehalten hat. Wenn das uns passiert, während wir genau daran arbeiten, ist die Annahme unrealistisch, dass es anderen nicht passiert.

Der wichtigste Fall ist Meta. Meta ist bei uns mit Abstand der größte Leser, und Meta veröffentlicht bewusst keine Adressliste, sondern verweist auf eine Netzkennung, die nur über ein Protokoll abfragbar ist, das ein Cloudflare-Worker nicht sprechen kann.

Wer also die Regel aufstellt „nur verifizierte Bots dürfen lesen", sperrt als Erstes den größten echten Leser aus und lässt die Prüfung genau dort ins Leere laufen, wo sie am meisten zu tun hätte. Die Regel klingt streng und ist in Wahrheit vor allem eines: eine Aussage darüber, welche Anbieter sich die Mühe einer Veröffentlichung machen.

Deshalb unterscheiden wir drei Zustände und nicht zwei. Bestätigt heißt bestätigt. Widerlegt heißt widerlegt. Und der dritte Zustand, ungeprüft, heißt ausdrücklich nicht „vermutlich in Ordnung", sondern: keine Aussage. Er entsteht, wenn ein Anbieter keinen Prüfweg anbietet, aber auch dann, wenn eine Liste gerade nicht erreichbar war. Diese beiden Fälle sehen im Ergebnis gleich aus und bedeuten Verschiedenes, und wer sie zusammenwirft, baut sich eine Sicherheit, die er nicht hat.

Drittens: Die Erkennung hängt an der Höflichkeit des Anbieters

Der dritte Befund ist der unangenehmste, weil er unsere eigene Arbeit betrifft.

Metas am schnellsten wachsender Crawler trägt eine Kennung, die auf den ersten Blick nach einem Browser aussieht. Sein Name endet auf „indexer" und enthält keines der Wörter, nach denen man üblicherweise sucht, also weder Bot noch Crawler noch Spider. Nach den gängigen Mustern wäre er ein Mensch mit einem Browser.

Wir haben ihn trotzdem gefunden, und zwar aus einem Grund, der uns nicht gefällt: Er schickt freiwillig eine Adresse zur Dokumentation mit, und in dieser Adresse kommt das Wort „crawler" vor. Daran hat unsere Erkennung ihn erwischt.

Das heißt im Klartext: Nimmt der Anbieter diese Adresse aus dem Header, ist der Crawler bei uns nicht mehr falsch einsortiert, sondern gar nicht mehr da. Seine Zugriffe würden als menschlicher Verkehr durchlaufen. Wir haben ihn nicht durch Können gefunden, sondern durch seine Höflichkeit.

Man kann daraus zwei Schlüsse ziehen. Der bequeme lautet: Muster nachschärfen. Das haben wir getan, und es hilft für diesen einen Fall. Der unbequeme lautet: Jede Erkennung, die auf Selbstauskunft beruht, hat genau diese Eigenschaft, und die nächste Kennung, die uns entgeht, wird nicht ankündigen, dass sie uns entgeht.

Was daraus folgt

Cloudflare hat kürzlich vorgeschlagen, Bot-Verkehr nicht danach zu beurteilen, wer da kommt, sondern wie er sich verhält. Nach dem, was wir sehen, ist das die richtige Richtung, und die drei Befunde erklären warum: Der Name ist fälschbar, die Prüfung deckt eine Minderheit ab, und die Erkennung selbst hängt an der Kooperation dessen, den sie erkennen soll.

Für Betreiber heißt das nichts Dramatisches, aber etwas Konkretes.

Wer heute entscheidet, ob er KI-Crawler zulässt, entscheidet auf Basis von Listen, die woanders entstanden sind. Das ist nicht falsch, aber es ist unvollständig, weil in diesen Listen weder steht, wer sich für einen bekannten Crawler ausgibt, noch, welcher Anteil der eigenen Zugriffe überhaupt überprüfbar ist. Beides steht nur im eigenen Protokoll.

Und wer eine Sperre erwägt, sollte wissen, was sie kostet. Ein Trainings-Crawler zu sperren kostet wenig Messbares. Einen Live-Abruf zu sperren heißt, einem Menschen die Antwort zu verweigern, der gerade eine Frage gestellt hat. Diese Unterscheidung geht in fast jeder robots.txt verloren, die wir sehen.

Was wir mit diesen Zahlen nicht sagen

Wir haben unseren eigenen Verkehr ausgewertet und den einiger Seiten, die wir betreuen. Das ist eine kleine Grundgesamtheit, und sie ist nicht repräsentativ für das Netz. Die Größenordnungen, die wir hier nennen, sind unsere, nicht die der Branche.

Bei den 48 auffälligen Zugriffen kommt etwas hinzu, das man bei einer so kleinen Zahl sagen muss: Sie kann von einem einzigen Absender stammen, der es oft versucht, genauso gut wie von vielen. Wir wissen nicht, welches von beidem zutrifft, und wer aus 48 Zugriffen eine Welle macht, macht mehr daraus, als drinsteht.

Was daraus trotzdem folgt, ist keine Statistik, sondern eine Methode: Die drei Befunde sind nicht deshalb entstanden, weil unsere Seiten besonders sind, sondern weil wir hingesehen haben. Wer in seinen eigenen Daten nachsieht, findet mit einiger Wahrscheinlichkeit die gleichen drei Sorten von Überraschung, und zwar in beliebiger Reihenfolge.

Der Satz, mit dem wir vor sechs Wochen angefangen haben, gilt weiter, und er hat inzwischen Belege. Ein User-Agent ist eine Behauptung. Neu ist nur, dass wir jetzt wissen, wer sie ausspricht, ohne dazu berechtigt zu sein.