Welche Bots wir erkennen, und wie wir sie überprüfen
Referenztabelle aller Bots, die wir erkennen: welcher Anbieter, welcher Zweck, welcher Verifikationsweg. Öffentlich zugänglich, ohne Login. Die Tabelle ist Beleg für unsere Methode und gleichzeitig eine Seite, die selbst zitiert werden kann.
- 18Anbieter im Katalog
- 46einzelne Bot-Kennungen
- 7davon laufend überprüft
- 4Weg veröffentlicht, noch nicht angeschlossen
- 7ohne Prüfweg, mit Grund
Erkannt ist nicht verifiziert
- Stufe 1
Erkannt, am User-Agent
Jeder Bot nennt sich im User-Agent-Header. Daran erkennen wir ihn, und auch ein Bot, der morgen zum ersten Mal auftaucht, steht damit sofort in den Daten. Nur: Einen User-Agent kann jeder in einen Header schreiben. Ein erkannter Abruf ist deshalb zunächst eine Behauptung.
- Stufe 2
Verifiziert, über die Absenderadresse
Wo der Anbieter einen Prüfweg veröffentlicht, gleichen wir jeden Abruf dagegen ab: gegen seine Adressliste oder über Rückwärts-DNS mit Vorwärtsbestätigung. Erst dann zählt der Abruf als bestätigt und nicht nur als behauptet.
„Nicht prüfbar" heißt also nicht „unsichtbar". Wir sehen den Bot, wir zählen ihn, wir ordnen ihn dem Anbieter zu, den sein User-Agent nennt. Was fehlt, ist der Nachweis, und den schuldet uns der Anbieter, nicht der Bot. Solche Abrufe führen wir als erkannt und unverifiziert, getrennt von den bestätigten.
Daraus folgt auch, was mit neuen Bots passiert: Sie landen automatisch in Stufe 1, sobald sie das erste Mal anklopfen, und rücken in Stufe 2, sobald ihr Anbieter einen Prüfweg veröffentlicht. Der Katalog wächst also von selbst, die Verifikation nicht.
| Anbieter | Bot und Zweck | Verifikationsweg | Stand |
|---|---|---|---|
| OpenAI |
| Abgleich gegen die vom Anbieter veröffentlichte Adressliste, bei jedem Abruf. Geprüft gegen: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, openai.com/adsbot.json | aktiv |
| Anthropic |
| Abgleich gegen die vom Anbieter veröffentlichte Adressliste, bei jedem Abruf. Geprüft gegen: claude.com/crawling/bots.json | aktiv |
Googlebot zählt bei uns als Suchmaschinen-Crawler und nicht als KI-Abruf. Der Zweck steht auf offen, weil derselbe Crawl die klassische Suche und die KI-Übersichten bedient und am User-Agent nicht zu erkennen ist, wofür er diesmal lief. | Rückwärts-DNS mit Vorwärtsbestätigung: Der Name zur Adresse muss dem Anbieter gehören und wieder auf dieselbe Adresse zeigen. Erlaubte Hostnamen: | aktiv | |
| Perplexity |
| Abgleich gegen die vom Anbieter veröffentlichte Adressliste, bei jedem Abruf. Geprüft gegen: www.perplexity.ai/perplexitybot.json, www.perplexity.ai/perplexity-user.json | aktiv |
| Microsoft |
Copilot-Verweise weisen wir über den Referrer nach, nicht über einen eigenen Bot. | Rückwärts-DNS mit Vorwärtsbestätigung: Der Name zur Adresse muss dem Anbieter gehören und wieder auf dieselbe Adresse zeigen. Erlaubte Hostnamen: | aktiv |
| Meta |
| Kein prüfbarer Weg vorhanden. Meta veröffentlicht keine Datei, sondern verweist auf die Netzkennung AS32934, abzufragen per whois über TCP-Port 43. Ein Cloudflare-Worker spricht nur HTTP. Über einen Dritt-Dienst zu gehen hieße, die Verifikation von jemandem abhängig zu machen, den weder wir noch Meta kontrollieren. | nicht prüfbar |
| Apple |
| Rückwärts-DNS mit Vorwärtsbestätigung: Der Name zur Adresse muss dem Anbieter gehören und wieder auf dieselbe Adresse zeigen. Erlaubte Hostnamen: | aktiv |
| Amazon |
| Kein prüfbarer Weg vorhanden. Es gibt keinen maschinenlesbaren Endpunkt. Die Liste steht nur als Codeblock innerhalb einer HTML-Seite, ohne CIDR-Angaben und mit uneinheitlichen Feldnamen. Sie aus dem Seitenlayout zu kratzen hieße, dass die Prüfung beim nächsten Redesign still ausfällt. | nicht prüfbar |
| Mistral |
| Der Anbieter veroeffentlicht einen Pruefweg, bei uns ist er noch nicht angeschlossen. Abrufe dieses Anbieters fuehren wir deshalb als erkannt und unverifiziert, nicht als bestaetigt. Geprüft gegen: mistral.ai/mistralai-user-ips.json, mistral.ai/mistralai-index-ips.json | nicht prüfbar |
| DuckDuckGo |
| Der Anbieter veroeffentlicht einen Pruefweg, bei uns ist er noch nicht angeschlossen. Abrufe dieses Anbieters fuehren wir deshalb als erkannt und unverifiziert, nicht als bestaetigt. Geprüft gegen: duckduckgo.com/duckassistbot.json | nicht prüfbar |
| You.com |
| Der Anbieter veroeffentlicht einen Pruefweg, bei uns ist er noch nicht angeschlossen. Abrufe dieses Anbieters fuehren wir deshalb als erkannt und unverifiziert, nicht als bestaetigt. Erlaubte Hostnamen: | nicht prüfbar |
| Common Crawl |
Kein Assistent, sondern ein Archiv, aus dem viele Modelle ihre Trainingsdaten beziehen. | Abgleich gegen die vom Anbieter veröffentlichte Adressliste, bei jedem Abruf. Geprüft gegen: index.commoncrawl.org/ccbot.json | aktiv |
| ByteDance |
| Kein prüfbarer Weg vorhanden. Keine belastbare Primärquelle auffindbar. | nicht prüfbar |
| Huawei |
| Der Anbieter veroeffentlicht einen Pruefweg, bei uns ist er noch nicht angeschlossen. Abrufe dieses Anbieters fuehren wir deshalb als erkannt und unverifiziert, nicht als bestaetigt. Erlaubte Hostnamen: | nicht prüfbar |
| xAI |
| Kein prüfbarer Weg vorhanden. Verifikationsweg noch nicht untersucht. | nicht prüfbar |
| Cohere |
| Kein prüfbarer Weg vorhanden. Keine belastbare Primärquelle auffindbar. Cohere gibt an, derzeit keine Trainings-Crawler zu betreiben, und rät von IP-Sperren ab. | nicht prüfbar |
| Baidu |
| Kein prüfbarer Weg vorhanden. Suchmaschinen-Crawler ohne KI-Zweck. Wir führen ihn, damit er nicht unter „unbekannt" verschwindet und damit er in keiner KI-Zahl mitzählt. Einen von Baidu veröffentlichten Prüfweg haben wir nicht gefunden. | nicht prüfbar |
| Yandex |
| Kein prüfbarer Weg vorhanden. Suchmaschinen-Crawler ohne KI-Zweck. Erkannt wird ausdrücklich „yandexbot" und nicht „yandex": der Yandex-BROWSER trägt den Namen ebenfalls im User-Agent, und ein zu weites Muster würde echte Besucher zu Bots erklären. | nicht prüfbar |
| SEO- und Analyse-Werkzeuge |
| Kein prüfbarer Weg vorhanden. Diese Werkzeuge vermitteln keine KI-Antworten. Wir erkennen sie als Bots, ordnen sie aber bewusst keinem Anbieter zu und zählen sie in keiner Reichweiten-Zahl mit. | nicht prüfbar |
„Aktiv" heißt: jeder Abruf wird geprüft, das Ergebnis je Adresse halten wir höchstens sieben Tage im Zwischenspeicher. „Nicht prüfbar" heißt: es gibt keinen Weg, den wir gehen können, und daneben steht warum. Die vollständigen Kennungen darunter sind die, mit denen sich diese Bots bei uns gemeldet haben, beobachtet zwischen 7. Juli und 11. August 2026. Wo nichts steht, hat uns die Kennung noch nie besucht; wir schreiben dann nichts ab.
Warum diese Tabelle offen liegt
Wer Zahlen über KI-Sichtbarkeit veröffentlicht, sollte sagen, wie er zählt. Eine Erkennung, die nur einen User-Agent liest, kann jeder fälschen, der den passenden Text in einen Header schreibt. Deshalb steht hier nicht nur, welche Bots wir kennen, sondern auch, welchem Abruf wir wirklich glauben und welchem nur bis zum Beweis des Gegenteils.
Die Lücken stehen mit drin, und das ist Absicht. Ein Anbieter ohne Prüfweg fehlt hier nicht, er steht mit seiner Begründung da. Eine Tabelle, die nur zeigt, was funktioniert, ist eine Werbeseite.
Warum Google nicht über eine Adressliste geprüft wird
Google veröffentlicht seit 2026 eine Adressliste, allerdings nur für die nutzergetriggerten Agenten, nicht für Googlebot und nicht für Google-Extended. Wir nutzen sie trotzdem nicht, und der Grund gehört auf diese Seite: Sobald für einen Anbieter überhaupt eine Liste hinterlegt ist, läuft bei uns der Abgleich gegen diese Liste vor dem Rückwärts-DNS. Ein regulärer Googlebot-Abruf würde dann gegen eine Liste geprüft, in der er nichts zu suchen hat, und als Fälschung enden.
Ein falsches „nicht bestanden" ist teurer als ein fehlendes „bestanden". Das eine unterstellt einer echten Anfrage eine Täuschung, das andere sagt nur, dass wir es nicht wissen. Deshalb bleibt Google beim Rückwärts-DNS, das alle Google-Crawler abdeckt. Die Adressliste wird erst nutzbar, wenn wir je Bot-Kennung statt je Anbieter auflösen, und das ist ein Umbau und kein Eintrag.
Was wir dabei mit den Adressen machen
Die Prüfung braucht die Absenderadresse, sonst gäbe es nichts zu prüfen. Gespeichert wird sie nicht. Was für höchstens sieben Tage in unserem Zwischenspeicher liegt, ist das Ergebnis der Prüfung unter einem Streuwert (SHA-256) der Adresse, ohne Bezug zu einer Person, einer Sitzung oder einem Kunden.
Und eine Einschränkung, die man sonst selten liest: Ein Streuwert über eine IPv4-Adresse ohne Geheimnis ist keine Anonymisierung. Es gibt nur gut vier Milliarden mögliche Eingaben, die sich der Reihe nach durchprobieren lassen. In unsere Berechnung geht deshalb ein Geheimnis ein, das den Wert für jeden, der es nicht kennt, unauflösbar macht. Ein Pseudonym bleibt es trotzdem, weil wir selbst das Geheimnis haben. Wir nennen es deshalb pseudonymisiert und nicht anonym, auch wenn das schwächer klingt.