DEEN
Zurück zum Bot-Katalog

ClaudeBot: Anthropics Trainingscrawler mit dem höchsten Aufwand-Ertrag-Verhältnis

Anthropic · Verifikation läuft

Steckbrief

  • Betreiber: Anthropic · Herkunft: USA

  • Klasse: Training

  • robots.txt-Token: ClaudeBot

  • Produkt: Trainingsdaten für die Claude-Modellfamilie

  • Prüfweg: JSON-IP-Liste unter claude.com/crawling/bots.json (neu 2026)

  • Verifizierbar: Ja, seit 2026 mit publizierter IP-Liste (Anthropic)

User-Agent

Anthropic dokumentiert das Token ClaudeBot in seiner Support-Doku (Anthropic), veröffentlicht aber keinen vollständigen UA-String. In der Praxis erscheint der Bot im Log als ClaudeBot-Kennung; ein maßgeblicher Beispielstring liegt aus der offiziellen Doku nicht vor.

Was ClaudeBot tut

ClaudeBot sammelt Inhalte für das Training zukünftiger Claude-Modelle. Er baut keinen durchsuchbaren Index auf, die Antworten mit klickbaren Quellen in Claude bezieht der Assistent aus einer separaten Websuche mit anderem Bot (Anthropic).

So verifizierst du ihn

Anthropic hat 2026 eine vollständige IP-Liste veröffentlicht: claude.com/crawling/bots.json. Sie deckt alle Anthropic-Crawler ab (ClaudeBot, Claude-SearchBot, Claude-User). Bis dahin bemängelte Cloudflare ausdrücklich, dass Anthropic ohne Verifikationsweg leichter zu spoofen sei (Cloudflare), dieses Problem ist mit der bots.json-Datei adressiert.

Der Bot respektiert außerdem Crawl-delay in der robots.txt, eine der wenigen KI-Crawler, die diese Direktive umsetzen (Anthropic).

Was ClaudeBot dir bringt

  • Volumen: Sehr hoch. Anteil am KI-only-Crawl-Traffic von 15 % (Juli 2024) auf 23,3 % (Juli 2025) (Cloudflare)

  • Nutzen: Praktisch keiner, das schlechteste Aufwand-Ertrag-Verhältnis aller großen Anbieter über weite Strecken: Crawl-to-Refer bis zu 286.930:1 (Januar 2025), im Juli 2025 immer noch 38.065,7:1 (Cloudflare)

  • Referral-Trend: Verbessert sich zwar (−86,7 % ggü. Januar 2025), bleibt aber in absoluten Zahlen weit hinter Google, Microsoft und OpenAI zurück (Cloudflare)

  • Hinweis: Cloudflare weist darauf hin, dass Traffic aus nativen Apps (auch der Claude-App) keinen Referer-Header trägt und die Ratios daher tendenziell zu hoch ausfallen (Cloudflare Radar)

Empfehlung

Strategisch entscheiden. Der Kosten-Nutzen-Vergleich ist hier deutlich ungünstiger als bei den meisten anderen Bots:

  • Erlauben, wenn ihr wollt, dass Claude euer Fachvokabular kennt. Claude ist der Assistent von Wahl in vielen Entwickler- und Wissensarbeitskreisen. Blockieren kostet euch potenzielle Awareness in dieser Zielgruppe.

  • Blockieren, wenn ihr die enormen Crawl-Volumina nicht rechtfertigen könnt. Anthropic respektiert Crawl-delay, aber selbst mit Delay bleibt der Aufwand hoch.

robots.txt zum Kopieren:

# ClaudeBot komplett blockieren
User-agent: ClaudeBot
Disallow: /

# Zitierbarkeit in Claude-Chats erhalten
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /

Oder mit reduzierter Frequenz statt Block:

User-agent: ClaudeBot
Crawl-delay: 60
Allow: /

Verwandte Bots

  • Claude-User, Live-Abruf im Chat

  • Claude-SearchBot, der Bot, der die Zitate in Claude ermöglicht

  • GPTBot, die OpenAI-Entsprechung, deutlich anderes Anfrageprofil

Stand & Changelog

Stand: 12. August 2026

  • Mai 2026: Erstmalige Veröffentlichung der IP-Liste claude.com/crawling/bots.json

  • Juli 2025: Anteil am KI-Crawl-Traffic bei 23,3 % (zweithöchster nach GPTBot)

  • Jan 2025: Höchstwert Crawl-to-Refer 286.930:1