DEEN
Zurück zum Bot-Katalog

Googlebot: Der Sonderfall: Suche und AI Overviews im selben Crawl

Google · Verifikation läuft

Steckbrief

  • Betreiber: Google · Herkunft: USA

  • Klasse: Such-Index (speist auch AI Overviews und AI Mode)

  • robots.txt-Token: Googlebot

  • Produkt: Google Search, AI Overviews, AI Mode

  • Prüfweg: JSON-IP-Liste googlebot.json + Reverse-DNS crawl-*.googlebot.com

  • Verifizierbar: Ja, offiziell dokumentiert (Google)

User-Agent

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Zusätzlich Desktop- und Smartphone-Varianten; Details in der Google-Doku.

Was Googlebot tut

Googlebot ist der klassische Suchindex-Crawler, und gleichzeitig der Sonderfall dieses Katalogs. Derselbe Crawl bedient inzwischen sowohl die klassische Google-Suche als auch die AI Overviews und den AI Mode. Am User-Agent lässt sich nicht unterscheiden, wofür Googlebot einen bestimmten Abruf gerade macht (Google).

Die Folge ist folgenreicher, als sie klingt: Wer Googlebot blockiert, um AI Overviews fernzuhalten, verschwindet gleichzeitig aus der Google-Suche. Eine Trennung dieser beiden Rollen gibt es auf Crawler-Ebene nicht. Für das Opt-out speziell aus AI-Anwendungen (Gemini-Apps, Vertex-Grounding) hat Google deshalb ein separates robots.txt-Token eingeführt: Google-Extended.

Googlebot ist einer der wenigen KI-Crawler, die JavaScript rendern, anders als GPTBot oder ClaudeBot (Vercel).

So verifizierst du ihn

Google veröffentlicht die IP-Ranges unter googlebot.json. Zusätzlich lässt sich per Reverse-DNS gegen die Suffixe crawl-*.googlebot.com, geo-crawl-*.geo.googlebot.com, rate-limited-proxy-*.google.com, gae.googleusercontent.com und google-proxy-*.google.com verifizieren (Google).

Was Googlebot dir bringt

  • Bestes Aufwand-Ertrag-Verhältnis aller Plattformen: Crawl-to-Refer nur 5,4:1 (Juli 2025), pro fünf bis sechs Abrufe kommt ein referrierter Besuch (Cloudflare)

  • Marktführerschaft: 39 % Anteil am gesamten AI- und Such-Crawl-Traffic (Juli 2025), mit Abstand dominant (Cloudflare)

  • Referral-Rückgang zu News-Seiten: −9 % (März 2025), −15 % (April), −9 % (Juni), parallel zum Ausbau von AI Overviews und AI Mode (Cloudflare)

Empfehlung

Immer erlauben. Googlebot ist keine Entscheidung mehr, sondern Voraussetzung, für die klassische Suche und für jede Form organischer AI-Sichtbarkeit im Google-Ökosystem.

Wenn ihr die AI-Nutzung eurer Inhalte in Gemini-Apps und Vertex-Grounding steuern wollt, ist das der Punkt für Google-Extended, nicht für einen Googlebot-Block.

robots.txt zum Kopieren:

User-agent: Googlebot
Allow: /

# Wenn ihr die Nutzung in Gemini/Vertex ausschließen wollt:
User-agent: Google-Extended
Disallow: /

Verwandte Bots

  • Google-Extended, das Opt-out speziell für AI-Anwendungen, ohne Suchverlust

  • Google-Agent, der neue agentische Fetcher

  • OAI-SearchBot, bingbot, die konkurrierenden Such-Indexer

Stand & Changelog

Stand: 12. August 2026

  • Aug 2026: IP-Liste und rDNS-Suffixe bestätigt

  • Juli 2025: Crawl-to-Refer bei 5,4:1 (Bestwert aller Plattformen), Anteil 39 %

  • 2024/2025: Ausbau AI Overviews / AI Mode auf denselben Crawl