KI-Crawler enttarnt: Die 20 wichtigsten Bots, die 2026 das Web durchsuchen – und wie Sie darauf reagieren
Wer heute Server-Logs analysiert, entdeckt dort eine Spezies von Besuchern, die es vor wenigen Jahren noch gar nicht gab: KI-Crawler. Sie tauchen unter kryptischen Namen wie GPTBot, ClaudeBot oder PerplexityBot auf, hinterlassen keine Klicks im klassischen Sinne und werden trotzdem für immer mehr Websites zu einem strategisch relevanten Faktor. Der Grund ist einfach: KI-Suchsysteme wie ChatGPT, Perplexity oder Gemini generieren mittlerweile spürbaren Traffic, und dieser Traffic wächst rasant. Allein zwischen dem ersten Quartal 2025 und dem ersten Quartal 2026 sind die Besuche über KI-Suche um rund 43 Prozent gestiegen. Wer die zugehörigen Crawler pauschal aussperrt, riskiert, aus einem Kanal zu verschwinden, der klassische Suchmaschinen inzwischen ernsthaft herausfordert.
Das Problem: Nicht jeder Bot tut dasselbe. Manche sammeln Trainingsdaten für zukünftige KI-Modelle, andere bauen einen Suchindex auf, aus dem Antwortmaschinen zitieren, und wieder andere holen in Echtzeit
genau eine Seite ab, weil ein Mensch gerade einen Link angeklickt hat. Wer alle drei Kategorien in einen Topf wirft und per robots.txt blockiert, verliert möglicherweise Sichtbarkeit, ohne überhaupt etwas für den Datenschutz gewonnen zu haben. Dieser Artikel bringt Ordnung ins Bot-Chaos: Wir erklären die drei grundlegenden Crawler-Typen und stellen die 20 wichtigsten KI-Scraper vor, die Sie in Ihren Logs kennen sollten.
Drei Grundtypen von KI-Crawlern
Bevor die einzelnen Bots im Detail vorgestellt werden, lohnt sich ein Blick auf die grundsätzliche Einteilung. Nahezu jeder relevante KI-Crawler lässt sich einer von drei Kategorien zuordnen:
Trainings-Crawler durchsuchen das Web systematisch, um Inhalte für das Training zukünftiger KI-Modelle zu sammeln. Sie liefern der Website im Gegenzug nichts zurück – kein Zitat, kein Klick, keine unmittelbare Sichtbarkeit. Zu dieser Gruppe zählen etwa GPTBot, ClaudeBot, Google-Extended oder Bytespider.
Such- und Index-Crawler bauen den Index auf, aus dem KI-Antwortsysteme später zitieren. Wer diese Bots blockiert, verhindert im Grunde dasselbe wie jemand, der 2010 den Googlebot ausgesperrt hätte: Die eigenen Inhalte können schlicht nicht mehr gefunden und referenziert werden. Beispiele sind OAI-SearchBot, PerplexityBot oder Claude-SearchBot.
Nutzergetriebene Abrufbots werden in Echtzeit aktiv, wenn ein Mensch in einem KI-Chat einen Link teilt oder nach aktuellen Informationen zu einer bestimmten Seite fragt. Sie verhalten sich am ehesten wie ein klassischer menschlicher Besuch und werden oft nicht als reguläre Crawler wahrgenommen. Dazu gehören ChatGPT-User, Claude-User und Perplexity-User.
Mit diesem Raster im Kopf lassen sich die folgenden 20 Bots deutlich leichter einordnen.
Die 20 wichtigsten KI-Crawler im Überblick
OpenAI: die drei Gesichter von ChatGPT
1. GPTBot ist OpenAIs zentraler Trainings-Crawler. Er lädt Webinhalte herunter, die potenziell in zukünftige Modellgenerationen einfließen. Wer nicht möchte, dass eigene Inhalte im Training landen, blockiert GPTBot gezielt per robots.txt – die Sichtbarkeit in ChatGPT-Suchergebnissen bleibt davon unberührt, da dafür ein anderer Bot zuständig ist.
2. OAI-SearchBot ist genau dieser andere Bot: Er indexiert Seiten, damit ChatGPT sie in Suchantworten zitieren und verlinken kann. Wer in ChatGPT gefunden werden möchte, sollte diesen Crawler ausdrücklich zulassen.
3. ChatGPT-User ist kein klassischer Crawler, sondern ein Abrufagent. Er wird nur aktiv, wenn ein Mensch in ChatGPT einen Link anklickt oder nach einer aktuellen Information fragt, die eine Live-Abfrage der Seite erfordert. Diesen Bot mit GPTBot gleichzusetzen und pauschal zu sperren, ist einer der häufigsten Fehler in der Praxis.
Anthropic: das Claude-Trio
4. ClaudeBot ist Anthropics aktueller, breit angelegter Trainings-Crawler, der Inhalte für das Training der Claude-Modelle sammelt. Ältere Vorgänger wie Claude-Web und anthropic-ai wurden inzwischen offiziell abgelöst, tauchen in älteren robots.txt-Anleitungen aber teilweise noch auf.
5. Claude-SearchBot übernimmt für Claude dieselbe Rolle wie OAI-SearchBot für ChatGPT: Er baut den Index auf, aus dem Claudes Websuche zitiert.
6. Claude-User ist das Pendant zu ChatGPT-User – ein Echtzeit-Abrufbot, der eine einzelne Seite lädt, sobald ein Mensch innerhalb von Claude danach fragt oder einen Link teilt.
Google: Trainings-Opt-out statt eigener Crawler
7. Google-Extended ist technisch gesehen kein eigenständiger Crawler, sondern ein zusätzliches Token, mit dem Website-Betreiber steuern können, ob ihre Inhalte für das Training von Gemini und für KI-Overviews verwendet werden dürfen. Eine Sperrung wirkt sich nicht auf die klassische Google-Suche aus, da dafür weiterhin der reguläre Googlebot zuständig bleibt.
8. GoogleOther wird von Google für interne Forschungs- und Produktzwecke außerhalb der klassischen Suche und Werbung eingesetzt und taucht zunehmend im Kontext von KI-Experimenten auf.
Perplexity: Antwortmaschine mit Quellenangabe
9. PerplexityBot indexiert Webseiten, damit Perplexity sie als zitierte Quelle in seinen KI-generierten Antworten anzeigen kann – meist inklusive direktem Link zurück zur Originalseite.
10. Perplexity-User ist der zugehörige Echtzeit-Abrufbot, der aktiv wird, wenn eine Nutzeranfrage eine aktuelle Live-Version einer bestimmten Seite benötigt.
Meta: Llama und Meta AI im Hintergrund
11. Meta-ExternalAgent ist Metas Trainings-Crawler für Llama und die Meta-AI-Produkte. Da die Reichweite von Meta AI derzeit vor allem innerhalb der Meta-eigenen Apps liegt, ist der direkte Sichtbarkeitseffekt für die meisten externen Websites noch überschaubar – dürfte aber wachsen.
12. Meta-ExternalFetcher ist der nutzergetriebene Gegenpart dazu und ruft einzelne Seiten in Echtzeit ab, ähnlich wie ChatGPT-User oder Claude-User.
Apple: KI-Training mit Extra-Schalter
13. Applebot ist Apples etablierter Crawler, der unter anderem Spotlight- und Siri-Suchfunktionen mit Daten versorgt.
14. Applebot-Extended wurde zusätzlich eingeführt, um Website-Betreibern eine separate Kontrolle darüber zu geben, ob ihre Inhalte für das Training von Apple-KI-Modellen (etwa Apple Intelligence) genutzt werden dürfen. Wer nur Applebot-Extended blockiert, bleibt weiterhin in Spotlight und Siri sichtbar, verweigert aber die Nutzung für das Modelltraining.
Amazon: Alexa und KI-Shopping
15. Amazonbot wird unter anderem für Alexa-Antworten sowie generative Such- und Shopping-Funktionen bei Amazon eingesetzt. Amazon selbst betont, dass die Daten in erster Linie Alexa beim Beantworten von Fragen unterstützen, weniger dem breiten LLM-Training dienen.
ByteDance: der unbequeme Gast
16. Bytespider gehört ByteDance, dem chinesischen Mutterkonzern von TikTok, und sammelt mutmaßlich Trainingsdaten für hauseigene Sprachmodelle wie Doubao. Bytespider ist in der Branche berüchtigt dafür, robots.txt-Anweisungen nicht zuverlässig zu respektieren und mit ungewöhnlich hoher Frequenz zu crawlen. Viele Betreiber setzen deshalb zusätzlich auf Blockaden auf Netzwerk- beziehungsweise Firewall-Ebene, statt sich allein auf robots.txt zu verlassen.
Common Crawl: die unsichtbare Basis vieler Modelle
17. CCBot ist der Crawler der gemeinnützigen Organisation Common Crawl, die seit Jahren ein frei zugängliches Web-Archiv für Forschung und Analyse aufbaut. Der eigentliche Clou: Dieser Datensatz fließt indirekt in das Training zahlreicher Sprachmodelle ein, auch solcher, deren Betreiber die eigene Website nie direkt besucht haben. Wer CCBot blockiert, entzieht sich damit potenziell einem ganzen Ökosystem nachgelagerter KI-Trainingsprozesse.
Cohere und Diffbot: die stillen Spezialisten
18. cohere-ai ist der Web-Crawler des kanadischen KI-Anbieters Cohere und wird vor allem für Retrieval-Augmented-Generation-Anwendungen eingesetzt, bei denen aktuelle Webinhalte in Echtzeit in Modellantworten einfließen.
19. Diffbot tritt zwar nicht als klassischer KI-Modellanbieter auf, spielt aber eine wichtige Rolle als Infrastruktur-Dienstleister: Der Crawler extrahiert strukturierte Daten aus Webseiten und speist damit zahlreiche Retrieval-Pipelines von Unternehmens-KI-Anwendungen, die im Hintergrund arbeiten.
Der Rest des Feldes: Mistral und Co.
20. Mistral-bezogene Crawler (in Logs teils als MistralAI-User oder ähnlich sichtbar) tauchen seit dem Ausbau der Websuchfunktionen des französischen KI-Anbieters Mistral zunehmend auf, bislang allerdings mit vergleichsweise unregelmäßiger Aktivität. Daneben etablieren sich laufend weitere Nischenbots wie AI2Bot, PanguBot (Huawei), ChatGLM-Spider (Zhipu AI) oder YouBot (You.com) – ein Hinweis darauf, dass die Liste relevanter KI-Crawler eher wächst als schrumpft.
Die Krux: Nicht alle Bots halten sich an die Regeln
Ein wichtiger Vorbehalt gilt für die gesamte Liste: robots.txt ist eine freiwillige Konvention, keine technische Zugriffssperre. Seriöse Anbieter wie OpenAI, Anthropic oder Google halten sich in aller Regel daran, einzelne Crawler wie Bytespider haben dagegen einen dokumentierten Ruf, Anweisungen zu ignorieren oder mit sehr hoher Frequenz zu crawlen. Zudem lässt sich der User-Agent-String beliebig fälschen – ein Scraper, der vorgibt, GPTBot zu sein, kann in Wahrheit ein Wettbewerber sein, der Preise ausliest. Wer wirklich sichergehen will, sollte die Herkunfts-IP gegen die von den Anbietern veröffentlichten IP-Bereiche prüfen oder ein Reverse-DNS-Lookup durchführen, bei dem der PTR-Eintrag der anfragenden IP zurück auf eine offizielle Domain des jeweiligen Anbieters zeigen muss.
Praktische robots.txt-Strategie
Für die meisten Websites ergibt eine differenzierte Strategie mehr Sinn als ein pauschales Alles-oder-nichts. Ein möglicher Ansatz:
# OpenAI
User-agent: GPTBot
Disallow: / # Training deaktivieren
User-agent: OAI-SearchBot
Allow: / # Sichtbarkeit in ChatGPT-Suche erhalten
User-agent: ChatGPT-User
Allow: /
# Anthropic
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Google
User-agent: Google-Extended
Disallow: / # Gemini-Training deaktivieren, Google-Suche bleibt unberührt
# Perplexity
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
# Apple
User-agent: Applebot-Extended
Disallow: / # Apple-Intelligence-Training deaktivieren, Siri/Spotlight bleiben aktiv
# Aggressive oder schwer kontrollierbare Bots
User-agent: Bytespider
Disallow: /
Diese Vorlage ist bewusst als Ausgangspunkt gedacht: Ob Training erlaubt oder verboten wird, ist letztlich eine geschäftliche Entscheidung, die von Branche, Wettbewerbssituation und der eigenen Haltung zu KI-generierten Inhalten abhängt. Wichtig ist vor allem, Such- und Abrufbots nicht versehentlich mitzublockieren, wenn eigentlich nur das Training unterbunden werden soll.
Fazit
Die Zeiten, in denen ein Blick auf Googlebot in den Server-Logs ausreichte, sind vorbei. Wer heute verstehen will, wie die eigenen Inhalte in der KI-getriebenen Informationslandschaft behandelt werden, muss mindestens die 20 hier vorgestellten Crawler kennen – und vor allem wissen, in welche der drei Kategorien sie fallen. Die gute Nachricht: Mit einer sauber differenzierten robots.txt-Strategie lässt sich gezielt steuern, wer Inhalte fürs Training nutzen darf und wer sie in Suchantworten zitieren soll, ohne dass man auf die eine oder andere Option ganz verzichten muss. Da neue Bots und Namensänderungen praktisch monatlich auftauchen, lohnt sich ein regelmäßiger – idealerweise vierteljährlicher – Blick auf die eigene Crawler-Konfiguration.
