Definition
KI-Crawler
KI-Crawler sind automatisierte Bots, mit denen KI-Unternehmen Webseiten für das Training und für Live-Antworten lesen. Beispiele sind OpenAIs GPTBot und OAI-SearchBot, PerplexityBot, Google-Extended und ClaudeBot. Blockiert Deine robots.txt oder Firewall sie, kannst Du aus KI-Antworten herausfallen, denn eine Engine kann keine Seite zitieren, die sie nie abgerufen hat.
Was KI-Crawler sind und welche zählen
KI-Crawler sind die Bots, mit denen KI-Systeme Webinhalte abrufen, entweder um Trainingsdaten aufzubauen oder um Seiten live abzurufen, wenn sie eine Frage beantworten. Sie verhalten sich wie klassische Such-Crawler, dienen aber KI-Funktionen. Stand 2026 gehören zu den wichtigen: OpenAIs GPTBot für allgemeines Crawling und OAI-SearchBot für Zitate und Links in der ChatGPT-Suche, PerplexityBot und Perplexity-User, Google-Extended (eine Steuerung für Gemini und KI-Training, getrennt vom Googlebot) sowie Anthropics ClaudeBot. Jede Engine dokumentiert ihre eigenen User-Agent-Namen, und sie ändern sich, deshalb ist es verlässlich, die offizielle Doku zu prüfen statt einer statischen Liste zu vertrauen. Manche Agenten crawlen im Voraus, andere rufen im Moment der Antwort ab, weshalb der Zugang, nicht nur die frühere Indexierung, entscheidet, ob Du erscheinen kannst.
Warum ein stilles Blockieren Dich Sichtbarkeit kostet
Viele Seiten blockieren KI-Crawler, ohne es zu merken. Ein Sicherheits-Plugin, eine CDN-Bot-Einstellung oder eine kopierte robots.txt-Regel kann GPTBot oder PerplexityBot standardmässig ausschliessen, und die Seite gelangt dann schlicht nie in den Blick der KI. Weil eine Engine keine Seite zitieren oder beschreiben kann, die sie nicht lesen konnte, kann ein gut gemeinter Block Dich aus Antworten entfernen, in denen Deine Mitbewerber weiterhin auftauchen. Das ist einer der häufigsten und unsichtbarsten KI-Sichtbarkeitsfehler, denn auf Deiner eigenen Seite bricht sichtbar nichts. Es gibt eine echte Spannung, die man benennen sollte: KI-Crawler zu blockieren ist auch, wie manche Publisher Inhalte vor dem Training schützen. Das ist eine legitime Wahl, aber sie sollte bewusst sein, pro Agent getroffen, nicht ein Versehen einer Standardeinstellung.
Wie Du prüfst und entscheidest
Beginne damit, Deine eigene robots.txt und alle Bot-Regeln in Deinem CDN oder Deinen Sicherheitstools zu lesen, und entscheide dann pro Crawler, wen Du zulassen willst. Ist Dein Ziel, in der KI-Suche gefunden und zitiert zu werden, lass die Such- und Antwort-Agenten wie OAI-SearchBot und PerplexityBot zu und stelle sicher, dass nichts weiter oben das überschreibt. Willst Du zugleich die Trainingsnutzung begrenzen, kannst Du Antwort-Agenten erlauben und Trainings-Crawler ausschliessen, denn oft sind es getrennte User-Agents. Prüfe es regelmässig neu, denn Namen und Verhalten der Agenten verschieben sich. Laudia prüft, ob eine Seite die KI-Crawler willkommen heisst, die ihr eigenes Scoring erkennt, und markiert einen Block als wertvolle, behebbare Lücke, denn ein versehentliches Disallow ist einer der klarsten Gründe, warum eine Marke in KI-Antworten fehlt.