Zwei Welten: Warum das alte Bot-Modell nicht mehr reicht

Das alte mentale Modell funktioniert nicht mehr

Für viele Jahre war die Antwort auf die Frage “Welche Bots sollen auf meine Website?” einfach: Google erlauben, Bing erlauben, den Rest sorgfältig prüfen oder pauschal blockieren. Dieses Modell hatte eine klare Logik. Suchmaschinen-Bots liefern Traffic zurück. Alles andere kostet Bandbreite, ohne Gegenwert.

Diese Logik ist nicht falsch – sie ist nur unvollständig geworden.

Seit 2023 gibt es eine neue Kategorie von Crawlern: KI-Bots. GPTBot von OpenAI, ClaudeBot von Anthropic, PerplexityBot, Bingbot mit AI-Funktion. Sie crawlen das Web, aber nicht, um Suchergebnisse zu befüllen. Sie folgen einer fundamental anderen Logik – mit anderen Zielen, anderen Implikationen und anderen Erfolgsmetriken.

Wer das nicht trennt, optimiert für eine Welt, die es so nicht mehr gibt.

Zwei Crawler-Typen im Vergleich

Der schnellste Weg, den Unterschied zu verstehen, ist ein direkter Vergleich der wichtigsten Bots:

Bot	Betreiber	Ziel	Ergebnis für Nutzer	Traffic zurück?
Googlebot	Google	Suchindex befüllen	Liste von Links	Ja – Klicks
Bingbot	Microsoft	Suchindex befüllen	Liste von Links	Ja – Klicks
GPTBot	OpenAI	KI-Training	Besseres Modell	Nein
OAI-SearchBot	OpenAI	ChatGPT Browse	Direkte Antwort	Selten – Zitation
ClaudeBot	Anthropic	KI-Training + Claude.ai	Besseres Modell	Nein
PerplexityBot	Perplexity	Echtzeit-Antworten	Direkte Antwort mit Quellen	Selten – Zitation
Google-Extended	Google	Gemini Training	Besseres Modell	Nein
Applebot-Extended	Apple	Apple Intelligence	Apple-Produkte	Nein

Die Tabelle zeigt das grundlegende Problem: Nur Googlebot und Bingbot liefern Traffic im klassischen Sinne zurück. Alle anderen KI-Bots verarbeiten Inhalte, ohne dass Nutzer auf eine Seite weitergeleitet werden – oder nur selten, als Zitation.

Klassische Bots: Der bekannte Kreislauf

Googlebot, Bingbot, und verwandte Crawler folgen einer bekannten Schleife: Sie crawlen Inhalte, übergeben sie an den Index, und die Suchmaschine entscheidet, für welche Suchanfragen welche Seiten erscheinen. Wenn ein Nutzer googelt, bekommt er eine Liste von Links. Er klickt auf einen Link. Traffic fließt zurück.

Das ist das Grundprinzip, das seit 25 Jahren funktioniert. Seiten, die Googlebot zugelassen haben und gut optimiert sind, erhalten Besucher.

Googles AI Overviews (früher SGE) und ähnliche Formate verwischen die Grenzen etwas – KI-generierte Zusammenfassungen erscheinen direkt in der Suchergebnisseite, ohne dass Nutzer klicken müssen. Studien zeigen, dass Suchanfragen mit AI Overviews bis zu 34% weniger Klicks generieren als klassische Ergebnisse. Das klassische Modell erodiert – aber es gilt noch.

Dieses System bleibt Pflichtprogramm. Wer Googlebot blockiert, verschwindet aus den Suchergebnissen.

KI-Bots: Eine andere Logik

GPTBot, ClaudeBot, PerplexityBot und ähnliche Crawler haben ein anderes Ziel. Sie crawlen das Web für zwei Zwecke:

Trainingsdaten. Inhalte werden gesammelt, um Sprachmodelle zu trainieren oder weiterzuentwickeln. Dabei geht es um Sprachqualität, thematische Breite, Faktendichte. GPTBot und ClaudeBot fallen hauptsächlich in diese Kategorie. Sie saugen Inhalte auf – und geben nichts direkt zurück.

Antwortgenerierung. Einige Systeme – besonders Perplexity und die Browse-Funktionen von ChatGPT und Claude – crawlen aktiv, um aktuelle Antworten zu generieren. Nutzer stellen eine Frage, das System durchsucht das Web in Echtzeit und synthetisiert eine Antwort. Dabei werden Quellen zitiert – aber Nutzer klicken selten.

Wie KI-Bots crawlen – und was sie suchen

Klassische Suchmaschinen-Bots crawlen breit und tief: alle Seiten, alle Unterseiten, alle verlinkten Ressourcen. Ziel ist Vollständigkeit für den Index.

KI-Bots crawlen anders. Sie bevorzugen:

• Inhaltsdichte Seiten – lange Artikel, Erklärungen, Anleitungen. Seiten mit wenig Text werden schnell wieder verlassen.
• Klare Struktur – Überschriften, Listen, Absätze. Was für Menschen gut lesbar ist, ist für LLMs gut verarbeitbar.
• Faktenreicher Content – Zahlen, Namen, Zusammenhänge. LLMs lernen aus Inhalten, die präzise und verifizierbar sind.
• Autorität und Zitierbarkeit – Inhalte, die selbst zitiert werden, landen eher in Trainingsdaten und werden eher als Quelle verwendet.

Das hat eine direkte Konsequenz: Oberflächliche SEO-Texte, die für Keywords optimiert aber inhaltlich dünn sind, sind für KI-Bots wertlos. Hochwertige, tiefe Inhalte – die im klassischen SEO nicht immer die höchsten Rankings erzielen – sind für LLM-Sichtbarkeit deutlich relevanter.

Der zentrale Unterschied: Transaktion vs. Extraktion

Bei Suchmaschinen ist der Mechanismus transaktional: Inhalte werden indexiert, Nutzer suchen, Traffic fließt. Messung ist einfach: Rankings, Klicks, Impressions.

Bei KI-Bots ist der Mechanismus extraktiv: Inhalte werden verarbeitet, KI-Systeme generieren Antworten, Quellen werden gelegentlich zitiert – oder auch nicht. Nutzer sehen die Antwort, klicken oft keinen Link.

Das bedeutet konkret:

• Eine Seite kann als hochwertige Quelle in ChatGPT zitiert werden, ohne einen einzigen Klick zu generieren
• Eine Seite kann für Millionen Anfragen relevant sein, ohne dass Google Analytics das registriert
• Klassische SEO-Metriken – Rankings, organischer Traffic, Click-through-Rate – erfassen diese Dimension nicht
• Brand-Awareness entsteht durch Zitation, auch ohne messbaren Traffic

Wie man heute messen kann, ob man zitiert wird

Weil es kein natives Tracking gibt, behilft man sich mit manuellen Methoden:

Direkte Befragung von KI-Systemen. Anfragen wie “Was sind die besten Quellen zu [Thema]?” oder “Erkläre [Thema] und nenne Quellen” geben Hinweise. Das ist nicht skalierbar, aber ein erster Orientierungspunkt.

Brand-Monitoring in KI-Outputs. Tools wie Profound oder Otterly beginnen, KI-Antworten auf Markenerwähnungen zu überwachen. Der Markt ist noch jung, aber die Richtung ist klar.

Referrer-Analyse. Perplexity und einige andere KI-Systeme senden teilweise erkennbare Referrer-Header. In Google Analytics oder ähnlichen Tools lässt sich nach perplexity.ai und ähnlichen Domains filtern.

Crawler-Logs. Server-Logs zeigen, welche Bots wann was gecrawlt haben. Das gibt keinen Hinweis auf Zitation, aber auf Interesse.

Kein Ansatz ist vollständig. Der Stand 2026 ist: KI-Sichtbarkeit lässt sich grob beobachten, aber nicht präzise messen. Das wird sich ändern – aber wer jetzt keine Basisdaten aufbaut, hat später keinen Vergleichswert.

Warum beides separat gedacht werden muss

Das Problem mit dem alten mentalen Modell ist nicht, dass es falsch war – es ist, dass es unvollständig ist. Die Frage “Soll ich KI-Bots erlauben?” lässt sich nicht mit demselben Framework beantworten wie “Soll ich Googlebot erlauben?”.

Klassische SEO-Bots brauchen Zugang zu Inhalten, um Traffic zurückzuliefern. Die Strategie ist klar: Zugang gewähren, Inhalte optimieren, Rankings beobachten.

KI-Bots folgen einem anderen Kalkül:

• Wer sie blockiert, schützt seinen Content vor Verarbeitung – verliert aber die Chance, als Quelle zitiert zu werden
• Wer sie pauschal erlaubt, akzeptiert, dass Inhalte verarbeitet werden – erhält dafür möglicherweise Sichtbarkeit in KI-Antworten
• Wer sie selektiv managt, unterscheidet zwischen Trainings-Bots und Antwort-Bots, zwischen verifizierten und unverifizierten Crawlern

Die technische Grundlage für selektives Management ist robots.txt – kombiniert mit dem neueren llms.txt-Format, das speziell für KI-Systeme gedacht ist. Für Astro-Projekte gibt es dafür astro-crawler-policy: ein Build-Zeit-Plugin, das robots.txt und llms.txt aus einer typisierten Konfiguration generiert – mit Presets, einer Bot-Registry und Audit-Warnungen. Mehr dazu in Teil 3 der Serie.

Welche Strategie sinnvoll ist, hängt vom Kontext ab:

• Content-Publisher mit Werbemodell sind stärker bedroht durch Zero-Click – KI-Antworten ersetzen Seitenbesuche, die Einnahmen generieren würden
• B2B-Anbieter mit Experteninhalten profitieren von KI-Sichtbarkeit – Zitationen erzeugen Vertrauen, auch ohne direkten Traffic
• E-Commerce hat wenig von KI-Crawling für Produktseiten – hier bleibt klassisches SEO dominant
• Fachpublikationen und Agenturen mit tiefen, citable Inhalten haben gute Ausgangsbedingungen für LLM-SEO

Was als nächstes kommt

Diese Serie behandelt die wichtigsten Dimensionen des Themas in vier Teilen:

• Teil 2 vergleicht Blockieren, selektiv erlauben und aktiv optimieren – mit konkreten Trade-offs pro Geschäftsmodell
• Teil 3 erklärt die technische Umsetzung: robots.txt, Cloudflare Bot Management und was der Unterschied zwischen Deklaration und Durchsetzung ist
• Teil 4 geht auf LLM-SEO ein: Was Content tun muss, damit er nicht nur gecrawlt, sondern als Quelle zitiert wird

Das Ziel ist nicht eine universelle Antwort – sondern das Framework, mit dem die richtige Antwort für den jeweiligen Kontext ableitbar ist.