Bots: Suchmaschinen und KI-Crawler
Echte Suchmaschinen durch Sperren lassen, falsche „Googlebots“ aussperren und KI-Crawler draußen halten.
Echte Suchmaschinen durchlassen
Google, Bing und Apple veröffentlichen, von welchen Adressen ihre Crawler kommen. Mit dieser Einstellung prüft das CDN jeden, der sich als einer davon ausgibt:
- Echt: kommt an Länder-Sperre und „Unter Angriff“ vorbei – Ihre Website bleibt in den Suchergebnissen.
- Gefälscht (nennt sich „Googlebot“, kommt aber von woanders): gesperrt. Das sind meist Scraper.
KI-Crawler sperren
Sperrt Crawler, die Inhalte für das Training von KI-Modellen sammeln oder für KI-Antworten abrufen (z. B. GPTBot, ChatGPT-User, ClaudeBot, CCBot, Bytespider, PerplexityBot). Suchmaschinen wie Google und Bing sind davon nicht betroffen.
robots.txt
Eine
robots.txt bitten Crawler nur, wegzubleiben; die Sperre am CDN setzt es durch – auch für die, die sich nicht daran halten, solange sie sich ehrlich zu erkennen geben.War dieser Artikel hilfreich?
Nicht fündig geworden? Durchsuchen Sie die Übersicht, schauen Sie auf die Statusseite oder schreiben Sie uns – die Kontaktdaten stehen im Impressum.