Der Hoster meldet KI-Bot-Traffic, die Website wird langsam: die sieben Fehler, die Betreiber jetzt machen, und was stattdessen hilft

Die Statistik des Hosters zeigt plötzlich, dass ein großer Teil der Anfragen von KI-Crawlern stammt, und die Website reagiert träger als sonst. Der Reflex ist, alles zu blockieren. Kinsta hat am 24. September 2026 in einem deutschsprachigen Beitrag die sieben Fehler zusammengetragen, die Betreiber in dieser Situation nach Erfahrung des Hosters machen. Die Liste deckt sich mit dem, was ich bei Kundenseiten sehe: Die Zahl allein sagt nichts, und die schnelle Sperre trifft oft die Falschen. Hier die Fehler, und was ich stattdessen empfehle.

Fehler 1 bis 3: Die Zahl als Diagnose, jeden Bot sperren, jeden Anstieg als Angriff werten

Ein hoher Anteil automatisierter Anfragen ist erst einmal nur eine Beobachtung. Laut Kinsta streut die Belastung durch KI-Bots zwischen Websites enorm: Eine kleine Gruppe stark gecrawlter Seiten treibt die Durchschnittswerte nach oben, während viele Seiten kaum betroffen sind. Netzwerkweite Statistiken taugen deshalb nicht als Entscheidung für die eigene Website. Zweitens ist „KI-Bot“ ein Sammelbegriff. OpenAI trennt zwischen GPTBot, der Inhalte für das Training sammelt, und OAI-SearchBot, der Seiten für die Suche in ChatGPT erfasst. Anthropic unterscheidet ähnlich zwischen Trainings-, Such- und Nutzer-Bots. Wer pauschal sperrt, verschwindet unter Umständen aus den KI-Suchergebnissen, die er eigentlich will. Drittens ist ein verifizierter Crawler, der zu oft anfragt, kein Sicherheitsvorfall. Kinstas Technikchef Daniel Pataki fürchtet laut Beitrag die Überreaktion mehr als die Unterreaktion, weil der störende Traffic meist von legitimen, aber ineffizienten Systemen stammt.

Fehler 4 und 5: Aufs Volumen schauen, nicht aufs Ziel, und die Crawl-Falle stehen lassen

Eine Anfrage an einen zwischengespeicherten Blogbeitrag und eine an eine ungecachte WooCommerce-Suchseite zählen beide als eine Anfrage. Die zweite kostet einen PHP-Prozess, Datenbankabfragen und Seitengenerierung. Entscheidend ist also, wohin die Anfragen gehen. Und oft deckt der Bot nur auf, was in der URL-Struktur schon steckt: Abfrageparameter, gefilterte Archive, Kalender, Produktvarianten und Warenkorb-Aktionen erzeugen unendlich viele Adressen, denen ein Crawler brav folgt. Kinsta beschreibt aus der eigenen Infrastruktur Schleifenmuster, die erst eine gezielte Regel gestoppt hat. Wer nur den Crawler sperrt, lässt die Falle für den nächsten stehen.

Fehler 6 und 7: Auf robots.txt vertrauen, fremde Firewall-Regeln kopieren

Ein Eintrag in der robots.txt ist eine Bitte, keine Sperre. Seriöse Crawler halten sich daran, die Anfrage erreicht den Server trotzdem, und wer die Datei ändert, muss den Traffic danach weiter beobachten. Und die Firewall-Regeln einer anderen Website passen selten: Kinsta nennt das Beispiel eines Betreibers mit überwiegend nordamerikanischem Publikum, der andere Kontinente sperrt. Dieselbe Regel auf einem internationalen Shop würde zahlende Kunden aussperren.

Was stattdessen hilft: Diagnose vor Reaktion

1. Eigene Daten ansehen: Welche Bots, welche Pfade, wie viele Anfragen, welche Auswirkung auf Antwortzeit und PHP-Prozesse? Gute Hoster zeigen das aufgeschlüsselt; sonst helfen die Zugriffsprotokolle.
2. Bots nach Zweck sortieren: Suche-Bots zulassen, wenn Sie in KI-Antworten erscheinen wollen; Trainings-Bots nach eigener Entscheidung über robots.txt steuern; unbekannte Bots mit hoher Rate begrenzen.
3. Teure URLs entschärfen: Interne Suche, Filterarchive und Warenkorb-Adressen per robots.txt und Meta-Angaben von der Indexierung ausnehmen, Parameter-URLs kanonisieren, Seiten-Cache prüfen.
4. Erst dann Regeln setzen: Ratenbegrenzung statt Vollsperre, Länder- und Browserregeln nur auf Basis der eigenen Besucherdaten, Wirkung nach einer Woche kontrollieren.

Für die Frage, ob und wie KI-Systeme Ihre Inhalte lesen sollen, gilt dieselbe Reihenfolge wie beim Thema GEO und AEO: erst entscheiden, was Sie wollen, dann steuern. Und bei einer Website, die unter Bot-Last tatsächlich einknickt, liegt die Ursache häufiger im fehlenden Caching und in der URL-Struktur als im Bot. Beides gehört zu den Punkten, die ich bei einer WordPress-Betreuung zuerst prüfe.

Quellen

• Kinsta: Die 7 größten Fehler, die Webseitenbetreiber machen, nachdem sie den Traffic durch KI-Bots entdeckt haben

Kurz beantwortet

Soll ich KI-Bots auf meiner Website blockieren?

Nicht pauschal. Such-Bots wie OAI-SearchBot entscheiden über die Sichtbarkeit in KI-Antworten. Trainings-Bots können Sie per robots.txt steuern, aggressive unbekannte Bots per Ratenbegrenzung.

Warum wird meine Website durch Bots langsam, obwohl es nicht viele Anfragen sind?

Weil dynamische Seiten wie Suche, Filter und Warenkorb pro Anfrage einen PHP-Prozess und Datenbankabfragen kosten. Wenige Anfragen auf teure URLs belasten mehr als viele auf gecachte Seiten.

Reicht ein Eintrag in der robots.txt?

Nein. Er ist eine Bitte an seriöse Crawler, keine technische Sperre. Die Wirkung muss man danach im Traffic prüfen; durchgesetzt wird sie über Firewall oder Ratenbegrenzung.