Unsere Website war für mehr als 24 Stunden nicht erreichbar - Schuld waren schlecht erzogene Internet-Roboter. Gleich mehrere Suchmaschinen-Bots wie Bingbot und Co. stürmten gleichzeitig die Server und blockierten alle verfügbaren Prozesse. Besonders dreist: Einige liefen in Fallen und generierten endlose Anfragekaskaden. Gegenmaßnahmen liefen, doch der Hosting-Anbieter ließ sich Zeit.


Am gestrigen Sonntag war unsere Website für mehrere Stunden nicht erreichbar. Die Störung dauerte bis heute Morgen. Der Grund war eine massive Überlastung unseres Webservers durch automatisierte Zugriffe – sogenannte Bots.

Was sind Bots überhaupt?

Bots sind automatisierte Programme, die das Internet eigenständig durchsuchen. Nicht alle davon sind schädlich: Suchmaschinen wie Google oder Bing schicken täglich ihre Crawler-Bots, um Webseiten zu indexieren und in Suchergebnissen anzuzeigen. Das ist gewollt und normal. Doch die Dimensionen haben sich zuletzt dramatisch verändert. Laut dem Imperva Bad Bot Report 2025 überstieg automatisierter Bot-Traffic im Jahr 2024 erstmals seit einem Jahrzehnt den menschlichen Internetverkehr – Bots machten 51 Prozent des gesamten weltweiten Webtraffics aus. Davon entfielen 37 Prozent auf sogenannte „Bad Bots" – ein Anstieg gegenüber 32 Prozent im Vorjahr, und das sechste Jahr in Folge mit steigenden Werten. Der Hauptgrund für diesen Anstieg ist der Boom der künstlichen Intelligenz: KI-Tools haben die Entwicklung und den Einsatz von Bots erheblich vereinfacht, sodass auch weniger erfahrene Akteure große Mengen automatisierter Anfragen erzeugen können. (Quelle: Imperva Bad Bot Report 2025)

Was gestern bei uns passierte

Gleich mehrere Bots griffen gestern gleichzeitig und in ungewöhnlich hoher Frequenz auf unsere Seite zu – darunter Petalbot (Baidu), Bingbot (Microsoft), Amazonbot sowie TikTokSpider, SemrushBot und weitere. Die ersten Anzeichen im Serverprotokoll sahen so aus:

[Sun Mar 15 13:35:19] mod_fcgid: can't apply process slot
[Sun Mar 15 13:35:20] mod_fcgid: read data timeout in 300 seconds
[Sun Mar 15 13:35:20] End of script output before headers: news_galerie.php

Unser Webserver betreibt mehrere Domains auf einer gemeinsamen Infrastruktur. Für die Ausführung von PHP-Skripten steht nur eine begrenzte Anzahl sogenannter Prozess-Slots zur Verfügung. Als diese Slots durch die Bot-Flut vollständig belegt waren, konnten keine neuen Anfragen mehr bearbeitet werden – auch nicht die unserer echten Leserinnen und Leser. Der Datenbankserver meldete daraufhin folgende Fehlermeldung und stellte den Betrieb weitgehend ein:

Fatal error: mysqli_sql_exception: Too many connections

Erschwerend kam hinzu, dass unsere Software auf bestimmte fehlerhafte Bot-Anfragen mit einer Weiterleitung antwortete – woraufhin die Bots immer neue Folgeanfragen generierten und die Situation weiter verschlimmerten. Besonders Bingbot lief in diese sogenannte Crawler-Trap und erzeugte eine Lawine von Anfragen auf URLs, die gar nicht existieren:

GET /index.php/login/webcam/hilfe/allgemeines/news/login/login.php → 302
GET /index.php/service/hilfe/kleinanzeigen/sudoku/hilfe/news/login.php → 302
GET /index.php/webcam/login/hilfe/hilfe/kleinanzeigen/login/... → 302

Zusätzlich crawlte SemrushBot unseren Terminkalender mit Datumsangaben weit in der Zukunft:

GET /termine/termine.php?VonJahr=2039&VonMonat=10&VonTag=20
GET /termine/termine.php?VonJahr=2037&VonMonat=02&VonTag=03

Was wir unternommen haben

Die betroffenen Bots wurden auf Serverebene gesperrt – sie erhielten seitdem statt einer Antwort eine Zugriffsverweigerung:

114.119.x.x "PetalBot" → 403 Forbidden
40.77.x.x "bingbot" → 403 Forbidden
3.93.x.x "Amazonbot" → 403 Forbidden

Außerdem wurde die Crawler-Trap geschlossen und die fehlerhafte Weiterleitung auf eine korrekte Fehlerantwort umgestellt. Unser Hosting-Anbieter Strato wurde gebeten, die betroffenen Serverdienste neu zu starten.

Fun-Fact: Sonntags ist da keiner im Rechenzentrum, der das machen möchte. Frühester Zeitpunkt für einen Fix war Montag 9 Uhr.

Es waren einfach zu viele Roboter auf einmal zu Besuch – und die hatten leider keine Manieren.

Volker Georg Franke
techn. Support