Bots und Webcrawler erzeugen die Hälfte des Webverkehrs

Webcrawler und Suchbots generieren fast 50 % des gesamten Webtraffics

Etwa die Hälfte des globalen Datenverkehrs entsteht laut einer Studie von DeviceAtlas durch automatische Computerprogramme wie Suchbots und Webcrawler. Das auf mobile Geräteerkennung spezialisierte Unternehmen zeigt in seinem aktuellen Mobile Intelligence Report für das erste Jahresviertel 2016 die Verteilung der Anfragen nach Gerätetyp. Die eigene API lieferte die dafür erforderlichen Daten.

Die Erhebung zeigt, dass der Anteil von Desktop-Rechnern bei nur 6,38 % liegt. Mobile Geräte aller Art verursachen knapp 44 % des gesamten Internetverkehrs. Zusammengerechnet ergibt das etwa die Hälfte des Webtraffics. Das ist fast genau so viel Traffic, wie durch Webcrawler und Suchbots entsteht. Die hohe Quote automatischer Anfragen manipuliert die Anzahl von Seitentreffern, die eine Grundlage für Internetwerbung darstellen. So ist die Korrektur der Zahlen für Webseitenbetreiber und Provider oft mit großem Aufwand verbunden.

Die Scanner der bekannten Suchmaschinen wie Goolge, Yahoo oder Bing erzeugen einen vergleichsweise geringen Anteil des nicht-menschlichen Taffics. Der intransparente MJ12bot hingegen generiert ca. 68 %, da er herkömmliche Suchkonventionen nicht befolgt. So werden gewöhnliche Bestandteile einer Internetseite wie die robots.txt Datei ignoriert und es kommt zu häufigeren Seitenaufrufen. Dabei bleibt offen, für welchen Suchindex die gesammelten Daten des MJ12bots verwendet werden.

Schon im Jahr 2015 beschrieb die Untersuchung eines Websicherheitsexperten das Problem mit nahezu identischen Zahlen. Darüber hinaus verrät die DeviceAtlas Studie, dass die Displays der gezählten Mobilgeräte weltweit wachsen. Während die Nutzerzahl von Smartphones mit 4 Zoll großem Display zurückging, verzeichneten Mobilgeräte mit einem 5 bis 5.7 Zoll großen Bildschirm eine deutlich erkennbare Zunahme.