Da die „lieben“ Badbots ja leider immer mehr zunehmen und teils sehr aggressiv sind stelle ich meine .htaccess Blockliste hier online. Sie wird regelmässig aktualisiert, mein kleiner Beitrag gegen SEO Crawler und andere nervige Zeitgenossen 🙂

ModRewrite sollte in Apache2 installiert sein. Einfach per Copy&Paste in die .htaccess einfügen, fertig.

Hinweis: Diese Liste basiert auf diversen Foreneinträgen, Listen von anderen Webseiten, und nicht zuletzt Analyse meiner Logfiles. Alles wurde nach besten Wissen und Gewissen erstellt, trotzdem kann sich evtl. mal ein Fehler einschleichen. Bitte nicht nur ärgern, sondern dann auch bescheid sagen !

Update am 11.08.2015:
SEOkicks-robot
MegaIndex.ru

 

# Badbots

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} unwindFetchor [OR]
RewriteCond %{HTTP_USER_AGENT} updown_tester [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} (spbot|OpenLinkProfiler) [OR]
RewriteCond %{HTTP_USER_AGENT} linguee [OR]
RewriteCond %{HTTP_USER_AGENT} (Squider|Squider/0.01)$ [OR]
RewriteCond %{HTTP_USER_AGENT} (memorybot|memoryBot) [OR]
RewriteCond %{HTTP_USER_AGENT} ^magpie-crawler/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} SiteExplorer/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} TrackBack/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Spiderlytics/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} ProCogSEOBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} ^libwww-perl/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} WebEMailExtrac [OR]
RewriteCond %{HTTP_USER_AGENT} TurnitinBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} meanpathbot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Infohelfer/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} CompSpyBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} vampira.ru [OR]
RewriteCond %{HTTP_USER_AGENT} CareerBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Moreover/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} BLEXBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Abonti/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} DCPbot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} oBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} ^BOT/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} EmailWolf/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} AITCSRobot/[0-9.] [OR]
RewriteCond %{HTTP_USER_AGENT} Demo Bot [OR]
RewriteCond %{HTTP_USER_AGENT} EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} SearchmetricsBot [OR]
RewriteCond %{HTTP_USER_AGENT} OpenindexSpider [OR]
RewriteCond %{HTTP_USER_AGENT} BacklinkCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^ssearch_bot [OR]
RewriteCond %{HTTP_USER_AGENT} UnisterBot [OR]
RewriteCond %{HTTP_USER_AGENT} 360Spider$ [OR]
RewriteCond %{HTTP_USER_AGENT} HubSpot\sWebcrawler$ [OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} SEOkicks-Robot [OR]
RewriteCond %{HTTP_USER_AGENT} SISTRIX
RewriteRule ^ – [F,L]

2 Kommentare

Tobias Leichsenring · 11. April 2022 um 12:27

Die Zeile :

RewriteCond %{HTTP_USER_AGENT} Demo Bot [OR]

führt zum Fehler 500 auf dem Webserver.

    Jens Fiedler · 21. April 2022 um 11:49

    Bei welcher Version von Apache ?
    Generell hatte/habe ich diese Konfiguration problemlos betrieben. Ich kann mir nur vorstellen das er mit dem Leerzeichen zwischen Demo und Bot ein Problem hat.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert