Badbots .htaccess Blockliste

Da die „lieben“ Badbots ja leider immer mehr zunehmen und teils sehr aggressiv sind stelle ich meine .htaccess Blockliste hier online. Sie wird regelmässig aktualisiert, mein kleiner Beitrag gegen SEO Crawler und andere nervige Zeitgenossen 🙂

ModRewrite sollte in Apache2 installiert sein. Einfach per Copy&Paste in die .htaccess einfügen, fertig.

Hinweis: Diese Liste basiert auf diversen Foreneinträgen, Listen von anderen Webseiten, und nicht zuletzt Analyse meiner Logfiles. Alles wurde nach besten Wissen und Gewissen erstellt, trotzdem kann sich evtl. mal ein Fehler einschleichen. Bitte nicht nur ärgern, sondern dann auch bescheid sagen !

Update am 11.08.2015:
SEOkicks-robot
MegaIndex.ru

# Badbots

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} unwindFetchor [OR]
RewriteCond %{HTTP_USER_AGENT} updown_tester [OR]
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} (spbot|OpenLinkProfiler) [OR]
RewriteCond %{HTTP_USER_AGENT} linguee [OR]
RewriteCond %{HTTP_USER_AGENT} (Squider|Squider/0.01)$ [OR]
RewriteCond %{HTTP_USER_AGENT} (memorybot|memoryBot) [OR]
RewriteCond %{HTTP_USER_AGENT} ^magpie-crawler/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} SiteExplorer/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} TrackBack/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Spiderlytics/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} EmailCollector [OR]
RewriteCond %{HTTP_USER_AGENT} ProCogSEOBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} ^libwww-perl/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} WebEMailExtrac [OR]
RewriteCond %{HTTP_USER_AGENT} TurnitinBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} meanpathbot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Infohelfer/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} CompSpyBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} vampira.ru [OR]
RewriteCond %{HTTP_USER_AGENT} CareerBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Moreover/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} BLEXBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} Abonti/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} DCPbot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} ^Java/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} oBot/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} ^BOT/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} EmailWolf/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} AITCSRobot/[0-9.] [OR]
RewriteCond %{HTTP_USER_AGENT} Demo Bot [OR]
RewriteCond %{HTTP_USER_AGENT} EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} SearchmetricsBot [OR]
RewriteCond %{HTTP_USER_AGENT} OpenindexSpider [OR]
RewriteCond %{HTTP_USER_AGENT} BacklinkCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} ^ssearch_bot [OR]
RewriteCond %{HTTP_USER_AGENT} UnisterBot [OR]
RewriteCond %{HTTP_USER_AGENT} 360Spider$ [OR]
RewriteCond %{HTTP_USER_AGENT} HubSpot\sWebcrawler$ [OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru/[0-9] [OR]
RewriteCond %{HTTP_USER_AGENT} SEOkicks-Robot [OR]
RewriteCond %{HTTP_USER_AGENT} SISTRIX
RewriteRule ^ – [F,L]