Majestic 12 Bot (MJ12Bot)

Etwas technisches zu Websiten und Suchmaschinencrawlern : MJ12Bot.

Bei der Durchsicht meiner Logs ist mir der MJ12Bot ins Auge gesprungen. Fast 17% aller Besuche von einem Bot ? Das kann doch nicht ernstgemeint sein. Und dann noch auf URL’s die es unter meiner Domain nie gab, inklusive SQL Injections.. na danke.

Aussperren ?

Die schnelle Lösung, .htaccess Anpassen:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot/v1\.0\.8.*$
RewriteRule .* – [F]

Was ist Mj12 nun eigentlich ?

Problem erst einmal gelöst. Aber was ist MJ12 ? Hier handelt es sich um eine verteilt agierende Suchmaschine. Es wird sehr aggressiv gecrawlt, an die robots.txt hält man sich auch nicht, also viel mir die Entscheidung das ganze zu Blocken auch nicht weiter schwer.

Oft wird dieser Crawler als „Bad Robot“ bezeichnet. Dazu zählen im allgemeinen Crawler die sich nicht an den guten Ton halten, zu oft crawlen, wiederkehrend nicht existierende URL’s besuchen, die robots.txt ignorieren oder auch SQL Injections in ihren URL’s verwenden. Also all das was eine Suchemaschine eigentlich nicht tun sollte und eigentlich auch (für eine Suchmaschine) keinen Sinn macht.

Ich habe diesen User Agent mit dem oben angegebenen Statement über die .htaccess gesperrt. Aber sollte man das nun wirklich tun ? Gründe gibt es ja dafür…

Den Namen finde ich merkwürdig.. oder doch absichtlich gewählt ? Für alle denen Majestic 12 nicht sagt, es gibt hier einen recht ausführlichen Artikel bei Wikipedia : Majestic 12 bei Wikipedia

Majestic 12 bietet einen sogenannten Site Explorer an. Hier kann jeder zu Domains Informationen zu referenzierenden Domains und Backlinks einsehen. Das ganze aber nur gegen einen kostenpflichtigen Account. Das ist aber auch das einzige was man so auf den ersten Blick von dieser Suchmaschine sieht. Eine Suchmaschine im klassischen Sinne ist es zumindest einmal nicht.

Weitere Informationen dazu gibts hier (in englisch): http://blog.arithm.com/2008/01/16/mj12bot-virus-robot/

Planespotting am Frankfurt Flughafen

Dieses Wochenende ergab sich die Gelegenheit einen Zwischenstopp zum Planespotting am Frankfurter Flughafen an der A5 einzulegen. Direkt am Zaun zum Flughafen bei Zeppelinheim.

Dort trifft man immer Planespotter, allein ist man hier wohl nie.

Dieses Wochenende ergab es genaugenommen sogar 2 Gelegenheiten dort zu sein, bei beiden Landeten bzw starteten A380. Samstags leider vom Beobachtungspunkt weg. Dafür gab es  am Sonntag den direkten Landeanflug über die A5.

Für einen A380 braucht man hier schon fast ein Weitwinkelobjektiv 🙂

Luftaufnahmen über Nordhessen und Edersee

Es hat sich lange hingezogen bis das Wetter endlich einmal gut aussah, und dann war es trotzdem noch ein wackeliger Flug.
Ich bin vorher noch nie in einem Ultraleichtflugzeug geflogen, deswegen war das alles sehr interessant. Gleich als Tipp vorweg, wenn man fast zwei Meter groß ist kann das ganz schön eng werden 🙂 Gerade sitzen ging leider nicht, ich musste den Kopf eben eine Stunde lange einziehen.

Beim Start sah es noch ganz gut aus, aber leider war es doch dunstig. Nicht gerade das beste Fotowetter. Aber ändern kann man das nicht, also einfach den Flug geniessen !

Wenn die Start- und Landevorbereitungen nicht so lange dauern würden wäre das ein super Verkehrsmittel für Strecken zwischen 100 und 500km. In Luftlinie zum Ziel kommt einem so unheimlich schnell vor.