User-Agent "IndyLibrary" - IP Adressbereich sperren

Question

Hallo,
ich bin nicht so bewandert, was htaccess und den Umgang mit bestimmten IP's angeht.

Jedenfalls tummelt sich immer mal wieder der Crawler "IndyLibrary" auf unseren Server rum, dem ja Schlimmes nachgesagt wird. So ignoriert er beispielsweise die robot.txt und sammelt fröhlich Mail-Adressen um dann diese voll zu spammen oder aber auch zu nutzen, um andere Mailadressen mit Spam zu erreichen.(Wenn ich das richtig verstanden habe).

Nun möchte ich den Adressbereich der IP's ausfindig machen, die zu diesem Crawler gehören. Gebe ich bei ripe.net die IP in die whois-Abfrage (84.133.137.185) bekomme ich

netname: DTAG-DIAL19
descr: Deutsche Telekom AG

Wobei die whois-Abfrage der Domain flarp.net, die sich offenbar hinter dem Crawler befindet, auf eine englische Seite hindeutet.

Auf der Seite:

http://eisblock.homeip.net/useragents.php?action=CLO02&Agent_code=TW96aWxsYS8zLjAgKGNvbXBhdGlibGU7IEluZHkgTGlicmFyeSk=

steht ein IP-Bereich für IndyLibrary, aber ein ganz anderer.

Kann mir jemand helfen und sagen, wie und welchen IP-Bereich ich jetzt per htaccess aussperren muss?

Wäre für jede Hilfe sehr dankbar!

Answer 1

Offenbar kommen diese Anfragen von dynamisch zugewiesenen IP-Adressen, die sich jedes Mal ändern können.

In diesem Fall wäre es besser - falls dein Webspace mod_rewrite unterstützt - den User-Agent "IndyLibrary" per mod_rewrite zu sperren, egal woher er kommt.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} IndyLibrary
RewriteRule .* - [F,L]

Diese Regel überprüft ob der User-Agent-String irgendwo die Zeichenkette "IndyLibrary" enthält, und falls ja, werden alle Zugriffe mit dem Fehlercode 403 ("Forbidden") beantwortet.

Answer 2

Ah, danke. Ein Blick auf die PHP Info sagt mir, dass mod_rewrite aktiviert ist.

Werd' die htaccess anpassen und bin mal gespannt, ob Indy wiederkommt.

Vielen Dank!

Answer 3

Bei der Gelegenheit solltest du User-Agents die mit "Java"-beginnen auch gleich blocken, dahinter stecken meistens ebenfalls Adress-Sammler:

RewriteCond %{HTTP_USER_AGENT} ^Java
RewriteRule .* - [F,L]