Wie User-Agent / Email Spider von Website aussperren?

#1 Hi,

ich würde von meiner Website gerne diverse Emailspider die bekannt sind aussperren.

hat jemand eine aktuelle Liste und eine gute Anleitung, wie man das am besten bewerkstelligt?

Tille
__________
Anonymität im Internet ist, wenn Du keinen kennst, aber alle Dich.

#2

Zitat

Wer die robots.txt nutzt und bestimmte Bots vom indizieren der Seite ausschließen möchte, braucht auch eine Auflistung der gängigen Bots (die sich ja über den User Agent identifizieren).
Eine sehr gute Auflistung findet man unter http://www.robotstxt.org/wc/active/html/index.html. Hier werden ständig die Bots aktualisiert nach Namen, Typ und Kontaktinfos.

Weitere Listen mit User Agents und Ihren Bedeutungen:

http://www.psychedelix.com/agents.html
http://support.free-conversant.com/2701 - hier werden Email Sammler speziell gekennzeichnet

Sehr schöne Auflistung wobei die User Agents in Grupppen (Browser, User, Bot, Emailcollector) aufgeteilt sind

http://flashstuff.us/docs/user-agents.html

statt mit der robots.txt kannst Du das ganze auch noch ein bisschen sicherer mit der .htaccess machen und Emailsammler z.B. so aussperren:

RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [NC,OR]
#RewriteRule ^.* - [F,L]

Greetz Lp