Hilfe gegen Contentklau und Scraper Bots

11.06.2007, 00:47

Gastaccount

Passwort: gast

Beiträge: 0

#1 Hallo,

ich habe hier gerade von Spidertrap gelesen - und wollte nur mal darauf hinweisen wie man sich bequem als erstes gegen solche Contentdiebstahl Bots schützt:

die Scraper Bots geben sich idR als Googlebot aus sind aber keine, was man einfach anhand der IP prüfen kann.

mit folgendem Script kann man prüfen ob man von einem gefälschten Googlebot besucht wird und ggf. die Ansicht der Seite sperren:

PHP Code


<?php
if(preg_match('/(Googlebot|Slurp|Jeeves|msnbot)/', $_SERVER['HTTP_USER_AGENT']) 
&amp;&amp; preg_match('/(\.googlebot\.com|\.yahoo\.net|.\ask\.com|\.live\.com)$/', gethostbyaddr($_SERVER['REMOTE_ADDR'])) 
&amp;&amp; (gethostbyname(gethostbyaddr($_SERVER['REMOTE_ADDR'])) == $_SERVER['REMOTE_ADDR'])) {

// der Googlebot ist echt :)

} else {

    header('HTTP/1.1 403 Forbidden');
    echo '<html><head><title>Zugriff verweigert</title></head><body><h1>Zugriff verweigert</h1>
    Der Zugriff wurde verweigert, bitte wenden Sie sich an den Administrator falls sie einen Konfigurationsfehler vermuten.</body></html>';
    exit();

}

// hier kann man nun den Content ausgeben
?>

interessant und zu dem Thema der gefälschten Suchmaschinen Bots:
http://www.sistrix.com/news/522-echtheit-der-msn-bots-feststellen.html

viel Spass,
hope this helps

Um auf dieses Thema zu ANTWORTEN
bitte erst » hier kostenlos registrieren!!

Folgende Themen könnten Dich auch interessieren:

Seite(n): 1