Was bedeutet dieser Logfile-Eintrag

#1 Hallo zusammen,

in letzter Zeit habe ich in meinem Logfile des Apache vermehrt Einträge in etwa wie folgender:

193.7.255.242 - - [04/Apr/2003:14:57:15 +0200] "GET /robots.txt HTTP/1.1" 404 287

Von wo kommt dieses? Ich vermute von einer Suchmaschine, aber ich dachte immer, die durchsuchen die *.html Dateien.

Ich weis, dass die Frage nicht so ganz hier rein gehört. Aber wenn mir jemand trotzdem helfen könnte, wäre ich froh.

Gruss Philipp

#2 Moin philippCH

die Anfrage kommt tatsächlich von einer Suchmaschine, konkret von Fireball. Um Robots davon abzuhalten bestimmte Seiten in den Index der Suchmaschine aufzunehmen, wurde irgendwann mal der Robots Exclusion Standard entwicklet. Inzwischen halten sich viele Robost auch daran. Wenn sie auf eine Seite treffen, die noch nicht im Index steht, suchen sie im root zuerst nach der Datei robots.txt. In dieser Datei finden sie Informationen, welche Bereiche eines Servers für den Index gesperrt sind, üblicherweise auf Verzeichnisebene. Man kann ebenso gezielt Robots bestimmter Suchmaschinen zulassen oder abweisen.

Dein Logfileeintrag läßt darauf schließen, dass du keine robots.txt im root deines Servers liegen hast. Wenn dich diese Einträge nerven, erstelle einfach eine entsprechende TXT-Datei mit folgenden Optionen:

robots.txt = leere Datei
allen Suchmaschinen wird erlaubt, deine komplette Seite aufzunehmen

Mit folgende Zeilen kannst du den Zugriff der Robots steuern:

Useragent: firerball
Disallow: /log

Useragent bezeichnet den Robot, hier Fireball
Möchtest du mehrere Robots steuern, schreibst du für jeden eine neue Zeile nach gleichem Muster. Trägst du anstelle des Namens ein * Sternchen ein, gilt diese Regel für alle Robots

Disallow bezeichnet die für den Robot gesperrten Verzeichnisse
Auch hier für jedes neue Verzeichnis eine neue Zeile. Sternchen sind hier nicht zulässig.

Das war's eigentlich auch schon... Hoffe, es hilft dir weiter.

Grüße, dicon
__________
Knie nieder NICHTS und danke der Welt, dass sie dir ein Zuhause gibt und dich am Leben hält.

#3 Hallo dicon

du hast mir sogar sehr geholfen. Danke auch noch. Aber mit deiner Antwort hast du für mich auch gleich wieder eine Frage aufgeworfen....

Zitat: die Anfrage kommt tatsächlich von einer Suchmaschine, konkret von Fireball.

Wie kann ich das auch selbst herausfinden. Also ich meine, dass die IP genau zu Fireball gehört. Ich kenne zwar den whois-Befehl, aber der hat mich bis jetzt noch nie wirklich weitergebracht.

Gruss Philipp

#4 Oft ist's tatsächlich nicht einfach, punktgenau auf den Namen hinter einer IP zu kommen... in diesem Fall war's nicht schwer:

ripe.net sagt dir, dass die IP 193.7.255.242 zu Gruner + Jahr gehört. Da große Verlage i.d.R. kein Geheimnis aus Webdiensten machen, verrät dir Google - "Gruner + Jahr Suchmaschine" - dass selbiger eine Suchmaschine namens Fireball betreibt... fertig Um ganz auf Nummer sicher zu gehen, kannst jetzt noch 'n ping auf die Domain Fireball.de setzen und bekommst die Server IP 193.7.255.22. Die stimmt zwar nicht 100%ig... aber ich glaube, wir können davon ausgehen, dass ein so großer Dienst nicht nur mit einer IP unterwegs ist, unsere Annahme, dass es sich um Fireball handelt also stimmt... Noch Fragen ??

Grüße, dicon
__________
Knie nieder NICHTS und danke der Welt, dass sie dir ein Zuhause gibt und dich am Leben hält.