du kannst im .htaccess-file mit Deny: leute angeben, die du aussperren willst glaub ich.

uh...äh...ja. keine ahnung, aber ausschließen würd ich nicht, dass dort auch .htaccess funktioniert.

Vielleicht hilft dir folgender Link:
http://www.webmasterworld.com/forum13/687-7-10.htm

Schnell mal gegoogelt.

Zitat von seHaas

seit kurzem erzeug ein bot ziemlich viel traffic in unersem gästebuch, die zugriffe kommen von 66.196.*.* adressen und werden immer auf *.inktomisearch.com aufgelöst.

hat wer infos zum dem thema? bzw soll man ihn aussperren bzw wie (gibts da tricks oder soll ich mich besser an meinen web-host wenden?)

inktomisearch ist Yahoo!, also ich möchte die nicht unbedingt aussperren, da ist bei mir eher noch der MSN bot dran:

[arved@jim:~]% grep googlebot /var/log/httpd-access.log | wc -l
47
[arved@jim:~]% grep Slurp /var/log/httpd-access.log | wc -l
2353
[arved@jim:~]% grep msnbot /var/log/httpd-access.log | wc -l
16160

Zitat von arved

inktomisearch ist Yahoo!, also ich möchte die nicht unbedingt aussperren, da ist bei mir eher noch der MSN bot dran

ich hab auf slashdot (-> it must be true!) von sysadmins gehört, dass der bot mehrere GB an daten ständig absaugt von ihren servern, und nicht auf so dinge wie last-modified oder etag achtet...

Zitat von arved

grep msnbot /var/log/httpd-access.log | wc -l
16160

und du freust dich nicht, dass deine Seite dank MS immer täglich (mehrmals?) absolut aktuell in deren Suchmaschine ist? *g*

Zitat von hal

ich hab auf slashdot (-> it must be true!) von sysadmins gehört, dass der bot mehrere GB an daten ständig absaugt von ihren servern, und nicht auf so dinge wie last-modified oder etag achtet...

Naja, laut der im UA angegebenen URL haben sie wohl ihren eigene robots.txt extension. Das könnte man also auch nochmal probieren.