bin im Moment an einem Projekt, bei dem u.a. Massenabfragen (ca. 5000/Tag) an Suchmaschinen (google, live.com, etc.) gestellt werden müssen. Hat jemand Erfahrungen, ob solche Massenanfragen von bestimmten Diensten abgewehrt werden (z.B. IP-Sperre) ? Verstößt das gegen Richtlinien etc.?
Google limitiert - um ein Beispiel zu nennen - die maximalen Anfragen per API [1] pro Key auf 1000 Stück/Tag. Deine Menge geht ja doch deutlich über diesen Grenzwert hinaus... eventuell wäre es am einfachsten, Google selbst danach zu fragen.
Wenn Du mehr als 1000 Anfragen abarbeiten lassen willst, dann musst Du das bei Google beantragen, ich glaube das war beim Google-Security Team.
Schau doch mal in Johnnys Forum vorbei, da bekommst Du sicher eine qualifiziertere Antwort:
http://johnny.ihackstuff.com/forums/
saludos
Jan [ Bearbeitet Fr, 29. Jun 2007, 14:55 ]
Von Allen waere live.com nun wirklich das letzte was ich in Anspruch nehmen wuerde.
SuchDir mal was aus, was auch taugt:
http://www2.tu-berlin.de/www/software/suchen.shtml
http://www.suchmaschinenindex.de/
Leider ist +ORC's searchlores.org down, da haettest Du noch so manche wertvolle Information zum Thema herausholen koennen, vllt. gibts ja irgendwo noch einen Mirror.
saludos
Jan
Na danke Jan.. Bin kein hoffnungsloser MS Anhänger. Allerdings biete live die Möglichkeit mit "IP:123.123.123.123" die im Index aufgenommenen Domains einer IP-Adresse zu filtern. (Dazu hatte ich hier schonmal einen Beitrag geschrieben). Auf diese Funktion kommt es mir an. Nenn mir eine Suchmaschinen, die diese Funktion in ähnlicher Weise unterstützt und ich werde GERNE von MS Abstand nehmen :-) .. Ich habe bis jetzt keine gefunden .. greetings ..