Erfahrung mit Massenabfragen an Suchmaschinen

7 Beiträge29.06.2007Archiviert
Bonsai29.06.2007 · Beitrag #13980
Avatar
Mitglied seit: 02.06.2006
Forenbeiträge: 395
Besuche: 2691
Hallo,

bin im Moment an einem Projekt, bei dem u.a. Massenabfragen (ca. 5000/Tag) an Suchmaschinen (google, live.com, etc.) gestellt werden müssen. Hat jemand Erfahrungen, ob solche Massenanfragen von bestimmten Diensten abgewehrt werden (z.B. IP-Sperre) ? Verstößt das gegen Richtlinien etc.?
Stefan29.06.2007 · Beitrag #13981
Avatar
Mitglied seit: 11.02.2005
Forenbeiträge: 476
Besuche: 4190
Hallo

Google limitiert - um ein Beispiel zu nennen - die maximalen Anfragen per API [1] pro Key auf 1000 Stück/Tag. Deine Menge geht ja doch deutlich über diesen Grenzwert hinaus... eventuell wäre es am einfachsten, Google selbst danach zu fragen.

Gruss
Stefan


[1] http://code.google.com/
Bonsai29.06.2007 · Beitrag #13982
Avatar
Mitglied seit: 02.06.2006
Forenbeiträge: 395
Besuche: 2691
Live limitiert z.B. auch .. Allerdings benutze ich nicht die API, sondern was selbstgestricktes!
janheisterkamp29.06.2007 · Beitrag #13983
Mitglied seit: 01.04.2006
Forenbeiträge: 490
Besuche: 1305
Hallo Bonsai!

Wenn Du mehr als 1000 Anfragen abarbeiten lassen willst, dann musst Du das bei Google beantragen, ich glaube das war beim Google-Security Team.
Schau doch mal in Johnnys Forum vorbei, da bekommst Du sicher eine qualifiziertere Antwort:
http://johnny.ihackstuff.com/forums/

saludos
Jan
[ Bearbeitet Fr, 29. Jun 2007, 14:55 ]
Bonsai29.06.2007 · Beitrag #13984
Avatar
Mitglied seit: 02.06.2006
Forenbeiträge: 395
Besuche: 2691
Weiß jemand wie es bei live.com aussieht?? Bestimmt restriktiver. ist ja MS :.
janheisterkamp30.06.2007 · Beitrag #13989
Mitglied seit: 01.04.2006
Forenbeiträge: 490
Besuche: 1305
Von Allen waere live.com nun wirklich das letzte was ich in Anspruch nehmen wuerde.
SuchDir mal was aus, was auch taugt:
http://www2.tu-berlin.de/www/software/suchen.shtml
http://www.suchmaschinenindex.de/
Leider ist +ORC's searchlores.org down, da haettest Du noch so manche wertvolle Information zum Thema herausholen koennen, vllt. gibts ja irgendwo noch einen Mirror.
saludos
Jan
Bonsai30.06.2007 · Beitrag #13992
Avatar
Mitglied seit: 02.06.2006
Forenbeiträge: 395
Besuche: 2691
Na danke Jan.. Bin kein hoffnungsloser MS Anhänger. Allerdings biete live die Möglichkeit mit "IP:123.123.123.123" die im Index aufgenommenen Domains einer IP-Adresse zu filtern. (Dazu hatte ich hier schonmal einen Beitrag geschrieben). Auf diese Funktion kommt es mir an. Nenn mir eine Suchmaschinen, die diese Funktion in ähnlicher Weise unterstützt und ich werde GERNE von MS Abstand nehmen :-) .. Ich habe bis jetzt keine gefunden .. greetings ..