Webcrawler

4 Beiträge18.05.2008Archiviert
Kuba18.05.2008 · Beitrag #17054
Avatar
Mitglied seit: 06.02.2005
Forenbeiträge: 103
Besuche: 2470
Hallo @ll!

Für die Entwicklung eines Webcrawlers stehe ich im Moment noch etwas auf dem Schlauch. Auch habe ich schon die Suchfunktion diverser Foren strapaziert, konnte leider aber noch keine brauchbaren Resultate finden.
Für die Übergabe einzelner Parameter gibt es ja die Get- und Post-Methode.
Die Get-Methode übergibt die Daten per URL. Da aber damit zunehmend Missbrauch getrieben wird, werden Daten nun hauptsächlich mit der Post-Methode an den Webserver geschickt.
Meine Frage ist nun, wie ich trotz der Post-Methode Daten (z.B. per Java) an den Webserver schicken kann, ohne dass mir irgendeine Cookierestriktion einen Strich durch die Rechnung macht. Oder ist es gar möglich "Cookie-Spoofing" zu betreiben, um eine automatisierte Abfrage nach aktuellen Daten zu realisieren?
Für Ansätze in diese Richtung bin ich sehr dankbar.

Grüße

Kuba

[update] Der Thread gehört eigentlich zu "Programmieren", aber naja... :) [/update]
[ Bearbeitet ]
Feuermonster18.05.2008 · Beitrag #17059
Avatar
Mitglied seit: 08.02.2008
Forenbeiträge: 53
Besuche: 142
Dein Crawler koennte wie ein Browser funktionieren und die Cookies einfach temporaer abspeichern.
Kuba19.05.2008 · Beitrag #17071
Avatar
Mitglied seit: 06.02.2005
Forenbeiträge: 103
Besuche: 2470
Hallo!

Danke für deinen Post @Feuermonster.
Habe mich diesbezüglich mal schlau gemacht und bin auf den httpClient des Jakartaprojekts von Apache gestoßen. Damit sollte das funktionieren.

Grüße
Kuba
Marc Ruef26.05.2008 · Beitrag #17143
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Meine Frage ist nun, wie ich trotz der Post-Methode Daten (z.B. per Java) an den Webserver schicken kann, ohne dass mir irgendeine Cookierestriktion einen Strich durch die Rechnung macht.


FYI: _Eigentlich_ sollten Crawler keine POST-Requests durchfuehren. Urspruenglich wurden GET-Requests entwickelt, um eine Abfrage statischer Daten zu realisieren (z.B. Zugriff auf aktuelle Foren-Uebersicht). Und POST-Requests wurden eingefuehrt, um dynamische Anfragen, die eine Aenderugen an einem Datenbestand initiieren, durchzusetzen (z.B. Absetzen eines eigenen Postings). Dies im Hinterkopf behaltend haben bisher alle Suchmaschinenbetreiber weitestgehend auf das Nutzen von POST-Requests verzichtet. Manche Entwickler von Webanwendungen halten sich jedoch nicht an das Prinzip, so dass gerade in den letzten Wochen Stimmen laut wurden, die POST-Requests durch Bots nun auch umsetzen lassen wollen...

Bye, Marc