nach dem ich mir einen Artikel meiner regionalen Zeitung[1] gelesen habe, welche über das Fahnden nach Information in den tiefen des Internets geht, frage ich mich wie das genau funktionieren soll.
Letztendlich müssen diese ja auch auf irgendwelche Indexe zurück greifen. Entweder besitzen diese dann eigene Suchmaschinen, die das Internet indexieren um anschließend nach einen bestimmen Muster zu suchen oder es werden schon andere fertige Suchmaschinen verwendet die weniger bekannt sind.
Doch dann würde mich interessieren wie so eine Suchmaschine aussieht und wie sie sich von den anderen unterscheidet bzw. wie diese Anderen zu erreichen sind.
ja das Deep Web ist so eine Sache. Wir hatten das mal in einer Vorlesung an der Uni besprochen und haben es folgendermasen definiert:
Alle Inhalte des Web, auf die aufgrund von Zugangsbeschränkungen
durch die Anbieter oder technischer Restriktionen von Suchrobotern nicht über Suchmaschinen zugegriffen werden kann.
Das heisst es sind Inhalte, die gegenwärtig von Suchmaschinen nicht indexiert werden können und meist handelt es sich um anbieterspezifische Datenbanken, die Webseiten erst aufgrund konkreter Nutzeraktionen dynamisch generieren.
Wikipedia schreibt auch etwas interessantes darueber[1]. Es wird geschaetzt das es 400 bis 550 mal groesser ist als das Surface Web.
[1] http://de.wikipedia.org/wiki/Deep_Web [ Bearbeitet So, 18. Feb 2007, 17:45 ]
Hallo duddits!
Der Artikel von Wolfgang Kohrt, in dem Koelner Stadt Anzeiger, ist schlecht geschrieben und zudem irrefuehrend. Es kann sein dasss der Autor nicht begriffen hat was Herr Weingarten macht oder Herr Weingarten hat es nicht verstanden, es Ihm anstaending zu erklaeren.
Was Herr Weingarten macht, ist im Wesentlichen nichts anderes als "invisible" databases per Skript abzufragen. Automatisierte, skriptbasierte Abfragen kannst Du mit Google auch machen, dazu musst Du vorher eine Genehmigung einholen.
Zu dem Thema "suchen im im invisible web" kann ich Dir folgenden link zu +OCR's "neuer" HP anbieten:
http://www.searchlores.org/specdba.htm
das englische WIKI zum Thema ist ausfuehrlicher und weist mit besseren Links auf:
http://de.wikipedia.org/wiki/Deep_Web
Von der Berkley-Uni gibts folgendes:
http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/InvisibleWeb.html
Auf Jonny's HP gibts ein gutes Skript zur automatisierten Abfrage, leider ist die Site fuer einige Tage, wegen Umzuges, nicht online...
http://johnny.ihackstuff.com/
und dann noch:
http://www.ala.org/ala/aaslbucket/pittsburgh/BehindtheNet.pdf
http://www.dia.uniroma3.it/~vldbproc/017_129.pdf
http://www1.cs.columbia.edu/~gravano/Papers/2002/vldb02.pdf
Und QProber [Classifying and Searching "Hidden-Web" Text Databases] zum experimentieren:
http://qprober.cs.columbia.edu/
Das sollte eigentlich reichen um einen tieferen Einblick zu bekommen...
Ein interessanter Arikel, jedoch gemacht fuer die Presse. Das bemerkt man schon an der Aufmachung und der Wortwahl.
Interessant in diesem Zusammenhang ist, wie kann man selbst Teile des DeepWeb (ich finde den Ausdruck uebrigens ziemlich dumm) finden. Einen Ansatz um gezielt Wissensdatenbanken zu durchsuchen stellt Googles Suchdienst 'Scholar' dar. Ein Beispiel dazu findet man in [1].
Oft laesst sich damit viel gezielter nach wissenschaftlichen Abhandlungen suchen als mit der reinen Google suche selbst.