bot, der robots.txt ignoriert

7 Beiträge20.11.2005Archiviert
Costi20.11.2005 · Beitrag #4100
Mitglied seit: 15.10.2005
Forenbeiträge: 224
Besuche: 760
Gibt es eigentlich eine Suchmaschine, die den robots.txt ignoriert oder eine, die den Queltext dursucht?


THX
Tron20.11.2005 · Beitrag #4107
Mitglied seit: 12.02.2005
Forenbeiträge: 496
Besuche: 726
oich vermute mal nciht, wär ja nciht erlaubt... und wenn dürfte man sie wohl nciht heir posten :)

mfg

Tron
Marc Ruef20.11.2005 · Beitrag #4111
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Gibt es eigentlich eine Suchmaschine, die den robots.txt ignoriert oder eine, die den Queltext dursucht?


Eine jede Index-Suchmaschine (z.B. Google) basiert darauf, dass sie den HTML-Quelltext archiviert und indiziert.

Das Ignorieren von robots- und Nofollow-Anweisungen im HTML-Quelltext duerfte sich je nach Implementierung unterscheiden. Wobei sich, so scheint es jedenfalls, die grossen Suchmaschinen daran halten.

Bye, Marc
Costi21.11.2005 · Beitrag #4120
Mitglied seit: 15.10.2005
Forenbeiträge: 224
Besuche: 760
Ich meine mit Queltext dursuchen, dass ich nach bestimten JavaScripts, notizen u.s.w suchen kann z.b sowas wie: <img src="c:/con/con>
Tsutomu27.11.2005 · Beitrag #4242
Avatar
Mitglied seit: 13.07.2005
Forenbeiträge: 147
Besuche: 1816
c:/con/con

loool ... lang ist's her *g*

Also wie google und so arbeitet sollte ja mittlerweile bei den 1000 artikeln im netz klar sein. Also es gibt jetzt für quelltexte eine extra Suchmaschine, falls du so etwas meinst. Schau mal hier bei koders.com.

Gruß,
Tsutomu
Costi27.11.2005 · Beitrag #4246
Mitglied seit: 15.10.2005
Forenbeiträge: 224
Besuche: 760
ah, danke genau was ich brauche.
Ich such nähmlich Pages, die Browser bugs ausnutzen.
Tsutomu27.11.2005 · Beitrag #4249
Avatar
Mitglied seit: 13.07.2005
Forenbeiträge: 147
Besuche: 1816
Ich such nähmlich Pages, die Browser bugs ausnutzen.

Öh.. ja, wofür auch immer... In dem Fall, dass du mal Testen willst, was alles mit deinem Browser passieren kann, wenn dieser nicht richtig geupdatet wurde, empfehle ich mal hier vorbei zu schauen: Heise-Security BrowserCheck

Gruß,
Tsutomu
[ Bearbeitet So, 27. Nov 2005, 17:13 ]