Design einer mehrdimensionalen Fingerprint-Datenbank

8 Beiträge20.11.2007Archiviert
Marc Ruef20.11.2007 · Beitrag #15610
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Seit einigen Jahren habe ich mir vorgenommen mal endlich eine anstaendige [[Software]] fuer das Application Fingerprinting von Webservern zu schrieben (aehnlich httprint oder WebservFP). Ich stelle mir das so vor (habe einiges davon im entsprechenden Kapitel meines Buchs beschrieben):

1. Meine Applikation fuehrt verschiedene Anfragen durch.
2. Die Rueckantworten des Webservers werden dissektiert:
- Welcher [[HTTP]]-[[Statuscode]]?
- Welche Protokollversion?
- Welche Reihenfolge von Headern?
- Welche Struktur des [[ETag]]?
- ...
3. In der [[Fingerprint]]-[[Datenbank]] werden die einzelnen Werte verglichen. Jeder Treffer generiert einen Punkt. Derjenige Eintrag, der am Schluss die meisten Punkte hat, wird voraussichtlich die [[Implementierung]] sein.

Nun moechte ich gerne verschiedene Abfragetechniken umsetzen. Zur Zeit habe ich folgende Test-Cases spezifiziert:

GET / HTTP/1.0
GET /aaa(...) HTTP/1.0
GET /404test.html HTTP/1.0
GET / TEST/1.0
GET / HTTP/9.9
HEAD / HTTP/1.0
OPTIONS * HTTP/1.0
DELETE / HTTP/1.0
TEST / HTTP/1.0
GET /~root/..&#92;*/etc/passwd?req=%%"><script>alert('xss');</script> HTTP/1.0


Es stellt sich mir nun die Frage, wie ich die Fingerprint-Datenbank umsetze. Ich moechte gerne eine separate Datei haben (so wie das [[nmap]] und amap zum Beispiel auch machen). Dabei habe ich am liebsten ein [[CSV]], bei dem die einzelnen Eintraege durch Strichpunkte voneinander getrennt sind. Ein Beispiel-Eintrag koennte nun so aussehen:

Apache 2.0.52 on Red Hat Linux;Apache/2.0.52 (Red Hat);HTTP;1.1;200;OK;11;Date,Server,Last-Modified,ETag,Allow,Accept-Ranges,Content-Length,Connection,Content-Type;GET,HEAD,POST,OPTIONS,TRACE;,;

Jetzt ist es so, dass ich ja verschiedene Test-Cases habe. Fuer jeden Test-Case muss ich einen eigenen Fingerprint anfertigen, da diese nicht immer gleich sein werden (andere Statuscodes, fehlen von ETag ausser bei GET, Allow-Zeile nur bei OPTIONS-Zugriff, usw.). Ich brauche also irgendwie eine weitere Dimension in meiner Fingerprint-Datenbank. Wie gehe ich das am besten an? Folgende Loesungswege erscheinen mir plausibel:

I) Fuer jeden Test-Case und jede Implementierung eine eigene Zeile. Die Anzahl der Zeilen ist dann (Implementierung * Test-Case). Die Datei wird dann schnell zugemuellt.

II) Alle Test-Cases in einer Zeile dokumentieren. Die Zeilen werden dann fuer Menschen nicht mehr lesbar.

III) Fuer jeden Test-Case eine eigene Fingerprint-Datenbank (Datei). Leider wird das ganze dann dezentralisiert und muehsam zu warten.

IV) Komplexere Struktur fuer die Fingerabdruecke; z.B. mit [[XML]], wobei jeder Test-Case einen eigenen Untereintrag erhaelt.

Hat jemand Erfahrung in der Hinsicht oder kann mir einen Tipp geben?

Bye, Marc
jeipack20.11.2007 · Beitrag #15612
Avatar
Mitglied seit: 07.03.2007
Forenbeiträge: 448
Besuche: 1258
Hey Marc
Ich denke ich könnte dir hier gut helfen da ich recht viel mit DBs zu tun habe (sowohl mit richtigen DBs ala MySQL, als auch mit DBs die via Files verwaltet werden). Das Problem ist aber, dass ich mich mit Fingerprints nicht wirklich auskenne und mir deshalb aus deinem Post nicht ganz ersichtlich wurde welche Daten bei dir wirklich anfallen.

Aber jetzt mal allgemein. Du sagst du würdest gerne nur ein File haben, brauchst aber eine weitere Dimension*. Dafür ist CSV grundsätzlich ungeeignet, da ein File nur eine Tabelle wiederspiegeln kann. Natürlich könntest du es einfach packen (ala zip, jar, etc) oder aber eine proprietäre Formatierung ins File bringen.

*: eine weitere Dimension wird ja grundsätzlich so erreicht, dass eine zweite Tabelle auf die Haupttabelle referenziert und so eine 1:n Verbindung hergestellt ist.
Wenn ich dich jetzt richtig verstehe, dann sind die Attribute die du an deine Haupttabelle anfügen willst aber jedesmal recht unterschiedlich? Bei mir habe ich das so gelöst:

tbl_haupt
id | name | wasAuchImmer | datum
Haupttabelle mit allen Attributen die immer vorkommen.

tbl_attribute
id | attref | attkey | attvalue
Attributentabelle bei der die Art des Attributes nicht vorbestimmt ist.
attref= zeigt auf die ID des Hauptdatensatzes
attkey= bezeichnet die Art des Attributes.
attvalue= ist danach der Wert der Das Attribut hat.
Beispieldatensatz:
1 | 123 | "Scanzeit" | 2007-12-12 00:00:00
Nun hat also der Hauptdatensatz mit der ID 123 das Attribut Scanzeit mit dem Wert 2007-12-12 00:00:00 zugewiesen bekommen.

Wie man das dann abspeichern will ist eine andere Frage, aber erstmal.. ist es überhaupt das was du gemeint hast?

Gruss
Marc Ruef20.11.2007 · Beitrag #15613
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Aber jetzt mal allgemein. Du sagst du würdest gerne nur ein File haben, brauchst aber eine weitere Dimension*. Dafür ist CSV grundsätzlich ungeeignet, da ein File nur eine Tabelle wiederspiegeln kann. Natürlich könntest du es einfach packen (ala zip, jar, etc) oder aber eine proprietäre Formatierung ins File bringen.


Ja, das habe ich gemeint. Ich muesste ja dann fuer die durch ; getrennten Hauptfelder zusaetzliche Trennzeichen in den Unterfeldern (z.B. ,) nutzen. Das passt mir auch nicht so recht ;( !

Bye, Marc
jeipack20.11.2007 · Beitrag #15615
Avatar
Mitglied seit: 07.03.2007
Forenbeiträge: 448
Besuche: 1258
Nun.. für das da gäbe es ja jetzt verschiedene Formate. Spontan fällt mir da z.B. dBase, Notes1-2-3 oder Interlis [1] (damit arbeite ich wohl am meisten) ein. Das einzige Problem das ich sehe, dass das alles Formate sind um Daten zu archivieren/auszutauschen, nicht aber um mit ihnen live zu arbeiten.
Lädst du zuvor alle Daten in den Speicher, damit du damit auch vernüftig arbeiten kannst oder willst du immer wieder "Abfragen" auf die Textdatei machen?
Wieso nimmst du keine kleine DB (Bei Java z.B. derby [2])? So kannst du die Daten viel einfacher (sprich SQL) abrufen und must nicht alles codieren.

1: http://www.interlis.ch
2: http://db.apache.org/derby/

Gruss
Bonsai21.11.2007 · Beitrag #15621
Avatar
Mitglied seit: 02.06.2006
Forenbeiträge: 395
Besuche: 2691
Hallo Marc,

wir du schon vorgeschlagen hat, würde ich das echt mit XML-Dateien machen. Weiß nicht, ob sich ne DB so gut eignet, da du das Ganze ja auch portieren willst oder nicht?

Vielleicht solch eine Art Aufbau:
Das kann man dann ja auch beliebig schachteln ....

[cli]
&lt;?xml-version="1.0"?>

&lt;hauptfeld ID="1">

&lt;unterfeld_daten1>GET HTTP.....&lt;/unterfeld_daten1>

&lt;unterfeld_daten2">GET HTTP223232.....&lt;/unterfeld_daten2">

&lt;/hauptfeld>
[/cli]
[ Bearbeitet Mi, 21. Nov 2007, 14:43 ]
flow22.11.2007 · Beitrag #15637
Avatar
Mitglied seit: 31.01.2005
Forenbeiträge: 154
Besuche: 3400
Hmm...

vielleicht währe hier ein [[Objektorientiertes_Datenbankmodell]] nützlich. Hab da schon gute Erfahrungen mit [[db4o]] gemacht.

gruss flow
Sub-Zero23.11.2007 · Beitrag #15638
Avatar
Mitglied seit: 27.01.2005
Forenbeiträge: 160
Besuche: 932
Hallo!

So etwas in der Art hatte ich auch im Sinn. Wie wäre es wenn du zusätzlich Webapplikationen auf dem Webserver z.b. ein bestimmtes CMS mit suchen und in die Datenbank aufnehmen würdest? Dies ginge einen Schritt weiter. So etwas habe ich mir vorgestellt.(bin da noch ganz am Anfang meiner Gedanken...) Als Beispiel könnte man die Seite nach Begriffen wie: Powered by XYZ, oder sonstigen Begriffen durchsuchen.

Gruß

Sub-Zero
Marc Ruef23.11.2007 · Beitrag #15639
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Danke fuer die Rueckmeldungen. Ich habe es nun mit einer eigenen kleinen Datenbank geloest (sie kann lediglich SELECT-, INSERT- und COUNT-/SUM-Abfragen). Jeder Test-Case (z.B. "GET / HTTP/1.0", "HEAD / HTTP/1.0", ...) erhaelt ein eigenes Verzeichnis. In diesem Verzeichnis sind jeweils in den einzelnen Dateien (z.B. banner.fdb, statsuscode.fdb, header-order.fdb, ...) fuer die Fingerprint-Tests die Resultate in zwei Spalten abgedruckt (NAME;FINGERPRINT).

Das funktioniert prima. Es ist zwar nicht sonderlich performant, weder wenn ich eine Datei oder gar eine echte DB nutzen wuerde. Jedoch kann die Datenbank sehr einfach mit einem Texteditor angepasst werden. Das mag ich.

Eine Webseite zum Projekt ist auch schon in Arbeit. Mitunter werde ich da natuerlich erweiterte Suchen sowie statistische Auswertungen anbieten. Benutzer sollen ebenfalls neue Fingerprints hochladen koennen (diese werden jedoch moderiert). Wann ich was vorzeigen kann ist unklar. Eine erste Beta laeuft schon wie geschmiert. Es fehlen aber noch "professionelle" Features wie "nmap-Ausgaben einlesen" oder "statistische Reports" (XML, HTML, ...). Vielleicht naechste Woche, vielleicht in 3 Monate ;) ! Einen unspektakulaeren Screenshot gibts (vorerst) hier:

http://www.computec.ch/projekte/httpmap/screenshot.jpg

Bye, Marc