Archivvorschau: News-Inhalte aus historischen Cache-Dateien wurden gegen die öffentlichen Berechtigungen im SQL-Dump geprüft.

Vorstellung des filerecon project

Vorstellung des filerecon project (Dienstag, 26. August 2008 - 09:32:02)
[Webseite] Das filerecon project stellt Forschungs- und Entwicklungsarbeiten zur Identifikation von Dateien und deren Strukturen bereit. So soll es möglich sein, anhand der Analyse einer Datei deren Format und Zugehörigkeit zu identifizieren. Diese Aufgabe kann zum Beispiel bei der Datenwiederherstellung nach einem Absturz oder während einer forensischen Analyse von Wichtigkeit sein.

Die gegenwärtige Implementierung von filerecon orientiert sich an der klassischen Funktionsweise des UNIX-Kommandos file(1): In einer Datenbank werden die bekannten Zeichenketten für Dateien abgespeichert und sodann mit den zu untersuchenden Daten verglichen. Kann eine Übereinstimmung gefunden werden, wird die dokumentierte Dateistruktur als solche ausgewiesen.

Zur Zeit werden lediglich reine ASCII-Strings von filerecon 1.x unterstützt. Hexadezimale Zeichen und einzelne Bytes können noch nicht (ohne grössere Aufwände) miteinbezogen werden. Diese Funktionsweise soll jedoch ab der Version 2.0 hinzugefügt werden. Ebenso die optionale Prüfung von Dateierweiterungen zur Querprüfung etwaig ausgemachter Resultate.

Ein Vorteil von filerecon ist, dass sich komplexere Musterprüfungen umsetzen lassen als bei file(1). Es werden nicht mehr exakte Offsets erwartet, sondern es können definierte oder undefinierte Bereiche durchsucht werden. Gerade hochgradig dynamische Formate lassen sich so einfacher identifizieren. Ein anderer Vorteil von filerecon ist, dass die Lösung mit einem Mehr an Transparenz und Einfachheit daherkommt. Das Verändern der Datenbank ist auch während der Laufzeit, mit einem simplen Texteditor und ohne weitreichende Kenntnisse der Programmierung möglich. Das filerecon project unterliegt der GPL und freut sich natürlich über eine Beteiligung bei der Weiterentwicklung und Verbesserung der Lösung.

Lese/Schreibe Kommentar: 36 printer friendly

Kommentare ...
Vorstellung des filerecon project cryptron | 26. Aug 08 : 10:16
ColonParen.gif
Sehr aktives Mitglied (Level 9)
Rang 9 (Sehr aktives Mitglied)1 Ränge fehlen noch

Kommentare: 15
seit 25. Apr 05 : 22:28

Antworten

Hi Marc,

Cooles Tool, werde es demnächst mal testen.
Mach weiter so...

Gruss
cryptron


Kommentare ...
Vorstellung des filerecon project Vellas | 26. Aug 08 : 11:51
NervousBeavah.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 57
seit 13. Apr 07 : 11:23

Antworten
Hi!

Cool! Hört sich etwa nach dem an, was ich vor etwas über einem Jahr gebrauchen konnte. Es galt für einen Kunden nach einem Datencrash, alle Dateien zu überprüfen und zu versuchen die Dateiendung wiederherzustellen. Viele Daten waren erhalten geblieben, durch die Synchronisierungsfunktion von Microsoft, welche seine Dateien im Verzeichen CBC oder so ähnlich hinterlegt, leider mit sehr kryptischem Namen und ohne Dateiendung.

Da nicht viel Zeit war und sofort ein Tool her musste, habe ich eine kleine Anwendung geschrieben, die zu einigen Magic Numbers die Dateiendung wiederhergestellt hat. Microsofts OOXML sowie die ODFs (glaub ich) werden allerdings als ZIP erkannt, da ich nicht das ZIP durchgehe um die genaue Endung erkennen zu können. Die alten Formate von MS, also Doc (alles ohne x) musste man Anhand verschiedener Magic Numbers filtern, da Microsoft das zu dem Zeitpunkt noch nicht dokumentiert hatte. Habe mich bis jetzt immer noch nicht damit beschäftigt, nachdem MS die Spezifikationen freigegeben hat, aber beim kurzen reinblicken konnte ich damit erstmal auch nicht viel anfangen, woran denn nun eine doc- oder xls-Datei genau zu erkennen ist.
Naja, ich konnte viele Dateien durch die automatische Wiederherstellung retten und dem Unternehmen immerhin viel Zeit ersparen jede Datei einzeln selbst durchzugehen und auch die wichtigste Datei konnte gerettet werden.

Ich habe das Tool in meiner Freizeit damals ein wenig weiterentwickelt. Wenn ich es in meinem Backup wiederfinde, werde ich es gerne mal veröffentlichen.

Ich werde mir das Tool aber sicher mal ansehen von dir.

Greetz

Re: Vorstellung des filerecon project Vellas | 26. Aug 08 : 12:11
NervousBeavah.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 57
seit 13. Apr 07 : 11:23

Antworten
Sorry, hätte es noch in den anderen Post mit aufgenommen, aber hab jetzt erst geguckt, nachdem ich abgesendet habe. Also das mit der Position, dem Pattern und der daraus resultierenden Dateiendung habe ich etwa auch so gelöst. Hab natürlich bei weitem nicht so viele Pattern wie du und das ganze auch nur in einer Struct, weil es damals halt eine Notlösung war und maximal 5 Stunden Analyse- und Entwicklungszeit waren.

Aber wie gesagt, ich gebe meines gerne mal frei, heute wird das wohl nichts mehr, aber ich such es mal raus. Nicht um es als Konkurrenzprodukt zu verstehen oder sowas, aber vielleicht interessiert es neben einigen anderen ja auch dich, als Vergleich (auch wenn der Source nicht wirklich schön ist). Auch Anregungen und weiterführende Diskussionen dazu würden mich interessieren (vielleicht kann man hier dazu ja einen Thread im Forum eröffnen).
Das Tool ist wie üblich bei mir in C++.

Interessant wäre wie ich finde, die Dokumentenformate von MS und ODF zu erkennen, da diese gerade für eine Wiederherstellung interessant sind.

Greetz

Re: Vorstellung des filerecon project Marc Ruef | 31. Aug 08 : 19:00
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Deine Loesung waere mal interessant zu sehen.

Die alten Office-Formate sind uebrigens einfach zu entdecken[1]:

Type: Microsoft Access Database
Position: 5
Pattern: Standard Jet DB

Type: Microsoft Word 6.0 document data
Position: 2081
Pattern: Microsoft Word 6.0 document

Type: Microsoft Word 6 document data, spanish
Position: 2081
Pattern: documento Microsoft Word 6

Microsoft Word document data
Position: 2113
Pattern: MSWordDoc

Microsoft Word 6.0 document data
Position: 1
Pattern: PO^Q`

Microsoft Excel 5.0 worksheet
Position: 2081
Pattern: Microsoft Excel 5.0 Worksheet

Microsoft Excel 5.0 worksheet, spanish
Position: 2081
Pattern: Foglio di lavoro Microsoft Exce

Microsoft Excel 5.0 worksheet
Position: 2115
Pattern: Biff5

Microsoft Excel 5.0 worksheet, italian
Position: 2121
Pattern: Biff5

Microsoft Word document
Position: 547
Pattern: bjbj

Microsoft Word document
Position: 547
Pattern: jbjb

Microsoft Word document
Position: 513
Pattern: R

[1] http://www.computec.ch/projekte/filerecon/?s=database

Re: Vorstellung des filerecon project Vellas | 01. Sep 08 : 07:07
NervousBeavah.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 57
seit 13. Apr 07 : 11:23

Antworten
Ah, cool. Ich habe einige Magic Numbers dazu mal gefunden, die auch funktionierten, aber wenn es so einfach ist das richtige Format ...
Ja...da habe ich es mir eindeutig zu kompliziert gemacht... (schon ein wenig peinlich...)

Die Sourcen stell ich die nächsten Tage online (vllt. heute noch).

Re: Vorstellung des filerecon project Marc Ruef | 01. Sep 08 : 07:23
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Wenn ich nicht taeusche, dann kann man die Formate auch "komplizierter" in Erfahrung bringen (Hex-Werte am Anfang der Dateien). Um filerecon moeglichst transparent zu machen, habe ich reine ASCII-Strings wie die eben genannten vorgezogen.

Re: Vorstellung des filerecon project Vellas | 03. Sep 08 : 21:10
NervousBeavah.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 57
seit 13. Apr 07 : 11:23

Antworten
Da aus "heute" nichts wurde, jetzt endlich geschafft:
[linke=http://blog.vellas.de/?p=26]Blogeintrag: Dateiidentifikation[/link]
Im ZIP sind die Sourcen (eine Source- und eine Header-Datei) und eine Exe, die ich mit VS2008 unter Vista kompiliert habe, ich hoffe das sie dennoch überall läuft (sollte eigentlich da nur Standard-C++ und Boost benutzt wurde). Naja, wie gesagt ist der Source eher dahingeklatscht, als das ich mir wirklich mühe bei diesem Quellcode gegeben habe damals. ;)

Greetz


Kommentare ...
Vorstellung des filerecon project keksundkuchen | 26. Aug 08 : 13:46
Neues Mitglied (Level 1)
Rang 1 (Neues Mitglied)9 Ränge fehlen noch

Kommentare: 4
seit 25. Aug 08 : 22:50

Antworten
Sowas gibt es doch schon, wozu braucht man da noch so ein tool?
[root@pizza ~]# file untitled.bmp
untitled.bmp: PC bitmap, Windows 3.x format, 640 x 480 x 24
[root@pizza ~]# file web.c
web.c: ASCII C program text
[root@pizza ~]#

Re: Vorstellung des filerecon project Marc Ruef | 26. Aug 08 : 13:52
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Im Text stehen drei Gruende, warum ich mich fuer eine eigene Implementierung entschieden hab.


Kommentare ...
Vorstellung des filerecon project keksundkuchen | 26. Aug 08 : 14:11
Neues Mitglied (Level 1)
Rang 1 (Neues Mitglied)9 Ränge fehlen noch

Kommentare: 4
seit 25. Aug 08 : 22:50

Antworten
Als wenn ich die zeit hätte den Kram bis zu ende zu lesen ;)

Re: Vorstellung des filerecon project ports | 26. Aug 08 : 14:18
ThisIconSUCKS.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 85
seit 31. Jan 05 : 16:37

Antworten
Naja, zumindest reicht die Zeit aber fuer einen nutzlosen Kommentar.

Re: Vorstellung des filerecon project El Kassem | 26. Aug 08 : 14:48
PentaxMajorum.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 148
seit 01. Jun 08 : 21:47

Antworten
Für das reicht die Zeit immer.. ^^ xD


Kommentare ...
Vorstellung des filerecon project janheisterkamp | 26. Aug 08 : 16:50
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 42
seit 01. Apr 06 : 21:25

Antworten
Eine sehr schoene und nuetzliche Idee, dass filerecon-Projekt; ich habe es mir gerade heruntergeladen und schaue es mir sogleich mal an.

Saludos
Jan

Re: Vorstellung des filerecon project Shader | 27. Aug 08 : 17:29
LeSmileyDeClassique.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 86
seit 19. Jun 06 : 15:12

Antworten
Dem kann ich mich nur anschließen ein sehr nützliches Programm.

Shader


Kommentare ...
Vorstellung des filerecon project dobin | 26. Aug 08 : 16:52
Mitglied (Level 7)
Rang 7 (Mitglied)3 Ränge fehlen noch

Kommentare: 17
seit 27. Nov 07 : 13:46

Antworten
Wie unterscheidet sich filerecon von anderen solchen Projekten, wie
[link=
http://foremost.sourceforge.net/ ]foremost[/link] ?

Re: Vorstellung des filerecon project Marc Ruef | 26. Aug 08 : 20:27
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
filerecon ist wirklich nur wie file(1) fuer das Erkennen von Dateitypen zustaendig.

Foremost geht mittels Carving noch einen Schritt weiter und kann Datenstrukturen aus einem Stream (z.B. dd-Kopie einer Festplatte) extrahieren (wenn auch nicht so gut wie man das manchmal gern haette).

Mit filerecon will ich in der Tat eine erste Grundlage fuer ein Forensic Toolkit im Sinn von EnCase Forensic[1] schaffen. Und um schon wieder der Frage vorzubeugen, wieso ich was bauen will, was es schon gibt: Ich habe wohl die gleichen Gruende, wie als Linus damals Linux angefangen hat...

PS: Scalpel[2] ist uebrigens ein Fork von Foremost und um Ecken effizienter ;) !

[1] http://www.guidancesoftware.com/products/ef_index.aspx
[2] http://www.digitalforensicssolutions.com/Scalpel/


Kommentare ...
Vorstellung des filerecon project bsec | 26. Aug 08 : 21:29
AngryMac.gif
Aktives Mitglied (Level 8)
Rang 8 (Aktives Mitglied)2 Ränge fehlen noch

Kommentare: 16
seit 24. Jan 07 : 19:09

Antworten
Marc, was stört dich denn an den bestehenden Lösungen à la EnCase? (Mal abgesehen von file recons jetziger Funktion)

Re: Vorstellung des filerecon project Marc Ruef | 26. Aug 08 : 21:51
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
EnCase ist technisch ein geniales Produkt. Aber es stoert mich, dass es so viel kostet ;) !

Re: Vorstellung des filerecon project onkyo | 28. Aug 08 : 22:40
Dukky.gif
Aktives Mitglied (Level 8)
Rang 8 (Aktives Mitglied)2 Ränge fehlen noch

Kommentare: 15
seit 03. Jun 06 : 15:56

Antworten
Mmmm, EnCase, damit hab ich auch ein bisschen Erfahrung, bin aber immer ein bisschen unzufrieden damit.
Begründen kann ich dass aber nicht so genau.
Kannst Du mir mal sagen warum Du EnCase für ein technisch geniales Produkt hältst?
Ich will ja nicht lästern, aber wer bis vor kurzem Schwierigkeiten mit dd Images hatte, bei dem halte ich die technische Genialität doch für eher unterentwickelt.
Aber das sind meine Vorurteile, daher würde mich Deine Meinung wirklich interessieren. Andere sind natürlich auch zum fröhlichen "EnCase-Bashing" eingeladen.
Danke im voraus.

Re: Vorstellung des filerecon project Marc Ruef | 28. Aug 08 : 23:30
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Ich muss gestehen, dass ich nur damit rumgespielt habe und es nicht im Detail kenne. Mache das meiste bei forensischen Analysen von Hand oder mit open-source Tools.

Mir gefiel das Interface, welches halt das simple Klicki-Bunti-Feeling versprueht. Man muss sich nicht gross mit einem Syntax auf ner Shell rumaergern. Grad so fuers zusammenkratzen von Windows-Dateien doch ziemlich komfortabel, wie ich finde.

Kannst Du denn nicht konkret sagen, was Dir nicht gefaellt? Inwiefern hast Du es denn schon eingesetzt?

Re: Vorstellung des filerecon project onkyo | 29. Aug 08 : 09:51
Dukky.gif
Aktives Mitglied (Level 8)
Rang 8 (Aktives Mitglied)2 Ränge fehlen noch

Kommentare: 15
seit 03. Jun 06 : 15:56

Antworten
23:24 Uhr, Du lässt aber auch nicht s aus :-)

Also, ich mag EnCase nicht weil es eine "Polizeisoftware" ist; es geht dabei nicht darum einen Sachverhalt aufzuklären sondern jemandem etwas nachzuweisen. Forensik immer mit der Aufklärung von Straftaten gleichzusetzen finde ich persönlich langweilig. In anderen Leuten ihren Emails zu schnüffeln muss zwar sicherlich sein, mag ich aber nicht.
Kurz EnCase ist nicht an der Technik interessiert sondern an in erster Linie an der Offenlegung von "Inhalten".
Dafür stellt es einen kompletten Workflow zur Verfügung, dass haben die EnCase Leute schon recht gut hinbekommen.
Was ich bei EnCase dann wiedrum überhaupt nicht mag ist das "Klick and Run". Das Tool, bzw. die Sammlung von Einzeltools, welche EnCase ist Wirklichkeit ist, ist nicht transparent. Es funktioniert halt und Du musst/kannst Dich darauf verlassen.
Was sie genau machen teilen sie dir nicht mit, im Klartext EnCase kann eigentlich behaupten was es will, Du kannst es nicht nachvollziehen. Das mag ich überhaupt nicht, wir wissen was sog. Gutachter schon alles angerichtet haben.
EnCase teilt Dir z. B. auch nicht mit, was es nicht gefunden hat.
Wie auch? :-)
Aber genau darin sehe ich eine erheblich Gefahr, wenn wir uns alle auf EnCase verlassen würden.
Ich geb aber gerne zu, daß EnCase eine durchaus bemerkenswerte SW Sammlung ist, einfach nur Klicken ist m.E. aber nicht, das gibt zum Glück derzeit derzeit noch eine Bauchlandung.

Re: Vorstellung des filerecon project Marc Ruef | 29. Aug 08 : 10:22
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Ich kann Deine Kritikpunkte verstehen. Gerade die fehlende Transparenz ist etwas, was ich bei einem eigenen Projekt gerne weghaben moechte. (Das ist auch meistens der Hauptgrund, warum ich etwas entwickle, was es "eigentlich" schon gibt.)

Gleichzeitig muss ich aber sagen, dass ich Produkte wie EnCase halt eben genau bei polizeilichen Ermittlungen miteinbeziehe. Dort geht es eben darum moeglichst schnell Dinge aufzudecken. Zeit fuer "technische Spielereien" hat man da halt leider nicht. Und dann ist man schon froh, wenn EnCase da seinen Workflow anbietet.

Wer Spass an Forensik hat und an den technischen Hintergruenden interessiert ist, der kann natuerlich mehr von open-source Tools wie Scalpel profitieren.


Kommentare ...
Vorstellung des filerecon project keksundkuchen | 28. Aug 08 : 20:34
Neues Mitglied (Level 1)
Rang 1 (Neues Mitglied)9 Ränge fehlen noch

Kommentare: 4
seit 25. Aug 08 : 22:50

Antworten
Wird das denn wenigstens für Linux und nicht so ein crap wintendo prog wie dieses httprecon,atk in vb6 (echt lächerlich sowas) Oder kannst du kein C? Immer einen auf ich bin so elite machen und dann windows programme in vb6 schreiben und sich noch trauen sowas zu veröffentlichen :D

Re: Vorstellung des filerecon project Sub-Zero | 28. Aug 08 : 21:46
TheSighted.gif
Sehr aktives Mitglied (Level 9)
Rang 9 (Sehr aktives Mitglied)1 Ränge fehlen noch

Kommentare: 66
seit 27. Jan 05 : 20:13

Antworten
Der Herr riskiert eine decke Lippe^^. Zeig uns doch bitte was du den so in deinem Leben schon geschaft hast! Wie viele Bücher hast du schon geschrieben? Bist du in der Security-Szene bekannt? Hast du ein Unternehmen am Laufen? Welche Progz hast du geschrieben?


Kommentare ...
Vorstellung des filerecon project keksundkuchen | 28. Aug 08 : 21:53
Neues Mitglied (Level 1)
Rang 1 (Neues Mitglied)9 Ränge fehlen noch

Kommentare: 4
seit 25. Aug 08 : 22:50

Antworten
Bücher nicht, mehrere kleinere security tools, papers, einige exploits geschrieben etc aber ich will mit meinem shit ja kein geld verdienen oder angeben wie unser lieber Mr ruef ;)
In meinen Augen sind die Bücher und Programme vom ruef eher mittelmäßig.
Und ich hoffe, dass sich das mal ändert. Er kann viel (oder scheint dieses immer zu meinen) und mit seiner Zeit könnter er auch mal was vernünftiges, anspruchvolles fabrizieren.

Re: Vorstellung des filerecon project Marc Ruef | 28. Aug 08 : 23:24
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Ich halte meine Software eigentlich fuer ganz funktional und zuverlaessig. Setze vieles davon fast taeglich bei der Arbeit ein und habe sehr selten unzufriedene Kunden. Daher gehe ich davon aus, dass die von mir geschaffenen Werkzeuge ihren Zweck erfuellen. Sollten sie die Deinen nicht erfuellen koennen, dann tuts mir leid. Konkretes Feedback nehme ich aber gerne entgegen.

Solltest Du denn eine wirklich zuendende Idee haben, mit der ich meine Zeit "vernuenftiger und anspruchsvoller" verbringen kann, so teile es mir doch bitte mit. Ich bin immer an guten Ideen interessiert.

Uebrigens interessiert es die CPU nach dem Kompilieren einer Software nicht mehr, in was fuer einer Sprache sie geschrieben wurde. Lade Dir also doch einfach die Binaries runter. Dann hast Du nix mit VB6 zu tun ;) ! Sie laufen uebrigens auch anstandslos mit Wine. Falls Du dennoch eine Portierung vornehmen willst (gerade zum Beispiel von httprecon), so bin ich natuerlich noch so froh drum.

An Deinen Security-Tools und Exploits bin ich natuerlich auch interessiert, sofern sie mir meiner Arbeit erleichtern koennen. Stell hier doch am besten die Links zu den Downloads/Sourcen rein, dann haben alle was davon. Danke fuer Deine Bemuehungen.

Re: Vorstellung des filerecon project Sub-Zero | 29. Aug 08 : 13:28
TheSighted.gif
Sehr aktives Mitglied (Level 9)
Rang 9 (Sehr aktives Mitglied)1 Ränge fehlen noch

Kommentare: 66
seit 27. Jan 05 : 20:13

Antworten
Ich würde mir gerne diese Tools ansehen. Aber noch mehr interessieren mich die papers und exploits. Wäre nicht schlecht wenn du sie uns zur Verfügung stellen würdest. Danke schonmal im voraus!


Kommentare ...
Vorstellung des filerecon project bsec | 01. Sep 08 : 10:52
AngryMac.gif
Aktives Mitglied (Level 8)
Rang 8 (Aktives Mitglied)2 Ränge fehlen noch

Kommentare: 16
seit 24. Jan 07 : 19:09

Antworten
Hallo Marc,

Ich will gerne dein filerecon in einem meiner Projekte verwenden. Leider will ich aber kein VB6, sondern was eigenes, deshalb frage ich dich: habe ich eine chance, dass du die signaturen in irgendeiner form als download anbietest? vielen dank.

gruss bsec

ps: bei intresse kann ich anbieten mein tool zu veröffentlichen.

Re: Vorstellung des filerecon project Marc Ruef | 01. Sep 08 : 11:00
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Klar, Du findest die aktuellste Signatur-DB jeweils hier:

http://www.computec.ch/projekte/filerecon/database/magicdatabase.txt

Achte darauf, dass der Offset-Wert bei mir bei 1 (und nicht bei 0!) beginnt. Das ist auf eine haessliche Eigenart der Funktion Instr() in VB6 zurueckzufuehren. Ich werde das wohl in Zukunft (und bei einer allfaelligen Portierung; eventuell gibts nen C-Port) aendern.

Interesse an Tools/Sourcen besteht immer ;) !

Re: Vorstellung des filerecon project Vellas | 01. Sep 08 : 11:03
NervousBeavah.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 57
seit 13. Apr 07 : 11:23

Antworten
Die Datenbank mit den Signaturen (magicdatabase.txt) ist im ZIP mit dem Source-Code. Die Einträge darin scheinen durch Tabs getrennt zu sein (manchmal wie ich festgestellt habe auch durch mehr als einem).

Greetz

Re: Vorstellung des filerecon project Marc Ruef | 01. Sep 08 : 11:05
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Ja, das ist ein Fehler mit den multiplen Tabs. Die jeweils aktuellste Version des Files findet sich unter der zuvor genannten URL.


Kommentare ...
Vorstellung des filerecon project bsec | 02. Sep 08 : 15:22
AngryMac.gif
Aktives Mitglied (Level 8)
Rang 8 (Aktives Mitglied)2 Ränge fehlen noch

Kommentare: 16
seit 24. Jan 07 : 19:09

Antworten
Hallo Marc,

Ich hatte gestern die Gelegenheit dein Werk anzuschauen und dabei sind Fragen und Vorschläge aufgetaucht.

1. Wieso benutzt du _lcreat etc. WinApi funktionen auch wenn diese veraltet sind?
2. Gibt es spezielle Gründe wieso du kein FileMapping verwendest, bei grösseren Mengen an Daten könnte das Tool abstürzen.
3. Was bedeuten die '$' vor den VB-Funktionen? ;-)

Dann hätte ich folgende Vorschläge:
1. Könntest du das ganze als DLL File publizieren, damit man die Funktionalitäten auch in anderen Programmen benutzen könnte? Du könntest doch sonst eine GUI schreiben, damit es einfach (oder überhaupt) benutzbar ist (zum Vorzeigen, Arbeiten etc.)
2. Könnte man noch ein "Tab hinzufügen" für die Dateitypendung. So könnte man Binaries scannen und jeweils in das (bekannte) Format umwandeln

Zusätzliche Frage: Was ist wenn eine Exe ein anderes File embedded hat (z.b. Flashs.exe mit embedded swf). Das wird nicht erkennt nehme ich an. Wie wärs mit einer Option wo man alles scannen könnte?

Ich hoffe das sind - nicht wie bei den anderen - konstruktive Vorschläge / Kritiken und hoffe doch, dass du das eine oder andere Umsetzst. Freue mich auf deine Antwort.

Muss jetzt gehen, meine Mami hat gerufen,
bsec!!!
(Sonst stellt sie mir das Internet wieder ab :-()

Re: Vorstellung des filerecon project Marc Ruef | 02. Sep 08 : 22:42
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Danke fuer Dein Feedback. Keine Angst, Kritik werte ich nach wie vor akribisch aus und versuch das Beste fuer mich zu gewinnen ... Egal wie oft es Leute gibt, die mit destruktiven Aussagen an mich herantreten. Wuerde ich mein Verhalten aendern, wuerde ich denen nur einen Gefallen machen ;) !

Durch das Nutzen der 16-bit API-Funktionen[1] moechte ich ein Hoechstmass an Rueckwaertskompatibelitaet gewaehren. Die besagten Funktionen weisen die beste Performance in Bezug auf das Lesen von Dateien auf. Gerade wenn mit filerecon groessere Dateien verarbeitet werden sollen, koennen da ein Mehr an Effizienz rausgeholt werden. Oder hat schon jemand negative Erfahrungen mit dieser Art der Rueckwaertskompatibelitaet gemacht?

In der ersten Implementierung war ich zu faul fuer ein File-Mapping einzubringen. Ja, dafuer sollte man mir links und rechts eins an die Ohren hauen. (Das hab ich davon, dass ich die Sourcen bereitgestellt habe ;) !). Werde diese Nachlaessigkeit versuchen in Zukunft zu adressieren (im wahrsten Sinne des Worts).

Das GUI soll sich spaetestens ab Version 2.0 sowieso komplett aendern und sich an Projekten wie httprecon orientieren. Das Untersuchen und Applizieren von Dateierweiterungen soll dann ebenfalls eingefuehrt werden. Damit naehere ich mich dem File-Carving.

Die meisten Patterns versuchen moeglichst exakt zu arbeiten. Ist also der Offset eines Strings bekannt, wird nur dieser untersucht. Nur bei dynamischen oder nicht genau bekannten Dateiformaten wird auf Bereiche gesetzt (dies kann aber zu False-Positives fuehren). Per Zufall koennten eingebettete Dateien entdeckt werden (sofern sie nicht speziell codiert sind). In den meisten Faellen wird das aber nicht funktionieren. Theoretisch waere es aber moeglich, eine Einbettung zu entdecken und entsprechend die Pattern-Datenbank daraufhin dynamisch anzupassen (andere Offsets, Beruecksichtigung der Codierungen).

[1] http://msdn.microsoft.com/en-us/library/aa383722.aspx


Kommentare ...
Vorstellung des filerecon project bsec | 02. Sep 08 : 22:49
AngryMac.gif
Aktives Mitglied (Level 8)
Rang 8 (Aktives Mitglied)2 Ränge fehlen noch

Kommentare: 16
seit 24. Jan 07 : 19:09

Antworten
Merci. Ich bin nur gerade dein Tool am Umschreiben in C, damit ich es in meine Projekte vernünftig einbinden kann und da tauchten die Fragen auf. Ich kann es verstehen wieso du so gelöst hast. Wird sich dein Magic File krass ändern, oder wirst du einfach noch ein t hinzufügen? Falls es eine krasse Änderung gibt überlege ich nämlich das ganze auf Eis zu legen. Vielen Dank.

bsec

Re: Vorstellung des filerecon project Marc Ruef | 02. Sep 08 : 22:55
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Ich bin noch nicht ganz sicher. Zuerst wollte ich in der zweiten Spalte festlegen, ob es sich um einen ASCII-String (s) oder Hex-Wert (h) handelt. Damit koennte ich die Leserlichkeit von ASCII-Strings sehr hoch halten.

Doch eventuell faellt die zweite Spalte komplett weg und ich werde alles als ASCII-String behandeln, in dem jedoch mittels Backslashes zweistellige Hex-Werte vorkommen koennen. Dann muesste ich aber einen kleinen Lexer/Parser schreiben, was die Komplexitaet zwar erhoeht, jedoch noch immer ertraeglich haltet.

Zudem wird es wohl am Ende noch eine oder zwei zusaetzliche Spalten geben, die einerseits die typische Dateierweiterung, andererseits den MIME-Type dokumentieren.

Das alles sollte jedoch fuer Dich kein Problem sein, um es adaptieren zu koennen. Fuer Feedback bin ich natuerlich noch so froh. Und auf Deine Implementierung bin ich sehr gespannt (dann muss ich mich naemlich nicht mit C rumaergern ;) !).


Kommentare ...
Vorstellung des filerecon project ports | 03. Sep 08 : 07:53
ThisIconSUCKS.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 85
seit 31. Jan 05 : 16:37

Antworten
Danke fuer das Tool. Konnte ich gestern im Rahmen eines Tests gut gebrauchen.

ports