Archivvorschau: News-Inhalte aus historischen Cache-Dateien wurden gegen die öffentlichen Berechtigungen im SQL-Dump geprüft.

Vorstellung des codEX Project

Vorstellung des codEX Project (Samstag, 7. April 2007 - 13:26:24)
[Webseite] Die Analyse von Programm-Quelltexten ist eine sehr mächtige Methode, um Schwachstellen in einem Produkt aufdecken zu können. Dabei gibt es verschiedene Techniken, wie sich eine solche Untersuchung anstellen lässt. Obschon es einige Analysewerkzeuge für diese Tätigkeit gibt, in den meisten Fällen handelt es sich um teure Lösungen oder primitive Skripte, muss ein Grossteil der Arbeit manuell durchgeführt werden. Auch in meinem nächsten Buch werde ich mich in einem ganzen Kapitel dieser Aufgabe widmen.

Mir der Aufwändigkeit solcher Vorgehensweisen bewusst, bin ich darum bemüht ein Tool zu entwickeln, mit dem sich derartige Arbeiten vereinfachen und gar automatisieren lassen. Vor rund zwei Jahren habe ich mit der Ausarbeitung eines Konzepts für eine solche Applikation begonnen. Kurz nach der Fertigstellung meines Buchs vor rund einer Woche habe ich eine erste Implementierung angestrebt.

Das grundlegende Prinzip basiert auf einem virtuellen multi-pass Compiler, der den Quelltext der zu untersuchenden Applikation in eine normalisierte, reduzierte und lineare Fassung bringt (1st pass). Diese assemblerähnliche Sprache namens METACODE erlaubt in einem zweiten Schritt die logische Untersuchung der vorliegenden Applikation (2nd pass). Damit lassen sich syntaktische Fehler (z.B. inkoheränte Klammerung), logische Probleme (z.B. Off-by-One Zähler) und Sicherheitslücken (z.B. SQL-Injection) ausmachen.

Heute wurde die Projektwebseite unter http://www.computec.ch/projekte/codex/ aufgeschaltet. Bisweilen sind darauf allgemeine Informationen zur Idee sowie Screenshots der Anwendung zu finden. In absehbarer Zeit wird eine erste öffentliche Version zur Verfügung gestellt. Die grundlegende Arbeitsweise kann ab Ende Mai 2007 in meinem Buch nachgelesen werden. Die Arbeiten am codEX Project werden voraussichtlich die Grundlagen für ein weiteres Buch zum Thema Source Code Analysis bilden, welches ich für das Jahr 2009 vorgesehen habe.

Lese/Schreibe Kommentar: 15 printer friendly

Kommentare ...
Vorstellung des codEX Project duddits | 07. Apr 07 : 13:47
StaronaRedDot.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 39
seit 07. Mär 06 : 21:52

Antworten
Sieht nach einem sehr interessanten und ehrgeizigen Projekt aus.

Deiner Projekt Webseite ist zu entnehmen, das derzeit PHP unterstützt wird. Soll das codEX Project nur PHP unterstützen, oder wird es verschiedene Module für die jeweils verwendete Sprache geben?

Gruß
Daniel

Re: Vorstellung des codEX Project Marc Ruef | 07. Apr 07 : 13:55
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Ja, ehrgeizig ist das richtige Wort: Jedes Mal wenn ich ein Problem geloest habe, merke ich, dass ich eigentlich neu vor noch einem viel groesseren stehe ;) !

Ich habe mich absichtlich fuer einen sehr maechtigen virtuellen Compiler und die Zwischensprache METACODE entschieden, um sehr schnell und einfach andere Sprachen unterstuetzen zu koennen. In der Tat steht zur Zeit nur der Lexer fuer PHP. Diesen auf andere Sprachen zuzuschneiden ist aber nicht so das Problem.

Sobald die Unterstuetzung fuer PHP richtig steht, werde ich auch andere Sprachen (als naechstes voraussichtlich C) angehen. Aber wie geschrieben: Ich mache mir gar keinen Stress und deshalb kann/will ich nix genaues versprechen.


Kommentare ...
Vorstellung des codEX Project squeez | 07. Apr 07 : 15:50
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 78
seit 06. Apr 05 : 16:29

Antworten
Guten Tag

Solche Projekte sind immer sehr interessant. Besonders aus Sicht der Möglichkeiten und deren Grenzen wie sie im Forum und im Blog schon ein paar Mal diskutiert wurden.

In welcher Sprache ist die Software geschrieben ?
Ist eine Portierung auf andere Systeme als Windows problemlos möglich ?

Marco

Re: Vorstellung des codEX Project Marc Ruef | 07. Apr 07 : 16:09
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Die Sprache willst Du gar nicht wissen ;) ! Es ist VB6. Bitte steinigt mich.

Und ja, eine Portierung wird moeglich sein (Wieso denn nicht?). Ich habe mich aus einem einzigen Grund fuer VB6 entschieden: Einfachste Moeglichkeiten des GUI Designs. Dieses erscheint mir naemlich laengerfristig am wichtigsten. Die Parser und Lexer mit einer anderen Sprache zu schreiben ginge wohl genau gleich schnell/effizient (Hatte erste Ansaetze mit ANSI C und PHP begonnen, diese aber wegen der Muehsamkeit des GUIs wieder verworfen; und eine Hybridloesung wollte ich nicht.).

Re: Vorstellung des codEX Project squeez | 07. Apr 07 : 18:18
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 78
seit 06. Apr 05 : 16:29

Antworten
"Marc Ruef" schrieb: ...

Bitte steinigt mich.

Ich weiss wo du wohnst :-)

Es gibt GTK oder Qt. Beides für alle gängigen Plattformen.
Als Sprache wäre C oder C++ viel sinnvoller (sorry, dafür gibts keine Entschuldigung).

Möchtest du das Projekt selbst entwickeln? Ich glaube nicht, dass du viele Leute aus der Open Source Szene damit glücklich machen kannst. Denn wer programmiert schon VB6. Und VB6... sorry, es ist wirklich das schlimmste was du tun konntest... ^^
VB6 *igit* :-)

Marco

Re: Vorstellung des codEX Project Marc Ruef | 07. Apr 07 : 18:29
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Danke fuer die Rueckmeldung. Ich werde bei Gelegenheit nochmals darueber nachdenken ;) !

Re: Vorstellung des codEX Project Stefan | 08. Apr 07 : 00:53
Prophet.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 76
seit 11. Feb 05 : 09:43

Antworten
squeez schrieb: ...

Es gibt GTK oder Qt.


(gdb) backtrace
#0 0xb778c3a0 in QMetaObject::findSlot () from /usr/lib/libqt-mt.so.3
#1 0xb779d917 in QObject::connect () from /usr/lib/libqt-mt.so.3
#2 0xb71cdbd8 in xcall_QObject () from /usr/lib/libsmokeqt.so.1
#3 0xb7c94881 in smokeruby_mark () from /usr/lib/ruby/1.8/i486-linux/qtruby.so
#4 0xb7e9aa38 in rb_provide () from /usr/lib/libruby1.8.so.1.8
#5 0xb7ea1f7e in rb_iter_break () from /usr/lib/libruby1.8.so.1.8
#6 0xb7ea2be8 in rb_iter_break () from /usr/lib/libruby1.8.so.1.8
#7 0xb7ea3979 in rb_Array () from /usr/lib/libruby1.8.so.1.8
#8 0xb7ea2cd9 in rb_iter_break () from /usr/lib/libruby1.8.so.1.8
#9 0xb7ea9e20 in rb_apply () from /usr/lib/libruby1.8.so.1.8
#10 0xb7ea279b in rb_iter_break () from /usr/lib/libruby1.8.so.1.8
#11 0xb7ea2be8 in rb_iter_break () from /usr/lib/libruby1.8.so.1.8
#12 0xb7ea2eb7 in rb_obj_call_init () from /usr/lib/libruby1.8.so.1.8
#13 0xb7c83a96 in new_qt () from /usr/lib/ruby/1.8/i486-linux/qtruby.so
#14 0xb7e9aa38 in rb_provide () from /usr/lib/libruby1.8.so.1.8
#15 0xb7ea1f7e in rb_iter_break () from /usr/lib/libruby1.8.so.1.8
#16 0xb7ea2be8 in rb_iter_break () from /usr/lib/libruby1.8.so.1.8
#17 0xb7ea9e20 in rb_apply () from /usr/lib/libruby1.8.so.1.8
#18 0xb7ea8d8f in rb_apply () from /usr/lib/libruby1.8.so.1.8
#19 0xb7eb03d7 in rb_load_protect () from /usr/lib/libruby1.8.so.1.8
#20 0xb7eb0422 in ruby_exec () from /usr/lib/libruby1.8.so.1.8
#21 0xb7eb045f in ruby_run () from /usr/lib/libruby1.8.so.1.8
#22 0x08048612 in main ()
(gdb)

Sorry, aber die Gelegenheit nach 4 Stunden Troubleshooting loszuwerden, dass ich QT hasse war zu gross ;).

Frohe Ostern
Stefan

Re: Vorstellung des codEX Project squeez | 08. Apr 07 : 22:46
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 78
seit 06. Apr 05 : 16:29

Antworten
Xlib rockt :-)

Übrigens Stefan, passt dein aktueller Blog über Programmiersprachen [1] sehr gut zu diesem Thema, wie ich finde, und darf hier durchaus verlinkt werden.

Marco

[1] http://www.fadetoblack.ch/blog/2007/04/03/evolution-of-code/


Kommentare ...
Vorstellung des codEX Project dingdong | 11. Apr 07 : 21:49
Mitglied (Level 3)
Rang 3 (Mitglied)7 Ränge fehlen noch

Kommentare: 4
seit 11. Apr 07 : 21:41

Antworten
hello,
Tönt interessant.

Das ist eine statische Analyse? ist nirgendswo erwähnt ..
Auf was für einer theoretischen Grundlage basiert codEx, bzw der Teil der die "logische Analyse" durchführt?
Ich frage das vorallem, weil du spezifisch erwähnst "logical errors [...] and security flaws [..] can be determined very accurately". Ohne theoretische Grundlage gibt es keine genaue Analyse.
Simple forward/backward dataflow analyse wird nicht genügen, um z.b. Off-by-ones in code zu detektieren..

gruss
dingdong.

Re: Vorstellung des codEX Project Marc Ruef | 12. Apr 07 : 07:31
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Eine gute Frage. Ich muss gestehen, dass ich mich in dieser Angelegenheit noch nicht in allen Punkten festgelegt habe. Fuer mich ist es naemlich ebenso ein Research-Projekt, weshalb ich da relativ dynamisch vorgehen werde.

In erster Linie werde ich um das Anstreben von statischen Analysen bemueht sein. Jedoch werde ich ebenso im Rahmen von METACODE eigene Eingaben durchspielen wollen. Dabei werde ich also quasi ein virtuelles Fuzzing anstreben.

Logische Fehler betreffen in erster Linie Überdeckungstests (Verhalten von Kontrollbloecken als Teil des Kontrollflussgraphen). Dass bei der genannten Aufzaehlung Off-by-Ones naturgemaess nicht zwingend dazugehoeren ist natuerlich absolut richtig (es war eher ne kosmetische Entscheidung im Text). Werden Off-by-One Fehler jedoch aufgrund statischer Gegebenheiten eingesetzt, erachte ich diese dennoch als logische Fehler, die sich auch durch eine statische Analyse eruieren liessen ;) ! (Ich lasse mich gerne korrigieren!)

Re: Vorstellung des codEX Project dingdong | 12. Apr 07 : 10:13
Mitglied (Level 3)
Rang 3 (Mitglied)7 Ränge fehlen noch

Kommentare: 4
seit 11. Apr 07 : 21:41

Antworten
ein virtuelles Fuzzing? Wieso denn virtuell, was bedeutet das? Ich denke in der Fachsprache heisst das eher symbolisch oder eben statisch.
D.h. mit fuzzing möchtest du input daten dem programm zuspielen, um dann zu schauen, ob das Programm in einen Fehlerzustand geriet?
Das ist eine gute Idee, aber du weisst, dass es eine ganze (akademische!) Forschungsrichtung gibt, welches sich NUR um die gute Generierung von test (input) daten beschäftigt? Dazu gibt es zwei Grundansätze: das Programm in eine Kripke struktur zu uebersetzen, und danach mittel Model Checking und der generieten counter-examples geeignete Input daten zu generieren. Der andere Ansatz ist mittels symbolic execution, das Programm symbolisch auszuführen, warscheinlich mittels einer path- und flow-sensitive (!) interprozeduralen dataflow analyse. Für eine path-sensitive analyse (und das willst du, denn sonst macht die analyse ueberhaupt keinen sinn) benötigst du aber noch eine decision procedure, welche dir die boolschen ausdrücke über den verschiedenen pfäden auflöst!
Bei beiden Analysen hast du immernoch das Problem, dass deine konkrete Semantik des Programms undecideable ist (loops etc)! Somit musst du warscheinlich noch das ganze auf einer Abstrakten Interpretations analyse aufbauen. Für einen guten Kurs am MIT über Abstrakte Interpretation kann ich dir diesen LINK hier empfehlen.
Wenn du dich GEGEN diese exakten und formalen Grundlagen entscheidest, wird deine Analyse nicht sehr viel genauer als man in 5 minuten mit einem Shellscript basteln kann....

gruss
dingdong

Re: Vorstellung des codEX Project Marc Ruef | 12. Apr 07 : 10:42
http://www.computec.ch/_images/newsicons/marcs_blog.gif
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 427
seit 25. Jan 05 : 17:54

Antworten
Danke fuer den sehr guten Link. Ich pflichte Dir in allen Punkten bei. Ja, es ist mir klar, dass sich da schon seit vielen Jahren Akademiker damit beschaeftigen. Das soll mich aber nicht davon abhalten, mich auch damit auseinanderzusetzen ;) ! Ich beabsichtige zudem nicht, das Rad komplett neu (und schlechter) zu erfinden.

Ich denke der Unterschied zu meinen Gehversuchen ist, dass sich diese nahezu ausschliesslich auf Sicherheitsprobleme konzentrieren. Aus eben diesem Grund kann ich viele (sehr komplexe) Diskussionen unberuecksichtigt lassen und durch dedizierte Formalismen die eigenen Beduerfnisse besser abdecken.

Mit meiner Software will ich meine Arbeit, die ich bisweilen manuell durchfuehren muss, erleichtern/automatisieren. Das ist das erste Ziel. Es scheint, als haettest Du Dich umfassend mit diesem Themengebiet auseinandergesetzt: Kennst Du denn ein Produkt, das dies schon getan hat?

Re: Vorstellung des codEX Project dingdong | 13. Apr 07 : 00:20
Mitglied (Level 3)
Rang 3 (Mitglied)7 Ränge fehlen noch

Kommentare: 4
seit 11. Apr 07 : 21:41

Antworten
    "Das soll mich aber nicht davon abhalten, mich auch damit auseinanderzusetzen ;) ! Ich beabsichtige zudem nicht, das Rad komplett neu (und schlechter) zu erfinden.
    "

Ok, ich wollte das einfach erwähnen, weil du das als "research projekt" angekündigt hast. Sofern es nicht an der spitze der Forschung ist und eine Neuerung bringt ist es kein research project.

Es gibt keinen echten Grund, wieso du die komplexen Grundlagen vernachlässigen kannst, "nur" weil du dich um Sicherheitsprobleme beschränkst. Was man schlussendlich will, ist eine exakte analyse und eine möglichst generelle Lösung. Dies bekommt man nur durch eine gute formale Basis.
Es ist sehr verlockend einfach darauf loszuprogrammieren, und man unterschätzt die Komplexität des Problkems total. Das Resultat wird sehr viel Arbeit und eine sehr ungenaue Analyse sein.

Ja es gibt sehr viele solche Programme. Es gibt kommerzielle Produkte (Coverity, Klocwork, SLAM von Microsoft Research) und eine Unzahl an wissenschaftliche Arbeiten und Implementationen. Coverity z.b. benutzt 10 Jahre Forschung auf dem Gebiete der statischen Analyse, model checking und metacompilation an der Stanford Universität.


Kommentare ...
Vorstellung des codEX Project squeez | 12. Apr 07 : 23:24
Kernmitglied (Level 10)
Rang 10 (Kernmitglied)

Kommentare: 78
seit 06. Apr 05 : 16:29

Antworten
Guten Tag

Nicht zu letzt wird es das Halteproblem sein, welches deine Arbeit nie beenden lassen wird. Darüber wurde schon oft hier diskutiert.

Um diesem entgegen zu wirken empfehle ich die Implementierung einer Laufzeitanalyse (was jedoch dem Sinn des Projektes etwas aus den Rudern läuft).

Marco

    "
    (es war eher ne kosmetische Entscheidung im Text)
    "

Marketing ist alles...



Re: Vorstellung des codEX Project dingdong | 13. Apr 07 : 00:07
Mitglied (Level 3)
Rang 3 (Mitglied)7 Ränge fehlen noch

Kommentare: 4
seit 11. Apr 07 : 21:41

Antworten
wie gesagt, abstract interpretation gibt dir eine approximierte, endliche semantik.