MD5 Datenbank Online!

22 Beiträge28.02.2006Archiviert
Martin Wyss28.02.2006 · Beitrag #6208
Avatar
Mitglied seit: 24.10.2005
Forenbeiträge: 131
Besuche: 564
Hallo!

Ich wollte mal was neues Versuchen und hab mir ne MD5 Hash Datenbank erstellt!

Momentan sind etwas über 1 000 000 Hashes gespeichert!

Es würde mich freuen wen ihr mal vorbeischaut!



http://www.forgotten.ch/index.php?page=896

Gruss

Martin
Marc Ruef28.02.2006 · Beitrag #6210
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Ich wollte mal was neues Versuchen und hab mir ne MD5 Hash Datenbank erstellt!


Sehr schoen. Ich wollte auch seit einiger Zeit soetwas realisieren.

Darf ich fragen, wie Du die Datenbank strukturiert hast? Handelt es sich lediglich um eine Table mit etwa der folgenden Struktur:

CREATE TABLE `tbl_md5hashes` (
`hash_id` int(6) unsigned NOT NULL auto_increment,
`hash_md5value` varchar(32) unsigned NOT NULL default '0',
`hash_plaintext` varchar(64) NOT NULL default '',
`hash_timestamp` int(10) NOT NULL default '0',
PRIMARY KEY (`hash_id`)
) TYPE=MyISAM AUTO_INCREMENT=10001 ;


Wie sieht zudem Dein Such-Algorithmus aus? Machst Du eine simple Volltext-Suche auf das md5value-Feld oder benutzt Du irgendwelche Zwischentabellen (z.B. solche bei denen lediglich die ersten 4 bytes des Hash-Werts gleich sind)?

Hast Du irgendwelche Untertabellen gemach, um die Performance zu steigernt? Zum Beispiel, jenachdem wieviele Zeichen die Klartext-Eingabe umfasst?

Hast Du irgendwelche Performance-Tests diesbezueglich mit Deiner Datenbank gemacht und hast irgendwelchen interessanten Erkenntnisse?

Bye, Marc
kill.switch28.02.2006 · Beitrag #6211
Avatar
Mitglied seit: 21.07.2005
Forenbeiträge: 38
Besuche: 683
Wofür ist das gut ?
Martin Wyss28.02.2006 · Beitrag #6214
Avatar
Mitglied seit: 24.10.2005
Forenbeiträge: 131
Besuche: 564
Ich hab nur eine Tabelle, und es wird nach dem hash wer gesucht. Dieser ist als gleichzeitig als id eingetragen, so werden doppelte einträge vermieden.

im moment habe ich mit der volltextsuche noch keine probleme, und immerhin sind schon mehr als 1 000 000 einträge in der db.

ich habe die db auch mehr zum test, doch bisher bin ich erstaunt wie gut und schnell die db läuft!

@kill_switch

Eine MD5 Datenbank speichert "Hashes" (Ein weg hashes die mit md5 verschlüsselt wurden) mit dem dazugehörigen pw ab. So kann man dan z.b nach

195efe600e8ee7550c43b93116820275

suchen

das pw ist: haus

:)
[ Bearbeitet Di, 28. Feb 2006, 21:18 ]
Sunbreaker28.02.2006 · Beitrag #6215
Avatar
Mitglied seit: 17.08.2005
Forenbeiträge: 46
Besuche: 2780
@kill.switch:

In dieser Datenbank sind, wie Martin sagt, über 1.000.000 Hashwerte für unterschiedliche Zeichenketten gespeichert. Wenn du also z.B. die Zeichenkette für den Hash

098f6bcd4621d373cade4e832627b4f6

suchst, gibst du den dort ein und, sofern der Hash in der Datenbank eingetragen ist, wird er dir angezeigt.

@Martin:

Welche Hashwerte sind alles eingetragen? Nur von bestimmten Zeichenketten, also normale Wörter, oder auch zufällige, wie z.B. nZ8ju0i?
Martin Wyss28.02.2006 · Beitrag #6216
Avatar
Mitglied seit: 24.10.2005
Forenbeiträge: 131
Besuche: 564
@sunbreaker

Ich habe vor wen möglichst fast alle möglichen wörter in der db zu speichern, ich werde dan zufällige wörter generieren lassen von aaaaa bis zzzzz usw.

Im moment sind verschiedenste wordlists in den gängingen sprachen in der db.

Wen ihr Wordlists habt, könnt ihr mir die gerne senden, und ich adde diese dan in der db.
Nixi28.02.2006 · Beitrag #6217
Avatar
Mitglied seit: 22.04.2005
Forenbeiträge: 259
Besuche: 3014
Ich hab hier[1] noch ne 15 mb Wordlist rumfliegen. Habs mal bei Rapidshare hochgeladen. Viel Spass ;)

Gruß, nixi

[1]passlist
Marc Ruef28.02.2006 · Beitrag #6218
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Ich habe vor wen möglichst fast alle möglichen wörter in der db zu speichern, ich werde dan zufällige wörter generieren lassen von aaaaa bis zzzzz usw.


Fuer sowas ist [[John the Ripper]] sehr gut geeignet:

[cli]john -stdout:8 -incremental:All > bruteforcedict.txt[/cli]

Bye, Marc
padrino28.02.2006 · Beitrag #6219
Mitglied seit: 13.09.2005
Forenbeiträge: 267
Besuche: 2452
es gibt authentifizierungs-systeme, die mit md5 arbeiten, welche den usernamen als salt verwenden (da war letzthin was auf bugtraq, möglicherweise in zusammenhang mit aix). da nützt die rainbowtable nur beschränkt was.
shadows28.02.2006 · Beitrag #6220
Avatar
Mitglied seit: 29.01.2005
Forenbeiträge: 10
Besuche: 1600
Der MembershipProvider von .Net 2.0 speichert Standartmäßig die Passwörter mit einem Salt ab.
Ich denke mal das wir das dann in Zukunft öfters sehen werden.
Marc Ruef01.03.2006 · Beitrag #6221
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Der MembershipProvider von .Net 2.0 speichert Standartmäßig die Passwörter mit einem Salt ab.
Ich denke mal das wir das dann in Zukunft öfters sehen werden.


Ja, auch das passwd/shadow System der [[Unix]]-Systeme nutzt schon laenger diese Moeglichkeit. Aus diesem Grund gelten Loesungen ohne Salt eigentlich als unsicher.

Obschon man bedenken muss, dass zum Beispiel das Heranziehen des Benutzernamen als Salt nicht unbedingt brilliant ist. Rainbow-Tables macht es aber damit gleich wieder zu grossen Teilen unnuetz.

Trotzdem bleiben Rainbow-Tables aus Performance-Sicht ne interessante Geschichte. Und das eine oder andere System lässt sich so sicher effizient(er) aushebeln.

Bye, Marc
Martin Wyss01.03.2006 · Beitrag #6222
Avatar
Mitglied seit: 24.10.2005
Forenbeiträge: 131
Besuche: 564
Danke Marc!

Das mit John ist ne wirklich gute idee, hab daran garnicht gedacht :)
Martin Wyss07.03.2006 · Beitrag #6321
Avatar
Mitglied seit: 24.10.2005
Forenbeiträge: 131
Besuche: 564
Die Datenbank die auf forgotten.ch Online ist dient nur als Performance Test!

Ich hab bemerkt das mit mehr als 3'000 000 hashes die db langsam Performance Probleme hat!

Ich hab vor ein viel grösseres Projekt zu realisieren, so dass wirklich jeder hash gefunden wird! Die genau Methode bleibet vorerst geheim :)

Aber ich hab noch ein Problem mit der db, wie soll ich die db gestalten?

Hat jemand Ideen wie ich die db schneller machen kann, zb mit

Zwischentabellen

Patterns

Matrix Tabelle

oder ähnlichem.

Für Feedbacks bin ich euch dankbar.


[ Bearbeitet Di, 07. Mär 2006, 14:06 ]
ports07.03.2006 · Beitrag #6323
Mod
Avatar
Mitglied seit: 31.01.2005
Forenbeiträge: 705
Besuche: 4459
Stell einfach 160GB zur Verfuegung und du bekommst meine MD5-Rainbowtables :)

ports
Martin Wyss07.03.2006 · Beitrag #6324
Avatar
Mitglied seit: 24.10.2005
Forenbeiträge: 131
Besuche: 564
Ich hab schon über 1 Terra Rainbowtables.

Doch die frage war wie ich die db optimiere!
Flo_2k08.03.2006 · Beitrag #6325
Mitglied seit: 31.01.2005
Forenbeiträge: 212
Besuche: 2453
Hi,

um deine Datenbank zu verbesseren, wäre nicht schlecht, wenn du das komplette SQL-Statement posten würdest mit dem du deine Tabelle erstellt hast und die genauen Datenbankinformationen mit Versionsnummer usw.
Evtl. kann man den Tabellentyp ändern, Indizies vergeben(wobei der PK eh meistens einen Index besitzt) um eine performance Steigerung zu erreichen.

Gruß
Flo_2k
Martin Wyss08.03.2006 · Beitrag #6326
Avatar
Mitglied seit: 24.10.2005
Forenbeiträge: 131
Besuche: 564
Die DB Besteht aus einem Table:

primary key hash, varchar 32,
passwort, varchar 50

Indizes:
Name Typ
PRIMARY PRIMARY
hash INDEX




phpMyAdmin 2.6.0-pl3

MySQL 4.1.8-standard
[ Bearbeitet Mi, 08. Mär 2006, 10:44 ]
kaine14.07.2007 · Beitrag #14158
Mitglied seit: 14.07.2007
Forenbeiträge: 1
Besuche: 2
Da dies Thema wohl immer noch aktuell erscheint und ich bei der Suche auch über deine Arbeit gestoßen bin möchte ich auch meiner Nachwelt mitteilen das ich mich auch mit dem Thema beschäftigt habe und allerdings einen anderen ansatz gegangen bin und mehr versuche die bereits vorhandenen Rainbow Tables zu nutzen da das neu generieren einfach viel Zeit in anspruch nimmt und vorallem auch nicht wirklich das Projekt Rainbow Tables vorran bringt.

Lange rede kurzer sinn hier meine Arbeit zum Thema md5 Reversing:
http://md5.thekaine.de/
Helms14.07.2007 · Beitrag #14159
Avatar
Mitglied seit: 08.02.2005
Forenbeiträge: 517
Besuche: 1267
Hi, hier noch eine kleine Datenbank zum Thema:

http://gdataonline.com/seekhash.php

Greetz
Helms
janheisterkamp14.07.2007 · Beitrag #14160
Mitglied seit: 01.04.2006
Forenbeiträge: 490
Besuche: 1305
@Martin.
Schade der Lnk ist tot!
Haette mir Deine MD5 DB ja gerne mal angeschaut.

@Nixi
Deiner ebenso.

Naja, ist ja auch schon ueber ein Jahr alt der Thread, wenn Helms nicht nachgepostet haette, waere ich wohl nie darauf gestossen.

saludos
Jan

[ Bearbeitet Sa, 14. Jul 2007, 20:06 ]
Historischer Benutzer14.07.2007 · Beitrag #14161
Avatar
Mitglied seit: 27.06.2006
Forenbeiträge: 100
Besuche: 469
wegen der Performance - kleine Zwischenfrage : InnoDB oder MylSAM Engine ? Die InnoDB müsste um einiges schneller sein

Für die Indexierungs-Implementation ... gute Frage ;)
Flo_2k15.07.2007 · Beitrag #14163
Mitglied seit: 31.01.2005
Forenbeiträge: 212
Besuche: 2453
Hi Jar,

natürlich MyISAM. MyISAM unterstützt zwar keine Transaktionen, ist dafür aber viel performanter.

Wikipedia: [[MyISAM]]

Gruß Flo