Datenbanken (mdb): Mehrere Zusammenfügen

7 Beiträge28.12.2006Archiviert
Pegen28.12.2006 · Beitrag #11324
Mitglied seit: 28.01.2005
Forenbeiträge: 150
Besuche: 2894
Hi Forum

Ich habe eine sehr grundlegende Frage zu Datenbanken, in meinem Fall eine mdb (MS Access).

Die mdb ist wie folgt aufgebaut (stark vereinfacht):

1. Tabelle "atome"

'ID' 'AtomName'

2. Tabelle "Ligand"

'ID' 'ID Master' 'AtomName'


Alle IDs sind automatisch fortlaufende Nummern. So, nun, jedes Atom in Tabelle 1 hat Liganden (= sowas wie, zum Atom gehörende Atome [für nicht Chemiker]), welche in Tabelle 2 eingetragen sind. Damit ich weiss, welches Atom in Tabelle 2 zu welchem Atom in Tabelle 1 gehört, schreibe ich ich die ID des Atom aus Tabelle 1 in die Spalte 'ID Master' der Tabelle 2.

Beispiel:

Tabelle 1:
ID / AtomName

1 / Atom1
2 / Atom2
3 / Atom3

Tabelle 2:
ID / ID Master / AtomName

1 / 1 / Ligand von Atom1
2 / 1 / Ligand von Atom1
3 / 1 / Ligand von Atom1
4 / 1 / Ligand von Atom1
5 / 2 / Ligand von Atom2
6 / 2 / Ligand von Atom2
7 / 2 / Ligand von Atom2
8 / 3 / Ligand von Atom3

Okay? Ich hoffe ihr könnt mir folgen. Nun, das Projekt ist sehr rechenintensiv. Beim aktuellen Stand braucht ein 2.4 Ghz PC glatt über 15 Tage. Daher will ich die Aufgaben auf mehrere Rechner verteilen. Danach habe ich allerdings mehrere Datenbanken, welche ihre IDs alle mit 1 beginnen lassen.

Wie kann ich nun diese Datenbanken zu einer zusammenfügen, so dass die Relationen erhalten bleiben? Im Grunde muss ich nur wissen, ob sowas dann auch möglich ist, wenn nicht, muss ich mir bereits jetzt Gedanken über Alternativen machen.

Ich hoffe, jemand versteht was ich meine und kann mir auch meine Frage beantworten.

Besten Dank

Pegen


Bonsai28.12.2006 · Beitrag #11325
Avatar
Mitglied seit: 02.06.2006
Forenbeiträge: 395
Besuche: 2691
Kannst du mal beschreiben wie die ganze Rechenoperation bei dir ausschaut Das was du oben beschrieben hast, kann ich ja in eine SQL-Anweisung packen und laufen lassen!! Und dafür dann 15 Tage Kann ich mir nicht so vorstellen. Datenmengen die bei dieser Rechenoperation (wie gesagt EINE SQL-Anweisung) 15 Tage brauchen müssen sehr groß sein - da bricht doch eher Access zusammen.
Pegen28.12.2006 · Beitrag #11326
Mitglied seit: 28.01.2005
Forenbeiträge: 150
Besuche: 2894
Hi Bonsai

Danke

Mein Programm spricht die Datenbank mittels SQL-Statements an. Ob ich dir meine Rechenoperationen erklären kann? Hmmm.. Glaub mir, das willst du nicht verstehen müssen.

Ich helfe hier einem Freund bei seiner Diplomarbeit in Chemie. Ein Teilziel besteht darin, diese Datenbank zu erstellen, welche aber wesentlich umfangreicher ist, als wie oben beschrieben. Aus den Ausgabendateien eines Massenspektrometers werden Atome und ihre Koordinaten ausgelesen, diese dann verrechnet/multipliziert/geprüft/etc..

Es sind mehrere 1000 solche Files, mit Teilweise bis zu 20'000 Zeilen/Atomen darin.

Die Rechendauer spielt keine Rolle, aber es wär schön, wenn mir jemand sagen kann, ob ich mein DB Problem lösen kann.


Pegen

Marc Ruef28.12.2006 · Beitrag #11327
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Ich habe eine sehr grundlegende Frage zu Datenbanken, in meinem Fall eine mdb (MS Access).


Du kennst mich, ich finde Produkte-Gebashe absolut sinnlos, aber Access ist hier die subobtimalste Wahl :P !

Alle IDs sind automatisch fortlaufende Nummern.


Eine Loesung besteht darin, vorerst komplett auf Auto-Nummerierung zu verzichten, sondern die IDs manuell eindeutig zu vergeben. Ist rein datenbanktechnisch sehr unschoen, aber in Deinem Fall erleichtert es die Eindeutigkeit ueber mehrere Datenbanken hinweg. Damit laesst sich eine [[Teile und herrsche (Informatik)]] Herangehensweise anstreben:

1. Die IDs von DB1 koennten dann {1.0, 1.1, ... 1.n} und die von DB2 {2.0, 2.1, ..., 2.n} lauten. Oder Du weist jeder Datenbank feste Bereiche zu.Fuer DB1 ist das dann 0 < n1 < 1000 und fuer DB2 ist es 1000 < n2 < 2000. Oder jede DB produziert ihre eigene Tabelle. usw.

2. Am Schluss kannst Du DBn in DBm kopieren, ohne die IDs zu ueberschreiben. Dadurch erhaelst Du DBnm.

3. Deine Indizierung in DBnm muss dann natuerlich im besten Fall neu erfolgen, in dem Du wieder richtig durchlaufend nummerierst. Das lohnt sich aber jenachdem nur, wenn Du das Zusammenfuehren nicht stetig sondern nur am "Schluss" machen musst.

So, nun, jedes Atom in Tabelle 1 hat Liganden (= sowas wie, zum Atom gehörende Atome [für nicht Chemiker]), welche in Tabelle 2 eingetragen sind. Damit ich weiss, welches Atom in Tabelle 2 zu welchem Atom in Tabelle 1 gehört, schreibe ich ich die ID des Atom aus Tabelle 1 in die Spalte &#39;ID Master&#39; der Tabelle 2.


Ich nehme ja an, dass n Atome insgesamt m Leganden haben koennen (Ich habe keine Ahnung von Chemie). Es herrscht sodann eine m-n Beziehung. Diese sollte mit einer Zwischentabelle geloest werden. Damit kannst Du die Komplexitaet von Tabelle 2 verringern, ein Sortieren und Filtern ebenso beschleunigen.

Bye, Marc
Pegen29.12.2006 · Beitrag #11340
Mitglied seit: 28.01.2005
Forenbeiträge: 150
Besuche: 2894
Hey Marc,

Danke für deine Antwort.

Suboptimal? Soso, ich dachte Datenbank sei mehr oder weniger Datenbank.
Zu welcher würdest du rate?

Hier mal die Eckdaten des Projektes:

- DB muss aus Exe heraus beschrieben werden können.
- Code in VB 6.0 (du kennst mich) ;-)
- Die DB wird schlussendlich in eine Homepage eingebunden.
- Daher wird die DB am Schluss wohl in eine MySQL DB konvertiert.
- Es kommen verdammt viele Daten in die DB. Ich glaube, die MS Access würde auf knapp 1 Giga anwachsen.

Naheliegend wäre wohl, ich würde gleich eine MySQL Datenbank verwenden. Oder ist dies ebenfalls eine schlechte Wahl?

Danke für eure Hilfe

Gruzz

Pegen

Marc Ruef29.12.2006 · Beitrag #11341
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo,

Danke für deine Antwort.

Suboptimal? Soso, ich dachte Datenbank sei mehr oder weniger Datenbank.
Zu welcher würdest du rate?


Keine Ursache. Nein, bei Datenbanken gibt es designtechnische und umsetzungstechnische Unterschiede groesseren Umfangs. Access weist sehr schlechte Algorithmen zur Datenverteilung, Indizierung, Sortierung und Filterung auf. Die Performance der [[Datenbank]] ist eigentlich, gerade bei groesseren Objekten, enorm schlecht.

Hier mal die Eckdaten des Projektes:

- DB muss aus Exe heraus beschrieben werden können.
- Code in VB 6.0 (du kennst mich) ;-)
- Die DB wird schlussendlich in eine Homepage eingebunden.
- Daher wird die DB am Schluss wohl in eine MySQL DB konvertiert.
- Es kommen verdammt viele Daten in die DB. Ich glaube, die MS Access würde auf knapp 1 Giga anwachsen.


Also ich kann Dir nur raten, direkt auf [[MySQL]] oder [[PostgreSQL]] zu setzen. Du kannst so fruehzeitig mehr Performance und Flexibelitaet reinbringen. Ebenso nimmst Du Dich damit Problemen an, die Du sonst spaeter haettest. Deine Anforderungen werden sich auch abseits von MS Access loesen lassen.

Naheliegend wäre wohl, ich würde gleich eine MySQL Datenbank verwenden. Oder ist dies ebenfalls eine schlechte Wahl?


Nein, in Deinem Fall wohl gar nicht. Gerade wenn Du am Schluss ein kommerzielles Hosting-Angebot nutzt, kommst Du wohl nicht um MySQL herum. Geht es um virtuose Riesendatenbanken, wie Deine eigentlich eine ist, waerest Du mit [[Oracle]] wohl noch besser beraten... Habe aber noch nie wirklich produktiv damit gearbeitet.

Aber versteh mich nicht falsch: Wenn Du Dich in Access gut zurechtfindest und die Nachteile in Kauf nehmen kannst, laesst es sich auch damit loesen ;) !

Bye, Marc
Pegen29.12.2006 · Beitrag #11348
Mitglied seit: 28.01.2005
Forenbeiträge: 150
Besuche: 2894
Hallo Marc,

Dank dir für die Infos.

Ich steige also auf MySQL um, am Schluss wirds eh eine PHP/MySQL-Internetseite.

Hoste ich eine MySQL Datenbank auf einem Server (komm. Webhost), könnte ich ja mit mehreren PCs diese gleicheizeitig bearbeiten. Dies würde elegant mein oben beschriebenes Problem lösen.
Allerdings frage ich mich gerade, wieviel so ein SQL Server eigentlich aushält. Überlaste ich das Ding nicht derart, dass ich schlussendlich gar keinen Performancegewinn mehr habe? Dann müsste ich ja wieder mehrere MySQL Datenbanken verwenden. Kann ich diese dann zusammenfügen, ohne die Relationen zu verlieren?

Besten Dank für deine kompetente Hilfe & Gruess

Pegen