Programmablauf beschleunigen (DNS Anfragen)

1 Beiträge01.02.2008Archiviert
Bonsai01.02.2008 · Beitrag #16324
Avatar
Mitglied seit: 02.06.2006
Forenbeiträge: 395
Besuche: 2691
Hallo,

ich arbeite z.Zt. an einem Programm, welches regelmäßig die NS-Einträge (A,NS,MX,etc.) einer Vielzahl an Domains auf Änderungen überprüft.
Sind Änderungen vorhanden, so wird ein neuer Datenbankeintrag geschrieben.

Dabei geht das Programm wie folgt vor.

1. Vorhandenen HostEintrag aus DB lesen
2. DNS-ROOT-Server kontaktieren und authoritative Nameserver feststellen
3. Anfrage an authoritativen Nameserver bez. HostEintrag
4. Empfangen von A,NS,MX,etc. Einträgen
5. Vergleich empfangene Daten mit Datenbank (mit Hilfe eines HashWertes)
6. Bei Änderungen -> neuen DB Eintrag schreiben

Alle Datenbankaktionen verbrauchen wenig Rechenzeit und müssen hier nicht weiter erläutert werden (denke ich) ..

Im Moment ist es so, dass ich pro DB-Eintrag ca. 0.5 - 1.0 Sekunden benötige. In naher Zukunft werden es aber mehrere Zehntausend Einträge geben, die überprüft werden müssen. Da wird es mit der Zeit ein wenig eng. Ein Großteil der Zeit geht dabei drauf, vom ROOT-DNS-Serer ausgehend den authoritativen Nameserver zu erfragen, da hier mehrere Stationen bedient werden müssen.
Ich kann allerdings auch keinen festen NS-Server nehmen, da ich sonst nicht alle NS-Einträge bekommen. Ich muss also "leider" immer bei dem authoritativen Nameserver anfragen.

Habe schon versucht mehrere Threads parallel laufen zu lassen. Leider nicht wirklich erfolgversprechend.

Der Source zur DNS-Anfrage ist schon relativ gut optimiert. Hier geht also auch keine Zeit flöten .

Ich hoffe mal, dass ich das gut genug erklärt habe.
Vllt. hat ja jemand ne Idee, wie ich die Sache beschleunigen kann (und wenn nur nen bissle).

THX.. Bonsai
[ Bearbeitet ]