Über nacht high Load avg zurückverfolgen was los war

7 Beiträge15.07.2009Archiviert
Juan15.07.2009 · Beitrag #20208
Mitglied seit: 16.01.2009
Forenbeiträge: 19
Besuche: 31
Hallo

Ich hatte auf meinem Apache Server (RedHat EL5) von ca 00:30 bis 06:00 Uhr eine Load avg zwischen 20 und 300..ich bemerkte es da verschiedene NRPE Dienste ein Socket Timeout ausgaben. Jetzt möchte ich gerne wissen was da los war?! Komischer weise passiert das ab und zu..heisst vieleicht zweimal in der Woche an verschiede Tage.

Was ich eiegntlich Wissen möchte ist, wie ich nun rausfinden kann was da los war? Hab die Log Files konsultiert..hab nichts merkwürdiges festgestellt (auch in den apache logs, gab es keine aktivitäten). Gibt es irgend ein Tool um das zu überwachen? Oder soll ich einfach ein Script mit top bzw. ps machen das über Nacht läuft? Kann ich irgendwie auch ohne ein Script rausfinden was da Los war??
Marc Ruef15.07.2009 · Beitrag #20209
Admin
Avatar
Mitglied seit: 25.01.2005
Forenbeiträge: 1337
Besuche: 22158
Hallo Juan,

Ich hatte auf meinem Apache Server (RedHat EL5) von ca 00:30 bis 06:00 Uhr eine Load avg zwischen 20 und 300..ich bemerkte es da verschiedene NRPE Dienste ein Socket Timeout ausgaben. Jetzt möchte ich gerne wissen was da los war?! Komischer weise passiert das ab und zu..heisst vieleicht zweimal in der Woche an verschiede Tage.


Ich steh grad ein bisschen auf dem Schlauch: Sprichst Du von CPU- oder von Netzwerk-Load?

Bye, Marc
Vellas15.07.2009 · Beitrag #20210
Avatar
Mitglied seit: 13.04.2007
Forenbeiträge: 232
Besuche: 3982
Hi!

Musste auch erstmal gucken. Die Load Average ist ein exponentieller Mittelwert und gibt an wieviele Prozesse in den letzten x Minuten (1, 5, 15) von der CPU verarbeitet wurden oder in der Verarbeitungsschlange gewartet haben, also im Status "running" oder "runnable" sind/waren. Der Wert sollte nicht höher sein, als die Anzahl der Prozessoren bzw. Kerne sein. Leider nicht auf Windows vorhanden, nur auf Unix-Systemen. Lässt aber in der Regel darauf schließen, dass die Programme längere Wartezeiten hatten, weil ein anderer Prozess blockiert hat.

// Edit: Wer lesen kann ist klar im Vorteil. Die Frage war CPU vs. Network, nit was es ist. *kopp@wand*

Folgende zwei Links fand ich ganz gut (bei Wikipedia isses aber auch beschrieben):
http://fibel.org/linux/lfo-0.6.0/node328.html
http://blog.gauner.org/2007/08/03/what-is-load-average-on-unix/

Möglichkeiten nachzuverfolgen was da los war, habe ich nicht gefunden. Man scheint das ganze Live auswerten zu müssen. In Verbindung mit der aktuellen CPU-Auslastung, können sich die Prozesse ausmachen lassen die Probleme bereiten.

Greetz

[ Bearbeitet Mi, 15. Jul 2009, 16:04 ]
ports15.07.2009 · Beitrag #20211
Mod
Avatar
Mitglied seit: 31.01.2005
Forenbeiträge: 705
Besuche: 4459
Hi,

du koenntest hergehen und die Auslastung ueber Nacht protokollieren. Gibt es sicher Tools fuer, oder eben schnell was zusammen scripten. Welche Logs hast du geprueft?

ports
Juan15.07.2009 · Beitrag #20212
Mitglied seit: 16.01.2009
Forenbeiträge: 19
Besuche: 31
Hallo zusammen

Danke für die Antworten. Die Rede ist von CPU Load.
Hier die Logs:
01:00 CRITICAL - load average: 37.95, 20.34, 8.60
05:00 CRITICAL - load average: 361.81, 345.64, 336.45
07:00 OK - load average: 0.00, 0.08, 17.29

Irgendwie scheint etwas zu klemmen, gehe mal Heute nacht auf dem Server und überwache mittels ps und top die Prozesse. Hoffe mein Server lässt mich per SSH rauf wenn die Load ~ 300 beträgt :)

Ich gebe euch dann Bescheid.

*edit*

Hab mir eigentlich alle Logs angeschaut, von Apache (access/error) bis zu audit/messages/cron usw.
[ Bearbeitet Mi, 15. Jul 2009, 15:15 ]
inode16.07.2009 · Beitrag #20217
Mitglied seit: 31.01.2005
Forenbeiträge: 56
Besuche: 693
hallo,

falls du mit nrpe die nagios software meinst, schau mal nach, was das nagioslog sagt, oder versuch mal nsca, dann wird nicht mehr gepollt, sondern vom agent her gepusht. alternativ kannst du auch mal versuchen über snmp zu überwachen. falls du noch keine rrd graphen vom nagios hast, versuch mal das hier pnp4nagios[1]

falls du kein nagios hast und schnell und einfach einen server überwachen willst, würde ich mal munin[2] installlieren. ist bei vielen distributionen dabei und hat plugins für so ziemlich alles[3]. mit den rrd graphen lässt sich dann bequemer arbeiten.

läuft sonst was wie cronjobs, backup agents, datenbanksachen?

gruss,
inode

[1] http://www.pnp4nagios.org/
[2] http://munin.projects.linpro.no/
[3] http://muninexchange.projects.linpro.no/
Juan16.07.2009 · Beitrag #20226
Mitglied seit: 16.01.2009
Forenbeiträge: 19
Besuche: 31
Ich hab Nagios am laufen ja. pnp4nagios hab ich auch installiert (unten siehst Du den Graphen). Die Eventlogs von Nagios hab ich oben zusammengefasst..ich vermute das Problem ist nicht Nagios sondern auf dem Webserver..Ich meine die Plugins lügen nicht...wenn dort die Load so angezeigt wird heisst das, dass auf dem Server eine hohe CPU load war..komischerweise war das gestern Nacht nicht so..hab da nichts verändert :/

Ich schaue Heute nochmal rein..hier noch die pnp4nagios Ausgabe:

[externes Bild nicht eingebunden]