Wartungsarbeiten bei Opencaching.de

Hier geht es um die technische Bereitstellung der Plattform - KnowHow im Bereich Virtualisierung und CentOS können sind hier sehr hilfreich
dl6hbo

Moin allerseits !
Ich bekomme heute Morgen ständig Mail mit SQL Fehlermeldungen und muss daher unsere Server nacheinander kurzfristig vom Netz nehmen, um die Datenbanken zu überprüfen.
Eventuelle Unterbrechungen bitte ich zu entschuldigen.
dl6hbo

Es haben sich keine gravierenden Fehler gefunden.  Alle Server stehen seit 08:40 CEST wieder voll zu Eurer Verfügung.
following

Hab gestern einen Bug ein gebaut, wird gleich korrigiert. In so einem Fall kannst du den betreffenden Cronjob abschalten: In den Fehlermails steht "runcron", und unter diesem Name findet sich in der Crontab ein Eintrag den man auskommentieren kann.

Sorry an die Technik wegen des Emailspam.
Zuletzt geändert von following am 10.09.2015, 12:41, insgesamt 1-mal geändert.
dl6hbo

[quote="following"]
Hab gestern einen Bug ein gebaut, wird gleich korrigiert. In so einem Fall kannst du den betreffenden Cronjob abschalten: In den Fehlermails steht "runcron", und unter diesem Name findet sich in der Crontab ein Eintrag den man auskommentieren kann.

Sorry an die Technik wegen des Emailspam.
[/quote]

Klar kann ich den Cronjob abstellen, nur muss ich ja davon ausgehen, dass er irgendwas Wichtiges machen soll, wenn er denn funktioniert.
Um zu wissen, was das ist, hätte ich mich womöglich in den Code einarbeiten müssen. Darum habe ich es gelassen.
following

Das war auf jeden Fall eine gute Entscheidung. Wenn 'runcron' angehalten ist funktionieren die folgenden relevanten Dinge nicht:

* geographische Einordnung von neuen Caches
* Eintrag von Naturschutzgebieten in neuen Cachelistings
* Aktualisierung von Geokrety-Daten (in welchem Cache liegen sie?)
* zeitgesteuertes Veröffentlichen von Caches
* Aktualisierung der Empfehlungsstatistik auf der Startseite

Das wird dann nachgeholt wenn runcron wieder läuft. Also ohne Not sollte man's nicht für längere Zeit anhalten. Mal für 1-2 Stunden ist kein Thema. Die Geokrety-Updates dürfen übrigens maximal 10 Tage stillstehen; danach hätten wir ein größeres Problem.

Daneben gibt es noch folgende Cronjobs:

* 'run_notify': verschickt Benachrichtigungen für neue Caches (kein Problem, wenn das mal ein paar Stunden stillsteht)
* 'runwatch': verschickt Benachrichtiungen für neue Logs
* 'fill_search_index': aktualisiert den Index für die Volltextsuche, das ist unkritisch
* okapi/cron5: Aktualisiert OKAPI-Protokolle. Das ist unkritisch, allerdings verschickt die OKAPI irgendwann Admin-Benachrichtigungen wenn es für längere Zeit stillsteht.
Benutzeravatar
mic@
Vereinsmitglied
Vereinsmitglied
Beiträge: 6623
Registriert: 04.12.2009, 00:31

[quote="dl6hbo"]Ich bekomme heute Morgen ständig Mail mit SQL Fehlermeldungen und muss daher unsere Server nacheinander kurzfristig vom Netz nehmen, um die Datenbanken zu überprüfen.[/quote]

Haben wir in diesem Fall so etwas wie eine Wartungsseite?
Also quasi so was hier?
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
dl6hbo

[quote="mic@"]
Haben wir in diesem Fall so etwas wie eine Wartungsseite?
Also quasi so was hier?
[/quote]

Nee, haben wir nicht, denn die müsste ja von einem Webserver, wie z.B. Apache, ausgeliefert werden.  Genau den müssen wir aber stoppen, damit die User nicht während der Überprüfung über den Webserver auf die zu prüfenden Datenbanken zugreifen (und sie dabei zermarmeln).

Man könnte zwar einen kleinen zweiten Webserver, wie z.B. lighttpd installieren, der nur während der Wartung läuft und die Wartungsseite ausliefert, aber das würde nur nützen, wenn unser Hauptproblem nicht der Absturz aller unserer Server wäre. In den letzten Fällen, die ich bearbeitet habe, war es meist so, dass alle virtuellen Server und auch der sogenannte "Hypervisor", unter dessen Kontrolle die virtuellen Maschinen laufen, sich eine Ruhepause gegönnt haben. Nur ein einziges Mal war wenigstens der "Hypervisor" noch am Laufen, so dass die Wiederbelebung schnell ging.

Ich hoffe, mich verständlich ausgedrückt zu haben.
Benutzeravatar
mic@
Vereinsmitglied
Vereinsmitglied
Beiträge: 6623
Registriert: 04.12.2009, 00:31

[quote="dl6hbo"]Ich hoffe, mich verständlich ausgedrückt zu haben.[/quote]

Danke, nur eine kleine Nachfrage:
Reicht es nicht, in diesem Fall eine Mini-HTML-Datei aktiv zu schalten, wo so ein Wartungsbild dann verlinkt ist?
Oder benötigt eine statische index.html auch einen laufenden Webserver?
dl6hbo

[quote="mic@"]
Danke, nur eine kleine Nachfrage:
Reicht es nicht, in diesem Fall eine Mini-HTML-Datei aktiv zu schalten, wo so ein Wartungsbild dann verlinkt ist?
Oder benötigt eine statische index.html auch einen laufenden Webserver?
[/quote]

Ich kenne es nur so, dass ein Webserver laufen muss, um HTML über http auszuliefern.  Bei meiner Webseite http://www.dl6hbo.de ist der komplette Inhalt statisch und braucht dennoch einen Webserver, der ihn ausliefert.
following

Irgendwo in der OC-Konfiguration gibt es einen einschaltbaren Wartungsmodus; es erscheint dann ein Einzeiler "die Webseite ist zu Wartungsarbeiten offline" oder so ähnlich. Das könnte man zu einer hübscheren Seite ausbauen und vor allem auch die diversen APIs berüchsichtigen. Eine OKAPI-Anwendung kann mit so einem Text z.B. nix anfangen, die braucht einen maschinenlesbare Meldung.

=> http://redmine.opencaching.de/issues/841
dl6hbo

Das ist zwar eine nette Idee Peter, aber in den meisten Fällen, die ich bearbeitet habe, war auch nach dem Neustart unseres Webservers "large" (die virtuelle Maschine) der Apache auf "large" noch tot.

Sollte das Verhalten nach dem Umzug aller Komponenten unserer Serverlandschaft immer noch so sein und ich gerade etwas Zeit haben, will ich gern untersuchen, warum das so ist.

Ich denke der Wartungsmodus ist eher für andere Zwecke gedacht, als anzuzeigen, dass gerade alles nach einem Absturz wieder in Stand gesetzt wird.
following

Gleich wird ein Update der OC-Software eingespielt, das zur Vorbereitung des Neustarts von www.opencaching.fr dient. Unter der Haube wurde eine Menge geschraubt, vor allem in den Bereichen

- www.opencaching.it / www.opencachingspain.es / www.opencaching.fr
- Mehrsprachigkeit
- Benachrichtigungsmails
- Darstellung von Bildern
- Cachetypen und Logtypen

Die Seite wird während des Umbaus ein paarmal kurz offline sein. Falls danach trotz gründlicher Tests irgendwelche Unrgelmäßigkeiten auffallen sollten, gebt bitte bescheid.
Benutzeravatar
4_Vs
Vereinsmitglied
Vereinsmitglied
Beiträge: 3150
Registriert: 18.03.2012, 07:25

[quote="following"]
Gleich wird ein Update der OC-Software eingespielt, das zur Vorbereitung des Neustarts von www.opencaching.fr dient. Unter der Haube wurde eine Menge geschraubt, vor allem in den Bereichen

- www.opencaching.it / www.opencachingspain.es / www.opencaching.fr
- Mehrsprachigkeit
- Benachrichtigungsmails
- Darstellung von Bildern
- Cachetypen und Logtypen

Die Seite wird während des Umbaus ein paarmal kurz offline sein. Falls danach trotz gründlicher Tests irgendwelche Unrgelmäßigkeiten auffallen sollten, gebt bitte bescheid.
[/quote]
Schön. aber eine denkbar ungünstige Zeit für die Nutzer. Ich glaube um die Uhrzeit ist immer am meisten los bei uns ... kann man so etwas nicht in Zukunft früh morgen / vormittags machen?
Whenever I try to plan something, it doesn't seems to work out. So why plan, it only leads to disappointment! (Eddie van Halen)
following

Waah, willst du mir den Schlaf rauben? :P

Donnerstag ist der Tag mit der geringsten Nutzeraktivität.
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
dl6hbo

Moin,

ich bekomme heute mal wieder Fehlermeldungen von unserem Webserver, die aus der Datenbank stammen.  Wahrscheinlich muß die mal wieder repariert werden.  Dazu muss ich für ca. 20 Minuten den Webserver [url=http://www.opencaching.de]www.opencaching.de[/url] vom Netz nehmen.

Ich bitte die Unannehmichkeiten zu entschuldigen.

11:39 CEST: Erledigt ! 
Zuletzt geändert von dl6hbo am 17.10.2015, 11:39, insgesamt 1-mal geändert.
Antworten