Ausfall Hosting-Server

Am 26.Juli 2024 fielen ein grosser Teil der Websites und Teile der E-Mail Konten auf dem Hosting-Server aus. Die Störung dauerte ungewöhnlich lange und trägt leider den unschönen Titel „längste Störung in unserer Firmengeschichte“. Die Störungssuche gestaltete sich schwierig und dessen Behebung sehr aufwendig. Während einige Kundenaccounts tadellos funktionierten, waren andere Kunden von Teilausfällen betroffen oder komplett offline.

In den letzten Tagen war der Hosting-Server zwar online, jedoch immer wieder von kurzen Unterbrüchen in der Erreichbarkeit und Leistung geplagt. Heute wurde eine Hardware-Erweiterung und weiteren Optimierungen vorgenommen, wir hoffen sehr die letzten Probleme in der Performance und Erreichbarkeit damit nun überwunden zu haben. Der Server wird aber weiterhin engmaschig überwacht um Probleme frühzeitig zu erkennen.

Es ist uns bewusst, wie unangenehm solche Ereignisse sind und welche Einschränkungen bei unseren Kunden dadurch entstehen können. Wir haben versucht, mittels der Status-Seite aktiv zu informieren, um alle betroffenen Kunden laufend mit Informationen zu versorgen.

Wir haben nun einen ausführlicheren Beitrag in unserem NewsBlog verfasst, um die Vorgänge für unsere Kunden etwas mehr zu beleuchten und aufzuzeigen, welche Faktoren die Störungsbehebung behinderten.

Völlig klar ist aber, dass dies nicht die Leistung sein soll, welche wir für unsere Kunden erbringen möchten. Für die entstandenen Umstände bei unseren Kunden möchten wir uns daher nochmals in aller Form entschuldigen!

Wir haben die letzten Tage den Hosting-Server weiterhin aktiv beobachtet. Das Rechenzentrum hat in der Zwischenzeit weitere Optimierungen vorgenommen, so dass der Server nun die letzten 24 Stunden stabil durchgelaufen ist. Nach einer langen und anstrengenden Woche schliessen wir die Störung auf unserer Status-Seite ab, jedoch nicht ohne weiterhin ein wachsames Auge auf den Hosting-Server zu werfen. Wir hoffen dass die Stabilität anhält und die Angriffe zuverlässiger abnehmen.

Die Ursachen werden noch weiter aufgerollt und müssen sicher genauer analysiert werden. Im Zentrum steht sicher die OS-Migration des Webservers, vielfältige Cyberangriffe auf Webseiten des Servers sowie einer von Malware betroffenen CMS-Website. Sobald wir über weitere Informationen verfügen, werden wir diese auch auf unserem News-Blog gerne mit euch teilen.

Wir danken allen betroffenen Kunden für ihre grosse Geduld in der Sache und entschuldigen uns für den Unterbruch und die entstandenen Umstände!

Heute wurden weitere Optimierungen am Datenbank Dienst vorgenommen, um die Stabilität des Servers weiter zu stärken. Diese Arbeiten werden noch fortgesetzt. Erschwerend wurde in den letzen 24 Stunden der Server mehrfach durch Cyberattacken beeinträchtigt. Weiterhin wäre eine Prognose für den Normalzustand herauszugeben nicht seriös, zumal die Angriffe leider nicht vorauszusehen sind.

Wir bedauern die Umstände und danken für dein Verständnis!

Derzeit bestehen wieder Stabilitätsprobleme mit dem Hosting-Server, betroffen sind primär der Datenbankdienst. Das Rechenzentrum arbeitet mit Hochdruck an der Lösung. Vielen Dank für dein Verständnis!

Es wurden weitere Optimierungen am Datenbank Dienst vorgenommen. Der Dienst muss dafür neu gestartet werden. Es kommt dabei zu einer geplanten Downtime von 4-5 Minuten.

Das Problem konnte behoben werden und der Dienst ist wieder online erreichbar. Wir beobachten und prüfen die Funktion derzeit. Wir entschuldigen uns für den Unterbruch und danken für dein Verständnis!

Die automatische Serverüberwachung hat einen Fehler bei der Erreichbakeit des Datenbankdiestes dedektiert. Das Rechenzentrum prüft die Situation aktuell. Weitere Informationen - oder direkt die Wiederherstellung des Dienstes - folgen.

Vielen Dank für dein Verständnis!

Die Ladezeiten des Hosting-Servers sind über Tag teilweise und kurzzeitig immer noch erhöht. Das Rechenzentrum und seit Montag früh auch der Hersteller des Plesk arbeiten hierzu noch an der Problemlösung. Teilweise entstehen auch dadurch kurze Unterbrüche, da nach Konfigurationsänderungen zuweilen Reloads notwendig werden.

Leider kommen immer auch wieder DDOS-Angriffe hinzu, welche die Serverleistung zusätzlich massiv beeinträchtigen

Es sind inzwischen Erfolge erzielt worden, die Situation hat sich verbessert. Trotzdem müssen wir hier noch um etwas Geduld bitten.

Bei Meldungen zur Ladezeit sind wir jeweils über Datum und vorallem die genaue Uhrzeit froh.Vielen Dank!

Der Webservers ist kuzzeitig nicht erreichbar, damit die Lastspitzen welche immer noch auftreten genauer zu untersuchen.Weitere Informationen - oder direkt die Wiederherstellung des Dienstes - folgen.

Vielen Dank für dein Verständnis!

Der Hosting-Server hatte am frühen Morgen bis ca.09:00 Uhr noch sehr träge Ladezeiten. Nach weiteren Optimierungen konnten danach deutliche Verbesserungen beobachtet werden. Nebst einem kurzen Neustart am frühen Nachmittag konnten keine Probleme bezüglich der Erreichbarkeit oder Geschwindigkeit mehr festgestellt werden.

Noch ungelöst ist ein Account mit einer Domain, welcher nach wie vor nicht korrekt auflöst. Hierzu stehen die Spezialisten im Rechenzentrum und der Herstellerfirma des Plesk im Einsatz und arbeiten an der Lösung. Weitere Störungsmeldungen von Kunden sind bisher nicht eingetroffen.

Gerne posten wir weitere Informationen hier, wenn weitere Neuigkeiten vorliegen.

Inzwischen hat sich die Lage mit den Ladezeiten verbessert, derzeit scheint die Situation stabil. Wir werden die Lage weiterhin aktiv beobachten und bei Bedarf informieren.

Wir veröffentlichen hier auch temporär mal eine Statusübersicht des Monitorings zur vollen Transparenz über die aktuelle Lage: Link zum Monitoring. Die Messungen und Aktualisierungen der Seite finden jede Minute statt.

Wir haben inzwischen eine neue Statusmeldung des Rechenzentrums erhalten, welche wir euch hier gleich ungefiltert als Zitat weitergeben:

Wir nehmen die Aktualisierung dieser Statusmeldung wieder auf und versichern Ihnen, dass unsere Techniker auch übers Wochenende fortwährend im Einsatz standen! Sie dürfen im Laufe des Tages mit weiteren Updates rechnen - unserer Techniker arbeiten mit höchster Priorität an der Lösung der unterschiedlichen Problemfelder. Leider mussten wir im Nachgang zur Migration auch übers Wochenende weiterhin Probleme feststellen. Zusätzlich hatten Angriffe gegen den Server und einzelne Webseiten darauf, das System zeitweise überlastet. Unsere Techniker arbeiten weiter mit Hochdruck an der Stabilität des Servers und den Problemen mit DNSSEC auf dem Server. Für die entstandenen Unannehmlichkeiten möchten wir uns aufrichtig bei Ihnen entschuldigen.

Hier nochmals ein aktuelles Update zum Hosting-Server:

• Die Domains konnten - mit einer Ausnahme - wieder hergestellt werden. Dieser Fall ist aktuell noch in Arbeit.
• Die betroffenen Subdomains konnten wieder hergestellt werden.
• Aktuell besteht noch zuweilen eine wiederholend auftretende, langsame Ladegeschwindigkeit. Dieses Problem ist bei der Technik im Rechenzentrum noch in Arbeit. Gelegentlich kommt es für Optimierungen auch zu einem Server-Neustart und dadurch zu einem kurzen Unterbruch.
• Die Funktion DNSSEC ist aktuell deaktiviert und bleibt dies auch, bis die genauen Ursachen des Ausfalls vollständig geklärt sind.
• Zwei Fälle sind noch zu lösen, bei welchen Domains bei externen Anbietern registriert sind und DNSSEC nutzen. Die betreffenden Kunden wurden persönlich informiert.

Noch Fehler gefunden?

Sollten betreffend E-Mail, Domains oder Subdomains auf dem Hosting-Server noch Probleme entdeckt werden, sind wir um entsprechende Hinweise über den Support froh.

Ursachen

Noch nicht ganz Klarheit besteht zu den Ursachen der Probleme. Ein Zusammenhang mit der OS-Migration des Rechenzentrums vom Donnerstag Nacht ist nicht auszuschliessen. Eine Stellungnahme des Rechenzentrums steht hier noch aus, dies wird morgen Montag genauer abgeklärt. Gerne werden wir die Informationen in der nächsten Woche im News-Blog mit euch teilen.

Wir schliessen zu diesem Fall die Kommunikation per E-Mail soweit ab, ausser es würden sich neue Probleme ergeben. Wir werden aber weitere Updates zum aktuellen Stand auf der Status-Seite posten.

Wir atmen langsam auf und hoffen, auch die restlichen Pendenzen noch zeitnah bewältigen zu können! Wir entschuldigen uns für die Umstände in aller Form und danken für das grosse Verständnis, welches uns in den letzten Tagen von unseren Kunden zugestanden wurde! Vielen Dank!

Die Technik führt immer noch Arbeiten am Webserver aus, um die Probleme zu lösen, derzeit wird wieder ein Neustart ausgeführt. Insgesamt werden die Probleme kleiner, nur noch wenige Domains und Subdomains sind noch nicht erreichbar. Wir arbeiten derzeit zusammen mit den Rechenzentrum intensiv an dessen Behebung.

Anbei nochmals ein Update zur aktuellen Situation des Hosting-Servers: Der Server hat immer noch eine erhöht Last, läuft aber soweit nun stabil. Einzelne Domains wurden noch korrigiert, diese sollten bei Aktualisierung des DNS in der Nacht online gehen.

• Wenige Domains lösen aktuell trotz korrekten Einstellungen nicht auf, diese sind den Technikern des Rechenzentrums zur Prüfung übergeben worden.
• Aktuell wurden auch noch Probleme mit Subdomains erkannt, diese haben wir ebenfalls gemeldet.
• Die Probleme mit dem Controlpanel Plesk haben sich inzwischen gelegt.

Die Probleme werden an der Zahl kleiner, sind aber leider noch nicht ganz ausgestanden. Wir arbeiten daran, die noch anstehenden Probleme zu lösen, benötigen aber noch etwas Zeit dafür. Vielen Dank für dein Verständnis für die aktuelle Situation.

Aktuell verzichten wir aufgrund hoher Last des Servers auf weitere Arbeiten. Die Techniker arbeiten derzeit am Server, um die Auslastung abzuklären. Gemeldete Domains welche noch nicht online sind, haben wir zur Abklärung an das Team des Rechenzentrums weitergeleitet.

Wir werden später eine Bestandesaufnahme der Domains machen, um Klarheit zu haben, wo nochmals nachgebessert werden muss.

Vielen Dank für dein Verständnis!

Wir kämpfen derzeit noch um ein paar hartnäckige Fälle, bei denen Domains zwar korrekt eingerichtet, aber trotzdem nicht oder wieder nicht mehr online sind. Ausserdem verzeichnet der Server eine hohe Last, welche die Arbeiten zusätzlich verzögert. In grossen Teilen sind die Domains aber inzwischen wieder online.

Wir arbeiten aber daran und halten dich auch dem laufenden darüber! Vielen Dank für dein Verständnis!

Wir haben inzwischen weitere Domains wieder in Betrieb nehmen können. Wir arbeiten weiter daran, auch die restlichen Domains mit unserem Workflow wieder online zu bringen. Lösche jeweils bitte den Browser-Cache, um deine Website neu zu laden.

Aktuelle Informationen werden weiterhin auf der Status-Seite gepostet.

Vielen Dank für dein Verständnis!

Bei weiteren Domains wurde inzwischen das DNS angepasst um die Erreichbarkeit zu erstellen. Wir arbeiten weiterhin mit Hochdruck daran, alle Websites wieder online zu bringen.

Derzeit kämpfen wir aber erneut mit der Erreichbarkeit des Controlpanel Plesk und des Webservers. Wir stehen in Kontakt mit dem Rechenzentrum.

Vielen Dank für dein Verständnis!

Einige weitere der betroffen Domains konnten in der Nacht noch wiederhergestellt werden. Die DNSSEC-Funktion ist nach wie vor im Fokus und wird bearbeitet.

Als weiteres Update haben wir erste gute Nachrichten zur Störung: Erste Domains konnten wieder online genommen werden, dabei wurde vorderhand DNSSEC ausgeschaltet. Die SLL-Probleme konnten inzwischen vom Rechenzentrum behoben werden.

Derzeit wird versucht, die DNSSEC-Probleme zu beheben, damit die restlichen Domains wiederum aktiviert werden können. Die Störungsbehebung wird somit also weiter andauern.

Vielen Dank für deine Geduld!

Die leider bislang längste Serverstörung in unser Firmengeschichte dauert leider immer noch an. Heute scheint nicht unser und schon gar nicht der Tag des Hosting-Servers zu sein. :(

Wir haben inzwischen einige Domains mittels des Workflows wiederhergestellt, jedoch nicht ganz alle mit Erfolg. Derzeit hat sich aber ein neues Problem ergeben, welches die SSL-Zertifikate betrifft. Wir haben daher die Arbeiten gestoppt, bis die Techniker im Rechenzentrum weitere Informationen dazu haben. Wir werden den weiteren Verlauf aktiv beobachten.

Wir entschuldigen uns für den Ausfall uns die dadurch entstandenen Umstände!

Für weitere Fragen stehen wir gerne über den Support zur Verfügung, zur aktuellen Störung des Hosting-Servers posten wir jedoch alle verfügbaren Informationen hier.

Wir konnten inzwischen die Probleme eindeutig bei der Sicherheitsfunktion DNSSEC eingrenzen. Inzwischen wurde bei mehreren Domains testweise erfolgreich DNSSEC deaktiviert und die Funktion getestet. Da sich jedoch das DNS zuerst aktualisieren muss, dauert dies allerdings ca. 1 Stunde, bis die Domain wieder fehlerfrei aktiv ist.

Derzeit sind wieder mehrere Domains in der Umstellung, sofern dies erfolgreich ist, wird der Workflow im grösseren Stil angewendet.

Wir arbeiten intensiv an der Lösung und hoffen, bald positivere Meldungen posten zu können. Vielen Dank für dein Verständnis!

Leider sind die bisherigen Bemühungen noch nicht von Erfolg gekrönt. Tests haben ergeben, dass DNSSEC gewisse negative Einwirkungen der Störung hat. Derzeit wird unermüdlich seitens des Rechenzentrums versucht, das Problem zu lösen.

Wir befassen uns derzeit mit einem Workflow, um allenfalls DNSSEC zu deaktivieren. Erste Tests dazu sind derzeit im Versuch.

Die Störungssuche konzentriert sich weiter auf das Plesk-DNS, welches die Anfragen nicht korrekt weiterleitet. Domains welche nicht mit DNSSEC ausgerüstet funktionieren soweit. Das Rechenzentrum sucht weiterhin die Störungsursache, wir testen derzeit den Zusammenhang mit DNSSEC.

Vielen Dank für deine Geduld

Die Störungssuche konzentriert sich derzeit auf das Plesk-DNS, welches offenbar die Anfragen nicht korrekt weiterleitet. Die Techniker suchen weiterhin mit Hochdruck die Ursache des Problems.

Vielen Dank für deine Geduld!

Der Hosting-Server funktioniert weiterhin nicht wunschgemäss, die Websites und Applikationen können mehrheitlich nicht geladen werden. Wir haben inzwischen schriftlich ein Update des Rechenzentrums eingefordert, um weitere und aktuellere Informationen zu erhalten.

Wir werden auch weiterhin offen informieren, sobald Neuigkeiten vorhanden sind. Vielen Dank für dein Verständnis!

Die Websites und Applikationen des Hosting-Servers laufen trotz erster Erfolge nicht wunschgemäss, teilweise sind Domains und DNS nicht erreichbar. Die Arbeiten für die Wiederherstellung sind im Gang, benötigen aber weitere Zeit. Die Technik des Rechenzentrum arbeitet mit Hochdruck an der Problemlösung.

Wir bitten um Entschuldigung, weitere Informationen folgen.

Noch nicht alle Webseiten und Applikationen des Webservers sind wieder vollständig erreichbar. Die Wiederherstellung läuft derzeit, wir bitten noch um etwas Geduld!

Vielen Dank für dein Verständnis!

Die Dienste des Webservers sind derzeit wieder online erreichbar. Wir beobachten und prüfen die Funktionen derzeit weiterhin aktiv und werden auch bei Bedarf weitere Aktualisierungen auf der Status-Seite posten.

Wir entschuldigen uns für den Unterbruch und danken für dein Verständnis!

Die Probleme halten derzeit noch an, wir bitten um Geduld!

Vielen Dank für dein Verständnis!

Der Webserver läuft leider immer noch nicht stabil. Die Mehrheit der Anfragen wird nach wie vor nicht beantwortet. Die E-Mail-Dienste sind online, Seiten des Website-Builders sind verfügbar. Die Techniker im Rechenzentrum suchen mit Hochdruck nach den genauen Ursachen. Sobald weitere Erkenntnisse vorliegen, teilen wir diese auf der Status-Seite.

Wir entschuldigen uns für den Unterbruch und danken für dein Verständnis!

Unsere automatische Serverüberwachung meldet derzeit eine Störung des Webservers. Wir wurden alarmiert und prüfen das Problem derzeit. Weitere Informationen - oder die Wiederherstellung des Dienstes - folgen!

Vielen Dank für dein Verständnis!