Seitenausfall: Ursachenforschung¶

Die Kommentarfunktion ist wieder aktiv. Dank eines Backups aus Contao-Zeiten konnte ich auch einen guten Teil der Kommentare wiederherstellen. Bis Mitte Mai 2016 sind sie wieder da. Alle neueren sind leider verloren gegangen.

Was ist denn nun genau passiert?

Der direkte Grund für das Desaster war ein amoklaufendes Aufräumskript auf meinem kleinen Homeserver. Der kümmert sich neben Backups und anderem Kram auch darum, jede Nacht per SSHFS das Dateisystem meines Webspaces einzubinden und dort alte Logfiles zu löschen. Das hat jahrelang bestens funktioniert, bis vor kurzem mein Hoster sein Logfile-Handling umgestellt hat. Deswegen existieren die klassischen Log-Verzeichnisse nicht mehr. An der Stelle kam ein Bug im Aufräumskript ins Spiel. Das hat nicht geprüft, ob der Wechsel in die Log-Verzeichnisse auch funktioniert. Das war jetzt natürlich nicht mehr der Fall, was das Skript aber nicht mitgekriegt und trotzdem munter drauf los gelöscht hat: im lokalen Homeverzeichnis und auf dem Webspace ratzeputz alles weg, was älter als vier Tage war. Auch das wäre noch nicht allzu schlimm gewesen, würde nicht Syncthing im Hintergrund laufen. Das hat die Katastrophe munter auf alle Rechner im lokalen Netzwerk zurücksynchronisiert.

Was lernen wir daraus? Alle Backups, Netze und doppelte Böden nützen nichts, wenn der komplette Datenbestand von zentraler Stelle automatisiert erreichbar ist. Das ermöglicht solche miesen Dominoeffekte. Als erste Reaktion habe ich in Syncthing die Versionierung eingeschaltet, damit Dateien nicht einfach gelöscht, sondern papierkorbt werden. Außerdem denke ich darüber nach, wie ich regelmäßig aber trotzdem bequem ein zusätzliches Backup machen kann – so richtig manuell mit menschlichem Eingriff und externen Datenträgern.

Am Ende sind die Verluste zum Glück recht überschaubar. Es ist nichts endgültig verloren gegangen, was richtig weh tut. Gerettet hat mich zum einen meine Synchronisierwut. Je mehr Dateisysteme man hat, aus denen man per Undelete Dinge rauskratzen kann, desto mehr kommt dabei rum. Zum anderen liegen viele Sachen in Repos bei Bitbucket oder Github, die man einfach wieder clonen kann. Zu guter Letzt habe ich im Keller eine CD mit einem gut zehn Jahre alten Backup entdeckt, die mir einen ganzen Berg an älteren Dokumenten gerettet hat.

Also alles wieder im grünen Bereich. Aber den Schock hätte ich mir doch gerne gespart.