...). Deshalb kam es heute zu einem Ausfall den pop/imap Daemons. Beim nächsten mal sollte das jetzt funktionieren. Das Zertifikat hält jetzt jedenfalls wieder drei Monate..Bitte haben Sie Verständnis, dass es insbesondere während Urlaubszeiten unter Umständen zu einer Einschränkung der Support-Antwortzeiten kommen kann.
Log:
17.06.2025: Im Webmail haben keine Attachments funktioniert, sollte jetzt aber funktioniern. Der neue Squirrelmail nutzt andere Verzeichnisse, die aber nicht da waren (und bei der Installation auch nicht angelegt werden!). Die Problembehebung hat auch die individuellen Konfigurationen zurückgebracht.
17.06.2025: Am Wochenende hat sich unser Server einmal neu gestartet, leider kann man nicht mehr sehen, warum. Eine sehr umstrittete Lösung für Linux war der SystemD, der mal wieder echt interessant ist. Er schreibt Logfiles per default ins RAM, so dass sie nach einem Neustart nicht mehr da sind.. Wer kommt auf so Ideen? Insofern wissen wir nicht, warum der Server neu gestartet wurde. Danach standen aber einige virtuelle Maschinen nicht auf autostart, so dass das Spamgate und der Mailout nicht gebooet wurden, was dann dazu führte, dass weder Mails ein- noch ausgingen. Hätten wir gewusst, dass die Fehlerbehebung so einfach ist, wär es schneller gegangen.. Logfiles sollten jetzt auf der Platte landen.
15.06.2025, 3:23 Uhr: Ausfall eingehender und zum Teil auch der ausgehenden E-Mails.
11.06.2025, 15:35 Uhr: Jetzt sollten alle wichtigen Dienste wieder laufen. Alle Nutzer sind wieder aktiv geschalten. Was soll man an einem freien Tag bei dem schönen Wetter auch anderes machen..
11.06.2025, 15:22 Uhr: Die seit heute morgen gepufferten E-Mails sind jetzt auch angekommen, sieht alles ganz ok aus. Dann wollen wir mal der Reihe nach einige Nutzer freischalten.
11.06.2025, 12:30 Uhr: Die Mails sind wieder da, wo sie sein sollten, erste Tests sehen gut aus. Wir haben die DNS-Einträge umgeschalten, leider dauert das jetzt etwas, bis das alle Server im Internet mitbekommen. Erst dann können wir auch vernünftig Zertifikate ausrollen und weiter testen. Es kann sein, dass Sie sich ab und zu per IMAP/POP3 verbinden können, momentan sind aber noch alle Kennungen gesperrt. Also keine Panik, wenn das Passwort falsch sein sollte, die Passwörter kommen ganz am Ende.
11.06.2025, 11:10 Uhr: Alle Tests abgeschlossen, wir sortieren gerade 4 GB an E-Mails in die bestehenden 550 GB E-Mails ein. Das wird etwas dauern ...
11.06.2025, 10:40 Uhr: 4 GB an E-Mails sind aus den Mailverzeichnissen auf dem Notfall-Server exportiert und auf den neuen Server kopiert, aber noch nicht am richtigen Platz. Das ist alles etwas viel Skript/Perl-Magie, Google hat keine Anleitungen für so etwas (und btw. KIs haben - wie zu erwarten - sehr "lustige" Vorschläge, was man machen sollte).
11.06.2025, 8:15 Uhr: Wir ziehen alle Daten auf die neuen Server, danach sollten alle Dienste wieder wie gewohnt funktionieren.
08.06.2025, 13:25 Uhr: Wir machen sicherheitshalber ein volles Backup unserer neuen Server, noch bevor diese live gehen. Und das .. dauert natürlich wieder (16 Stunden!), da wir die Backups weit weg von unseren Servern haben wollen. Danach werden wir die alten und die aktuellen (vom Notfall-Server) E-Mails zusammenführen und mit etwas Glück nächste Woche wieder in den Normalbetrieb übergehen.
05.06.2025, 22:34 Uhr: Das E-Mail-System auf dem neuen Server ist fertig konfiguriert! Wir hatte zwar Backups der Konfiguration, aber alte Konfiguration auf neue Software-Versionen zu nutzen, bringt immer wieder Überraschungen. Jetzt fehlt noch das Zusammenführen der alten E-Mails mit den neuen E-Mails auf dem anderen Server (noch nie gemacht..), dann sollte alles fertig sein. Obwohl, es sind noch keine Backups aufgesetzt.. aber wann braucht man die schon ;-)?
04.06.2025, 18:47 Uhr: Nachdem sich die DNS-Einträge verbreitet haben, haben jetzt auch alle Server ein korrektes Zertifikat bekommen.
04.06.2025, 10:20 Uhr: Auch das Aufsetzen des Homepage-Servers kann unerwartet lange dauern (5 Stunden!), irgendwie mochte unsere technisch sehr einfache Webseite einfach nicht auf dem aktuellen Linux laufen. Jetzt tut sie es aber, www.hallertau.net läuft wieder auf einem eigenen Server, nicht mehr auf dem Notfall-Server.
03.06.2025, 09:27 Uhr: Sorry für fehlende Updates, wir arbeiten immer noch daran, allerdings nicht mehr die ganze Nacht ;-). Die neuen Server sind zwar ziemlich fertig, aber für einen sicheren Betrieb fehlt noch einiges, auch viele Kleinigkeiten dauern. Aktuell haben wir gerade viel Zeit investiert, dass der Fehler nicht noch einmal auftaucht. Das geht aber nicht auf einem Produktivsystem, deshalb dauert der Umzug auf die neuen Systeme noch etwas. Auch wollen wir, dass die neuen Server sicher sind, auch das geht besser, wenn wir nicht auf echte Nutzer Rücksicht nehmen müssen.
26.05.2025, 19:13 Uhr:Wir haben wieder ein Spam-Gate und einen Server, der die ausgehenden Mails versendet.
24.05.2025, 20:57 Uhr:Alle Daten sind wieder da, wo sie sein müssen. Die neuen Mails des Notfall-Servers fehlen natürlich noch, die kommen erst als letztes. Da der Hauptserver aber komplett neu installiert wurde, fehlen noch alle Dienste zum lesen und empfangen von E-Mails.
24.05.2025, 00:45 Uhr: Alle Daten werden auf den neuen Server kopiert, was bei der Menge leider dauert.. alleine das Kopieren alle Eingangs-E-Mails dauert mehr als 12 Stunden. Platten und Systeme sind auf schnelles Lesen optimiert, schnelles Schreiben gibt es nicht. Und dann geht das alles noch über das Internet..
23.05.2025, 18:15 Uhr: Inzwischen laufen die ersten Server auf dem neu aufgesetzten System, auch wenn ich Broadcom für den Controller-Support mehr als dankbar bin, ab jetzt nutzen wir Proxmox und kein Vmware mehr.
23.05.2025, 17:10 Uhr:Das RAID war nach dem Tauschen der ersten Platte tatsächlich endgültig kaputt, wir haben jetzt in den letzten Tagen alle fünf Platten ersetzt und ein neues RAID-6 gebaut, jetzt können zwei Platten ausfallen, ohne dass etwas passieren sollte..
19.05.2025, 14:15 Uhr: Eine der beiden defekten Platten wurde ersetzt, was das RAID nicht wirklich mochte. Es war fast zu erwarten, dass das Raid jetzt mit einer neuen (leeren) Platte sterben könnte. Wir testen weiter..
18.05.2025, 11:05 Uhr: Das lokale Backup ist duch, wir haben jetzt alle Server in dem Zustand gecloned, den sie zuletzt hatten, als die zweite Platte kaputt ging. Ob es Schäden gab, wird sich zeigen.
17.05.2025, 21:35 Uhr:Nachdem das RAID zumindest wieder etwas lebt, kopieren wir gerade die ganzen virtuellen Rechner an einen sicheren Platz. Wir haben fast alle unsere wichtigen Server, der Hauptserver fehlt aber noch, der hat die meisten Daten (ja, auch die ganzen E-Mails bis zum 15.05.2025). Es dauert einfach, fast 1 TB an Daten über die VM-Ware Konsole herunter zu laden. 300 GB fehlen noch, hoffen wir mal, dass das auch noch gut geht.
16.05.2025, 23:49 Uhr: Das kaputte RAID lief auf einen Broadcom-Controller, der schon realtiv alt ist und schon lange nicht mehr supported wird. Nachdem mich Google nicht wirklich weiter gebracht hat, ob man so ein totes RAID nicht doch noch zumindest irgendwie noch retten kann, habe ich einfach bei Broadcom ein Ticket aufgemacht, aber nie damit gerechnet, eine Antwort zu erhalten. Wir waren noch nie Kunde dort und ich hab innerhalb von 12 Stunden eine individuelle Antwort genau auf mein Problem per E-Mail erhalten!! Leider nicht so ausführlich, dass ich es gleich abtippen hätte können, aber eindeutig das richtige, nicht offensichtliche Vorgehen. Jedenfalls hab ich mit einigen sehr magischen Kommandos das RAID von Offline zu Degraded gebracht, was auch nicht wirklich gut ist, aber zumindest reicht, einige Server zu sichern. Ich schimpfe nie wieder auf Broadcom, keine Ahnung, warum das passiert ist. So einen Support bekommt man normalerweise nicht für viel Geld, perfekte Lösung für einen hoffungslosen Fall, umsonst, ohne Vertrag und extrem schnell.. Jedenfalls laufen jetzt viele Backup-Jobs, solange das RAID noch hält (was es eigentlich überhaupt nicht können sollte).
16.05.2025, 14:35 Uhr: Wir haben wieder einen Webmail, wenn auch nur in englisch und nicht perfekt konfiguriert! Dort kann man zumindest alle neuen E-Mails (seit heute 11:26 Uhr) lesen.
16.05.2025, 12:50 Uhr: Man könnte die neuen Mails lesen, IMAP/POP3 würde funktionieren, aber ohne die alten E-Mails auf dem Server würden alle lokalen Kopieen gelöscht, was nicht schön ist (und mir gerade passiert ist)
16.05.2025, 11:26 Uhr: Der Notfall-Server kennt nun alle Nutzer und deren E-Mail-Adressen. Er kann auch Mails empfangen. Es dauert aber noch bis zu 8 Stunden, bis sich der neue DNS Eintrag verbreitet hat, aber spätestens dann sollte neue E-Mails für die Domain hallertau.net wieder zustellbar sein. Lesen können Sie sie aber im Moment noch nicht..
16.05.2025, 10:15 Uhr: Immerhin eine halbwegs gute Nachricht, wir haben Backups gefunden, letzte Sicherung lief vom 12.05.2025 22:42 Uhr bis 13.05.2025 00:51 Uhr. Wir sichern diese Sicherung jetzt mal erneut auf einen anderen Server. Allerdings bedeutet das auch, dass E-Mails, die seitdem gesendet oder empfangen wurden, vermutlich ... weg sind.
16.05.2025, 08:15 Uhr : Wir haben einen Server bestellt, aber das dauert. Deshalb haben wir noch einen billigen virtuellen Server gemietet und eine Notfallseite dorthin umgezogen. Jetzt läuft sie wenigstens nicht mehr bei mir daheim..
14.05.2025 19:43 Uhr: Zwei von fünf SSDs sind defekt, was das RAID-5 zerstört hat. Alle Dienste sind offline.
16.04.2025: Durch einen erfolgreichen Phishing-Angriff auf einen unserer Nutzer wurde mit desses Account Spam versendet, nicht viel, da unsere Systeme die Menge limitieren, aber doch ein paar 100 Mails.. leider haben uns dadurch unter anderem Google sofort gesperrt. Wir haben unsere Systeme mehr als perfekt konfiguriert, technisch gibt es nichts mehr zu verbessern. Leider gibt es bei Google zwar "Postmaster-Tools" für diesen Fall, die sagen aber schon seit einiger Zeit: "Dies kann etwas dauern". Wir haben auch schon unsere IP geändert, aber anscheinend wurde die Domain hallertau.net geblockt, das absolut <zensierte Beurteilung des Vorgehens> ist. Das einzige, das wir sehen, ist dass am 15.4.2025 50% aller Mails mit der Domain hallertau.net als Spam klassifiziet wurden. Wir senden jetzt nicht viele Mails pro Tag am Google, wenn also der Angreifer zwei Spam Mails gesendet hat und normale Nutzer ebenfalls zwei Mails gesendet haben, kommen wir auf die 50% und sind seitdem gesperrt... wir können hier aktuell leider nichts tun, da sind die anderen einfach gemein und unfair zu uns.
13.02.2025, 9:30: Durch die Konfiguration von DANE und MTA-MTS kam es zu kleineren Unterbrechungen, die jetzt aber wieder behoben sind. Dafür können wir jetzt auch noch DANE und MTA-MTS. Ich hoffe, es gibt nicht irgendwo noch einen E-Mail-Standard mit noch einer tollen Abkürzung.. jedenfalls erreichen wir jetzt 121 von 121 möglichen Punkte auf https://www.checktls.com.
12.02.2025: E-Mails an T-Online kommen jetzt auch ohne Verzögerung an. Bei T-Online muss man tatsächlich bei einer echten Person per E-Mail anfragen, dass man auf eine White-List kommt..
11.02.2025: Keine Störung, aber seit heute unterstützen wir DKIM und DMARC, so dass das Versenden von E-Mails an "pingelige" Provider besser klappen sollte. SPF unterstützen wir schon lange. Zumindest nehmen aktuell Microsoft (outlook.com), Google (gmail.com) und GMX (gmx.de) E-Mails von uns ohne Probleme an. T-Online mag uns nicht, die sagen aber auch nicht warum.. aber das kriegen wir auch noch hin.
04.02.2025: Keine Störung, aber wir haben unsere Domain und unsere DNS-Server in ein anderes Netzwerk umgezogen. Gut für etwaige Ausfälle und unsere Domain kann damit Secure-DNS, was eine Voraussetzung für Verbesserungen im E-Mail-System ist.
28.11.2024, 13:00 Uhr: Es kam nochmals (dieses Mal völlig unangekündigt) zu einem Ausfall.
27.11.2024, 20:00 Uhr bis 28.11.2024, 10:00 Uhr: Unser Rechenzentrum hat beschlossen, unsere Infrastruktur in ein neues Gebäude umzuziehen. Die erste Ankündigung dazu kam, nachdem unsere Server schon nicht mehr erreichbar waren. Deshalb kam es zu einem zwar vom Rechenzentrum wohl geplanten, für uns aber völlig überraschenden Totalausfall..
02.09.2024, 20:04 Uhr: Alle Dienste laufen wieder, die Dateisysteme haben den Ausfall gut überstanden. Der lange Ausfall kann allerdings unter Umständen dazu geführt haben, dass einige absendende Mailserver die Zustellung aufgegeben haben und dadurch im schlimmsten Fall auch Mails verloren gegangen sein könnten.
02.09.2024, 10:04 bis 19:40 Uhr: Totalausfall aller unserer Server, leider auch dieses Servers, so dass wir keinen Status mitteilen konnten. Ein Blitzeinschlag in einem Rechenzentrum in Nürnberg hat dort beide Klimaanlagen getroffen, so dass im Ergebnis auch unsere Server nicht mehr erreichbar waren. Wir bitten um Entschuldigung, wir arbeiten aber schon seit einiger Zeit an etwas mehr Redundanz, wollten das aber nicht mehr vor unserer Urlaubszeit live schalten...
08.02.2024, 14:05 Uhr: Leider nehmen einige der "grossen" E-Mail-Anbieter (Google..) wohl manchmal keine E-Mails von uns an. Sie fordern von uns anscheinend, insbesondere DKIM umzusetzen. Dies bedeutet aber, unsere DNS-Einträge mittels DNSSEC abzusichern. Interessanterweise unterstützt nicht einmal Google selbst DNSSEC, fordert es aber offensichtlich von uns.. DNSSEC ist nicht trivial, vor allem müssen wir unsere Domains erst zu einem anderen Anbieter umziehen und es gibt nur wenige, die das überhaupt anbieten.. Wird also leider noch etwas dauern, aber als kleiner Provider sind wir da sehr benachteiligt, wir müssen mit wenigen Ressourcen das umsetzen, was sich Google selbst spart. Aber wir arbeiten daran. Sobald wir DNSSEC eingerichtet haben, werden wir auch DKIM umsetzen können und dann hat uns Google vielleicht auch wieder lieb.
21.12.2023, 13:40 Uhr: Die home und die mail Partitionen wurden langsam voll, deshalb haben wie die Kapazitäten erhöht. Es kam zu zwei kurzzeitigen Ausfällen von weniger als fünf Minuten.
23.11.2023, 11:35 Uhr: Um eine vertiefte Prüfung unserer Hardware vorzunehmen, war ein Abschalten für ca. 5 Minuten nötig. Die Hardware war in Ordnung, alle Dienste sollten wieder online sein.
12.05.2023, 11:40 Uhr: Das Update ist jetzt wirklich beendet, alle Dienste sollten wieder laufen.
12.05.2023, 11:20 Uhr: Es sind noch weitere Updates nötig, es kann also weiterhin zu Unterbrechungen kommen.
12.05.2023, 11:10 Uhr: Das Update ist beendet, alle Dienste sollten wieder laufen. Leider mussten wir ein Zertifikat für den IMAP-Dienst neu auf unserem Server generieren lassen, was sehr lange gedauert hat. Immerhin ist es jetzt vermutlich für die nächsten 10.000 Jahre sicher...
12.05.2023, 10:20 Uhr: Wegen grösserer Sicherheitsupdates wird es zu einzelnen Ausfällen von Diensten kommen.
15.12.2021, 10:15 Uhr: Für Sicherheitsupdates war es nötig, alle Server einmal neu zu starten. Der Ausfall dauerte wenige Minuten, alle Dienste sollten wieder verfügbar sein.
27.02.2021, 17:00 Uhr: Einige Konten hatten immer noch Probleme, für die Mehrheit funktionierte aber alles. Ich hoffe aber, ich hab dies jetzt endgültig behoben. Dafür, dass wir an all diesen Konfigurationen nichts geändert haben, hat der Neustart leider viele Probleme verursacht..
27.02.2021, 11:30 Uhr: Updates haben manchmal leider Nebenwirkungen. Seit gestern war das Versenden von E-Mails und der Empfang von neuen E-Mails leider gestört. Auch die vielen Hinweise sind daher bei uns erste gerade angekommen. Warum es zu dieser - eigentlich völlig unzusammenhängenden - Störung kam, werden wir im Nachgang noch untersuchen. Alle noch fehlenden E-Mails wurden zwischenzeitlich ausgeliefert.
26.02.2021, 9:30 Uhr: Eine aktuell ausnutzbare Sicherheitslücke (CVE-2021-21972) gefährdet unsere Systeme. Eine Aktualisierung ist daher dringend nötig. Deshalb wird es zu kleineren Unterbrechungen kommen, da unsere Systeme dafür nur "offline" aktualisiert werden können. Das Update wurde um 10:15 Uhr erfolgreich abgeschlossen, alle Dienste stehen wieder zur Verfügung.
09.09.2020, 7:00 Uhr: Im Nachgang der gestrigen Störung kam es insbesondere zu Verzögerungen beim Empfang von E-Mails. Auch das sollte jetzt behoben sein.
08.09.2020, 18:10 Uhr: Das Schöne an virtuellen Maschinen ist, dass die gemeinsame Hardware geteilt wird. Leider wollte diese Hardware heute wohl eine Pause, was dann zu einem Totalausfall führte. Ein Neustart hat das Problem behoben, alle Dienste laufen wieder. Hoffen wir mal, dass das nicht nochmal passiert. Der Ausfall dauerte 1:30 Stunden.
09.07.2020, 08:40 Uhr: Heute Nacht lief eine Partition voll, die insbesondere für die temporäre Zwischenspeicherung von eingehenden E-Mails notwendig ist. Dadurch wurden möglicherweise E-Mails abgewiesen. Die Störung wurde um 8:40 Uhr behoben. Grund für den Überlauf war eine eigentlich kleine Datenbank, die fehlerhafte Login-Versuche auswertet und in der gleichen Partition liegt. Da wohl ein Angreifer in sehr großem Umfang Passwörter automatisiert "geraten" hat, wurde die Datenbank aber mehrere Gigabyte groß.
20.01.2020, 08:25 Uhr: Auch wenn kostenlose Zertifikate wirklich schön sind, erneuern muss man sie trotzdem. Deshalb kam es zu einer kurzen Störung beim Abruf von E-Mails, die jetzt behoben wurde.
26.11.2019, 21:18 Uhr: Da das Passwort eines Nutzers wohl einem Spammer bekannt wurde, hat dieser mit der Kennung des Nutzers sehr viele Mails versendet. Unser System blockt das eigentlich rechtzeitig, leider hat aber ein nicht von uns betriebenes System noch früher gesperrt, so dass im Ergebnis alle ausgehenden E-Mails für ca. 17 Stunden "hängen" blieben. Stand 27.11.2019 14:00 sind aber alle E-Mails ausgeliefert.
22.10.2019: Heute kam es bis 9:00 Uhr zu Fehlern beim Abruf von E-Mail (IMAPs, POP3s). Auch der webmail war betroffen.
16.05.2019: Durch eine Störung bei unserem Provider um 00:48 Uhr kam es leider zu einem Komplettausfall. Seit 10:20 Uhr sind unsere Server wieder erreichbar. Wir prüfen aktuell, ob alle Dienste wieder vollständig zur Verfügung stehen.
23.02.2019: Heute war die automatische Zertifikatsverlängerung wieder fällig. Dieses mal hat der Abruf geklappt, das Problem vom 25.11.2018 wurde damals also zuverlässig behoben. Allerdings muss man für das neue Zertifikat auch noch einen Dienst neu starten, was nicht an der richtigen Stelle konfiguriert war (Danke an systemd ...). Deshalb kam es heute zu einem Ausfall den pop/imap Daemons. Beim nächsten mal sollte das jetzt funktionieren. Das Zertifikat hält jetzt jedenfalls wieder drei Monate..
25.11.2018 10:00 Uhr: Leider hat die Aktualisierung eines unserer Zertifikate nicht funktioniert. Wir arbeiten seit 10:30 Uhr an diesem Problem, hoffen es bald behoben zu haben. Leider ist das nicht so einfach.. und sowas passiert natürlich immer Sonntag ..
25.11.2018: 17:00 Uhr: Das Problem ist behoben, es ist wieder ein gültiges Zertifikat installiert.
Bitte entschuldigen Sie die Störung. Es sind keine Mails verloren gegangen.