MSTDN væltede imens jeg var i biffen. Endnu en databaseting, og lur mig om jeg ikke har fundet fejlen! Jeg skal lave lidt cleanup i morgen og kommer med en art post-mortem, men den korte version er at off-site backup af transaktionslogs for databaserne ikke kunne nåes fra clusteret, og som resultat løb de volumes der holder transaktionsloggene fulde og databasen fik det så skidt at den ikke kunne magte failover. Der er flere ting der skal graves i, men jeg tror det var root cause.

Endnu en læring rigere - beklager nedetiden.

Jeg skal have kigget på noget alerting der går amok, hvis clusteret hos Hetzner I Tyskland ikke kan nå SAN'et i rackskabet I kælderen. Helt specifikt var det HAProxy på UDMPro'en der ikke var startet efter automatisk opdatering, da /run/haproxy ikke længere eksisterede. Det er sådan noget der skal få alarmklokkerne til at bimle.

Det bliver nok noget med #AlertManager og en HTTP-baseret blackbox probe.

.. Men først skal jeg lige have støbt betongulv I hønsehuset 😀

#udmpro #onbootd

@saustrup
Det lyder som en god prioritering 😀
UDMPro ved jeg hvad er..
og hønsehus. 🫣😬
@saustrup Du kører ha-proxy på selve UDM’en? Interessant. Jeg har en dedikeret vm til det - men måske det er overkill. Må lige tjekke om man kan køre det på en aldrende USG-4 Pro
@bvli Jeg skal have dirigeret lidt blandet ingress-trafik rundt på LAN'et - noget der under normale omstændigheder kunne klares med simpel port forwarding, men jeg har et lille kubernetes-cluster der kører ingress på flere noder, og der var HAProxy rigtig fin til at holde øje med hvilke noder der var i live, og kun digirere trafik til dem. Har har ikke nogen hypervisor kørende, så alternativet var at introducere en maskine mere til det, og så opstår der bare endnu et single point of error, så det blev HAProxy på selve UDM'en :-)
@bvli Prøv at kigge på https://github.com/unifi-utilities/unifi-common - med lidt forsigtighed kan du lave et on-boot script der sikrer at haproxy er installeret og enabled, samt flytte konfigurationsfiler fra persisteret storage til /etc/haproxy
GitHub - unifi-utilities/unifi-common: UniFi Common - on_boot.d

UniFi Common - on_boot.d. Contribute to unifi-utilities/unifi-common development by creating an account on GitHub.

GitHub