Da migriert man den ganzen Mastodon Bumms auf S3 Storage und dann sind da noch immer 150G belegt. Die anderen Mastodon Instanzen liegen so um die 2G ohne die Mediendateien.

Stellt sich heraus, dass ich am 9. April 2023 wohl mal irrtuemlich /home/mastodon nach ~/live/public kopiert habe - warum auch immer.

Naja, da liegen halt ca. 142G drin und es faellt mir erst auf, nachdem die 1T an Mediendateien nun im S3 sind.

Putzig.

Zeigt aber auch, dass ich offenbar Eines nicht habe: Mangel an Speicher.

#mastoadmin #ceph #s3

Sodele… nach der Umstellung auf S3 Storage bei https://baltic.social/ war nun auch https://fedisocial.de/ mit der Umstellung dran.

Wenn man erst einmal ein funktionierendes Setup gefunden hat, das mit #Mastodon, #S3 Storage auf #Ceph radosgw und #haproxy auf der #pfSense funktioniert, ist das eigentlich dann relativ straight-forward…

Als Nächstes kommen dann die 1.2 TB hier auf der Instanz dran. Das ist allein schon wegen der Datenmenge nicht ganz so fluffig…

#mastoadmin #fediadmin

Baltic.social

Lokaler Server an der Ostseeküste für Freunde der Ostsee. Be excellent to each other, sei humanistisch, keine Nazis, keine Hassrede. Primäre Sprache ist hier Deutsch, Englisch ist erlaubt.

Mastodon hosted on baltic.social
#ceph #selfhosting
I've had an annoying problem on two of my k8s nodes for the past many months that I never had time to really dig into. Two of my nodes would freeze up almost every week. I could not see anything troubling in journalctl or grafana or anywhere. When it would freeze, the node was still pingable, but no ssh or console access. Then I found it was happening every Monday morning. Ah ha! fstrim had a weekly timer. And I have an lv on my root SSD that holds a Ceph OSD. Trim conflict.

Ich teste grad auf Arbeit unseren #Ceph #Cluster mit Bonnie++. Über 2x 25 Gbit/s mit LACP bekomme ich 2.1 GB/s write, 1.2 GB/s rewrite und 1.8 GB/s reading hin.

Allerdings erst, nachdem ich read_ahead_kb auf 64M gesetzt habe.

Aber ich denke, das sind fuer ein Single Thread Test schon ganz ordentliche Werte mit 12x OSD x 6 Nodes.

Spannend wird es ja dann, wenn mehrere Clients zugreifen.

Respect for #Ceph.
Managed to kill a SATA-controller, let the cluster run with one of three legs cut off for a week (decided halfway through to mark the dead OSDs out, so I wouldn‘t have stale objects on my 2/1-pools).
Got it to recover/rebalance again, and while scrubbing two drives (15 y/o) started throwing read errors (on a previously healthy node).
Well, gotta get new drives I guess.
And never did I lose any data, or had Ceph refuse to operate with two of the three working.

#Proxmox

Was ich bei #Ceph nicht so recht verstehe:

Nachdem ich die eine OSD geloescht und mit WAL/DB auf SSD wieder hinzugefuegt habe, werden ja die ganzen Daten wieder auf die OSD kopiert. Aber Write Bytes bleibt beharrlich bei 0.

Wird das rausgerechnet oder nur die Client-Daten erfasst, also z.B. was ueber das Public Network kommt, aber nicht ueber das Cluster Network?

35 Debian LTS advisories were released in February fixing 527 CVEs across various packages. These include security fixes for gnutls28, xrdp, ClamAV, tomcat9, zabbix, linux kernel, ceph, glib2.0, MUNGE and many more.

Debian LTS contributors also prepared updates for more recent releases, Debian 12 (#bookworm) , Debian 13 (#trixie) and Debian unstable. In addition, improvements were made to documentation and tooling used by the team.

Read the full report at https://www.freexian.com/blog/debian-lts-report-2026-02/?utm_source=mastodon&utm_medium=social

This work is funded by Freexian's Debian LTS offering. Become a sponsor of Debian LTS (https://www.freexian.com/lts/debian/?utm_source=mastodon&utm_medium=social) and enjoy the benefits (https://www.freexian.com/lts/debian/details/#benefits).

#debian #debianlts #freexian #ceph #zabbix

Monthly report about Debian Long Term Support, February 2026

The Debian LTS Team, funded by [Freexian’s Debian LTS offering] (https://www.freexian.com/lts/debian/), is pleased to report its activities for February. Activity summary During the month of February, 20 contributors have been paid to work on Debian LTS (links to individual contributor reports are located below). The team released 35 DLAs fixing 527 CVEs. We also welcomed Arnaud Rebillout to the team and had to say farewell to Roberto, who left the team after more than nine years as part of it.

Freexian

Ceph auf Arbeit... das schaut mir bei den Latenzen so aus, als wenn er die NVMe für WAL/DB nicht so richtig nutzt.

#ceph

Another question regarding #Ceph:

Is it better to have Hyper Threading on AMD Epyc CPUs enabled or not?

System has 32c/64t with 44x OSDs and 12x NVMe for system & WAL/DB

Enable it. More Cores/Threads=better
50%
Disable it. There is no speed gain
25%
see comment
25%
Poll ended at .
Five-node #Proxmox cluster? Upgraded from 8 to 9 without issue.
Except a dead Marvell 88SE9230 sata controller card, which degraded the #Ceph cluster for three days, where I borrowed a replacement card from a relatives employer.
Ceph restored to a healthy state in ten-ish minutes, and is happy again.
Now waiting for the actual replacement to arrive, so I can begin my storage migration journey.