Mastodawn

ZFS deduplication (dedup) saves space but eats RAM. Run DDT checks with zdb -D, identify duplicate blocks via awk, then delete/recreate dataset with dedup=off to clean up. Proxmox/FreeBSD compatible. #zfs #snippet #deduplication #storage #ValtersIT

https://www.valtersit.com/vault/zfs-deduplication-verification-and-cleanup-script-449f7b/

ZFS Deduplication Verification and Cleanup Script | Expert Vault | Valters IT Hub

This snippet runs a ZFS deduplication table (DDT) check and removes redundant blocks using zdb and zfs destroy. Deduplication stores unique blocks once and

Valters IT Hub

hauschke Mar 4

RE: https://vivoweb.org/2026/03/03/request-for-comments-disambiguation-deduplication-spec/

A #disambiguation and #deduplication engine for #VIVO will be developed. The proposed specs are published now, they are open for comments until March 17.

#openresearchInformation #OpenInfrastructures

AI Daily Post Mar 2

Databricks just showed that clean, deduped data beats fancy model tweaks for faster LLMs. Their paper reveals a simple data pipeline—language filtering, deduplication, and high‑quality datasets—outperforms architecture tweaks on GPU training. Curious how to boost speed without extra compute? Dive in. #LLMTraining #DataQuality #Databricks #Deduplication

🔗 https://aidailypost.com/news/databricks-paper-finds-data-quality-outweighs-model-architecture-llm

Nicolas Fränkel 🇪🇺🇺🇦🇬🇪Feb 6

Fixing Noisy Logs with #OpenTelemetry Log #Deduplication

https://www.dash0.com/guides/opentelemetry-log-deduplication-processor

Fixing Noisy Logs with OpenTelemetry Log Deduplication · Dash0

Learn how the OpenTelemetry log deduplication processor collapses log storms without losing context reduces noise and keeps observability pipelines efficient

🅹🅴🅳🅸🅴 🇺🇦🕊️Jan 15

Hab mein PyHardLinkBackup komplett neu geschrieben. Ursprünglich 2015 gestartet und bis 2020 genutzt, schlief es jetzt fast 6 Jahre...

Aber als ich über alte damit erstellte backups gestolpert bin, hab ich mir gedacht, das Konzept ist doch ganz nützlich.

Also kompletter rewrite: https://github.com/jedie/PyHardLinkBackup

#backup #OpenSource #Python #deduplication #hardlinks

Jan Dec 5, 2025

Wer ein #snapshot artiges Backup für #Linux sucht, könnte sich #kopia ansehen.
Über Regeln sehr fein granuliert einstellbar.
Es hat mich allerdings jetzt fast eine Woche gekostet, es so zum laufen zu bringen, wie ich es mir gewünscht habe. Aber mit viel #script’en hat alles geklappt.
#deduplication und #kompression, schnell und easy.
Sehr zu empfehlen.

Show thread