Mastodawn

Joachim Weber [friendica] 🦖 🦔 🐲Oct 8, 2025

Meta hat ein neues quelloffenes Framework vorgestellt, das Dateien anhand ihrer Inhalte passend komprimiert. OpenZL arbeitet dabei verlustfrei und besonders schnell, setzt allerdings auch (stark) strukturierte Daten voraus.#Komprimierung #Meta #OpenZL #Zstd
OpenZL komprimiert Daten anhand ihrer Struktur - LinuxCommunity

OpenZL komprimiert Daten anhand ihrer Struktur - LinuxCommunity

Meta hat ein neues quelloffenes Framework vorgestellt, das Dateien anhand ihrer Inhalte passend komprimiert. OpenZL arbeitet dabei verlustfrei und besonders schnell, setzt allerdings auch (stark) strukturierte Daten voraus. Daten lassen sich besonders effizient und stark komprimieren, wenn man ihren Aufbau kennt. Wiederholen sich beispielsweise Felder in einer Tabelle, kann ein auf solche Situationen spezialisierter Algorithmus deutlich bessere Kompressionsergebnisse erzielen, als etwa die Allround-Verfahren Zstd und XZ. OpenZL stürzt sich daher mit zusätzlichem Wissen auf die zu komprimierenden Daten: Anwender liefern dem Framework zunächst eine Beschreibung über den Aufbau der Daten. Dabei kommt derzeit die Simple Data Description Language (SDDL) zum Einsatz. Anhand der in ihr notierten Beschreibung erstellt ein sogenannter Trainer automatisch eine passende Komprimierungsstrategie. Diesen Plan nutzt OpenZL, um die Datenmenge maßgeschneidert einzudampfen. Alle zum Entpacken nötigen Informationen speichert das Framework in der komprimierten Datei. Mit diesem „Dekodierrezept“ kann dann das Entpackwerkzeug die Daten wieder aus dem Archiv holen. Das Rezept hat dabei den Vorteil, dass ein universelles Entpackwerkzeug ausreicht und man nicht extra für jedes Dateiformat ein eigenes Tool benötigt. Die von den OpenZL-Entwicklern veröffentlichten Messungen lesen sich beeindruckend: Astronomische Daten aus den Beispieldaten des Silesia Compression Corpus stampfte OpenZL um den Faktor 2 ein, wohingegen Zstd die Datenmenge nur um den Faktor 1,31 verkleinerte. Auch bei der Arbeitsgeschwindigkeit ist OpenZL nicht zu schlagen. Während Zstd 220 MByte pro Sekunde verarbeitet, kommt OpenZL auf 340 MByte pro Sekunde. An die Grenzen stößt das Verfahren, wenn kaum oder keine Informationen über den Aufbau der Daten vorliegen. OpenZL fällt dann derzeit einfach auf das Zstd-Verfahren zurück. Der Quellcode des OpenZL-Frameworks steht unter einer liberalen BSD-Lizenz auf GitHub bereit. Da die Entwicklung von OpenZL derzeit auf Hochtouren läuft, sollte man die aktuelle Version 0.1.0 noch mit Vorsicht genießen. Die Entwickler weisen explizit darauf hin, dass sich alle Bestandteile ihres Frameworks garantiert noch ändern werden.

LinuxCommunity

KonVis - Visionäre Konzepte Oct 7, 2025

Brotli vs. Gzip in Magento 2: Welche Komprimierung bringt die besseren Ladezeiten? #beratung #komprimierung #ladezeit #magento https://www.konvis.de/neuigkeiten/magento/brotli-vs-gzip-in-magento-2-welche-komprimierung-bringt-die-besseren-ladezeiten/

Brotli vs. Gzip in Magento 2: Welche Komprimierung bringt die besseren Ladezeiten?

Brotli oder Gzip? Der große Vergleich für Magento-2-Onlineshops: Vorteile, Grenzen und Praxisbeispiele. Welches Verfahren beschleunigt Ihren Shop spürbar?

KonVis - mehr Erfolg Online

Sascha 😈 𒀯 (Fediverse)Sep 21, 2025

Schon erstaunlich wie Signal aus den 81 MB des Videos ganze 12 MB macht.

#Video #Signal #Komprimierung #2025-09-21

Sebastian Lasse Aug 13, 2025

Falls sich jemand fragt, warum ich gerade so viel Zeit in die semantische Kompression stecke:

England ruft Datenklimanotstand aus. Die Bevölkerung soll alte eMails, Bilder, Daten löschen … https://www.zeit.de/news/2025-08/13/duerre-menschen-in-england-sollen-alte-e-mails-loeschen

Mein gepostetes Modul kann nun Lexica für alle Sprachen der Leipzig Corpora Collection machen.
Das komprimierte Resultat ist unter 25% der ursprünglichen Größe.

Falls Ihr was besseres wisst oder interressiert seid, sagt doch Bescheid

#Datensparsamkeit #Komprimierung #Kompression

/ @acka47

Hitze und Trockenheit: Dürre: Menschen in England sollen alte E-Mails löschen

Hier finden Sie Informationen zu dem Thema „Hitze und Trockenheit“. Lesen Sie jetzt „Dürre: Menschen in England sollen alte E-Mails löschen“.

DIE ZEIT

Sebastian Lasse Jul 23, 2025

moin @acka47 -
kennst Du oder wer sich mit semantischer #Kompression aus?

Die Datenmengen bei meiner Fedi--Software lassen sich halt drastisch reduzieren. Nun habe ich mit semantischer Kompression für nameMap, summaryMap, contentMap begonnen [die multilingualen Sachen in ActivityPub].

Aber ich weiss nicht, was gute Werte sind. Hab DE und EN fertig.
Ausgegangen bin ich von 1 Mix aus den aktuellen news corpi und fediverse corpi und es macht so
28.5 - 29.5% bei deutsch
und
27-28% bei englisch

Gibt es da Vergleiche?
#komprimierung #texte

Joachim Weber [friendica] 🦖 🦔 🐲Apr 11, 2025

Gzip 1.14 löst Handbremse beim Entpacken - LinuxCommunity

Das Packprogramm Gzip hat nach fast zwei Jahren eine neue Version erhalten. Die behebt zwar in erster Linie nur Fehler, beschleunigt aber auch den Entpackvorgang auf x86_64-Systemen um bis zu 40 Prozent. Gzip hat bislang beim Entpacken die Hälfte seiner Arbeitszeit damit verbracht, eine CRC-Prüfsumme zu berechnen. Den dafür zuständigen Programmcode haben die Entwickler deutlich effizienter gestaltet. In der Folge läuft das Entpacken auf Intel- und AMD-Prozessoren mit „pclmul“-Unterstützung um bis zu 40 Prozent schneller. Selbst auf Systemen ohne „pclmul“ erfolgt das Entpacken 20 Prozent flotter – den Optimierungen sei Dank. Des Weiteren ignoriert Gzip 1.14 den Inhalt der Umgebungsvariablen „GZIP“ – mit Ausnahme der Optionen „-1“ („–fast“) bis „-9“ („–best“), „–rsyncable“ und „–synchronous“. Gzip soll sich damit in die Reihe anderer Komprimierer stellen, die Umgebungsvariablen nur noch für Optionen einsetzen, die nur „harmlos“ die Performance beeinflussen.

LinuxCommunity

Joachim Weber [friendica] 🦖 🦔 🐲Feb 20, 2025

Obwohl sich nur die Ziffer ganz am Ende der Versionsnummer ändert, flossen in die neue Version des Packprogramms über 500 Commits ein.#Komprimierung #Zstandard #Zstd
ZStandard 1.5.7 steigert deutlich Kompressionsgeschwindigkeit - LinuxCommunity

ZStandard 1.5.7 steigert deutlich Kompressionsgeschwindigkeit - LinuxCommunity

Obwohl sich nur die Ziffer ganz am Ende der Versionsnummer ändert, flossen in die neue Version des Packprogramms über 500 Commits ein. Die machen den Kompressionsvorgang deutlich schneller, schrumpfen große Dateien effektiver und fügen den Parameter „–max“ hinzu. Fast ein Jahr haben die Entwickler an der neuen Version gearbeitet. Obwohl die Optimierungen vorwiegend unter der Haube stattfanden, machen sie sich dennoch direkt bei der täglichen Arbeit bemerkbar. Schneller … So dampft der ZStandard (kurz ZStd) vor allem kleine Datenblöcke bis zu 20 Prozent schneller ein – allerdings nur bei den „schnellen“ unteren Kompressionsstufen. Gemäß den Benchmarks der ZStd-Entwickler ist der Geschwindigkeitszuwachs besonders groß, wenn man das Packprogramm mit 32 KByte großen Blöcken füttert. Die Geschwindigkeitsoptimierungen zielen vor allem auf Data Center und Datenbanken. Als Beispiel nennt das ZStd-Team in ihren Release Notes die Datenbank RockDB, die mit Blockgrößen um 16 KByte hantiert. Ebenfalls einen Geschwindigkeitsschub gibt es beim Einsatz des Parameters „–patch-from“ bei hohen Kompressionsstufen ab Level 18. … und kleiner Des Weiteren schrumpft ZStd 1.5.7 große Datenmengen noch kompakter. Dies gelingt durch eine etwas pfiffigere Auswahl der Blockgrenzen. Davon profitieren zwar alle Kompressionsstufen, die größten Auswirkungen erhält man jedoch bis zum Level 15. In diesen unteren Stufen steigt die Kompressionsrate erstaunlich stark an. Dazu passend kennt der ZStd den neuen Parameter „–max“. Er trimmt automatisch sämtliche Einstellungen auf eine möglichst hohe Kompressionsrate. ZStd braucht dann allerdings auch viel Zeit und (freien) Hauptspeicher – und zwar noch einmal deutlich mehr als mit der ohnehin schon Ressourcen-verschlingenden Einstellung „–ultra -22“. In einem Test der ZStd-Entwickler benötigte „–max“ etwa den sechsfachen Speicher von „–ultra -22“. Im Gegenzug fallen die entstehenden Archive noch einmal kompakter aus.

LinuxCommunity

GNU/Linux.ch May 28, 2024

Thunderbird-Tipp: Komprimierungs-Meldung abstellen

Ein Thunderbird Tipp: Wie werde ich den Komprimierungs-Hinweis beim Starten von Thunderbird wieder los? Die Lösung ist schnell erledigt!

#E_Mail #Thunderbird #Komprimierung #Linux

https://gnulinux.ch/thunderbird-tipp-komprimierung

Thunderbird-Tipp: Komprimierungs-Meldung abstellen

Ein Thunderbird Tipp: Wie werde ich den Komprimierungs-Hinweis beim Starten von Thunderbird wieder los? Die Lösung ist schnell erledigt!

GNU/Linux.ch

Schenkl | 🏳️‍🌈🦄Jan 12, 2024

#Backup von externer #SSD direkt mit superschneller #lz4 #Komprimierung:

sudo dd if=/dev/sda bs=16M status=progress | lz4 -c | pv > Image.lz4

#Linux macht so viel Spaß :)

Show thread

diesUndDasMitTassen 🇺🇦Dec 21, 2023

@phpmacher Das sind z. B. genau die Dinge, die man m. E. in der Schule in Informatik lernen sollte.

Schließlich erstellen wir alle hier und da irgendwann Content und da gehört es m. M. zur Medienkompetenz Formate, Größen, Kommunikationswege und deren "Kosten" und Auswirkungen zu kennen.

#contentcreator #lehrerzimmer #schule #lernen #medienkompetenz #html #komprimierung #ökomomie #ökologie #kostennutzen #digitalisierung #ressourcen