ZStandard 1.5.7 steigert deutlich Kompressionsgeschwindigkeit - LinuxCommunity

Obwohl sich nur die Ziffer ganz am Ende der Versionsnummer ändert, flossen in die neue Version des Packprogramms über 500 Commits ein. Die machen den Kompressionsvorgang deutlich schneller, schrumpfen große Dateien effektiver und fügen den Parameter „–max“ hinzu. Fast ein Jahr haben die Entwickler an der neuen Version gearbeitet. Obwohl die Optimierungen vorwiegend unter der Haube stattfanden, machen sie sich dennoch direkt bei der täglichen Arbeit bemerkbar. Schneller … So dampft der ZStandard (kurz ZStd) vor allem kleine Datenblöcke bis zu 20 Prozent schneller ein – allerdings nur bei den „schnellen“ unteren Kompressionsstufen. Gemäß den Benchmarks der ZStd-Entwickler ist der Geschwindigkeitszuwachs besonders groß, wenn man das Packprogramm mit 32 KByte großen Blöcken füttert. Die Geschwindigkeitsoptimierungen zielen vor allem auf Data Center und Datenbanken. Als Beispiel nennt das ZStd-Team in ihren Release Notes die Datenbank RockDB, die mit Blockgrößen um 16 KByte hantiert. Ebenfalls einen Geschwindigkeitsschub gibt es beim Einsatz des Parameters „–patch-from“ bei hohen Kompressionsstufen ab Level 18. … und kleiner Des Weiteren schrumpft ZStd 1.5.7 große Datenmengen noch kompakter. Dies gelingt durch eine etwas pfiffigere Auswahl der Blockgrenzen. Davon profitieren zwar alle Kompressionsstufen, die größten Auswirkungen erhält man jedoch bis zum Level 15. In diesen unteren Stufen steigt die Kompressionsrate erstaunlich stark an. Dazu passend kennt der ZStd den neuen Parameter „–max“. Er trimmt automatisch sämtliche Einstellungen auf eine möglichst hohe Kompressionsrate. ZStd braucht dann allerdings auch viel Zeit und (freien) Hauptspeicher – und zwar noch einmal deutlich mehr als mit der ohnehin schon Ressourcen-verschlingenden Einstellung „–ultra -22“. In einem Test der ZStd-Entwickler benötigte „–max“ etwa den sechsfachen Speicher von „–ultra -22“. Im Gegenzug fallen die entstehenden Archive noch einmal kompakter aus.