maxpack: межфайловая дедупликация на версионных данных

Разбор межфайловой дедупликации на версионных данных: почему обычная упаковка упирается в потолок и что меняется на CPython, Go и Node.js.

https://habr.com/ru/articles/1019718/

#сжатие_данных #дедупликация #архивация #versioned_data #tar #zstd #7z #snapshots

maxpack: межфайловая дедупликация на версионных данных

Представьте: у вас 100 файлов, 90% содержимого повторяется между ними. Вы пакуете их через tar | zstd . Получаете сжатие порядка 3.1x. А могли бы получить 10.0x. Проблема в том, что обычная упаковка...

Хабр