Fc, a lossless compressor for floating-point streams

fc는 IEEE-754 64비트 부동소수점 스트림을 위한 손실 없는 압축기 라이브러리로, 여러 특화 코덱을 블록 단위로 경쟁시켜 최적의 압축 결과를 선택한다. 멀티스레드와 x86-64 SIMD 명령어(AVX2, SSE4.2 등)를 활용해 빠른 압축 및 해제를 지원하며, 특히 구조화된 부동소수점 데이터에서 뛰어난 압축률을 보인다. 인코딩 속도는 다소 느리지만 디코딩 속도가 매우 빠르고, 시계열 데이터 저장소에 적합하다. 오픈소스 연구용 라이브러리로 Apache 2.0 라이선스 하에 배포된다.

https://github.com/xtellect/fc

#floatingpoint #compression #lossless #simd #multithreading

Grinder12: 0.96-Bit Lossless Streaming KV-Cache (16.55x VRAM Savings

Grinder12는 llama.cpp 런타임의 트랜스포머 KV-캐시 압축을 목표로 하는 로컬 추론 엔진 연구 프로젝트로, 0.96비트 유효값을 달성해 FP16 대비 16.55배 VRAM 절감을 보여주는 스트리밍 상태 저장 KV 사이드카 방식을 사용합니다. 현재는 라이브 런타임 KV 교체는 구현되지 않았으며, 제어된 C++ 환경에서의 실험 결과와 감사 로그를 공개해 기술 검증과 추가 개발을 위한 파트너를 찾고 있습니다. 이 기술은 대규모 컨텍스트에서 KV 메모리 사용량을 획기적으로 줄일 수 있는 가능성을 제시합니다.

https://github.com/ggml-org/llama.cpp/discussions/22891

#llama.cpp #kvcache #compression #inferenceengine #streaming

Heute kam ich endlich das zu final #http3 und #zstd #compression bei meinem #Wordpress #Blog in Betrieb zu nehmen.

Bei dem Umstieg von den sury.org Paketen auf die offiziellen #nginx Pakete gab es ein paar Probleme, wodurch ich einige Wochen ohne #http3 auskommen musste.

Ich hoffe das nun alles stabil läuft. Bisher rennt aber alles und hat #myhomezone noch einen Tick schneller gemacht.

Wer einmal testen möchte, kann gerne auf meinem #Blog vorbei schauen.

https://www.myhome.zone

OpenZL v0.2.0

OpenZL v0.2.0이 출시되어 SDDL 런타임과 컴파일러가 완전히 재구성되었으며, 새로운 네이티브 LZ 코덱이 기본 압축기로 채택되었습니다. 대용량 입력에 대한 자동 청킹 기능이 추가되어 메모리 사용과 병렬 처리 효율이 향상되었고, 그래프 시각화 도구도 압축 및 해제 과정을 구분하여 개선되었습니다. 또한 다양한 코덱과 디코더가 추가되고, 빌드 및 패키징 지원이 확대되어 Windows와 Python 환경에서의 사용성이 높아졌습니다. 이번 업데이트는 압축 속도와 해제 속도 모두에서 Zstandard 대비 성능 향상을 보여 AI 데이터 처리 및 저장 최적화에 유용합니다.

https://github.com/facebook/openzl/releases/tag/v0.2.0

#compression #lzcodec #sddl #opensource #dataprocessing

Сепаратор для логов. Сжимаем логи для контекста LLM без потери читаемости

logzip — утилита для сжатия логов перед анализом в LLM. Вместо того чтобы отправлять в Claude/GPT сырые 10 МБ лога, мы сжимаем его до 3.4 МБ (−58%), сохраняя полную читаемость и видимость ошибок. Статья рассказывает о проблеме (Lost in the Middle, переплата за мусорные токены), архитектуре на Rust, алгоритме Recursive BPE и реальном ROI: −$2,070 в год на API. Проект open source (MIT), интегрирован с Claude Desktop через MCP.

https://habr.com/ru/articles/1030964/

#logzip #llmинструменты #mcptools #token_management #compression #log #python #rust #devops #optimization

Udělal jsem Bash skript na kompresi Mastodonových příspěvků, aby měly větší šanci, že se vejdou do cenzurního limitu 2000 znaků, a snížila se tak diskriminace lidí, jejichž osobnost má vyšší hodnotu expresivity:

#!/bin/bash

LC_ALL=C sed -E '
s/([],!?:.)}]) /\1/g
s/ \(/(/g
s/\.\.\./…/g
s/ \[/[/g
s/ / <200b> <200b> /g
s/ / <200b> /g
s/ ?-- ?/—/g
s/ ?("|„|“) ?/\1/g
'

#mastodon #limit #characterlimit #compression #censorship #discrimination

Also-RANS: Asymmetric Numeral Systems for Entropy Coding

https://fergusfinn.com/blog/understanding-rans/

#HackerNews #Tech #Compression

Impressive:

“TurboQuant: Redefining AI Efficiency With Extreme Compression”, Amir Zandieh, et al, Google Research (https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/).

The paper: https://arxiv.org/abs/2504.19874

On HN: https://news.ycombinator.com/item?id=47513475

#TurboQuant #Quantization #LLMs #Vectors #Compression #Paper