Сепаратор для логов. Сжимаем логи для контекста LLM без потери читаемости

logzip — утилита для сжатия логов перед анализом в LLM. Вместо того чтобы отправлять в Claude/GPT сырые 10 МБ лога, мы сжимаем его до 3.4 МБ (−58%), сохраняя полную читаемость и видимость ошибок. Статья рассказывает о проблеме (Lost in the Middle, переплата за мусорные токены), архитектуре на Rust, алгоритме Recursive BPE и реальном ROI: −$2,070 в год на API. Проект open source (MIT), интегрирован с Claude Desktop через MCP.

https://habr.com/ru/articles/1030964/

#logzip #llmинструменты #mcptools #token_management #compression #log #python #rust #devops #optimization

Сепаратор для логов. Сжимаем логи для контекста LLM без потери читаемости

Я думаю, многим знакомо устройство под названием сепаратор-то, что отделяет сливки от молока. Моя библиотека logzip занимается примерно тем же самым - отделяет сливки больших логов, оставляя самую...

Хабр