Mastodawn

Alex Schroeder 1d ago

I rewrote the migration code and it still takes forever to restart two of the three search engines. I get the feeling that perhaps it takes forever for #SQLite to open database files of nearly 1G the way I do:

pragma journal_mode=WAL
pragma integrity_check
pragma optimize

Any thoughts on this?

Edited to add my own thoughts after reading the documentation of the quick_check pragma: "PRAGMA integrity_check requires O(NlogN) time where N is the total number of rows in the database." I guess that explains it.

Проблема тянется как минимум с апреля: тогда фиксировали запись до 5-16 МБ/с прямо во время ответа модели.

Причина — в настройке, которую вряд ли собирались показывать конечным пользователям. SQLite-сток логов по умолчанию работает на глобальном уровне TRACE, самом шумном из возможных. В базу попадает буквально всё: сырые данные WebSocket, зеркалированная телеметрия и даже рутинные обращения к системным файлам вроде passwd и ld.so.cache.
Хуже того, сток игнорирует стандартную переменную RUST_LOG, так что приглушить его очевидным способом не получается.
По оценке автора, около 71% записанного — бесполезный для рядового пользователя мусор.

Получается парадокс: OpenAI продает Codex как инструмент, который сам пишет код и проводит ревью, но не закрывает баг, который этот же инструмент по идее должен был отловить, — и который тихо изнашивает железо тысяч пользователей.

Разработчик под ником `1996fanrui` заметил, что его SSD изнашивается подозрительно быстро, и докопался до причины: виноват Codex CLI — консольный инструмент OpenAI для агентного программирования.

Оказалось, что Codex непрерывно пишет диагностические логи в локальную базу SQLite по пути ~/.codex/logs_2.sqlite. За 21 день работы машины на накопитель ушло около 37 ТБ — и это при том, что сам файл базы весит чуть больше гигабайта.

В пересчете на год это примерно 640 ТБ записи. Для сравнения: типичный потребительский SSD на 1 ТБ рассчитан в среднем на 600 TBW, то есть на 600 терабайт записи за весь срок службы. Иными словами, один забытый лог способен исчерпать гарантийный ресурс накопителя меньше чем за год. Из-за эффекта write amplification база живет в режиме постоянной вставки и удаления — за один 15-секундный замер автор насчитал около 36 тысяч новых строк при неизменном числе хранимых.

https://github.com/openai/codex/issues/28224

Логи Codex SQLite могут записывать около 640 ТБ в год и быстро расходовать ресурс SSD.

Проблема

Codex постоянно записывает большой объём данных в локальную базу данных журнала обратной связи SQLite:

```sh
~/.codex/logs_2.sqlite
~/.codex/logs_2.sqlite-wal
~/.codex/logs_2.sqlite-shm
```

На моей машине примерно через 21 день безотказной работы на основной SSD было записано около 37 ТБ. Проверки на уровне процессов/файлов показывают, что журналы Codex SQLite являются основным источником непрерывной записи.

Это экстраполируется примерно на 640 ТБ в год. На твердотельном накопителе ёмкостью 1 ТБ это около 640 операций записи с полным заполнением диска за год.
Некоторые потребительские твердотельные накопители имеют ёмкость около 600 ТБ/год, поэтому они могут израсходовать весь гарантированный ресурс записи менее чем за год.

Codex SQLite feedback logs can write ~640 TB/year and rapidly consume SSD endurance · Issue #28224 · openai/codex

Codex SQLite feedback logs can write ~640 TB/year and rapidly consume SSD endurance Issue Codex is continuously writing a large amount of data to the local SQLite feedback log database: ~/.codex/lo...

GitHub

https://github.com/openai/codex/issues/28224

Codex SQLite feedback logs can write ~640 TB/year and rapidly consume SSD endurance

Issue

Codex is continuously writing a large amount of data to the local SQLite feedback log database:

```sh
~/.codex/logs_2.sqlite
~/.codex/logs_2.sqlite-wal
~/.codex/logs_2.sqlite-shm
```
On my machine, after about 21 days of uptime, the main SSD has written about 37 TB. Process/file-level checks show Codex SQLite logs are the main continuous writer.

That extrapolates to roughly 640 TB/year. On a 1 TB SSD, that is about 640 full-drive writes per year. Some consumer SSDs are rated around 600 TBW, so this could consume roughly a full drive's warranted write endurance in less than a year.