Removing fsync from our local storage engine
이 글은 로컬 스토리지 엔진에서 fsync 호출을 제거하여 성능을 크게 향상시킨 새로운 단일 노드 키-값 저장소 엔진 설계에 대해 설명한다. 이 엔진은 SSD 전용 환경에서 고정 크기 사전 할당 파일, O_DIRECT 쓰기, 4KB 원자적 저널 커밋을 활용하여 파일 시스템 메타데이터 동기화 비용을 회피한다. 이를 통해 AWS NVMe 환경에서 기존 ext4 + fsync 대비 약 1.6배 높은 처리량을 달성했다. 다만, 이 설계는 POSIX 호환성이나 HDD 지원 등 일반적인 파일 시스템 요구사항을 포기한 제한된 환경에 특화되어 있다.
[Перевод] MariaDB 12.3: binlog внутри InnoDB
Коротко для ленивых В MariaDB 12.3 binlog можно хранить внутри InnoDB через binlog_storage_engine=innodb . Главный эффект: вместо двух fsync() на commit остаётся один, поэтому на write-heavy нагрузке резко растут TPS и снижается tail latency. В тестах из статьи прирост на полном durability-профиле составил примерно 2.4x–3.3x . Backup, restore и ресинк реплик становятся проще, потому что binlog и данные теперь консистентны на уровне одного механизма хранения. Цена за это: обязателен GTID, Galera пока не поддерживается, а innodb_log_file_size нужно подбирать внимательнее из-за роста объёма redo. Если у вас обычная схема primary + async replica на InnoDB, эту возможность точно стоит хотя бы протестировать.
https://habr.com/ru/articles/1011298/
#MariaDB_123 #InnoDB #binlog #GTID #репликация #производительность_SQL #crash_recovery #fsync #OLTP
SQLite (with WAL) doesn't do fsync on each commit under default settings | Hacker News
sayzard
Habr
Gea-Suan Lin
卡拉今天看了什麼PRAGMA synchronous 設定與 fsync 行為之間的關係，以及不同作業系統和編譯環境下的預設差異。SQLite 的 WAL 模式能提升寫入效能，但在預設的 synchronous=NORMAL 狀態下，交易提交並不會在每次操作時都呼叫 fsync，導致系統崩潰或斷電時可能回滾部分已提交交易。相對地，設定為 FULL 會增加交易耐久性，確保每次提交後都執行同步操作，降低資料遺失風險。文中以 macOS 內建 sqlite 與 Homebrew 版本為例，指出兩者在此設定上的不同，且編譯階段的宏定義（SQLITE_DEFAULT_SYNCHRONOUS 與 SQLITE_DEFAULT_WAL_SYNCHRONOUS）通常預設為 FULL，但發行版或包裝方式可能改變預設，產生行為差異。文章並輔以 Hacker News 社羣討論，引伸對於資料庫耐久性預設的安全性疑慮、不同檔案系統、fsync 性能影響以及應用場景需求的範例分析，提醒使用者必須理解底層配置與預設差異，並根據實務需求調整參數，而非盲目依賴默認設定。 PRAGMA synchronous 控制 fsync 行為，影響資料耐久性與系統穩定性； synchronous=NORMAL（數值1）表示不對每次提交呼叫 fsync，僅於檢查點前後同步，可能導致部分交易因斷電丟失； synchronous=FULL（數值2）確保每次交易提交後同步 WAL 檔案，提升耐久性； NORMAL； FULL，顯示編譯宏設定差異； SQLITE_DEFAULT_SYNCHRONOUS 和 SQLITE_DEFAULT_WAL_SYNCHRONOUS 皆預設值為 FULL，但發行包裝可能自行調整； FULL 為預設； NORMAL，但犧牲了部分交易的耐久保障； SQLite (with WAL) doesn't do `fsync` on each commit under default settings
https://avi.im/blag/2025/sqlite-fsync/
#HackerNews #SQLite #WAL #fsync #performance #database #commit #storage
I've been studying fsync() for a couple of years and I thought I'd seen every weird way that it could be used and misused, but this week I learned of one more that exists in the wild: if the program crashes between write() and fsync(), on restart, fsync() after open() to ensure those writes are on disk.
I am pretty sure this doesn't do what people think it does, and here's why:
https://despairlabs.com/blog/posts/2025-03-13-fsync-after-open-is-an-elaborate-no-op/
I have spent the last couple of years of my life trying to make sense of fsync() and bringing OpenZFS up to code. I’ve read a lot of horror stories about this apparently-simple syscall in that time, usually written by people who tried very hard to get it right but ended up losing data in different ways. I hesitate to say I enjoy reading these things, because they usually start with some catastrophic data loss situation and that’s just miserably unfair. At least, I think they’re important reads, and I’m always glad to see another story of fsync() done right, or done wrong.
Синхронизация файлов при запуске экземпляра PostgreSQL
Если экземпляр PostgreSQL был некорректно остановлен, то перед восстановлением файлов выполняется синхронизаций всех файлов кластера. Способ синхронизации определяется параметром конфигурации recovery_init_sync_method . В статье рассматривается, как ускорить запуск экземпляра и резервирование, если в директории PGDATA имеется много файлов.
So finally got the #ntsync #wine patches applied to #Proton and went to test it on #GuildWars2.
In the Omphalos chamber in the Grove, #fsync and #esync yielded about 74fps, both off yielded 84 (odd, I know).
After allowing my user to access the ntsync device...
Uhh, I'll have to disable my FPS limiter real quick..
146 fps. Holy.
I'm going to be testing this on #Planetside2 the coming days where it actually matters. The times of bad FPS in CPU-bound games on #Linux might be over soon lads.
GripNews
Hacker News
Rob 💚
Hacker 
Atemu