https://www.buildbuddy.io/blog/content-defined-chunking/ #ContentDefinedChunking #DataEfficiency #DiskCaching #HackerNews #ngated
Content-defined chunking added to Bazel
https://www.buildbuddy.io/blog/content-defined-chunking/
#HackerNews #Bazel #ContentDefinedChunking #SoftwareDevelopment #TechNews #BuildBuddy
Content-defined chunking added to Bazel
BuildBuddy가 Bazel 원격 캐시에 Content-Defined Chunking(CDC)을 도입해 대형 빌드 출력물의 중복 데이터를 효율적으로 재사용한다. CDC는 파일 내용을 기준으로 청크를 나누어 변경된 부분만 전송하고 저장하여 네트워크 사용량과 디스크 캐시 크기를 약 40% 줄였다. 이 기술은 특히 GoLink 같은 트랜지티브 액션에서 작은 소스 변경이 대용량 출력물 전체를 다시 업로드하는 문제를 해결하며, 수백 테라바이트의 중복 데이터 전송을 방지해 빌드 효율성을 크게 향상시킨다. Bazel 8.7 이상에서 실험적 기능으로 활성화 가능하다.