GripNews9h ago
🌘 Google 如何建構出擁有 13 萬節點的 Kubernetes 叢集
➤ 探索 GKE 擴展至 13 萬節點的技術祕密
✤ https://cloud.google.com/blog/products/containers-kubernetes/how-we-built-a-130000-node-gke-cluster/
Google Cloud 在其部落格中分享瞭如何透過一系列的架構創新，成功打造出一個擁有 13 萬節點的 Google Kubernetes Engine (GKE) 叢集，遠超過官方支援的 6 萬 5 千節點上限。此舉旨在滿足日益增長，特別是 AI 工作負載對大規模叢集的需求。文章深入探討了推動此類「巨型叢集」興起的趨勢，以及為實現極致擴展性所採取的關鍵技術措施，包括優化 API 伺服器快取以處理大量讀取請求、採用基於 Spanner 的分散式儲存後端、運用 Kueue 進行先進的任務佇列管理，以及利用 GCS FUSE 提升資料存取效率。這些創新不僅適用於超大規模部署，也為一般規模的 G
#Kubernetes #GKE #AI #擴展性 #雲端運算
How we built a 130,000-node GKE cluster | Google Cloud Blog

Learn about the architectural innovations we used to build a 130,000-node Kubernetes cluster, and the trends driving demand for these environments.

Google Cloud Blog
GripNewsOct 18
🌗 挑戰百萬節點 Kubernetes：技術實踐與瓶頸突破
➤ 邁向極致擴展：揭開百萬節點 Kubernetes 集羣的實現細節與效能極限
✤ https://bchess.github.io/k8s-1m/
本文探討了建置一個具備百萬活躍節點的 Kubernetes 集羣所面臨的技術挑戰與解決方案。作者透過實際嘗試，深入分析了 etcd 效能瓶頸、API 伺服器負載、網絡設計、IP 位址管理（特別是 IPv6 的應用）以及調度器效率等關鍵環節。為了克服 etcd 效能不足，作者嘗試了減少耐久性和副本數，並開發了 in-memory etcd 的替代方案。在網絡方面，透過 IPv6 解決了 IP 位址空間不足的問題。實驗結果顯示，利用 kwok 進行模擬測試，驗證了在大規模集羣中的可行性，並為未來 Kubernetes 的擴展性提供了寶貴的見解。
+ 這篇文章的實踐精神令人敬佩！對於 etcd 的瓶頸和 IPv6 的應用分析得相當到位，很有啟發性。
+ 百萬節點聽起來很震撼，但實際操作的技術細節纔是關鍵。作者分享的過程對於理
#Kubernetes #雲端原生 #效能優化 #擴展性
k8s-1m Overview

GripNewsOct 14
🌗 為何一切都如此講求擴展性？
➤ 反思過度追求擴展性的迷思，擁抱單體架構的務實之道
✤ https://www.stavros.io/posts/why-is-everything-so-scalable/
作者認為，現今許多新創公司過度追求「大規模擴展性」，導致系統架構複雜且成本高昂，而忽略了更根本的商業問題。他批評這種「FAANG 架構」思維，認為它源於開發者希望建立看似先進的系統，而非解決實際需求。文章主張，應先解決「公司能否生存」和「產品是否受歡迎」等問題，並推薦回歸更簡單、更具成本效益的單體架構（Monolith），強調模組化和靜態型別接口的重要性，以此達到真正的開發效率和可維護性。
+ 這篇文章說出了我的心聲！多少新創公司把錢花在雲端費用和微服務上，結果產品根本沒人買。作者的觀點很實在。
+ 雖然作者提倡單體架構，但他也承認了擴展性的缺點。對於需要高併發且各服務獨立擴展的場景，單體架構似乎還是有其侷限性。
#軟體架構 #擴展性 #單體架構 #開發者文化
Why is everything so scalable? - Stavros' Stuff

GripNewsOct 13
🌘 從百萬筆到數十億筆：如何擴展請求日誌記錄，從 MariaDB 遷移至 ClickHouse、Kafka 及 Vector
➤ 克服資料庫擴展性挑戰，優化請求日誌記錄架構
✤ https://www.geocod.io/code-and-coordinates/2025-10-02-from-millions-to-billions/
本文講述了 Geocodio 如何透過將請求日誌記錄系統從過時的 MariaDB (TokuDB) 遷移至 ClickHouse、Kafka 和 Vector，成功解決了處理數十億筆月度請求的擴展性瓶頸。原有的架構因 TokuDB 的棄用及面對龐大數據量時的效能衰退而面臨嚴重問題，甚至影響了計費和客戶支援。作者首先嘗試直接替換資料庫為 ClickHouse，利用其欄式儲存的優勢來處理分析型查詢。隨後，為了更穩健的解決方案，他們引入了 Kafka 作為訊息佇列，Vector 進行數據收集與傳輸，最終將數據載入 ClickHouse。此舉不僅顯著提升了查詢效能、數據壓縮率，還確保了系統的穩定性與可用性，消
#資料庫遷移 #效能優化 #擴展性 #請求日誌
From Millions to Billions - Geocodio

How we solved request logging at scale by moving from MariaDB to ClickHouse, Kafka, and Vector after our deprecated database engine couldn't keep up with billions of monthly requests.

Geocodio
GripNewsFeb 12
🌘 效率與水準擴展之間是否存在矛盾？
➤ 理解計算系統的效率與擴展性挑戰
✤ https://buttondown.com/hillelwayne/archive/are-efficiency-and-horizontal-scalability-at-odds/
本文探討了水準擴展與效率之間的矛盾，指出快速計算任務的解決方案包括縱向擴展、提高軟體效率及橫向擴展。然而，文章指出水準擴展往往與效率相抵觸，優化的軟體在進行橫向擴展時通常表現不佳。還討論了Amdahl定律、協調開銷以及不同類型擴展的挑戰，並從實際應用和文化角度分析了這一議題。
+ 我對水準擴展與效率之間的矛盾感到驚訝，這真的讓我重新思考我們的系統設計方法。
+ 文章讓我意識到，多數工程師在處理不同計算任務時，對於效率和擴展性的關注角度可能截然不同。
#軟體開發 #效率 #擴展性
Are Efficiency and Horizontal Scalability at odds?

Why are scalable systems locally-inefficent, and locally-efficient systems unscalable? Plus, new book release!

Computer Things
卡拉今天看了什麼Oct 25, 2024

tixCraft 案例研究

Link📌 Summary: tixCraft（拓元售票系統）成立於2013年，是台灣的主要售票平台，專注於演唱會、運動賽事等活動。因應流量暴衝的挑戰，拓元將系統遷移至AWS（亞馬遜網路服務），顯著提升了系統的擴展性與穩定性，實現每秒支援超過2,500筆訂單，且可用率高達99.999%。該移轉促進了業務增長，增進客戶信心，並成功應對高需求的售票事件，顯示出云端架構對業務效率的貢獻。

🎯 Key Points:
- tixCraft提供多元化售票服務，如活動管理、即時銷售報告。
- 遷移至AWS後，拓元能在30分鐘內將資源擴展130倍。
- 使用Amazon DynamoDB使得讀寫速度從20提升至135,000，支持超過100,000名同時連線用戶。
- AWS架構提供高可用性和穩定效能，大幅提升系統表現。
- 成本方面透過使用Amazon EC2 Spot執行個體達到降低運營開支的目標。

🔖 Keywords: #tixCraft #AWS #售票系統 #擴展性 #雲端服務

tixCraft 案例研究

Amazon Web Services, Inc.
卡拉今天看了什麼Aug 30, 2024

Fractal Bitcoin 如何為比特幣主網打造並行高速通道 | 動區動趨-最具影響力的區塊鏈新聞媒體

Link📌 Summary:
Fractal Bitcoin 是一項創新的擴展解決方案，旨在解決比特幣主網在可擴展性上的困難，如區塊大小限制和長交易確認時間。這一方案不需修改比特幣核心協議，可大幅提升交易處理能力，並與比特幣生態系統相容。Fractal Bitcoin 引入 BCSP（比特幣核心軟體包）技術，實現無限層次的拓展，降低交易成本，同時具備強化共識和安全性的特性。該計畫尚在測試階段，預計9月9日上線主網。

🎯 Key Points:
- Fractal Bitcoin 專注於提升比特幣的可擴展性，解決現有網路擁堵與高費用問題。
- 引入虛擬化核心技術（BCSP），使比特幣能夠在不改變核心協議的情況下，實現多層級的擴展。
- 相較於傳統技術，BCSP 提高了交易處理速度，將確認時間縮短至約30秒。
- 採用與比特幣相同的 PoW 共識機制，兼容現有礦工的硬體。
- 已制定代幣經濟學，計劃於主網上線後推動生態發展。

🔖 Keywords:
#FractalBitcoin #區塊鏈 #PoW #擴展性 #比特幣

Fractal Bitcoin 如何為比特幣主網打造並行高速通道

比特幣在可擴展性上受限，如區塊大小限制、交易確認時間長和智慧合約開發困難，導致網路擁堵與高費用。Fractal Bitcoin 致力於無縫提升比特幣效能，解決這些問題，且不需修改核心協議。 （前情提要：比特幣擴容 Fractal Bitcoin 經濟模型揭露「80%分配給社群」，PizzaSwap本週上線） （背景補充：比特幣擴容Fractal Bitcoin爆紅！測試網活躍地址破800萬，挖BTC送新幣「合併挖礦」有賺頭？） Fractal Bitcoin 是一種比特幣擴展套件解決方案，致力於將比特幣區塊鏈逐步擴展套件為可擴展套件的計算系統的同時，不破壞與比特幣主鏈的一致性。

動區動趨 BlockTempo
GripNewsAug 28, 2024
🌗 微軟如何擴展 Rails 與 PostgreSQL 至數百萬用戶：經驗與收穫
➤ 擴展 Rails 與 PostgreSQL 的專業技巧與經驗分享
✤ https://stepchange.work/blog/scaling-rails-postgres-to-millions-of-users-at-microsoft-lessons-takeaways
在這篇訪談中，我們聽取了 Andrew Atkinson 的經驗，他分享瞭如何將 Rails 應用程式與 PostgreSQL 數據庫擴展到數百萬用戶的技巧。Andrew 曾在微軟參與 Flip 的擴展工作，他詳細介紹了調優 ActiveRecord 查詢、提升數據庫效率和使用 Sidekiq 處理高吞吐量的背景工作等主題。他的新書《High Performance PostgreSQL for Rails》也提供了更多專業見解。
+ "這篇文章非常實用，對於需要擴展 Rails 應用的開發者來說，提供了很多寶貴的建議和技巧。"
+ "Andrew 的經驗分享讓我對數據庫性能優化有了更深刻
#軟體工程 #數據庫性能 #擴展性
Scaling Rails & Postgres to Millions of Users at Microsoft: Lessons & Takeaways – StepChange

Do you have a Rails app built on PostgreSQL and need to scale it to millions of users? In this interview, I speak with Andrew Atkinson, one of StepChange's expert consultants, who brings deep expertise in optimizing Rails applications for performance and scalability. Andrew’s expertise is backed by real-world experience—during his tenure at Microsoft, he played a key role in scaling the infrastructure for Flip (formerly Flipgrid), a video discussion and sharing app built for classrooms and beyo

GripNewsSep 22, 2023
🌖 建立和擴展功能標誌系統的11個原則
➤ 功能標誌的概念和11個建立大型功能標誌系統的原則
✤ https://docs.getunleash.io/topics/feature-flags/feature-flag-best-practices
本文介紹了功能標誌的概念和11個建立大型功能標誌系統的原則，包括動態控制、保護個人身份信息、降低延遲、水平擴展、限制載荷、設計失敗、短暫的標誌生命週期、唯一的應用程序名稱、開放默認、不造成傷害和可追溯性。這些原則是基於分散式系統架構，特別關注大型企業系統所需的安全、隱私和擴展性。如果遵循這些原則，您的功能標誌系統不太可能在負載下崩潰，並且更容易進行演進和維護。
+ 功能標誌系統的原則非常實用，尤其是對於大型企業系統。這篇文章提供了很好的指導和參考。
+ 功能標誌系統是現代軟件開發的重要工具，這篇文章提供了很好的解釋和建議，值得閱讀。
#功能標誌 #分散式系統 #安全 #隱私 #擴展性
11 Principles for building and scaling feature flag systems | Unleash

Feature flags, sometimes called feature toggles or feature switches, are a software development technique that allows engineering teams to decouple the release of new functionality from software deployments. With feature flags, developers can turn specific features or code segments on or off at runtime, without the need for a code deployment or rollback. Organizations who adopt feature flags see improvements in all key operational metrics for DevOps: Lead time to changes, mean-time-to-recovery, deployment frequency, and change failure rate.

GripNewsAug 31, 2023
🌘 Flake schemas: 讓 flake 輸出可擴展
➤ Flake schemas: Making flake outputs extensible
✤ https://determinate.systems/posts/flake-schemas
本文介紹了 Flake schemas，一種讓 flake 輸出可擴展的方法。Flake schemas 可以讓 flake 定義其輸出的內容，並提供檢查和列舉輸出的功能。這樣，使用者就可以在不依賴中央註冊表的情況下，定義 flake 輸出的內容。Flake schemas 還可以讓 nix flake show 和 FlakeHub 以通用的方式顯示或檢查 flake 的內容。
+ Flake schemas 讓 flake 更加靈活，使用者可以自定義 flake 輸出的內容，這對於開發者來說非常有用。
+ Flake schemas 的設計非常巧妙，可以讓使用者在不依賴中央註冊表的情況下，定義 flake 輸出的內容，這樣可以更好地控制 flake 的行為。
#Nix #Flake #擴展性 #模式
Flake schemas: making flake outputs extensible · Determinate Systems

Flake schemas enable you to teach Nix about new flake output types.

Determinate Systems