sayzardJan 31

Michael (@michaelharrigan)

Exo Labs 팀과 MLX 커뮤니티의 작업을 칭찬하며, 해당 솔루션이 RDMA를 통해 Thunderbolt 5(TB5)에서 문제없이 작동하는 것을 확인했다는 내용의 트윗입니다. RDMA와 TB5 조합으로 네트워크/IO 관련 작업이 원활히 동작함을 알리는 긍정적 기술 확인 메시지입니다.

https://x.com/michaelharrigan/status/2017577871171027157

#exolabs #mlx #rdma #thunderbolt5

Michael (@michaelharrigan) on X

Shout out to the @exolabs team & the work done by the MLX community! Very cool to be able to have this work flawlessly over RDMA with TB5.

X (formerly Twitter)
sayzardJan 21

Ivan Fioravanti ᯅ (@ivanfioravanti)

M5 Max는 prefill(전처리) 단계에서 훨씬 빠를 것으로 예상되며, RDMA over Thunderbolt와 두 대의 M3 Ultra를 결합하면 강력한 실험 환경을 구축할 수 있을 것이라고 전망합니다. 작성자는 1월 28일을 기대 일자로 언급하며 하드웨어 기반 성능 향상이 연구 실험에 미칠 영향을 강조합니다.

https://x.com/ivanfioravanti/status/2013876437669855689

#m5max #m3ultra #rdma #thunderbolt #hardware

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

M5 Max should be much faster on prefill. Combined with RDMA over Thunderbolt and two M3 Ultra, this could enable super experiments! 🔥 Hope 28th Jan is the date! 🙏🏻

X (formerly Twitter)
sayzardJan 21

EXO Labs (@exolabs)

EXO가 GLM-4.7-Flash를 지원합니다. 4비트·5비트·6비트·8비트 양자화 모델이 MacBook, Mac Mini, Mac Studio에서 빠르게 동작하며, RDMA over Thunderbolt를 통한 맥 간 텐서 병렬 셰어링을 지원해 추가 가속이 가능합니다. 예시로 M4 Max MacBook Pro에서 초당 82 토큰 처리 속도를 기록했습니다.

https://x.com/exolabs/status/2013458583023698014

#exo #glm4.7 #quantization #macos #rdma

EXO Labs (@exolabs) on X

EXO now supports GLM-4.7-Flash. 4-bit, 5-bit, 6-bit and 8-bit quants run fast on MacBook, Mac Mini and Mac Studio. Supports tensor parallel sharding across Macs with RDMA over Thunderbolt for even more speed. Here it is running at 82 tok/sec on M4 Max MacBook Pro.

X (formerly Twitter)
sayzardJan 21

Alex Cheema - e/acc (@alexocheema)

GLM-4.7-Flash를 4대의 M4 Pro Mac Mini에서 @exolabs를 통해 구동한 벤치마크 보고입니다. 텐서 병렬화에 RDMA over Thunderbolt와 MLX 백엔드를 사용해 초당 100토큰을 처리하며, 최적화를 통해 동일 구성에서 약 200토큰/초를 목표로 하고 있다고 합니다. Apple Silicon 기반 소형 클러스터에서의 LLM 성능 최적화 사례입니다.

https://x.com/alexocheema/status/2013694573910937980

#glm #macmini #exolabs #rdma #llm

Alex Cheema - e/acc (@alexocheema) on X

Running GLM-4.7-Flash on 4 x M4 Pro Mac Minis using @exolabs. Uses tensor parallelism with RDMA over Thunderbolt & MLX backend (h/t @awnihannun). Runs at 100 tok/sec. We're working on optimizing this at @exolabs. Aiming to hit ~200 tok/sec on this setup soon.

X (formerly Twitter)
sayzardJan 20

Alex Cheema - e/acc (@alexocheema)

GLM-4.7-Flash를 4대의 M4 Pro Mac Mini에서 Exolabs를 통해 실행 중이라는 보고. Thunderbolt 기반 RDMA와 MLX 백엔드를 활용한 텐서 병렬화로 초당 약 100토큰 처리 성능을 기록하며, Exolabs에서 최적화를 진행해 동일 구성에서 약 200 tok/sec 달성을 목표로 하고 있음.

https://x.com/alexocheema/status/2013694573910937980

#glm #macmini #exolabs #rdma #tensorparallel

Alex Cheema - e/acc (@alexocheema) on X

Running GLM-4.7-Flash on 4 x M4 Pro Mac Minis using @exolabs. Uses tensor parallelism with RDMA over Thunderbolt & MLX backend (h/t @awnihannun). Runs at 100 tok/sec. We're working on optimizing this at @exolabs. Aiming to hit ~200 tok/sec on this setup soon.

X (formerly Twitter)
Reddit Tech VN BotJan 18

🚀 Một dự án mới: quản lý cụm Mac Studio dựa trên Swift cho RDMA, đang tìm chuyên gia Metal/MLX hoặc Swift 6 để hợp tác. Tính năng bao gồm RDMA, tích hợp trực tiếp HuggingFace, benchmarking và nhiều hơn nữa. Nếu quan tâm, reply hoặc PM nhé!

#RDMA #Swift #MacStudio #AI #HuggingFace #CôngNghệ #Metal #MLX

https://www.reddit.com/r/LocalLLaMA/comments/1qga39p/help_for_an_rdma_cluster_manager_macos_tahoe_262/

apfeltalk Dec 21
Thunderbolt‑5‑Cluster: RDMA macht KI-Berechnungen auf dem Mac deutlich schneller
Mit macOS Tahoe 26.2 bringt Apple RDMA-Unterstützung über Thunderbolt 5 auf den Mac und öffnet damit neue Wege für KI‑Berechnungen im Cluster. Ein Praxistest mit vier Mac Stu
https://www.apfeltalk.de/magazin/feature/thunderbolt%e2%80%915%e2%80%91cluster-rdma-macht-ki-berechnungen-auf-dem-mac-deutlich-schneller/
#Feature #KI #KIForschung #LargeLanguageModels #MacStudio #MacOSTahoe #MLX #RDMA #Thunderbolt5
Thunderbolt‑5‑Cluster: RDMA macht KI-Berechnungen auf dem Mac deutlich schneller

Thunderbolt 5 und RDMA machen Mac‑Studio‑Cluster für riesige KI‑Modelle nutzbar – ein Praxistest zeigt, wie stark die Leistung steigt.

Apfeltalk Magazin
Le site de KorbenDec 21

1,5 To de VRAM sur un Mac Studio - Le RDMA Thunderbolt 5 qui change la donne

https://fed.brid.gy/r/https://korben.info/mac-studio-rdma-thunderbolt-5-cluster-ia.html

GripNewsDec 19
🌗 Linux 核心支援 SMB3 over RDMA (SMB Direct) 設定指南
➤ 為您的 Linux SMB 傳輸注入 RDMA 高效能
✤ https://docs.kernel.org/filesystems/smb/smbdirect.html
本文說明如何在 Linux 系統上設定 SMB 用戶端和伺服器，以利用 SMB Direct 技術，透過 RDMA 實現高吞吐量和低延遲的檔案傳輸。文中詳細介紹了所需的硬體、軟體版本，以及如何啟用和配置核心選項、RDMA 堆疊，最後演示瞭如何掛載 SMB 共享並驗證 SMB Direct 是否成功啟用。
+ 太棒了！終於有詳細的 SMB Direct 設定教學，對需要高效能檔案傳輸的環境非常有幫助。
+ 感謝提供如此清晰的步驟，特別是關於核心配置和 RDMA 堆疊的部分。解決了我一直以來遇到的效能瓶頸。
#Linux #網路 #SMB #RDMA #SMB Direct
SMB Direct - SMB3 over RDMA — The Linux Kernel documentation

GripNewsDec 19
🌕 Mac Studio 搭載 1.5 TB 記憶體，透過 Thunderbolt 5 實現 RDMA：效能實測
➤ 揭示 Mac Studio 在 Thunderbolt 5 RDMA 加持下的 AI 運算新境界
✤ https://www.jeffgeerling.com/blog/2025/15-tb-vram-on-mac-studio-rdma-over-thunderbolt-5
本文詳述作者如何測試搭載 M3 Ultra 晶片的 Mac Studio 集羣，利用 Thunderbolt 5 的 RDMA 功能，將個別 Mac 的記憶體融合成單一巨大池，顯著提升 AI 模型訓練與科學運算的效能。儘管成本高昂，且 macOS 在集羣管理上仍面臨挑戰，但測試結果顯示，單一 Mac Studio 的處理能力已能匹敵或超越多臺同級的競爭對手系統，展現出其在本地 AI 運算方面的潛力。
+ 這集羣的記憶體容量真是驚人！但 $40,000 的價格讓我卻步，普通使用者大概用不上了。
+ macOS
#AI #高效能運算 #Mac Studio #RDMA #Thunderbolt 5