Ivan Fioravanti ᯅ (@ivanfioravanti)

tensor-parallel을 사용하려면 num_k_heads와 num_v_heads가 3으로 나누어떨어져야 할 것 같아 머신 4대가 필요하지 않겠냐고 @angeloskath에게 확인하는 기술적 고민. 이 경우 M5 Ultra 2대를 추가로 구입해야 할 수도 있다는 인프라·모델 병렬화 관련 논의입니다.

https://x.com/ivanfioravanti/status/2034369592085090426

#tensorparallel #modelparallel #m5ultra #infrastructure

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

Wait... I think num_k_heads and num_v_heads should be divisible by 3 to run tensor-parallel... so I'll need 4 machines, am I right @angeloskath ? In this case I will have to buy 2 M5 Ultra 👀

X (formerly Twitter)
#Apple's #M5Max chip is the first thing in tech that truly excites me in a long time. Fuse two to make an ultra and unsubscribe from all cloud-based #AI services. Because an #M5Ultra will allow you to run an #LLM locally on your #Mac, instead of paying for #Claude, #OpenAI, or any other service.

Ivan Fioravanti ᯅ (@ivanfioravanti)

M5 Ultra의 메모리 대역폭이 약 1200 GB/s 수준일 것으로 예상되며, 여기에 Neural Engines가 결합되면 Apple Silicon에서 lacl 추론 성능이 크게 향상될 전망. 현재 세대에서 느린 이미지 생성 작업 속도 개선을 기대한다는 내용.

https://x.com/ivanfioravanti/status/2029099196171595829

#apple #m5ultra #applesilicon #inference #neuralengine

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

So M5 Ultra Memory Bandwidth should be around ~ 1200 GB/s, this combined with Neural Engines should give a big boost to lacl inference on Apple Silicon! Can't wait to test image generation that is so slow on current generation.

X (formerly Twitter)

0xSero (@0xSero)

로컬 AI에 대한 관심이 M5 Ultra 출시 시점에 맞춰 급증할 것이라는 전망입니다. 작성자는 GPU 경험을 높이 평가하면서도 최종 소비자용 AI 하드웨어 시장은 애플이 차지할 것으로 보며, 아이러니하게도 애플 제품이 더 저렴해졌다고 평가하고 있습니다. 로컬(온디바이스) AI와 소비자 하드웨어 경쟁에 대한 의견 표명입니다.

https://x.com/0xSero/status/2027875538228961349

#localai #apple #m5ultra #aihardware #gpus

0xSero (@0xSero) on X

A wave of interest in local AI is about to hit so hard, right in time for the M5 ultra. I love my GPUs and am eternally grateful to how much they’ve taught me, I just think Apple is destined to win consumer AI hardware. Strangely enough they’re the cheap ones now

X (formerly Twitter)

Ivan Fioravanti ᯅ (@ivanfioravanti)

M5 Ultra 출시 파티를 언급하며, 해당 칩이 낮은 전력 소비와 발열에도 불구하고 강력한 성능을 낸다면 기존 GPU 사용 환경에 큰 변화가 올 수 있음을 암시합니다. 초고용량 RAM(1TB) 지원 가능성도 언급되어 차세대 AI 워크로드용 하드웨어로 관심을 모읍니다.

https://x.com/ivanfioravanti/status/2025951449843142980

#m5ultra #ai #hardware #ram #gpu

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

Another good post to bookmark for the M5 Ultra release party 🎉 If performance will be good enough, combined to low power consumption, low heat and why not 1TB RAM, maybe I'll be able to keep using my GPUs to heat the room during the winter 😂

X (formerly Twitter)

Ivan Fioravanti ᯅ (@ivanfioravanti)

애플의 M5 Ultra 칩이 AI 로컬 실행 성능(TTFT)을 크게 향상시킬 것으로 기대된다는 의견입니다. 만약 실제로 충분한 성능이 입증된다면 GPU 수요가 감소할 수도 있다는 점에서 ‘GPU 겨울’이 올 수 있음을 시사합니다.

https://x.com/ivanfioravanti/status/2025969568196268505

#apple #m5ultra #hardware #ai #gpu

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

M5 Ultra will boost TTFT, we just need to understand if it's enough for a great local AI experience. If it is... GPU Winter is coming.

X (formerly Twitter)
"¡Próximo Mac Studio en la primera mitad de 2026! Chips M5 Max + M5 Ultra (filtrados en iOS 26.3), SSD más rápido, diseño sin cambios. Llegará poco después de los MacBook Pro M5 Pro/Max (posiblemente marzo). ¿Bestia para pros? 💪 #MacStudio #M5Ultra"

Tài liệu trắng về cụm AI tối ưu từ Apple M5 Ultra cho doanh nghiệp vừa và nhỏ, tiết kiệm chi phí so với NVIDIA. Phân tích về tối ưu hóa die và cấu hình mạnh mẽ có thể áp dụng cho các ứng dụng AI. #AppleM5 #AI #CôngNghệAI #M5Ultra #KhoaHọcDữLiệu

https://www.reddit.com/r/LocalLLaMA/comments/1qoqwb5/apple_m5_ai_optimized_cluster/

Hat der Mac Pro noch eine Zukunft?
Der Mac Pro wurde seit 2023 nicht mehr aktualisiert – und aktuelle Berichte deuten darauf hin, dass sich daran so bald nichts ändert. Im Raum steht sogar, dass Apple mit dem Mac Pro abgeschlossen haben könnte.

Mac Pro angeblich nur noch Nebenthema bei Apple
Laut einem jüngsten Bericht
https://www.apfeltalk.de/magazin/news/hat-der-mac-pro-noch-eine-zukunft/
#News #Apple #M2Ultra #M3Ultra #M5Ultra #MacPro #MacStudio #PCIe #ProfiDesktop #Thunderbolt5

Hat der Mac Pro noch eine Zukunft?

Der Mac Pro stagniert seit 2023. Ein Bericht deutet an, dass Apple auf den Mac Studio setzt und 2026 kein größeres Update plant.

Apfeltalk Magazin
¡Alerta Mac! Según Gurman de Bloomberg, el Mac Pro está en el banquillo: Apple lo ha "desestimado" y apuesta todo por el Mac Studio como rey de los desktops pro. ¿Adiós al Pro con M5 Ultra en 2026? El futuro pinta... ¿compacto? 💻🔥 #Apple #MacPro #M5Ultra