Ivan Fioravanti ᯅ (@ivanfioravanti)
tensor-parallel을 사용하려면 num_k_heads와 num_v_heads가 3으로 나누어떨어져야 할 것 같아 머신 4대가 필요하지 않겠냐고 @angeloskath에게 확인하는 기술적 고민. 이 경우 M5 Ultra 2대를 추가로 구입해야 할 수도 있다는 인프라·모델 병렬화 관련 논의입니다.
Ivan Fioravanti ᯅ (@ivanfioravanti)
tensor-parallel을 사용하려면 num_k_heads와 num_v_heads가 3으로 나누어떨어져야 할 것 같아 머신 4대가 필요하지 않겠냐고 @angeloskath에게 확인하는 기술적 고민. 이 경우 M5 Ultra 2대를 추가로 구입해야 할 수도 있다는 인프라·모델 병렬화 관련 논의입니다.
Ivan Fioravanti ᯅ (@ivanfioravanti)
M5 Ultra의 메모리 대역폭이 약 1200 GB/s 수준일 것으로 예상되며, 여기에 Neural Engines가 결합되면 Apple Silicon에서 lacl 추론 성능이 크게 향상될 전망. 현재 세대에서 느린 이미지 생성 작업 속도 개선을 기대한다는 내용.
0xSero (@0xSero)
로컬 AI에 대한 관심이 M5 Ultra 출시 시점에 맞춰 급증할 것이라는 전망입니다. 작성자는 GPU 경험을 높이 평가하면서도 최종 소비자용 AI 하드웨어 시장은 애플이 차지할 것으로 보며, 아이러니하게도 애플 제품이 더 저렴해졌다고 평가하고 있습니다. 로컬(온디바이스) AI와 소비자 하드웨어 경쟁에 대한 의견 표명입니다.

A wave of interest in local AI is about to hit so hard, right in time for the M5 ultra. I love my GPUs and am eternally grateful to how much they’ve taught me, I just think Apple is destined to win consumer AI hardware. Strangely enough they’re the cheap ones now
Ivan Fioravanti ᯅ (@ivanfioravanti)
M5 Ultra 출시 파티를 언급하며, 해당 칩이 낮은 전력 소비와 발열에도 불구하고 강력한 성능을 낸다면 기존 GPU 사용 환경에 큰 변화가 올 수 있음을 암시합니다. 초고용량 RAM(1TB) 지원 가능성도 언급되어 차세대 AI 워크로드용 하드웨어로 관심을 모읍니다.

Another good post to bookmark for the M5 Ultra release party 🎉 If performance will be good enough, combined to low power consumption, low heat and why not 1TB RAM, maybe I'll be able to keep using my GPUs to heat the room during the winter 😂
Ivan Fioravanti ᯅ (@ivanfioravanti)
애플의 M5 Ultra 칩이 AI 로컬 실행 성능(TTFT)을 크게 향상시킬 것으로 기대된다는 의견입니다. 만약 실제로 충분한 성능이 입증된다면 GPU 수요가 감소할 수도 있다는 점에서 ‘GPU 겨울’이 올 수 있음을 시사합니다.
Tài liệu trắng về cụm AI tối ưu từ Apple M5 Ultra cho doanh nghiệp vừa và nhỏ, tiết kiệm chi phí so với NVIDIA. Phân tích về tối ưu hóa die và cấu hình mạnh mẽ có thể áp dụng cho các ứng dụng AI. #AppleM5 #AI #CôngNghệAI #M5Ultra #KhoaHọcDữLiệu
https://www.reddit.com/r/LocalLLaMA/comments/1qoqwb5/apple_m5_ai_optimized_cluster/
Hat der Mac Pro noch eine Zukunft?
Der Mac Pro wurde seit 2023 nicht mehr aktualisiert – und aktuelle Berichte deuten darauf hin, dass sich daran so bald nichts ändert. Im Raum steht sogar, dass Apple mit dem Mac Pro abgeschlossen haben könnte.
Mac Pro angeblich nur noch Nebenthema bei Apple
Laut einem jüngsten Bericht
https://www.apfeltalk.de/magazin/news/hat-der-mac-pro-noch-eine-zukunft/
#News #Apple #M2Ultra #M3Ultra #M5Ultra #MacPro #MacStudio #PCIe #ProfiDesktop #Thunderbolt5