Нейро сети для самых маленьких. Часть нулевая. Обзорная

Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!

https://habr.com/ru/articles/982820/?utm_source=habrahabr&utm_medium=rss&utm_campaign=982820

#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation

Нейро сети для самых маленьких

Нейро сети для самых маленьких Каждый раз, когда вы говорите нейросети « Спасибо », вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд. Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC. В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений. Конкретно в этой статье мы разберёмся, что представляет из себя нейросеть, как она работает, как происходит её обучение, а самое главное, почему для неё нужны сотни дорогущих GPU-карточек и какая-то особенная сеть. Рефрен сегодняшней истории: в нейросетях нет никакой магии — это просто множество простых операций над числами, которые выполняются на компьютерах со специальными чипами. Магии нет ни в том, как они работают, ни в той инфраструктуре, на которой они запускаются. Ныряем!

https://habr.com/ru/articles/982820/

#ai #ml #roce #infiniband #трансформеры #нейросети #llm #mlp #backpropagation

Tu aimes le rap qui a du sens - Le bon rap quoi... et y'en a pas des masses non plus ! #roce Tous les albums sont en téléchargement libre. Le père est tout aussi brillant ! #adolfo_kaminsky

https://soundcloud.com/roceofficial/habitus?in=roceofficial/sets/gunz-n-roce&utm_source=clipboard&utm_medium=text&utm_campaign=social_sharing

SINA 홈페이지 갔다가 RDMA Q&A란 글이 보여서 AI번역(+살짝 교정)의 힘을 빌려 정리해 봤습니다. “Everything You Wanted to Know About RDMA But Were Too Proud to Ask” 제목의 웨비나에서 나왔던 Q&A를 정리한 글이구요. 발표 영상과 함께 보면 RDMA를 이해하는데 많은 도움이 될 것 같습니다.

https://098.co.kr/snia-rdma-qa/

#SINA #RDMA #ROCE #DMA

🚀 RoCE vs. InfiniBand: Asterfusion 800G Switch in AI Networking
In the realm of AI data centers, the debate between RoCE and InfiniBand is intensifying. Recent evaluations of Asterfusion's 800G RoCE switches reveal:

Lower P90 Inference Latency: Enhanced performance in AI inference tasks.

Higher Token Generation Rate: Improved throughput for large-scale AI models.

Cost Efficiency: Comparable performance to InfiniBand at a reduced cost.

These findings suggest that RoCE, especially when implemented on Asterfusion's 800G switches, offers a compelling alternative for AI networking infrastructure.

📖 Dive deeper into the analysis:
🔗 RoCE Beats InfiniBand? Asterfusion 800G Switch for AI Networking

#RoCE #InfiniBand #AIInfrastructure #800GSwitch #Asterfusion #DataCenterNetworking #HighPerformanceComputing #CloudSwith

🚀 AI Fabric Needs More Than Just GPUs
To meet the demands of AI inference workloads, Paratera partnered with Asterfusion to build a high-performance, open-networking-based fabric using:
• SONiC-based switches
• Lossless Ethernet w/ ECN & PFC
• Disaggregated architecture for scale-out

This isn’t theory—this is production.

📘 Case study covers:
• RoCEv2 + 25/100/400G deployments
• Cluster-level performance design
• Why open networking beats legacy black-box switches

🔗 https://cloudswit.ch/blogs/paratera-asterfusion-build-ai-inference-network/

#AIInfrastructure #SONiC #RoCE #OpenNetworking #800G #DataCenterDesign #Asterfusion #Paratera #CloudSwit #TechCaseStudy

🚀 RoCE vs. InfiniBand: The Game-Changing Data Center Switch Test Results Revealed! ⚡

In AI and HPC networks, RoCE (RDMA over Converged Ethernet) and InfiniBand (IB) are often the go-to choices. Both offer low-latency, lossless transmission, but they come with key differences.

🔍 InfiniBand: A mature, low-latency protocol with specialized hardware, but higher TCO due to single-vendor reliance.

🔍 RoCEv2: More cost-effective, interoperable, and ideal for large-scale deployments like xAI’s AI cluster in Memphis!

Which one fits your needs? See the full comparison! 🔥

#RoCE #InfiniBand #AI #HPC #DataCenter #Networking #TechComparison #Ethernet #NetworkOptimization
https://cloudswit.ch/blogs/how-will-deepseek-shake-up-white-box-networking/