Run:ai runs on 64 GPUs, handling 10,200 concurrent users while matching the native scheduler’s performance. The benchmark shows how GPU fractioning boosts token throughput for LLM inference, proving that open‑source AI infrastructure can scale efficiently in the cloud. Curious how this works? Read the full study. #GPUFractioning #LLMInference #RunAI #TokenThroughput
🔗 https://aidailypost.com/news/runai-64-gpus-serves-10200-users-matching-native-scheduler
[Перевод] NVIDIA открыла исходный код KAI Scheduler — планировщика, ранее использовавшегося в платформе Run:ai
Весной этого года NVIDIA открыла исходный код KAI Scheduler — Kubernetes-нативного планировщика GPU-нагрузок, который раньше входил в состав платформы Run:ai и теперь распространяется под лицензией Apache 2.0. Интерес к этому проекту закономерен: планировщик давно работает в продакшене и решает ряд проблем, с которыми сталкивается любая команда, пытающаяся эффективно распределять GPU-ресурсы в кластере. Мы в Orion soft изучили технические детали KAI Scheduler, чтобы понять, как он устроен изнутри, какие задачи закрывает и какие идеи могут быть полезны инженерам, работающим с Kubernetes, ML-нагрузками и распределёнными GPU-оркестраторами. Ниже — разбор архитектуры, базовых сущностей и цикла планирования.Преимущества KAI Scheduler Управление AI-нагрузками на GPU и CPU сталкивается с рядом задач, которые традиционные планировщики ресурсов не всегда способны решать. KAI Scheduler был разработан специально для того, чтобы закрыть эти проблемы:
https://habr.com/ru/companies/orion_soft/articles/980176/
#gpu #runai #scheduler #kubernetes #machinelearning #opensourse #mlops #ai #nvidia
Весной этого года NVIDIA открыла исходный код KAI Scheduler — Kubernetes-нативного планировщика GPU-нагрузок, который раньше входил в состав платформы Run:ai и теперь распространяется под лицензией...
Nvidia’s $700M Power Move: How Run:ai is Revolutionizing AI Workloads #AI, #Nvidia, #RunAI, #ArtificialIntelligence, #TechNews, #Innovation, #AIWorkloads, #OpenSource, #TechInfluencer, #AIRevolution Nvidia just dropped $700 million to acquire Run:ai, an Israeli startup revolutionizing how AI workloads are managed. This move isn’t just about hardware—it’s a game-changer for software too! In this video, we explore why this acquisition is a massive leap for AI innovation, how it democratizes tools for researchers and startups, and what it means for the future of artificial intelligence.Stick around for insights on Nvidia’s bold strategy, its commitment to open-source, and the implications for global AI development. Curious about how this impacts you or your business? Watch now, leave a comment with your thoughts, and don’t forget to like and subscribe for more engaging tech content!For all the details and sources, check the description below. Let’s shape the future of AI together!Let’s push the boundaries of imagination together! 🚀 and Remember, if you want to stay updated with the latest trends, news, and tech reviews, don’t forget to like and subscribe to GreengroundIT! Follow up on our website https://www.greenground.it or follow up on our social #fyp, #foryou, #love, #explorepage, #trending, #reviews, #newsYouTube: https://youtube.com/@LivioAcerboTikTok: https://www.tiktok.com/@greengrounditFacebook: https://www.facebook.com/greengroundit/Instagram: https://www.instagram.com/lacer2k/Podcast: https://anchor.fm/livioacerboMedium: https://medium.com/@livioandreaacerbo/Telegram: https://t.me/greengrounditnewsReddit: https://reddit.com/r/greengroundnewsRumble: https://rumble.com/c/c-5314480Soundcloud: https://soundcloud.com/greenground-955612902Suno: https://suno.com/@lacer2k
Nvidia übernimmt Run:ai: Stärkung der KI-Infrastruktur
Übernahme abgeschlossen: Nvidia hat die Übernahme des israelischen KI-Unternehmens Run:ai für 700 Mio. USD abgeschlossen.
Regulatorische Freigabe: Die EU-Kommission genehmigte die Übernahme ohne Auflagen.
Ziel der Akquisition: Run:ai's Software optimiert die Nutzung von GPU-Ressourcen in KI-Anwendungen.
#AI, #KI, #ArtificialIntelligence, #KuenstlicheIntelligenz, #Nvidia, #Runai, #Technologie, #Innovation
Nvidia übernimmt Run:ai Übernahmepreis: Die Akquisition kostete Nvidia geschätzte 700-800 Millionen US-Dollar, davon 200 Millionen US-Dollar in Nvidia-Aktien für die Bindung des Run:ai-Teams. Regulatorische Freigaben: Der Deal wurde sowohl von der EU-Kommission als auch dem US-Justizministerium geprüft und letztlich genehmigt. Software-Optimierung: Run:ai's Plattform optimiert die Nutzung von GPU-Clustern für KI-Arbeitslasten in Cloud-, On-Premise- und Hybrid-Umgebungen. Integration und Open Source: Nvidia plant, Run:ai's Software zu open-sourcen, um die Verfügbarkeit auch für Hardware anderer Hersteller wie AMD oder Intel zu gewährleisten. Zukünftige Ausrichtung: Run:ai wird weiterhin unabhängig agieren und seine Präsenz in Israel ausbauen.
Nvidia’s $700M Power Move: How Run:ai is Revolutionizing AI Workloads #AI, #Nvidia, #RunAI, #ArtificialIntelligence, #TechNews, #Innovation, #AIWorkloads, #OpenSource, #TechInfluencer, #AIRevolution Nvidia just dropped $700 million to acquire Run:ai, an Israeli startup
How to Run Llama 3.1 405B on Your Computer Using Peer to Peer Network?
See here - https://techchilli.com/how-to/how-to-run-llama-3-1-405b-on-your-computer-using-peer-to-peer-network/
#Llama3 #AI #NLP #PeerToPeer #TechInnovation #AIProcessing #DemocratizedAI #RunAI #MachineLearning #FutureTech #AIApplications #InnovationInTech #AIForAll
Nvidia announces a $700M acquisition of Run.ai, an Israeli AI software firm specializing in AI computing resource management. Explore the collaboration that started in 2020.
#Nvidia #RunAI #AcquisitionNews #IsraeliTech #AISoftware #GPUManagement #TechNews #CompanyAcquisition #AIComputing #NvidiaRunAI #Technology #AIResources #TechInvestment #Collaboration #AIandTech #IsraeliInnovation #AIDevelopment #NvidiaNews #TechCollaboration #AIManagement #InnovationInAI
AI Daily Post
Habr
AppleX4
Livio Acerbo
KINEWS24
eicker.news ᳇ tech news
Tech Chilli
Artificial Intelligence & ML