Hey everyone 👋

I’m diving deeper into running AI models locally—because, let’s be real, the cloud is just someone else’s computer, and I’d rather have full control over my setup. Renting server space is cheap and easy, but it doesn’t give me the hands-on freedom I’m craving.

So, I’m thinking about building my own AI server/workstation! I’ve been eyeing some used ThinkStations (like the P620) or even a server rack, depending on cost and value. But I’d love your advice!

My Goal:
Run larger LLMs locally on a budget-friendly but powerful setup. Since I don’t need gaming features (ray tracing, DLSS, etc.), I’m leaning toward used server GPUs that offer great performance for AI workloads.

Questions for the Community:
1. Does anyone have experience with these GPUs? Which one would you recommend for running larger LLMs locally?
2. Are there other budget-friendly server GPUs I might have missed that are great for AI workloads?
3. Any tips for building a cost-effective AI workstation? (Cooling, power supply, compatibility, etc.)
4. What’s your go-to setup for local AI inference? I’d love to hear about your experiences!

I’m all about balancing cost and performance, so any insights or recommendations are hugely appreciated.

Thanks in advance! 🙌

@selfhosted@a.gup.pe #AIServer #LocalAI #BudgetBuild #LLM #GPUAdvice #Homelab #AIHardware #DIYAI #ServerGPU #ThinkStation #UsedTech #AICommunity #OpenSourceAI #SelfHostedAI #TechAdvice #AIWorkstation #LocalAI #LLM #MachineLearning #AIResearch #FediverseAI #LinuxAI #AIBuild #DeepLearning #OpenSourceAI #ServerBuild #ThinkStation #BudgetAI #AIEdgeComputing #Questions #CommunityQuestions #HomeLab #HomeServer #Ailab #llmlab

Lenovo prezentuje innowacyjne stacje robocze ThinkStation z usprawnieniami AI

Firma Lenovo zaprezentowała najnowsze rozwiązania w swoich stacjach roboczych i komputerach stacjonarnych ThinkStation na konferencji NXT BLD w Londynie.

Nowości, obejmujące serie ThinkStation P2 i P3, mają na celu zwiększenie wydajności pracy inżynierów, projektantów, architektów, analityków danych, badaczy i twórców, dzięki integracji z technologiami sztucznej inteligencji.

Nowe stacje robocze Lenovo ThinkStation i ThinkPad z serii P są wyposażone w procesory Intel i AMD, procesory graficzne NVIDIA RTX PRO oraz oprogramowanie certyfikowane przez niezależnych sprzedawców. Umożliwiają one dostęp do wysokowydajnych stacji roboczych z dowolnego miejsca, wspierają rozwiązania AI dla analityków danych i inżynierów, a także obliczenia przestrzenne dla pracowników umysłowych.

Wśród zaprezentowanych nowości znalazło się również rozwiązanie Lenovo Access, stworzone z myślą o rosnącym zapotrzebowaniu na elastyczne i bezpieczne usługi dla pracy zdalnej. Lenovo Access to pakiet urządzeń, oprogramowania i usług wspierających, który oferuje szybsze przetwarzanie i magazynowanie danych w porównaniu do chmury publicznej czy technologii VDI.

Umożliwia ono zdalny dostęp do pełnej mocy obliczeniowej stacji roboczej, z wykorzystaniem protokołu graficznego Mechdyne TGX. System Access jest kompatybilny z narzędziami do zdalnego zarządzania, takimi jak Lenovo ThinkStation BMC, Intel vPro AMT i AMD Dash, a także z funkcjami bezpieczeństwa ThinkShield.

Nowa generacja stacji roboczych ThinkStation P2 i P3, dostępna jeszcze w tym roku, wyposażona jest w procesory graficzne NVIDIA RTX PRO Blackwell Desktop, które wykorzystują osiągnięcia w dziedzinie sztucznej inteligencji, ray tracingu i neural renderingu. Modele te, w tym ThinkStation P3 Tower, ThinkStation P3 Ultra SFF, ThinkStation P3 Tiny oraz ThinkStation P2 Tower, są certyfikowane przez niezależnych sprzedawców oprogramowania i zaprojektowane do obsługi wymagających zadań. Szczegółowe specyfikacje obejmują procesory Intel Core Ultra 9 (seria 2) ze zintegrowaną jednostką NPU, szybką pamięć DDR5 i rozszerzoną pamięć masową z technologią RAID.

Rob Herman, wiceprezes Worldwide Workstation and Client AI Business w Lenovo, podkreślił, że nowe rozwiązania mają na celu przyspieszenie pracy użytkowników i dostarczenie im wydajnych narzędzi do projektowania, innowacji i badań. System Lenovo Access Blueprint z siedmioma stacjami roboczymi typu rack Lenovo ThinkStation P3 Ultra SFF jest już dostępny w sprzedaży. Dostępność i ceny pozostałych modeli w Polsce zostaną podane wkrótce.

Lenovo Polska organizuje warsztaty o sztucznej inteligencji dla młodzieży

#AI #IntelCoreUltra #Lenovo #LenovoAccess #news #NVIDIARTXPRO #NXTBLD #stacjeRobocze #sztucznaInteligencja #ThinkStation #ThinkStationP2 #ThinkStationP3

@mordoc yeah...

Not shure if they too do #MAC / #PCI-ID allowlisting of #NIC|s like #ThinkPad|s do for "certification compliance" and oftentimes they have no convenient way to even shove one of those M.2 Ethernet Adaptors in.

• There are some #ThinkStation Tiny boxes in the same exterior form factor with dedicaded GPUs (and bigger power bricks) but whilst those are half-height PCIe x16 slots, they have a proprietary external I/O plate, cost quite a lot more and due to the proprietary I/O plate won't fit like an i350-T4 or X520-T4 NIC...

Personally, I think it's sad that 10" lost out to 19" in terms of form factor, even tho @jwildeboer and espechally @geerlingguy do push for a resurgence of the form factor...

I wish the Home Assistant Voice came in a black with translucent smoke case and red LED ring as an option. Some might say it's Darth colors, but I like to think it's more #thinkpad #Thinkstation

#homeassistant

So, I decided to max the RAM out on my #Lenovo #Thinkstation #P340. It takes 128GB of RAM. It gets here, I install it, machine just turns off and on. I troubleshoot, and if I pull the ram from DIMM slot 4, it boots fine. Not a bad stick as I rotate through them and they all test fine. I reinstall the original ram (2x 16GB sticks) and I notice the same slot is bad.

Call in to get warranty work, get the mobo swapped, same issue. 🤔 While the tech is on the phone to get another mobo on the way, I get some idea that maybe it's an allocation issue since it's happening during POST- you know- like the old #BeOS >1GB RAM issue. I pull my 3.2TB Samsung PCIe AIC NVME and 💥, machine boots and posts all ram- including DIMM slot 4. I try my NVME in another slot and same issue. 😓

So, weird issue- I can't have a PCIe AIC NVME (or at least this one anyway) and have all 4 ram slots work in a Lenovo ThinkStation P340 tower system. You'd think for a workstation-class machine, this wouldn't be an issue. But here we are. 128GB of RAM or an additional 3.2TB of screamin fast PCIe NVME server-class storage. 😐

Shout-out to Lenovo for finding my non-FRU part and getting it to me to make my case pretty!

#Lenovo
#Thinkstation