Дружба Linux и Windows, или как поиграться с ИИ-моделями на втором компьютере без видеокарты

Работаете под Windows? Есть лишний компьютер? Нет видеокарты, но хотите сами запускать ИИ-модели? Тогда делаем как на картинке, по шагам.

https://habr.com/ru/articles/1024950/

#Локальный_ИИ #Windows #LMStudio #openwebui #linux_mint #паранойя_mode_on

Дружба Linux и Windows, или как поиграться с ИИ-моделями на втором компьютере без видеокарты

Вся статья в одном рисунке. Приветствую в рассказе о запуске моделей в слегка изолированном окружении, без ИИ-картинок, нейрослопа, ботов и прочего телеграма . Локальный запуск ИИ-моделей ( LLM )...

Хабр
Ich sitze seit 7h an einem kack UML Diagramm mit #plantuml. Die Kollegin braucht das morgen.
Da ich keine #cloud basierte #ai nutzen darf, wegen unsere Geschäftsgeheimnisse, nutze ich entweder unsere genehmigte #chatgpt Enterprise Version von der Firma oder #gemma4 / #qwen3 mit #lmstudio.
Momentan hat sie die nicht ganz perfekte Variante, bei der man noch von einem "Schönheitsfehler" reden kann.

⚠️ Online-Dienste wie #ChatGPT, #Copilot & Co. benötigen immer eine Internetverbindung, weil sie Daten an fremde Server übertragen.

Dank der kostenlosen Software "LM Studio" kannst Du viele KI-Modelle direkt auf Deinem PC betreiben, also lokal und offline – auch von #Microsoft.

👉🏻 Meine neue Anleitung richtet sich an Einsteiger. Du kannst #LMStudio leicht selbst installieren und dann sofort nutzen: https://www.malter365.de/apps/lm-studio/

KI lokal & offline nutzen mit LM Studio

Mit LM Studio kannst Du KI-Modelle von Microsoft ohne Internet nutzen. ➤ Die kostenlose Software läuft lokal, offline und auch auf einem älteren PC …

Malter365.de

Some answers lack citations despite referencing empirical claims (e.g., economic system comparisons).

Read the full article: Assessment of Qwen3.5-9b in LMStudio
https://lttr.ai/AqIc0

#llm #lmstudio #genai

Follow-up on running #LLM locally: I benchmarked 4 models to see if I can actually work while they run

Previews toot: https://framapiaf.org/@lexoyo/116382060378966328

Good news: 3-7B models feel smooth, my laptop stays usable. The GPU handles most of the load.

The 20B model takes 4s before the first word — painful.

Sweet spot on my config: Lucie 7B, fast enough (19 tok/s) and good French.

Surprise: my system already swaps 2GB at idle — that's Firefox, not the AI 😅

#LocalAI #OpenSource #SelfHosting #LMStudio

Ivan Fioravanti ᯅ (@ivanfioravanti)

BenchLocal이 LM Studio와 4개의 병렬 실행을 이용해 테스트 중이며, 로컬 AI 생태계를 발전시키는 데 도움이 되는 도구라고 소개한다. 로컬 AI 벤치마킹/평가용 도구에 대한 주목할 만한 업데이트다.

https://x.com/ivanfioravanti/status/2043754424326148543

#benchlocal #lmstudio #localai #benchmarking #opensource

Ivan Fioravanti ᯅ (@ivanfioravanti) on X

BenchLocal: test in progress with LM Studio and 4 parallel runs! Thanks @stevibe 🙏 This is a great tool to help pushing the Local AI ecosystem 🚀

X (formerly Twitter)

Testei alguns modelos de #IA rodando localmente no #LMStudio para traduzir um PDF de 3 páginas.

Hardware:

i5-4460
RX 550 (4GB)

Configuração usada (igual para todos):

Contexto: 10130
GPU Offload: 24
Threads CPU: 2

Resultados

Gemma 3 1B → 25 segundos
Gemma 4 E4B → 3 minutos
GPT-OSS 20B → 11 minutos
Qwen 3.5 9B → 21 minutos

Conclusão

Modelos menores → muito mais rápidos
Modelos maiores → mais pesados e lentos
Dá pra rodar IA local mesmo em hardware mais antigo

#Tecnologia #linux

Gemma 4 ist ist im #LMStudio verfügbar. Gleich mal ausprobieren...

#gemma4 #lmstudio

If you are running #LocalLLMs you may be using LM Studio. Just a fair warning.... While this is practical, it's also proxying everything through their infrastructure. It's a privacy nightmare.

#lmstudio

I tried out the Gemma AI models from Google, running locally on my AMD APU (Ryzen 7 Pro 7840U with Radeon 780M) and asked it some questions about ZFS send / receive.

gemma-4-26B-A4B-Q4_K_M:
14.29 tok/sec . The information, it generated, was factually correct and well laid out. Not the fasted, but surprisingly good.

gemma-4-E4B-Q4-K_M:
26 tok/sec. The information was completely wrong BS with made up parameters. The presentation was confident and well laid out. But it generated it quickly 😂
Bottom line: confidently incorrect at high speeds.

#ai #gemma #lmstudio #llm #generativeAI #amd #radeon