NVidia hat kürzlich (3/16/2026) einen kleinen Ableger von Nemotron veröffentlicht.
NVIDIA-Nemotron-3-Nano-4B-Q4_K_M.gguf
sollte mit dieser Quantizierung bei 2,84 GB auch auf Dienstgeräten mit 4 GB Arbeitsspeicher und den entsprechenden Grafikkarten lokal laufen: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Nano-4B-GGUF/tree/main
Nett zu lesen auch die von Nvidia verwendeten Datenquellen.
Für LM Studio gibt es drei Modell-Varianten: https://lmstudio.ai/models/nvidia/nemotron-3-nano-4b
#fedilz #ki #it #llm