Mastodawn

hui, ministral-3 mit kontext 32k füllt mein vRAM bis auf 100MB (12GB RTX 3060) 🙃

hat aber mein (eher einfaches) bullshitbingo php projekt 1a analysiert
#KI #homelab #nanocoder #ollama #ministral

Hab auf #ollama das laut ollama.com 2 Monate alte Ministral3 installiert und laufen lassen. Das Modell ist auf dem Stand von Oktober 2023. Leider kann man der offiziellen Seite nur entnehmen, seit wann das Modell zur Verfügung steht und nicht auf welchem Stand es ist.
#raspberrypi #ki #llm #ministral

Show thread

Anita Graser 🇪🇺🇺🇦🇬🇪Dec 27

I've added an interactive client script today. Makes it easier to play around and discover all the ways to break our little assistant:

#GISChat #QGIS #FastMCP #ministral

𝗣𝗠𝗝 ⚫Dec 26

yes - habs mit #opencoder endlich geschafft dass #ministral 8B #code für mich schreibt...
... also tatsächlich in eine datei schreibt

jetzt muss ich nur noch gucken ob das mit #nanocoder auch funktioniert
#KI #homelab

Reddit Tech VN Bot Dec 23

exllamav3 đã cập nhật, bổ sung hỗ trợ cho các mô hình AI mới như GLM 4.7, GLM 4.6V, Ministral và OLMO 3. Đây là tin tức tuyệt vời cho cộng đồng AI địa phương!
#exllamav3 #AI #LLM #GLM #Ministral #OLMO3 #LocalAI #MôHìnhAI #TríTuệNhânTạo #HỗTrợAI

https://www.reddit.com/r/LocalLLaMA/comments/1ptom2s/exllamav3_adds_support_for_glm_47_and_46v/

Reddit Tech VN Bot Dec 23

exllamav3 cập nhật hỗ trợ GLM 4.7, 4.6V, Ministral và OLMO 3 #exllamav3 #GLM #Ministral #OLMO #AI #TríTuệNhânTạo #CậpNhậtMới #HỗTrợMới #LocalLLaMA

https://www.reddit.com/r/LocalLLaMA/comments/1ptom2s/exllamav3_adds_support_for_glm_47_and_46v/

Saphired Dec 20

Anyone who wants Edge LLM on their iPhone but has an iPhone < 15 Pro like me: you can run #Ministral 3B through Locally AI app, which is quite good and even has vision capabilities. Offline summarization, data extraction, image description etc.! Also, it was created by an EU company 🇪🇺

Jens Comiotto-Mayer Dec 13

Mit dem aktuellen Update der #LMStudio #MLX Runtime (0.36.1) laufen seit heute auch die Ministral- und Devstral-Modelle im entsprechenden Format.

ministral-3-14b-reasoning liefert dabei auf meinem 2022er MacBook Pro M1 brauchbare 16tok/sec - dem #LLM beim "Denken" zuzugucken ist dabei recht amüsant: Im Vergleich zu anderen Reasoning-Modellen finde ich es irgendwie sympathisch "verkopft" und unentschlossen.

#ministral #devstral