Using #ollama with #Qwen3 (30b) to finally sort through the ~10K unread emails.

After it's done, I'll start reading them as they come, pinky swear! (I probably won't though, I know myself)

#ai #UsefulAI

New update for the slides of my talk "Run LLMs Locally":

Now including music generation with ACE-Step, image editing with Qwen Image Edit and OCR using LightOnOCR.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai

Google Turbo Quant running Locally in Atomic Chat

MacBook Air M4 16 GB
Model: QWEN3.5-9B
Context window: 50000

Summarising 20000 words in just seconds..
You can do 3x larger context window, processing 3x faster than before!

https://x.com/atomic_chat_hq/status/2037650438024007760

#qwen3.59b #turboquant #atomicchat #macbookairm4 #contextwindow

Ivan Fioravanti ᯅ (@ivanfioravanti)

vllm-metal에서 PR 작업을 통해 M3 Ultra에서 최대 32K 컨텍스트로 Qwen3-0.6B 테스트를 실행한 내용이 공유됐다. mlx-lm이 여전히 더 낫다고 언급하며, TTFT는 적절한 지표가 아니고 개선 작업이 진행 중이라고 밝혔다. 히트맵과 Prefill/Decode 차트도 업데이트됐다.

https://x.com/ivanfioravanti/status/2036156678035419263

#vllm #mlxlm #qwen3 #llm #opensource

MacBook M5 Pro and Qwen3.5 = Local AI Security System

https://www.sharpai.org/benchmark/

#HackerNews #MacBook #M5 #Pro #Qwen3.5 #Local #AI #Security #System #AI #Security #Technology #News

Sebastian Raschka (@rasbt)

Mamba-3이 출시되었으며, 작성자는 Mamba 및 유사 모델들이 트랜스포머 어텐션 하이브리드 아키텍처(Qwen3.5, Kimi Linear 등)에서 흥미로운 활용처라고 평가합니다. 다음 세대 하이브리드에서 Gated DeltaNet 대신 RoPE가 추가된 Mamba-3을 교체해보는 실험을 제안하고 있습니다.

https://x.com/rasbt/status/2034088726997893168

#mamba3 #transformer #qwen3.5 #gateddeltanet #rope

Prince Canuma (@Prince_Canuma)

mlx-embeddings v0.1.0 출시: 새 모델로 Alibaba의 Qwen3 VL Embedding 및 Reranker와 ColDefics3(LoRA 어댑터 및 ColVision 프로세서 포함)이 추가되었습니다. NVFP4·MXFP4·MXFP8 양자화 지원이 도입되었고, Gemma3의 양방향 모델 임베딩 품질 수정이 포함됩니다.

https://x.com/Prince_Canuma/status/2032890809847029896

#mlxembeddings #embeddings #qwen3 #coldefics3 #quantization