New week, beautiful new slides: Run LLMs Locally

Now with Mellum2 from JetBrains!
A very fast coding model, requires only 10 GB RAM.

I also added LFM 2.5 from LiquidAI, updated translations with HY-MT2 from Tencent, added examples for wllama using re-ranking and structured output
and added thinking_budget_tokens to the curl examples.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly #jetbrains #mellum2

🤝 Gemeinsam entwickelt, gemeinsam finanziert, für alle zur Nachnutzung: IT-Planungsrat, @FITKOfoederal und ZenDiS zeigen anhand des Open-Source-Konsultationsbaukastens, wie Open-Source-Software effizient in der Verwaltung eingesetzt werden kann.

💡 Worum es geht: Der Open-Source-Konsultationsbaukasten fasst verschiedene Tools auf der ZenDiS-Plattform #openCode zusammen, die den digitalen Verwaltungsalltag einfach gestalten sollen.

1/4

My Citation Relevance Auditor just got a major upgrade: from a single checker to a 6‑agent system for writing/auditing research papers with LLMs as well as the ability to use Zotero for referencing.

Strategist, Scout, Analyst, Verifier, Drafter, Reviewer. Human‑in‑the‑loop.

WARNING: LLMs hallucinate – use at your own risk.

github.com/gpowerf/citation‑relevance‑auditor

#CitationAuditing #MultiAgent #OpenCode #AcademicPublishing

Für alle, die sich aufgrund der neuesten @freakshow Ausgabe einmal Open Weight LLMs ausprobieren, aber nicht direkt viel Geld dafür ausgeben möchten, kann ich #OpenCode Go sehr empfehlen. Es ist erstaunlich zuverlässig und schnell für 10$/Monat. Hier gibt es aktuell noch 5 $ Guthaben: https://opencode.ai/go?ref=DQ3GSMX4PW

#LLM #Podcast #OpenWeight

Как нам в Домклик LLM рефакторинг делала

Написал агента который за ночь переписал 100 тестов с Mockito на MockK, а за следующую — исправил 1700 ошибок линта. Спойлер: секрет не в крутом промпте, а в правильно выстроенном цикле — чётком DoD, автоматической проверке результата и обратной связи с моделью.

https://habr.com/ru/companies/domclick/articles/1038984/

#llm #llmагент #android #android_development #claude #opencode #unittesting

Как нам в Домклик LLM рефакторинг делала

Написал агента который за ночь переписал 100 тестов с Mockito на MockK, а за следующую — исправил 1700 ошибок линта. Спойлер: секрет не в крутом промпте, а в правильно выстроенном цикле — чётком DoD, автоматической проверке результата и обратной связи с моделью.

https://habr.com/ru/companies/domclick/articles/1038984/

#llm #llmагент #android #android_development #claude #opencode #unittesting