Как и зачем мы сделали собственный OCR-бенчмарк

Однажды нам понадобилось выбрать OCR-модель для RAG-пайплайна. Казалось бы, задача простая: смотришь на лидерборды, берешь лучшую, PROFIT. Но быстро выяснилось, что, во-первых, то, что прекрасно срабатывает на каких-нибудь английских юридических документах, может не потянуть такие штуки как научные формулы, паспортные данные и таблицы на русском языке. А во-вторых, даже если крутой по всем параметрам бенчмарк для оценки качества распознавания говорит, «всё прочитали правильно, я проверил», точность ответов пользователю, который совершает запрос к чат-боту с RAG под капотом, может страдать. Почему так происходит, зачем мы потратили время на сборку собственного OCR-бенчмарка и пожалели ли мы об этом, рассказываю дальше.

https://habr.com/ru/companies/cloud_ru/articles/1043144/

#ocr #rag #LLM #deepseek #glm #markdown #векторный_поиск #data_science #computer_vision

New week, beautiful new slides: Run LLMs Locally

Now with Mellum2 from JetBrains!
A very fast coding model, requires only 10 GB RAM.

I also added LFM 2.5 from LiquidAI, updated translations with HY-MT2 from Tencent, added examples for wllama using re-ranking and structured output
and added thinking_budget_tokens to the curl examples.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly #jetbrains #mellum2

New week, more slides: Run LLMs Locally

Now including wllama to run GGUF models inside your browser!

wllama uses llama.cpp, WebAssembly and WebGPU, bringing a completely new experience of LLMs into the web.
It has no 4 GB limitation and is faster than Transformers.js.

I also added translations using the HY-MT model from Tencent.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly

New week, new slides: Run LLMs Locally

Now including multi-token prediction using Qwen3.6 35B-A3B with Nextn quantization. Also speech recognition using Qwen-3-ASR is now working directly with Llama.cpp and included in the slides.

https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf

#ai #llm #llamacpp #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp

Moving away from expensive frontier models ( #OpenAI, #Claude, #Gemini) to build a custom #openweight AI setup. My current workflow orchestrates #kimi k2.6, #deepSeek v4, and #glm using Oh My OpenAgent as base.

Read about my setup here: https://www.richardorilla.website/seting_up_opencode.html

#development #aidev

I just modified the kanmug plugin for Joplin so that it uses the new custom editor. The plan was created by Claude-opus-4.7, and it was programmed by GLM-5.1.
It actually worked right out of the box, without me having to make any manual changes.
Really impressive!
I’ll test the plugin for a few days and then ask the maintainer if they’d like to accept AI-generated features.

#joplin #kanmug #ai #glm #claude #opus