Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++

ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .

https://habr.com/ru/articles/991430/

#onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей

Шпаргалка по инференсу на С++

Если ты только погружаешься в работу с инференсом на C++ и тебе интересно получить представление о том, как можно собирать и запускать популярные ML-библиотеки, то я рад поделиться базой, которую я использую в своих проектах. Здесь ты найдёшь простые проекты, решающие основные ML-задачи, и немного теории к этому коду. Надеюсь, что приведённый код может стать первой рабочей версией для новых фич в твоих проектах.

https://habr.com/ru/articles/986204/

#C++ #Inference #ML #OpenCV #mediapipe #ocr #yolo #triton #onnxruntime #pybind11

Problem: we keep using frontier LLMs as glue for jobs that are already solved.

Solution: run OCR + NER locally in C# with ONNX Runtime. Deterministic extraction on ingest. Store the entities. Use an LLM later only if you actually need synthesis.

OCR with Tesseract, then BERT NER via ONNX in .NET. No Python, no cloud, no tokens.

This is my 'for beginners' article. I'm DEEP in OCR but realised I never explained the quickest way to do this *locally*.

https://www.mostlylucid.net/blog/simple-ocr-ner-extraction

#CSharp #DotNet #ONNX #OnnxRuntime #OCR #NER #LocalAI #RAG #DocumentAI

So sánh hiệu suất react-native-executorch và onnxruntime trong react native
🔍 Người dùng Reddit @Educational-Nose3354 đang tìm kiếm sự so sánh giữa react-native-executorch và onnxruntime react native để xác định lựa chọn nào tốt hơn và nhanh hơn cho việc triển khai AI cục bộ hoàn toàn offline trên thiết bị di động react native. Bạn nào có kinh nghiệm vui lòng chia sẻ!
#AI #ReactNative #OfflineAI #reactnativeexecutorch #onnxruntime

https://www.reddit.com/r/LocalLLaMA/comments/1p8vo7z/is_there_a

Практика: мой опыт интеграции более 50 нейронных сетей в один проект

Статья основана на полутора годах работы по внедрению нейронных сетей в веб-приложение с открытым исходным кодом. В ней собраны практические лайфхаки для решения реальных задач и преодоления сложностей, с которыми сталкиваются разработчики. Преодолеть открытие

https://habr.com/ru/articles/856234/

#опыт #лайфхаки #torch #onnxruntime #нейронные_сети #cuda #python #github #lifehack #исскуственный_интеллект

Портируем ML модели на Java с помощью ONNX

Всем привет, меня зовут Евгений Мунин. Я Senior ML Engineer в Ad Tech, а точнее в программатик платформе по доставке Web рекламы. Сегодня речь пойдет про то, как сделать ML модели, совместимыми с бэк э

https://habr.com/ru/articles/833992/

#onnx #onnxruntime #python #java #machine_learning #adtech

Наш публичный детектор голоса стал быстрее в 3 раза (*), качественнее, устойчивее и теперь работает на 6 000 языках

Мы уже рассказывали про наш детектор голоса на Хабре тут , тут и тут . Кратко опишу, что стало лучше в этот раз: Поддержка 6 000+ языков; Общий рост качества на 5-7%; Существенно повышена устойчивость на шумных данных; TorchScript (*) стал в 3 раза быстрее, а ONNX - на 10% (теперь они примерно равны по скорости , обработка 1 кусочка аудио занимает 325 и 189 μs соответственно);

https://habr.com/ru/articles/825208/

#silero #voice_activity_detection #vad #детекция_голоса #onnx #onnxruntime #pytorch #python_3 #голосовой_помощник #голосовое_управление

Hmm, was dusting off the vtubing setup and tried to get OpenSeeFace to use my GPU via ROCm.

I've got rocminfo reporting correctly, onnxruntime lists ROCm as a provider...but...

Fails with runtime exception INVALID_ARGUMENT : unsupported conv activation mode "LeakyRelu"

AFAICT, ROCm/MIOpen should support LeakyRelu, but onnxruntime for ROCm was only set to use RelU... ::sigh:: time to patch and build?

#rocm #miopen #onnxruntime #gpgpu

Разворачиваем ML модель с использованием ONNX на Android в километре над землей

Иногда в жизни программиста возникают интересные задачи. Например, как перенести полученную ML модель, созданную в Python, на Android смартфон. Потому что этот самый смартфон пристегнут к параплану, висящему в километре над землей, а модель должна помогать пилоту лучше искать восходящие потоки. Интернета в полете при этом обычно нет, так что вариант с доступом к удаленному Python-серверу по API отпадает. Ноутбук с запущенным Jupyter с собой тоже не возьмешь. На помощь приходит промежуточный формат ONNX, созданный для обмена ML моделями между разными системами. Под катом описание того, как сконвертировать модель в этот формат и как загрузить и использовать ее в Android приложении.

https://habr.com/ru/articles/805515/

#onnx #onnxruntime #инференс #android_development #machine_learning