Как я учил компьютер понимать 122 000 фотографий — и почему сложностью оказались не нейронки, а слова

Я крайне редко на фрилансе получал заказы связанные с DS/ML, специалистов для таких задач обычно ищут не там. Причины разные: они требуют долгой интеграции, заказчик сам не понимает задачу, DS более конфиденциален, DS часто возникают внутри продукта, да и в последнее время этот сегмент на фрилансе съедается при помощи LLM: AI integration, RAG боты например. Но, внезапно, мне в личку постучались с таким проектом.

https://habr.com/ru/articles/1010932/

#computer_vision #machine_learning #clip #embeddings #классификация_изображений #zeroshot_learning #уменьшение_размерности_данных #фриланс #продуктовая_разработка #onnx

Windows App SDK Version 2.0 Experimental 6 (2.0.0-Experimental6) Release Notes | Microsoft Learn

https://learn.microsoft.com/windows/apps/windows-app-sdk/release-notes/windows-app-sdk-2-0?pivots=experimental#version-20-experimental-6-200-experimental6

#windowsdev #winui #dotnet #xaml #csharp #cpp #windowsappsdk #onnx #windowsai

Ultralytics (@ultralytics)

Ultralytics v8.4.22가 출시되었습니다. 이번 릴리스는 Huawei Ascend NPU 지원 추가, ONNX 및 TensorRT 내보내기 보안성 향상, 다중 GPU DDP 분산 학습의 신뢰성 개선 등을 포함합니다. YOLO 관련 워크플로우에서 NPU 가속 및 모델 변환/배포 안정성이 향상되어 연구·개발과 실운영 환경에서 활용도가 높아집니다.

https://x.com/ultralytics/status/2033171683045937444

#ultralytics #yolo #onnx #tensorrt #npu

Gateworks GW16168 M.2 AI accelerator features NXP Ara240 DNPU with up to 40 eTOPS

https://fed.brid.gy/r/https://linuxgizmos.com/gateworks-gw16168-m-2-ai-accelerator-features-nxp-ara240-dnpu-with-up-to-40-etops/

Oracle AI DB 26aiが高精度EmbeddingモデルのONNXインポートに対応したので試してみた (23.26.1 新機能)
https://qiita.com/ssfujita/items/bc5860e558acef135a22?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #oracle #Database #ONNX #ベクトル検索 #26ai

inference4j: Java Inference API for Onnx models. Run AI models in Java. Three lines of code, zero setup.

#ai #inference #java #models #onnx

https://github.com/inference4j/inference4j

Как я снизил WER с 33% до 3.3% для русской речи на CPU: сравнение GigaAM, Whisper и Vosk

За два месяца я перепробовал три ASR-движка, шесть моделей Whisper, адаптивное чанкование, T5-коррекцию и ансамблевое голосование — и большая часть идей оказалась тупиком. В статье — подробный разбор шести тупиков и одной находки: почему GigaAM от Сбера на обычном CPU показывает 3.3% WER на русском, обходя Whisper large-v3-turbo на RTX 4090 (7.9%) в 2.4 раза. С бенчмарками, кодом и честными оговорками.

https://habr.com/ru/articles/1002260/

#speechtotext #gigaam #whisper #vosk #onnx #распознавание_речи #WER #голосовой_ввод #ASR #python

Ускоряем инференс в Python с ONNX

Привет! Если у вас когда‑либо был опыт деплоя нейросетки, вы знаете, что обучение — это полдела, а вот добиться шустрого инференса — целое искусство. Часто обученная в PyTorch модель дает замечательные метрики, но стоит попытаться запустить её в приложении начинаются всякие проблемки. Одно из решений, которое часто выручает — ONNX и ONNX Runtime. Если эти буквы для вас пока ничего не значат — не беда, сейчас разберёмся что к чему. А если вы уже слышали про ONNX, то, возможно, задавались вопросом: «А реально ли ускорить инференс, заморочившись с этой технологией?» Еще как! Ускорить инференс

https://habr.com/ru/companies/otus/articles/991542/

#python #ONNX #инференс #ускорение_моделей #бенчмаркинг

v1 Of DoomSummarizer is out.
It's a crazy deep research / auto knowledgebase system. Point it at a directory of word docs, pdf and markdown it'll index it all then answer questions about the contents. Point it at a url it'll parse the content, index it and tell you what it's about.
Crawl your company's knowledgebase? It'll automatically become a support AI.

Want to know what your biggest invoice was, when you sent that angry letter etc...all local, all private, all open source (unlicense) . Quick two as unlike most RAG systems it MINIMIZES token use.

#llm #ai #rag #search #localllm #ollama #onnx https://github.com/scottgal/lucidrag/releases/

Инференс нейросетевых моделей для табличных данных с помощью ONNX Runtime на C++

ONNX Runtime (ORT) — это высокопроизводительный движок для выполнения моделей в формате Open Neural Network Exchange (ONNX). Он предлагает оптимизированные реализации для CPU и GPU, поддержку различных аппаратных ускорителей и, что ключевое, простой C++ API. В этой статье мы разберем, как выполнить инференс модели для табличных данных, используя ONNX Runtime в C++ проекте. Ссылка для скачивания: Библиотеку можно получить через официальный GitHub (сборка из исходников). Для простоты в проектах часто достаточно забрать предсобранные бинарники из релизов .

https://habr.com/ru/articles/991430/

#onnxruntime #onnx #ORT #DL #TabularDL #C++ #инференс_моделей