Как маскировать персональные данные на изображениях: наш эксперимент с OCR и NER

Всем привет! Меня зовут Андрей Иванов, я NLP-исследователь в R&D red_mad_robot. Мы разрабатываем систему Guardrails для защиты персональных данных (PII) и фильтрации небезопасного контента. В этой статье расскажу, как мы решали задачу точечного маскирования PII на картинках без обучения специальных визуальных детекторов. Разберём связку оптического распознавания символов (OCR) с NER-моделью, покажем метрики на реальных данных, раскроем ограничения подхода и наши решения для их преодоления.

https://habr.com/ru/companies/redmadrobot/articles/1011450/

#ai #llm #ocr #ner #pii #computer_vision #маскирование_данных #обработка_изображений #nlp #rnd

Как я учил компьютер понимать 122 000 фотографий — и почему сложностью оказались не нейронки, а слова

Я крайне редко на фрилансе получал заказы связанные с DS/ML, специалистов для таких задач обычно ищут не там. Причины разные: они требуют долгой интеграции, заказчик сам не понимает задачу, DS более конфиденциален, DS часто возникают внутри продукта, да и в последнее время этот сегмент на фрилансе съедается при помощи LLM: AI integration, RAG боты например. Но, внезапно, мне в личку постучались с таким проектом.

https://habr.com/ru/articles/1010932/

#computer_vision #machine_learning #clip #embeddings #классификация_изображений #zeroshot_learning #уменьшение_размерности_данных #фриланс #продуктовая_разработка #onnx

[Перевод] Аугментации изображений: как улучшить качество моделей без новых данных

Аугментация данных — один из самых мощных инструментов улучшения качества моделей машинного обучения. В компьютерном зрении она почти всегда критична: без неё модели быстро переобучаются и плохо обобщаются. Но на практике её часто используют поверхностно: «добавим флип, поворот и color jitter». В этой статье разбираем аугментации глубже: — два режима аугментаций (in-distribution и out-of-distribution) — почему нереалистичные трансформации могут улучшать обобщающую способность — когда аугментации начинают вредить — как строить устойчивый пайплайн аугментаций Материал основан на ~10 годах практики обучения моделей компьютерного зрения (на работе, при написании научных статей, в ML соревнованиях) и ~7 годах разработки библиотеки Albumentations.

https://habr.com/ru/articles/1008560/

#computer_vision #deep_learning #machine_learning #albumentations #нейронные_сети #data_augmentation #image_augmentation #аугментации_изображений #машинное_обучение #компьютерное_зрение

От OCR до ADE: как машины научились не просто читать, а понимать документы

Ещё 10 лет назад машина видела в документе просто набор пикселей. Сегодня она понимает структуру страницы, читает таблицы, графики и рукописи — и автоматически извлекает нужные данные. Разбираем как это работает под капотом и почему это меняет целые индустрии.

https://habr.com/ru/articles/1008610/

#OCR #машинное_обучение #обработка_документов #LLM #RAG #Python #компьютерное_зрение #computer_vision #aiагенты #vectorization

Наш «домашний» НИИ обошёл DINOv2, ViT и десятки ML‑моделей в сегментации видео

Мы открыли и разрабатываем новый способ обработки информации - TAPe (Theory of Active Perception, Теория активного восприятия). Работаем над ней давно, результаты мягко говоря впечатляющие, постепенно начинаем ими делиться. Немного писали о Теории на Хабре здесь . Исторически мы начали именно с обработки видео (когда-нибудь об этом расскажем). В этой статье покажем результаты сравнения разных методов обработки видео (гистограммы, Фурье, структурной похожести, ML-модели) и TAPe в задаче сегментации видео. TAPe в области компьютерного зрения - это Майк Тайсон и/или Майкл Джордан среди любителей (хорошо, еще не Майк Тайсон, но уже вполне себе Рокки Бальбоа). На фоне методов Теории даже супер прокаченные модели на стероидах растерянно сидят в углу ринга. (Ладно, пока что это все влажные мечты, мы даже еще не вышли толком на ринг; но, как мы помним, главное – это величие замысла). Читать как лажают ML с видео

https://habr.com/ru/articles/1007128/

#машинное_обучение #искусственный_интеллект #dbscan #dinov2 #computer_vision #фурье #sobel #гистограммы #гистограмма_направленных_градиентов #cnn

Edge AI: почти всё о видеокамерах с искусственным интеллектом. Часть 2

Привет, Хабр! Это вторая часть статьи по мотивам доклада реверс-инженера Дмитрия Ильина для прикладной конференции по Data Sience

https://habr.com/ru/companies/oleg-bunin/articles/986066/

#openipc #ai #искусственный_интеллект #видеонаблюдение #Computer_Vision #ML #Edge #оптимизация #hardware

Edge AI: почти всё о видеокамерах с искусственным интеллектом. Часть 1

Привет, Хабр! Эта статья написана по мотивам доклада реверс-инженера Дмитрия Ильина для прикладной конференции по Data Sience

https://habr.com/ru/companies/oleg-bunin/articles/986058/

#OpenIPC #ai #искусственный_интеллект #видеонаблюдение #Computer_Vision #ML_Edge #оптимизация #hardware

Russtech + Стажеры + ML: история разработки решения для мониторинга цифровых экранов

Всем привет! Меня зовут Никита Крестьянинов, я руководитель группы управления бизнес-процессами служб сервиса в команде Russtech. Сегодня я хочу рассказать, как мы совместно со стажерами разработали ИИ-инструмент, способный отслеживать состояние работы цифровых рекламных конструкций.

https://habr.com/ru/companies/wildberries/articles/1001952/

#машинное_обучение #распознавание_изображений #unet #стажировка #computer_vision #классификация #dooh

Компьютерное зрение и обучение нейросетей: 12 бесплатных ресурсов для погружения в тему

Всем привет! Это Данила Ляпин, наставник курса

https://habr.com/ru/companies/yandex_praktikum/articles/992168/

#машинное_обучение #компьютерное_зрение #ml #cv #computer_vision

Nano Banana Pro. Реальное применение, а не мемные картинки

Когда данных мало, а домен сильно отличается, предобученные модели перестают работать. Я попробовал вместо сбора и ручной разметки генерировать дорожные дефекты поверх реальных кадров. Что получилось, где работает, где нет и сколько это стоит - в статье.

https://habr.com/ru/articles/993968/

#ai #nano_banana_pro #synthetic_data #computer_vision #segmentation