[Перевод] Ускоряем работу видеодекодера на 1%

Какое-то время назад memorysafety.org объявил о конкурсе по повышению производительности rav1d — порта AV1-декодера dav1d на Rust. Моя фамилия Равид, совсем как название декодера, поэтому я решил, что будет забавно попробовать (хоть я и, вероятно , не смогу участвовать в конкурсе). Эта статья посвящена двум найденным мной небольшим улучшениям производительности ( первый PR , второй PR ) и рассказу о том, как я их нашёл.

https://habr.com/ru/articles/912136/

#оптимизация_кода #обработка_видео #декодер #dav1d #rav1d #godbolt

Всё как в жизни. Адаптация систем распознавания жестовых языков к реальным условиям

Всем привет! Ранее мы уже писали о том, как собрали самый большой и разнородной открытый датасет русского жестового языка, как выбили первое место в мире на бенчмарке американского жестового языка и какие существуют подходы для перевода жестовой речи . Эта статья посвящена специализированным стратегиям обучения нейросетей для задачи распознавания изолированного жестового языка. Пайплайн обучения был создан с учётом особенностей домена жестовых языков и позволил нам получить state-of-the-art-метрики на популярных датасетах.

https://habr.com/ru/companies/sberdevices/articles/900994/

#распознавание_жестов #русский_жестовый_язык #ржя #нейронные_сети #обработка_видео #машинное_обучение #data_science

5 БЕСПЛАТНЫХ программ для масштабирования видео как альтернатива платному Topaz Video AI

Хочешь увеличить качество видео, но ценник у Topaz Video AI вызывает сердечный приступ? Спокойно! Сегодня разберём 5 БЕСПЛАТНЫХ программ, которые помогут улучшить твои видео. И да, результат может удивить! Дочитай до конца, потому что в конце я покажу таблицу, какая из них даёт лучший результат (на примере масштабирования исходного видео в разрешении FullHD 1080х1920 30fps до 4к 30fps). Поехали! (Сразу хотел бы предупредить - статья длинная, в Word при шрифте = 12 она заняла 28 страниц). Примечание 1. В рамках статьи «Бесплатный, но с закрытым исходным кодом» и «Бесплатный и при этом OpenSource» равны между собой — конечному пользователю в большинстве своём всё равно закрытый код или нет — главное, что он может свободно использовать те функции какие ему нужны. Примечание 2. В рамках статьи: Python = Питон, Visual Studio Code = VSCode, Нейросеть = ИИ = AI. Примечание 3. В рамках данной статьи считается, что вы не умеете работать: с кодом, GitHub-ом и прочее. Поэтому все действия будут объяснены детально.

https://habr.com/ru/articles/891756/

#waifu2x #Video2X #RealScaler #QualityScaler #GitHub #обучение #туториал #туториал_для_пользователей #обработка_видео #python

Создание двуязычных субтитров к видео, распознавание и перевод речи

Введение При изучении иностранных языков, иногда хочется иметь двуязычные субтитры к понравившемуся видео, озвученных носителями языка. Но, что делать, если готовых субтитров нет, а самому распознать и перевести живую речь героев не хватает знаний? Особенно это касается тех, кто только-только начинает осваивать новый язык. Но, как говориться, безвыходных ситуаций не бывает, как минимум, всегда существует три выхода, даже если вас съели. В данном случае мы воспользуемся современными технологиями для решения нашей задачи. Вот наш алгоритм действий: 1 . Скачиваем понравившийся видео ролик из Интернета, например, Ютуба. 2 . Обрезаем его, если он слишком большой. 3 . Вытаскиваем из него звуковую дорожку. 4 . Если речь героев происходит на фоне большого шума либо музыки, то мы можем с помощью онлайн-сервисов отделить музыку от вокала либо речи. 5 . Звуковой файл с речью (обычно, до 8-10 минут, иначе режем на куски) скармливаем нескольким сервисам по преобразованию mp3-файлов в текст. Используем несколько вариантов, потому, что любой сервис может содержать ошибки. Затем используем метод «перекрёстной лжи», как выразился один товарищ, 6 . Группируем варианты распознанной речи по отдельным фразам, из которых убираем полные дубликаты (при желании). 7 . Загружаем наш mp3-файл в звуковой редактор, например, Audacity и делаем там поиск звука между заданными интервалами, что позволяет нам создать предварительные метки для звуковых интервалов. 8 . Слушаем отдельно каждый такой интервал и пытаемся сопоставить ему на слух вариант распознанной фразы. Для большей надежности, иностранные фразы в разных онлайн переводчиках и из всех возможных фраз выбираем наиболее подходящую. При этом сам язык знать не обязательно, достаточно внимательного прослушивания. При необходимости, редактируем звуковые интервалы и, в качестве их меток, указываем иностранные фразы.

https://habr.com/ru/articles/862716/

#двуязычные_субтитры #распознавание_речи #обработка_видео #изучение_иностранных_языков

Загрузка и обработка видеофайлов посредством Minio, REST и FFmpeg

Всем привет! Меня зовут Павлов Денис, я .NET backend разработчик в компании DD Planet. В статье расскажу о реализации загрузки и обработки видеофайлов с использованием Minio в качестве хранилища и FFmpeg для обработки видео.

https://habr.com/ru/articles/858768/

#c# #minio #ffmpeg #обработка_видео #разработка #загрузка_чанками #net #интеграции #лицензии_ffmpeg #развертывание_ffmpeg

Как мы оцифровали футбольные матчи с помощью CV

Привет! Меня зовут Сергей Бархударьян, я директор по развитию спортивного направления в Яндекс Плюсе. Мы занимаемся съёмкой, обработкой и стримингом спортивных событий. В этом посте я расскажу о работе с технической съёмкой и анализом футбольных матчей. Под катом — о том, как и на что снимать футбол, если вы хотите его проанализировать, какие есть сложности в плане распознавания толпы бегающих спортсменов, как отреагирует машинное зрение, если за мяч начнётся нешуточная борьба, чем вся эта затея полезна для тренеров и экспертов и многое, многое другое.

https://habr.com/ru/companies/yandex/articles/793744/

#яндекс #computer_vision #sportech #алгоритмы #стриминг #обработка_видео #анализ_данных #спорт

Обработка изображений и видео на смартфонах: handcrafted-алгоритмы против глубокого обучения

Зеркалка — хорошая штука, но смартфон однозначно компактнее и удобнее. Да, мобильная оптика все еще далека до уровня зеркалок, однако получить красивые фотографии человек хочет здесь и сейчас. Как быть? Взамен харда, подключается софт, алгоритмы! Именно софт смартфона помогает снять фото в HDR или сделать видео менее смазанным. Он состоит из «классических» вычислительных алгоритмов и нейросетей. Вычислительные алгоритмы требуют много ручной работы и глубокого понимания решаемой задачи, зато хорошо работают при ограниченных вычислительных ресурсах. Нейросети прожорливы, но сильно упрощают жизнь разработчику и потенциально позволяют достичь большего. Объединение двух этих подходов даёт замечательные результаты!

https://habr.com/ru/companies/samsung/articles/783546/

#машинное_обучение #глубокое_обучение #мобильная_фотография #мобильная_фотосъемка #обработка_изображений #обработка_видео #нейросети #нейронные_сети

Я знаю, что ты делал этой ночью

Привет, Хабр! Сегодня с вами участники профессионального сообщества NTA Промкин Михаил, Мымрин Дмитрий и Господарикова Ирина. Одной из областей применения ИИ сегодня является автоматизация контроля за сотрудниками. В данном посте мы рассмотрим приложение технологий ML к задаче детектирования спящих людей (в частности, охранников на рабочем месте) по видеозаписям камер наблюдения. Обсудим технические аспекты этого процесса, а также потенциальные преимущества и перспективы, которые предоставляет применение искусственного интеллекта в обеспечении безопасности на рабочем месте. Узнать больше

https://habr.com/ru/articles/780262/

#обработка_видео #yolov7 #yolov7_pose #yolo #python

Распознавание русского жестового языка: распознаём до 3+ жестов в секунду на обычном ПК без видеокарты

Привет! Меня зовут Максим Новопольцев, я техлид RnD команды Центра развития технологий AI во благо общества, Sber AI. Мы занимаемся проектами, направленными на решение важных социальных и экологических задач, таких как сохранение биоразнообразия, создание инклюзивной среды, прогнозирование климатических рисков. В этой статье я расскажу как и зачем мы создавали модель распознавания русского жестового языка и покажу, что из этого получилось. Сегодня в России нет достаточного количества специалистов-переводчиков русского жестового языка (РЖЯ), с помощью которого общаются люди с ограничением слуха. По данным Всероссийского общества глухих, нехватка специалистов в этой сфере в России - около 4 тыс. А между тем, глухие или неговорящие - достаточно большая группа людей, которая посещает государственные учреждения, ходит в магазины, банки и пр. По данным ВОЗ, более 5% населения мира, или 430 миллионов человек, имеют проблемы со слухом, а к 2050 г. с этой проблемой столкнется каждый десятый, или более 700 миллионов человек.

https://habr.com/ru/companies/sberbank/articles/775688/

#русский_жестовый_язык #ржя #глубокое_обучение #компьютерное_зрение #обработка_видео