Чистим аудиокниги от шума нейросетями

Фоновая музыка, гул, шипение — классические фильтры с этим не справляются. Нейросети справляются, но падают на длинных файлах. Решение: чанкование + сохранение прогресса. Делюсь инструментом.

https://habr.com/ru/articles/986738/

#python #audio #machine_learning #neural_networks #source_separation

Сколько VRAM нужно для нейросетей?

Этот пост будет полезен людям, кто хочет разобраться в локальных моделях, особенно использующим их, как инструмент в создании контента, арта и дизайна (контекст нейросетей - image и video). Так же поговорим о выборе видеокарты и параметрах влияющих на генеративные workflow. Telegram

https://habr.com/ru/articles/979092/

#нейросеть_локально #нейросеть_для_генерации_изображений #видеокарты #quantization #comfyui #memory_bandwidth #vram #neural_networks #генеративные_модели

Нейросеть, которая помнит всё: заморозка ядра вместо «костылей» (Frozen Core Decomposition)

Frozen Core Decomposition (FCD) — инновационный метод для решения проблемы катастрофического забывания в continual learning. Используя разложение Tucker, метод достигает 96.1% точности на Split MNIST с минимальным забыванием (0.2%) и поддерживает работу с CNN, ResNet, GPT-2 и другими архитектурами. В статье разбираем математику, результаты экспериментов и реализацию на PyTorch.

https://habr.com/ru/articles/979030/

#continual_learning #neural_networks #frozen_core_decomposition #tucker_decomposition #machine_learning #deep_learning #catastrophic_forgetting #incremental_learning #PyTorch #neural_network_training

Cryfish: Как научить большую языковую модель слышать и понимать звуки?

В мире искусственного интеллекта господствуют большие языковые модели (LLM, large language models). GPT и ее аналоги прекрасно справляются с написанием текстов, кода и генерацией картинок. Но что насчёт звука? Умение слушать и понимать аудио — это следующий логический шаг на пути к многомодальным системам. В этой статье мы расскажем вам о Cryfish — модели на основе LLM, которая не только читает, но и слышит. Мы разберём, как заставить LLM понимать речь, музыку, эмоции и бытовые шумы, и расскажем о сложностях, с которыми столкнулись при обучении.

https://habr.com/ru/articles/972898/

#machine_learning #large_language_model #neural_networks #speech_recognition #speaker_verification

Нейросетевой помощник для Catan Universe: как я научил ИИ считать карты соперников

Привет, коллеги-катановцы! Знакомо чувство, когда в пылу битвы за овец и кирпичи напрочь забываешь, сколько ресурсов только что сбросил соперник? Вот и я вечно путался — пока не загорелся безумной идеей: А что если заставить нейросеть следить за картами вместо меня? Пару месяцев, несколько килограммов кофе и одна сгоревшая видеокарта спустя — представляю вам Catan Neural Assistant — шпаргалку, которая в реальном времени подсчитывает ресурсы оппонентов! Но сначала — лирическое отступление для тех, кто вдруг не в теме. кто вдруг не в теме.

https://habr.com/ru/articles/935054/

#Catan #Neural_networks #Нейронные_сети #Катан #компьютерное_зрение

Правда ли KAN лучше MLP? Свойство разделения глубины между двумя архитектурами

Прошлым летом в свет вышла новая архитектура нейронных сетей под названием Kolmogorov-Arnold Networks (KAN). На момент выхода статьи про KAN эта новость произвела фурор в мире машинного обучение, так как KAN показывала существенный прирост в качестве аппроксимации различных сложных функций. Ошибка новых сетей падает значительно быстрее при увеличении числа параметров. Однако, за все приходится платить, и цена таких маленьких значений функции ошибки - медленное обучение: KAN обучается примерно в 10 раз медленнее, чем старый добрый MLP. Из всего этого возникает вопрос: насколько все же уместно использование новой архитектуры вместо привычных всем MLP? В данной статье будет найдена функция, которая может быть реализована с помощью двухслойного KAN полиномиальной ширины, но не может быть приближена никакой двухслойной ReLU MLP сетью с полиномиальной шириной

https://habr.com/ru/articles/929972/

#kan #mlp #approximation #math #machine_learning #deep_learning #science #neural_networks #research

LIME for ECG Time Series Dataset Example

LIME (Local Interpretable Model-Agnostic Explanations) — популярный модет в решении задачи интерпретации. Он основан на простой идее — приблизить прогнозы сложного оценщика (например, нейронной сети) простым — обычно линейной/логистической регрессией. Применить LIME можно из коробки при помощи одноименной библиотеки [ lime ]. Однако, при применении LIME к, в частности, к временным рядам возникают особенности. Поэтому в чистом виде lime для TimeSeries не всегда легко применить. И в этом туториале мы сделаем приближенение метода самостотельно! :)

https://habr.com/ru/articles/926082/

#explanation #xai #convolutional_neural_network #neural_networks #machine_learning

Вычисление функции потерь и градиентов в AI переводчике

Привет, Хабр! Меня зовут Алексей Рудак, я основатель компании Lingvanex , которая разрабатывает решения в области машинного перевода и транскрипции речи. Продолжаю цикл статей о том, как устроен переводчик на нейронных сетях изнутри. И сейчас хочу рассказать про работу функции потерь. Для тренировки модели используется opensource фреймворк OpenNMT-tf. Статья предоставляет всесторонний обзор вычисления функции потерь в машинном обучении, особенно в контексте моделей последовательностей. Она начинается с подробного описания того, как матрица логитов, генерируемая после преобразований в декодере, обрабатывается через функцию cross_entropy_sequence_loss. Эта функция играет ключевую роль в измерении расхождения между предсказанными выводами и фактическими метками. В статье описаны шаги, включая преобразование логитов в подходящий формат, применение сглаживания меток для создания сглаженных меток и вычисление кросс-энтропийных потерь с использованием softmax. Каждый этап подробно объясняется, чтобы было понятно, как каждый компонент вносит вклад в общую оценку потерь. Кроме вычисления потерь, статья рассматривает механизм выравнивания, используемый для улучшения работы модели. Описано, как значение потерь корректируется на основе направляемого выравнивания, что позволяет модели лучше учитывать взаимосвязи между исходными и целевыми последовательностями. Также подробно рассматривается процесс вычисления и применения градиентов, иллюстрируя, как оптимизатор обновляет веса модели для минимизации потерь.

https://habr.com/ru/articles/917708/

#машинное+обучение #machinelearning #переводчик #переводчики #машинный_перевод #ии #искусственный_интеллект #языковые_модели #transformers #neural_networks

Сделано с любовью и TensorFlow: моя первая нейронка с нуля (без GPU и с бюджетом $0)

Когда я впервые села за компьютер с мыслью: «А не обучить ли мне нейросеть?» у меня не было понимания как это сделать и с чего начать. Зато была любовь к собакам, интерес к машинному обучению и желание разобраться, как всё работает. Так родился проект HappyPuppy - моя первая нейронка, которая распознаёт сибирского хаски и французского бульдога на фотографии. Просто загрузите фото (jpg, jpeg, png до 1MB) с вашим питомцем и модель предскажет породу. Далее я расскажу, как на домашнем Маке появилась и выросла моя первая сверточная нейронная сеть (CNN): от идеи до работающей модели — её создание, обучение и тестирование. Эта история будет особенно полезна новичкам в мире ИИ без опыта в программировании . Ссылка на код на GitHub, архитектура модели и маленький ликбез по сверточным нейронным сетям будут в конце статьи. А сейчас — история создания по шагам.

https://habr.com/ru/articles/905718/

#machine_learning #ai #cnn #neural_networks #flask #python3 #tensorflow #keras