Two LSTMs worked, and I cannot believe it happened today.

#deeplearning #lstm #debugging

In our #KDAI2026 lecture this week we were taking a tour de force from perceptrons to transformers, 60 years of neural networks in a ninety minutes lecture.

#lecture @fiz_karlsruhe @fizise @KIT_Karlsruhe #AI #llms #perceptron #neuralnetwork #transformer #bert #gpt #lstm #rnn #transferlearning #machinelearning #cowboybebop

Создаем ИИ-модель для генерации музыки на базе Lakh MIDI Dataset

Работать с сырым аудио в машинном обучении вычислительно тяжело и сложно. Но что, если свести музыку к тексту и применить к ней классические NLP-подходы? В этой статье мы с нуля напишем рекуррентную нейросеть (LSTM) на PyTorch, которая научится улавливать музыкальные паттерны и генерировать собственные мелодии. Мы не будем использовать готовые сложные фреймворки вроде MusicGen. Вместо этого разберем весь процесс под капотом: возьмем очищенный датасет Lakh MIDI, напишем парсер нот с помощью music21, соберем датасет через скользящее окно и добавим модели «креативности» с помощью температуры сэмплинга.

https://habr.com/ru/articles/1037170/

#python #pytorch #lstm #rnn #генерация_музыки #машинное_обучение #нейросети #music21 #midi #ai

Какой подход к предсказанию последовательности стоит выбрать

Построение прогноза последовательности (графика) это тема отдельной книги, поэтому в статье я только слегка коснусь двух подходов: - построение прогноза по одной точке, используя цикл; - построение прогноза на весь период одним махом. И постараюсь пояснить на примерах, почему один из них скорее всего будет пустой тратой времени.

https://habr.com/ru/articles/1035496/

#python #keras #sequential #lstm

Today we build a full LSTM tutorial and learn missing steps.

#lstm #deeplearning #tutorial

Now I see it, adding one dimension makes the data 3D.

#deeplearning #lstm #tensors

Как я написал антиспам-бота (TAB) для Telegram на собственной нейросети

Привет, Хабр! Решил наконец‑то рассказать о проекте, который уже полгода живёт в тени моего личного репозитория. Речь пойдёт о боте для борьбы со спамом в Telegram‑чатах. Это не просто «очередной антиспам бот», а решение, которое я писал с нуля, включая архитектуру нейросети для классификации текстов. Забегая вперёд: бот бесплатный и открытый к тестированию. И он работает. Но обо всём по порядку.

https://habr.com/ru/articles/1029034/

#телеграм #телеграмботы #телеграмканалы #боты #python #антиспам #петпроект #машинное_обучение #нейросети #lstm

Hidden state updates each step because we keep reassigning it.

#lstm #deeplearning #debugging

Фундаментальный разбор: эволюция архитектур нейросетей от перцептрона до трансформера

Доброго времени суток, «Хабр»! Устал я делать разного рода сравнения и составлять топы среди недавно вышедших моделей. Восемь месяцев назад вышла моя статья, рассказывающая о пути, который нейросети проделали от цепей Маркова до современных языковых моделей. Размышляя над старыми материалами, я подумал: а почему бы снова не углубиться в историю и не рассмотреть развитие архитектур моделей? Присаживайтесь поудобнее, а я начинаю свой рассказ, в котором пройду путь от перцептрона до современного трансформера.

https://habr.com/ru/companies/bothub/articles/979594/

#ai #ии #нейросеть #архитектура_ии #перцептрон #рекуррентные_нейронные_сети #сверточные_нейросети #lstm #gan #seq2seq