Катастрофическое забывание для новичков: реплей-буферы, регуляризация, EWC и Synaptic intelligence

Мы думаем, многие знают ключевую проблему реккурентных нейросетей - постепенное забывание "изученного" в процессе обучения. Так как внутри нет никакого механизма "внимания", как в тех же трансформерах – передача данных с одного шага на другой приводит к тому, что мы уже не помним начала цепочки. Глухой телефон или неумело прочитанная книга – хорошая метафора. Но есть другая крупная проблема в ML – катастрофическое забывание.

https://habr.com/ru/articles/846434/

#регуляризация #реплейбуферы #катастрофическое_забывание #нейросети #искусственный_интеллект #как_бороться_с_забыванием #обновление_нейросети #обучение_нейросетей