Семантический компьютер на 64 нейронах и обучение на шуме
В предыдущей статье о машинном обучении как алхимии я говорил о том, что можно найти новые решения, не используя GPU или дорогие видеокарты. В этой статье я расскажу, о том, как я экспериментировал с continual learning и композициональностью мышления на микронейросетях, и причем здесь философ Лев Выготский.
https://habr.com/ru/articles/1000488/
#искусственный_интеллект #машинное_обучение #нейросеть #continual_learning
Memory Is All You Need: Активная память для трансформеров — мой новый подход к долгосрочным зависимостям в ИИ
Переосмысливаем память в ИИ: от пассивного контекста к активной, 'живой' системе. Мой проект MemNet с Hebbian-графом и 'сновидениями' решает задачи долгосрочных зависимостей. Код на GitHub + эксперименты внутри!
https://habr.com/ru/articles/983684/
#AI #machine_learning #transformers #memory_augmented_networks #continual_learning #neural_memory #longterm_dependencies #rag #neuroscience #paradigm_shift
Привет, Habr! Я хочу поделиться своим исследовательским проектом - репозиторием memory-is-all-you-need . Это не просто код, а попытка переосмыслить роль памяти в нейронных сетях, вдохновлённая...
Нейросеть, которая помнит всё: заморозка ядра вместо «костылей» (Frozen Core Decomposition)
Frozen Core Decomposition (FCD) — инновационный метод для решения проблемы катастрофического забывания в continual learning. Используя разложение Tucker, метод достигает 96.1% точности на Split MNIST с минимальным забыванием (0.2%) и поддерживает работу с CNN, ResNet, GPT-2 и другими архитектурами. В статье разбираем математику, результаты экспериментов и реализацию на PyTorch.
https://habr.com/ru/articles/979030/
#continual_learning #neural_networks #frozen_core_decomposition #tucker_decomposition #machine_learning #deep_learning #catastrophic_forgetting #incremental_learning #PyTorch #neural_network_training
Habr
