Stephen BlumAutograd tracks operations so backward can compute gradients for you.
sayzardAndrej Karpathy (@karpathy)
전체 LLM 아키텍처와 손실 함수를 가장 원자적인 수학 연산(+ ,*,**, log, exp) 수준으로 완전히 분해하고, 작은 스칼라값 autograd 엔진(micrograd)으로 그래디언트를 계산하며 Adam 옵티마이저를 사용하는 구현/교육적 접근을 설명하는 기술적 트윗입니다.
Andrej Karpathy (@karpathy) on X
The way it works is that the full LLM architecture and loss function is stripped entirely to the most atomic individual mathematical operations that make it up (+, *, **, log, exp), and then a tiny scalar-valued autograd engine (micrograd) calculates gradients. Adam for optim.
Hacker NewsMyTorch – Minimalist autograd in 450 lines of Python
https://github.com/obround/mytorch
#HackerNews #MyTorch #Minimalist #Autograd #Python #450Lines #MachineLearning
HabrГлубокое обучение: Слой линейного преобразования и полносвязная нейросеть. Теория и реализация на самодельном autograd
Всем привет. В этой статье я расскажу про слой линейного преобразования. Идею для реализации я взял из книги «Грокаем глубокое обучение». Здесь рассмотрим как использовать самодельный алгоритм автоматического дифференцирования при создании и обучении нейросети, про который я сделал разбор ранее. Меня зовут Алмаз Хуснутдинов. Я занимаюсь проектом "Теория цифрового интеллекта" - бесплатный и открытый проект, направленный на развитие мышления в направлении создания программы, обладающей интеллектом. Если вам не нужно разбираться в том, как работает нейросеть на низком уровне, то просто прочитайте ту часть статьи, где рассказывается про использование слоев и реализацию нейросети. Содержание: идея слоя прямого распространения, новые операции: операция умножения и деления матрицы на число, линейный слой и дополнительный функционал, задача «логическое или», как происходит обучение линейного слоя и набор данных digits.
https://habr.com/ru/articles/885466/
#полносвязный_слой #обучение_нейросети #полносвязная_нейросеть #autograd #автоматическое_дифференцирование
Глубокое обучение: Слой линейного преобразования и полносвязная нейросеть. Теория и реализация на самодельном autograd
Всем привет. В этой статье я расскажу про слой линейного преобразования. Идею для реализации я взял из книги «Грокаем глубокое обучение». Здесь рассмотрим как использовать самодельный алгоритм...
Глубокое обучение: Автоматическое дифференцирование. Теория и реализация. С нуля, на Python
Всем привет. Меня зовут Алмаз Хуснутдинов. В этой статье я сделал разбор алгоритма автоматического дифференцирования для глубокого обучения. Идею для реализации я взял из книги «Грокаем глубокое обучение». Я разобрал как вычисляются производные для основных операций и показал, как сделать простую реализацию. Содержание: граф вычислений, операции и производные по ним, прямой и обратный проход по графу ручное вычисление, реализация прямого и обратного прохода по графу, пример использования.
alexanderadamChristopher Zimmermann recently added an #Autograd / #NeuralNetwork implementation to his awesome @[email protected] library http://num.cr: