Autograd tracks tensor ops to compute gradients for backpropagation in PyTorch.

#pytorch #autograd #deeplearning

Today we learn PyTorch autograd and write a simple loss function.

#pytorch #autograd #machinelearning

Call backward, then read grad to see derivatives and verify results.

#autograd #gradients #python

Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ

Когда вы пишете loss.backward() в PyTorch, ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами. В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа. В этой статье мы разберём, как математики изгнали, а затем вернули бесконечно малые, что такое гиперреалы и монады, а затем реализуем эту идею в коде.

https://habr.com/ru/articles/1030680/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1030680

#autograd #математика #нестандартный_анализ #дуальные_числа #pytorch #градиенты #бесконечно_малые #дифференцирование #python #машинное_обучение

Запрещённая математика в твоём autograd: бесконечно малые, дуальные числа и нестандартный анализ

Когда вы пишете loss.backward() в PyTorch, ваш autograd делает то, что 200 лет считалось математической ересью: оперирует бесконечно малыми как настоящими числами. В 1960 году Абрахам Робинсон формализовал эту «ересь» в виде нестандартного анализа. В этой статье мы разберём, как математики изгнали, а затем вернули бесконечно малые, что такое гиперреалы и монады, а затем реализуем эту идею в коде.

https://habr.com/ru/articles/1030680/

#autograd #математика #нестандартный_анализ #дуальные_числа #pytorch #градиенты #бесконечно_малые #дифференцирование #python #машинное_обучение

Autograd tracks operations so backward can compute gradients for you.

#pytorch #autograd #deeplearning

MyTorch – Minimalist autograd in 450 lines of Python

https://github.com/obround/mytorch

#HackerNews #MyTorch #Minimalist #Autograd #Python #450Lines #MachineLearning

Глубокое обучение: Слой линейного преобразования и полносвязная нейросеть. Теория и реализация на самодельном autograd

Всем привет. В этой статье я расскажу про слой линейного преобразования. Идею для реализации я взял из книги «Грокаем глубокое обучение». Здесь рассмотрим как использовать самодельный алгоритм автоматического дифференцирования при создании и обучении нейросети, про который я сделал разбор ранее. Меня зовут Алмаз Хуснутдинов. Я занимаюсь проектом "Теория цифрового интеллекта" - бесплатный и открытый проект, направленный на развитие мышления в направлении создания программы, обладающей интеллектом. Если вам не нужно разбираться в том, как работает нейросеть на низком уровне, то просто прочитайте ту часть статьи, где рассказывается про использование слоев и реализацию нейросети. Содержание: идея слоя прямого распространения, новые операции: операция умножения и деления матрицы на число, линейный слой и дополнительный функционал, задача «логическое или», как происходит обучение линейного слоя и набор данных digits.

https://habr.com/ru/articles/885466/

#полносвязный_слой #обучение_нейросети #полносвязная_нейросеть #autograd #автоматическое_дифференцирование

Глубокое обучение: Автоматическое дифференцирование. Теория и реализация. С нуля, на Python

Всем привет. Меня зовут Алмаз Хуснутдинов. В этой статье я сделал разбор алгоритма автоматического дифференцирования для глубокого обучения. Идею для реализации я взял из книги «Грокаем глубокое обучение». Я разобрал как вычисляются производные для основных операций и показал, как сделать простую реализацию. Содержание: граф вычислений, операции и производные по ним, прямой и обратный проход по графу ручное вычисление, реализация прямого и обратного прохода по графу, пример использования.

https://habr.com/ru/articles/874592/

#автоматическое_дифференцирование #autograd