https://github.com/oraziorillo/microcrad #translation #innovation #Karpathy #HackerNews #ngated
Microcrad – Micrograd Reimplemented in C
https://github.com/oraziorillo/microcrad
#HackerNews #Microcrad #Micrograd #C #Reimplementation #Programming #GitHub
Обратное распространение ошибки: от интуиции до кода
Многие умеют вызывать loss.backward() в PyTorch, но не всегда понимают, что именно происходит под капотом. Как сеть вычисляет, какой из миллионов весов нужно изменить? В этой статье мы развеем магию обратного распространения ошибки (backprop). Разберем алгоритм на простых аналогиях с заводским конвейером, вспомним школьное правило дифференцирования и, чтобы закрепить понимание, напишем свой микро-фреймворк для автоматического вычисления градиентов на чистом Python с нуля.
https://habr.com/ru/articles/1031986/
#машинное_обучение #нейросети #backpropagation #обратное_распространение_ошибки #градиентный_спуск #deep_learning #python #математика #вычислительные_графы #micrograd
Micrograd is very simple, only fully connected layers. So first trying to find out if it can even learn numbers based on MNIST dataset.
Then I hope to at least be able to verfit, so the essence works. Then I'll have the challenge of trying to make it work for every icon in the app.
Presumably I have to create/generate a huge set of icon images to train on..
#ux #micrograd #reactNative #MLP #MNIST #TinyUX #Karpathy #ai #NeuralNet