Откуда в обучении берётся nan: численная нестабильность в ML и почему всё считают в логарифмах

Многие ML‑инженеры знают, что нужно использовать CrossEntropyLoss , log_softmax и logsumexp . Гораздо меньше людей могут объяснить, что именно они спасают и почему без них обучение модели периодически превращается в генератор nan . Именно об этом и поговорим.

https://habr.com/ru/companies/otus/articles/1044824/

#численная_стабильность #машинное_обучение #нейронные_сети #softmax #logsumexp #float32 #градиенты #переполнение #underflow #PyTorch

Graphing historical statistics of counters of an application.

No idea how to deal with these values yet....

[edwin.groothuis@sg-shared ~]$ printf "%x\n" 18446744073709551492
fffffffffffffff3
[edwin.groothuis@sg-shared ~]$ printf "%x\n" 9223372036854775807
7fffffffffffffff

#overflow #underflow #visualisation