Skip softmax, take argmax, and you still get answer.

#machinelearning #softmax #tutorial

fly51fly (@fly51fly)

시카고 대학교와 INSEAD 연구진(K Park, T Nief, Y J Choe, V Veitch)이 2026년 논문 'The Information Geometry of Softmax: Probing and Steering'을 발표했습니다. 본 연구는 딥러닝에서 광범위하게 사용되는 소프트맥스(Softmax) 함수의 정보 기하학적 구조를 분석하고 제어하는 새로운 방법을 제시하여, AI 모델의 해석 가능성과 제어 능력 향상에 기여할 가능성을 보여줍니다.

https://x.com/fly51fly/status/2025691011482337288

#research #softmax #deeplearning #ai

SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой

В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.

https://habr.com/ru/articles/988936/

#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь

[Перевод] Путешествие токена: что конкретно происходит внутри трансформера

Из этой статьи вы узнаете о том, как трансформеры преобразуют входные данные в контекстно-зависимые представления и, в итоге, выдают вероятности, влияющие на выбор слов, которые генерируют большие языковые модели.

https://habr.com/ru/companies/wunderfund/articles/974300/

#Искусственный_интеллект #трафнсформеры #softmax

go-simd-softmax

Is a Go-oriented SIMD/avx softmax implementation with optimisations in amd64 / x64 assembler.

Up to 3.5x faster than equivalent function written using stdlib only. See benchmarks.

https://github.com/ha1tch/go-simd-softmax?tab=readme-ov-file#simd-accelerated-softmax

#go #foss #softmax #asm #assembler #x86_64 #x64 #amd64 #assembly #golang

Ich möchte in Calc ausrechnen: e^A1+e^B1+e^C1, also =exp(A1)+exp(B1)+exp(C1) und so weiter, das aber für viele Zellen A1 bis ABB1 etwa.
Leider habe ich keinen Weg gefunden, das anders als über eine derart lange Formel zu lösen. Klar geht: Kopie jeder Zelle anlegen in Zeile darunter, und das dann summieren, dann muss man nicht tippen, nur kopieren. Gibt es wirklich keine Formel, mit der das einfacher geht?
#Calc #Tabellenkalkulation #Softmax #normalisierteExponentialfunktion

Gelöst, siehe unten!

Векторы в RISC-V на практике: вычисление softmax

С 10 по 14 апреля 2025 года прошел первый онлайн RISC-V хакатон , организованный Ассоциацией RISC-V. Участникам на выбор давались 2 задачи. Одна задача от Codasip -доработать программу и кастомный процессор для вычисления LLM трансформера. Другая от Andes - улучшить вычисление функции softmax. Для демонстрации работы векторного расширения RISC-V задача с softmax мне показалась более подходящей. Интересно было изучить, как в процессорах реализуется вычисление нелинейных функций, как например экспоненциальная функция, нужная для softmax.

https://habr.com/ru/articles/915866/

#softmax #riscv #float