How LLMs Work

이 글은 대형 언어 모델(LLM)의 작동 원리를 기계적 관점에서 상세히 설명한다. LLM은 주어진 토큰 시퀀스에 대해 다음 토큰의 확률 분포를 예측하는 함수이며, 이 과정이 반복되어 텍스트를 생성한다. 온도(temperature) 파라미터는 출력 확률 분포의 샤프함을 조절해 생성 결과의 다양성과 결정성을 조절하는 역할을 한다. 모델은 개별 학습 예시를 기억하지 않고, 방대한 텍스트 데이터에서 학습한 통계적 패턴을 내재화하여 새로운 입력에 일반화한다. 또한, LLM 출력이 본질적으로 확률적이며, 일관성 유지와 오류 대응을 위해 여러 번 테스트와 검증이 필요함을 강조한다.

https://arpitbhayani.me/blogs/how-llms-work/

#llm #languagemodel #temperature #nexttokenprediction #softmax

Softmax, can you derive the Jacobian? And should you care?

https://idlemachines.co.uk/essays/softmax

#HackerNews #softmax #jacobian #machinelearning #derivatives #deep #learning #research

Skip softmax, take argmax, and you still get answer.

#machinelearning #softmax #tutorial

fly51fly (@fly51fly)

시카고 대학교와 INSEAD 연구진(K Park, T Nief, Y J Choe, V Veitch)이 2026년 논문 'The Information Geometry of Softmax: Probing and Steering'을 발표했습니다. 본 연구는 딥러닝에서 광범위하게 사용되는 소프트맥스(Softmax) 함수의 정보 기하학적 구조를 분석하고 제어하는 새로운 방법을 제시하여, AI 모델의 해석 가능성과 제어 능력 향상에 기여할 가능성을 보여줍니다.

https://x.com/fly51fly/status/2025691011482337288

#research #softmax #deeplearning #ai

SoftMax: как нейросети превращают сырые числа в уверенные вероятности — разбор с примерами и математикой

В реальности всё полно оттенков: ничего чисто чёрного или белого, то же в машинном обучении, тк решения редко бывают абсолютными. Возьмём задачу: нейросеть анализирует фото еды и определяет, это пицца, суши или салат. Для двух классов хватит сигмоиды, но с несколькими нужна функция, которая раздаст вероятности по всем вариантам, чтобы их сумма была точно 1. Вот где и выходит SoftMax- стандарт для многоклассовой классификации. Сегодня разберём её от А до Я: интуицию, шаги, формулы и хитрости.

https://habr.com/ru/articles/988936/

#softmax #pytorch #функция_активации #backpropagation #deep_learning #нейросети #нейронные_сети #tensorflow #вероятностное_моделирование #функция_потерь

[Перевод] Путешествие токена: что конкретно происходит внутри трансформера

Из этой статьи вы узнаете о том, как трансформеры преобразуют входные данные в контекстно-зависимые представления и, в итоге, выдают вероятности, влияющие на выбор слов, которые генерируют большие языковые модели.

https://habr.com/ru/companies/wunderfund/articles/974300/

#Искусственный_интеллект #трафнсформеры #softmax

go-simd-softmax

Is a Go-oriented SIMD/avx softmax implementation with optimisations in amd64 / x64 assembler.

Up to 3.5x faster than equivalent function written using stdlib only. See benchmarks.

https://github.com/ha1tch/go-simd-softmax?tab=readme-ov-file#simd-accelerated-softmax

#go #foss #softmax #asm #assembler #x86_64 #x64 #amd64 #assembly #golang