Портируем ML на RISC-V: как не потерять производительность

Современные ML-системы опираются на CPU и ускорители — тензорные или графические. Но их производительность часто ограничена пропускной способностью шины между CPU и GPU: данные приходится постоянно перегонять туда-сюда, и выигрыш от ускорителя нередко тает. Что если есть архитектура, где этого узкого места нет? RISC-V предоставляет гетерогенность принципиально нового уровня, объединяя ключевые компоненты устройства на одном кристалле, что снимает одно из главные ограничений производительности в ML. Но одних процессоров здесь мало — нужна еще экосистема библиотек.

https://habr.com/ru/companies/oleg-bunin/articles/963216/

#riscv #linear_algebra #ml #RVV #optimization #алгоритмы #highload #highload++ #C++ #высоконагруженные_системы

ウィキペディアにある特異値分解の幾何的な意味が分かりやすかった。「行列＝直交行列 ✕ 対角行列 ✕ 直交行列」は「線形変換＝回転 ✕ 基底方向に拡大・縮小 ✕ 回転」を表現しているのか。

https://commons.wikimedia.org/wiki/File:Singular-Value-Decomposition.svg#/media/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:Singular-Value-Decomposition.svg

#linear_algebra

バイナリベクトル空間、その元は \( \{ 0, 1\}^n \) に閉じ込められているにも拘わらず線形空間なのか。加算における閉包性は剰余演算によって、スカラー乗算における閉包性は係数が 0 か 1 に限られることによって保たれる。バイナリベクトル空間は、環の集合と演算の共同による奇跡の線形空間。

#linear_algebra

ベクトルの分割（split）・結合（concatenation）は、ベクトル空間の直和分割と直和に対応しており、ベクトル空間の直和 \(V = U ⊕ W\) は、ベクトルの結合 \(v = u || w\) に対応している

#linear_algebra #transformer

台（関数）って、線形代数の言葉で言うと線型汎函数の非核の閉包ということ？

#linear_algebra

C++26 — прогресс и новинки от ISO C++

Работа в комитете по стандартизации языка C++ активно кипит. Недавно состоялось очередное заседание. Как один из участников, поделюсь сегодня с Хабром свежими новостями и описанием изменений, которые планируются в С++26. До нового стандарта C++ остаётся чуть больше года, и вот некоторые новинки, которые попали в черновик стандарта за последние две встречи: запрет возврата из функции ссылок на временное значение, [[indeterminate]] и уменьшение количества Undefined Behavior, диагностика при =delete; , арифметика насыщения, линейная алгебра (да-да! BLAS и немного LAPACK), индексирование variadic-параметров и шаблонов ...[42] , вменяемый assert(...) , и другие приятные мелочи. Помимо этого, вас ждут планы и прогресс комитета по большим фичам и многое другое. Рассмотрим новинки на примерах

https://habr.com/ru/companies/yandex/articles/801115/

#c++ #с++ #constexpr #c++26 #с++26 #numeric #floating_point #float #double #iso #программирование #span #functions #function #blas #lapack #atomic #linear_algebra #variadic_templates