Sudo su (@sudoingX)

5년 된 RTX 3060(12GB VRAM)에서 9B(약 90억) 파라미터 모델이 단일 프롬프트로 전체 우주 슈팅 게임을 작성한 사례를 보고함. 초기 실행에서 빈 화면이 나왔지만 작성자가 버그 목록을 보내자 동일 모델과 동일 GPU 환경에서 11개 파일에 걸쳐 모든 문제를 스스로 수정함. 경량 하드웨어에서의 강력한 코드 생성·수정 능력을 시연한 실험적 사례.

https://x.com/sudoingX/status/2033020823846674546

#llm #nvidia #gpgpu #codegeneration

Sooo, I want to sample mipmaps in a compute shader via "sampleGrad".

Does anyone know what the state-of-the-art is for deriving ddx and ddy for uv-coords in a compute shader?

I don't want to store the UV's derivatives in a G-buffer if possible.

#rendering #glsl #slang #hlsl #shader #gpgpu #vulkan #opengl

От MNIST к Transformer. Часть 2. Основы работы с памятью

Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком. Это вторая статья из цикла От MNIST к Transformer , цель которого пошагово пройти путь от простого CUDA ядра до создания архитектуры Transformer - фундамента современных LLM моделей. Мы не будем использовать готовые высокоуровневые библиотеки. Мы будем разбирать, как все устроено под капотом, и пересобирать их ключевые механизмы своими руками на самом низком уровне. Только так можно по настоящему понять как работают LLM и что за этим стоит. В этой статье разберем основы работы с памятью и две простые математические операции с точки зрения математики, но не такие простые с точки зрения CUDA ядер. Приготовьтесь, будет много кода на C++ и CUDA, работы с памятью и погружения в архитектуру GPU. И конечно же математика что за этим стоит. Поехали!

https://habr.com/ru/articles/1001886/

#ml #cuda #c++ #gpgpu

От MNIST к Transformer. Hello CUDA. Основы, Setup и наше первое ядро

Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком. Я хочу запустить большой цикл статей От MNIST к Transformer , цель которого пошагаво пройти путь от простого CUDA ядра до создания архитектуры Transformer - фундамента современных LLM моделей. Мы не будем использовать готовые высокоуровневые библиотеки. Мы будем разбирать, как все устроено под капотом, и пересобирать их ключевые механизмы своими руками на самом низком уровне. Только так можно по настоящему понять как работают LLM и что за этим стоит. Приготовьтесь, будет много кода на C++ и CUDA, работы с памятью и погружения в архитектуру GPU. И конечно же математика что за этим стоит. Поехали!

https://habr.com/ru/articles/996610/

#cuda #c++ #gpgpu #ml #lowlevel_programming

OpenCL, SYCL и матрицы

В данной статье я описываю свой опыт разработки приложений с OpenCL/SYCL. Вычисления на видеокартах ассоциируются преимущественно с графикой, научными вычислениями и с недавних пор с нейросетями. Но чаще всего с графикой. Тем не менее, графические процессоры обладают свойствами, за счёт которых их очень удобно использовать в задачах, напрямую не связанных с перечисленным выше. И главное из этих свойств – массовый параллелизм. Самый краткий ввод в гетерогенное программирование: у нас есть две роли — хост и девайс , задача хоста – формировать задачи и отдавать их на девайс, в то время как задача девайса обработать их и вернуть результат. При этом хост и девайс могут быть одним вычислительным устройством (это не обязательно CPU + GPU, так как CPU может отдавать задачи сам себе).

https://habr.com/ru/articles/994986/

#gpgpu #opencl #sycl #gpu_computing

中国GPU「壁仞科技」が香港上場、初値は8割高　赤字でも高まる国産半導体期待

https://fed.brid.gy/r/https://36kr.jp/451802/

Vulkan có thể trở thành tiêu chuẩn API cho ML? Hiện tại, Vulkan đã thể hiện khả năng匹 với CUDA về hiệu suất trong một số dự án. Tuy nhiên, vẫn còn một số hạn chế như giới hạn về kiến trúc và VRAM. #Vulkan #ML #AI #CUDA #GPGPU #Compute #Graphics #LlamaCpp #PyTorch #CrossPlatform #CrossVendor #MachineLearning #ArtificialIntelligence #TiêuChuẩnAPI #CôngNghệMới

https://www.reddit.com/r/LocalLLaMA/comments/1p4xscg/can_an_expert_chime_in_and_explain_what_is/