Стена данных: почему ИИ упирается не в GPU, а в реальность
В новой статье наш эксперт Антон Пчелинцев размышляет о причинах дефицита качественных данных, следующем прорыве в области развития ИИ и о том, что делать для получения преимущества.
https://habr.com/ru/articles/1016998/
#искусственный_интеллект #машинное+обучение #bigdata #стена_данных #gpu #gpgpu #данные #качество_данных #synthetic_data #синтетические_данные
Sudo su (@sudoingX)
5년 된 RTX 3060(12GB VRAM)에서 9B(약 90억) 파라미터 모델이 단일 프롬프트로 전체 우주 슈팅 게임을 작성한 사례를 보고함. 초기 실행에서 빈 화면이 나왔지만 작성자가 버그 목록을 보내자 동일 모델과 동일 GPU 환경에서 11개 파일에 걸쳐 모든 문제를 스스로 수정함. 경량 하드웨어에서의 강력한 코드 생성·수정 능력을 시연한 실험적 사례.
this is what 12 gigs of VRAM built in 2026. a 9 billion parameter model running on a 5 year old RTX 3060 wrote a full space shooter from a single prompt. blank screen on first try. i came back with a bug list and the same model on the same card fixed every issue across 11 files
Sooo, I want to sample mipmaps in a compute shader via "sampleGrad".
Does anyone know what the state-of-the-art is for deriving ddx and ddy for uv-coords in a compute shader?
I don't want to store the UV's derivatives in a G-buffer if possible.
#rendering #glsl #slang #hlsl #shader #gpgpu #vulkan #opengl
От MNIST к Transformer. Часть 2. Основы работы с памятью
Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком. Это вторая статья из цикла От MNIST к Transformer , цель которого пошагово пройти путь от простого CUDA ядра до создания архитектуры Transformer - фундамента современных LLM моделей. Мы не будем использовать готовые высокоуровневые библиотеки. Мы будем разбирать, как все устроено под капотом, и пересобирать их ключевые механизмы своими руками на самом низком уровне. Только так можно по настоящему понять как работают LLM и что за этим стоит. В этой статье разберем основы работы с памятью и две простые математические операции с точки зрения математики, но не такие простые с точки зрения CUDA ядер. Приготовьтесь, будет много кода на C++ и CUDA, работы с памятью и погружения в архитектуру GPU. И конечно же математика что за этим стоит. Поехали!
От MNIST к Transformer. Hello CUDA. Основы, Setup и наше первое ядро
Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком. Я хочу запустить большой цикл статей От MNIST к Transformer , цель которого пошагаво пройти путь от простого CUDA ядра до создания архитектуры Transformer - фундамента современных LLM моделей. Мы не будем использовать готовые высокоуровневые библиотеки. Мы будем разбирать, как все устроено под капотом, и пересобирать их ключевые механизмы своими руками на самом низком уровне. Только так можно по настоящему понять как работают LLM и что за этим стоит. Приготовьтесь, будет много кода на C++ и CUDA, работы с памятью и погружения в архитектуру GPU. И конечно же математика что за этим стоит. Поехали!
OpenCL, SYCL и матрицы
В данной статье я описываю свой опыт разработки приложений с OpenCL/SYCL. Вычисления на видеокартах ассоциируются преимущественно с графикой, научными вычислениями и с недавних пор с нейросетями. Но чаще всего с графикой. Тем не менее, графические процессоры обладают свойствами, за счёт которых их очень удобно использовать в задачах, напрямую не связанных с перечисленным выше. И главное из этих свойств – массовый параллелизм. Самый краткий ввод в гетерогенное программирование: у нас есть две роли — хост и девайс , задача хоста – формировать задачи и отдавать их на девайс, в то время как задача девайса обработать их и вернуть результат. При этом хост и девайс могут быть одним вычислительным устройством (это не обязательно CPU + GPU, так как CPU может отдавать задачи сам себе).
中国GPU「壁仞科技」が香港上場、初値は8割高 赤字でも高まる国産半導体期待
Habr
sayzard
Siebencorgie
fugahogeds
Giuseppe Bilotta
36Kr Japan | 最大級の中国テック・スタートアップ専門メディア