От MNIST к Transformer. Hello CUDA. Основы, Setup и наше первое ядро

Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком. Я хочу запустить большой цикл статей От MNIST к Transformer , цель которого пошагаво пройти путь от простого CUDA ядра до создания архитектуры Transformer - фундамента современных LLM моделей. Мы не будем использовать готовые высокоуровневые библиотеки. Мы будем разбирать, как все устроено под капотом, и пересобирать их ключевые механизмы своими руками на самом низком уровне. Только так можно по настоящему понять как работают LLM и что за этим стоит. Приготовьтесь, будет много кода на C++ и CUDA, работы с памятью и погружения в архитектуру GPU. И конечно же математика что за этим стоит. Поехали!

https://habr.com/ru/articles/996610/

#cuda #c++ #gpgpu #ml #lowlevel_programming

Vale... Supongo que podemos hacer esto una vez más. Soy un estudiante promedio de la Ingeniería en Sistemas Computacionales en la ESCOM-IPN. Me apasiona realmente el desarrollo a bajo nivel, los gráficos por computadora, optimización, criptografía y el hardware retro. Probablemente AuDHD, así que definitivamente no soy estándar.

He llegado aquí en búsqueda de un lugar tranquilo para compartir un poco de mis proyectos, experiencias, experimentos y demás cosas relacionadas (o no) con mi carrera y mis hobbies técnicos. Así que... Bueno, este es el inicio.

Hi everyone! I'm a Computer Systems Engineering student @ ESCOM-IPN. Focused on low-level dev, optimization, computer graphics, cryptography (not cryptocurrency), and retro hardware. Probably AuDHD, so I'm definitely not "standard issue", that's for sure.

#introduction #lowlevel_programming #retrocomputing #cryptography #computergraphics #escom #audhd

Playing with Java bytecode

https://github.com/SylvainJuge/agent-smith

#java #lowlevel_programming #fun

Язык программирования C, твой путь начинается здесь, самурай

Приветствую! Когда мне сначала просто захотелось, а потом потребовалось и для работы изучить C++, я сильно удивился, что информации касаемо пары C/C++ информации вроде много, но она уж слишком сильно не структурирована и не систематизирована. Одно лишь объяснение указателей мне потребовалось очень много времени искать, потом я понял что такого нет. В интернете есть много объяснений и информации, но это все либо рерайт чужих статей либо просто бессвязный бред где порой кажется что сам человек не проверяет информацию либо просто сам не знает. Да и честно говоря очень мало понятных и рабочих кусков кода с объяснением решения, которое можно было бы протестировать на работоспособность. Поэтому я решил здесь в данном блоге (Habr идеальное место для этого) собрать в кучу как свои мысли так и свой опыт. А также опыт других людей которые также использовали данный инструмент в своей работе или просто как хобби. Также стоит отметить, что на мой взгляд для изучения C++ надо начать именно с C, но применять его врятли получится потому что как бы C не был хорош, все же на фоне C++, для современных задач он не полноценен (но тут я сразу уточню, что технология превосходная и я до сих пор удивляюсь как кто-то смог создать подобный язык, с настолько простым и удобным функционалом, который используется и сейчас, но в современной разработке он не функционален, хотя дальше я опишу сферу применения данного языка программирования).

https://habr.com/ru/articles/928410/

#C #C++ #GCC #Clang #MSVC #system #lowlevel_programming #lowlevel #system_programming #operating_systems

RFID-метки для программиста: как они устроены и как с ними работать

RFID-технология давно стала частью повседневности — мы встречаем её в проездных, пропусках, банковских картах, системах доступа и даже в метках на одежде. Но что на самом деле происходит, когда мы подносим метку к считывателю? Как устроена эта метка внутри? Какие данные она хранит, и как программа может их прочитать или изменить? Если вы — разработчик и хотите не просто «подключить библиотеку», а понять, как метка устроена на уровне байтов , как работает обмен данными, как выглядит структура памяти и какие команды реально отправляются на устройство, — эта статья для вас.

https://habr.com/ru/articles/920904/

#rfid #rfidметки #python #script #lowlevel #lowlevel_programming