Ищем выход из лабиринтов RISC-V ISA: ускорение инференса с тензорным компилятором и JIT-ассемблером

Привет, Хабр! Меня зовут Илья Знаменский, я ведущий инженер в группе оптимизации алгоритмов искусственного интеллекта в AI-дивизионе YADRO . Популярность RISC-V растет стремительными темпами, и на рынке появляется все больше новых отладочных плат. Моей команде поставили задачу: узнать, как эти платы будут справляться с простыми AI-нагрузками (задачи запуска LLM-on-device не стояло). В процессе работы мы внесли вклад в развитие собственного тензорного компилятора и создали библиотеку математических ядер, которая позволила существенно увеличить производительность инференса моделей на RISC-V. С какими трудностями мы столкнулись и что в итоге из всего этого получилось — читайте в статье.

https://habr.com/ru/companies/yadro/articles/970390/?utm_source=habrahabr&utm_medium=rss&utm_campaign=970390

#RISCV #AI #devboards #Inference_optimizations #JIT #bananapi #rvv #licheepi #xbyak #compiler

Ищем выход из лабиринтов RISC-V ISA: ускорение инференса с тензорным компилятором и JIT-ассемблером

Привет, Хабр! Меня зовут Илья Знаменский, я ведущий инженер в группе оптимизации алгоритмов искусственного интеллекта в AI-дивизионе YADRO .  Популярность RISC-V растет стремительными темпами, и...

Хабр

Ищем выход из лабиринтов RISC-V ISA: ускорение инференса с тензорным компилятором и JIT-ассемблером

Привет, Хабр! Меня зовут Илья Знаменский, я ведущий инженер в группе оптимизации алгоритмов искусственного интеллекта в AI-дивизионе

https://habr.com/ru/companies/yadro/articles/970390/

#RISCV #AI #devboards #Inference_optimizations #JIT #bananapi #rvv #licheepi #xbyak #compiler

Ищем выход из лабиринтов RISC-V ISA: ускорение инференса с тензорным компилятором и JIT-ассемблером

Привет, Хабр! Меня зовут Илья Знаменский, я ведущий инженер в группе оптимизации алгоритмов искусственного интеллекта в AI-дивизионе YADRO .  Популярность RISC-V растет стремительными темпами, и...

Хабр
The first #openwrt that turns #licheepi Pi 4A to a wireless router. Build it https://github.com/lone0/target-th1520-openwrt with version 24.10, kernel 6.6.83
GitHub - lone0/target-th1520-openwrt: Build and run Openwrt on Lichee Pi 4A

Build and run Openwrt on Lichee Pi 4A. Contribute to lone0/target-th1520-openwrt development by creating an account on GitHub.

GitHub

I finally got cross compiling working for a Lichee Pi Nano! I don't know how I made it this difficult, but I managed it

#linux #embedded #licheepi #licheepinano #helloworld

Sipeed is expanding its ecosystem of modular Lichee Pi devices with RISC-V processors with a new LM5a module featuring an ESWIN EIC7700 chip with a quad-core SiFive P550 RG64GBC CPU and a 13.3 TOPS AI accelerator and PCIe 3.0 x4 support. https://buff.ly/3MsRWpf #Sipeed #LM5A #LicheePi #RISCV
sipeed 矽速科技 官网

深圳矽速科技有限公司矽速科技致力于开源智能硬件、人工智能、边缘计算、图像处理等产品的研发、生产和销售,面向企业提供 AIoT 软硬件产品的行业整体解决方案,面向开发者提供开源软硬件平台,发布的一系列开源软硬件深受国内外开源社区开发者的广泛关注

Sipeed Lichee Pi 3A is a low-cost RISC-V dev board with 2 PCIe 2.0 slots, up to 16GB of RAM

The Sipeed Lichee Pi 3A is a compact with a SpacemiT K1 RISC-V processor featuring eight CPU cores with support for speeds up to 1.6 GHz, an 819 MHz Imagination BXE-2-32 GPU, and a neural processing unit with up to 2 TOPS Of AI performance.
But there are a few things that make this little computer different from others with the same chip. For one […]

https://liliputing.com/?p=170392

#devBoard #licheePi #licheePi3a #riscV #sbc #sipeed #sipeedLicheePi3a #spacemit #spacemitK1

Sipeed Lichee Pi 3A is a low-cost RISC-V dev board with 2 PCIe 2.0 slots, up to 16GB of RAM - Liliputing

Sipeed Lichee Pi 3A is a low-cost RISC-V dev board with 2 PCIe 2.0 slots, up to 16GB of RAM

Liliputing
youyeetoo Licheepi 4A RISC-V Single Board Computer - RISC-V Laptop CPU TH1520 @ 2.0 GHz - 4 TOPS @ INT8 (1GHz)

Licheepi 4A is a RISC-V Single Board Computer ,Nearly 2X higher performance than Visionfive 2. RAM - (optional) 8GB 64bits LPDDR4, 16GB 64bits LPDDR4 Storage - eMMC: (optional) Empty, 8G, 32G, 128G, TF card support Ethernet - 2 x GbE, optional POE USB - USB3.0 x 4, USB2.0 x 1 (for burn-in only) Audio - 1 x 3.5mm headphone jack, one speaker jack, two on-board microphones Display - 1 x HDMI2.0 / 1 x 4-lane MIPI DSI Camera :2 x 2-lane MIPI CSI / 1 x 4-lane MIPI CSI GPIO : UART/IIC/SPI

youyeetoo geeker shop
Whoa, look how cool this #LicheePi #RISCV hardware is! The want is strong, especially for that little 7" netbook with a nubbin mouse. https://sipeed.com/licheepi4a
sipeed 矽速科技 官网

深圳矽速科技有限公司矽速科技致力于开源智能硬件、人工智能、边缘计算、图像处理等产品的研发、生产和销售,面向企业提供 AIoT 软硬件产品的行业整体解决方案,面向开发者提供开源软硬件平台,发布的一系列开源软硬件深受国内外开源社区开发者的广泛关注

Why do i even bother with this shit?

On top of that I have to pay a significant sum of money for each of the contribution only to be treated like shit and having to rewrite my code into disfunctional trash.

https://github.com/armbian/build/pull/5689#pullrequestreview-1623734454

#OSS #FOSS #Armbian #riscv #licheepi #lm4a

sipeed-lichepi-4a: Official support + OpenSBI by Kreyren · Pull Request #5689 · armbian/build

REVIEWERS: Squash using GitHub UI with message from the first commit Adds official support for the board and solid foundation for the development Description Progress from #5684 The original work...

GitHub

RT from openEuler (@openEuler)

Exciting news! 💥 Thanks to the efforts of the RISC-V SIG, the latest #openEuler RISC-V 23.03 V1 image is now available on the #LicheePi 4A development board. Click to download👇
@risc_v

Original tweet : https://twitter.com/openEuler/status/1654404917346574336

openEuler on Twitter

“Exciting news! 💥 Thanks to the efforts of the RISC-V SIG, the latest #openEuler RISC-V 23.03 V1 image is now available on the #LicheePi 4A development board. Click to download👇 @risc_v”

Twitter