💫 Call for Hardware (for MeshCore dev)

Der Entwickler von Kiekr (ziemlich coole Meshcore app) sucht nach alten Android-Smartphones für ein dauerhaftes Test-Setup. Falls du alte/obsolete Hardware rumliegen hast und die Weiterentwicklung von Meshcore unterstützen möchtest, melde dich: https://kiekr.app

Akku: heil oder kaputt
Display: zerkratzt/gesprungen, aber sollte funktionieren.
android: >= 8.0.

#MeshCore #LoRa #HanseMesh #Mesh #Notfunk #EmCom
@meshcore
@blackforestmesh @voyagermesh

[Перевод] Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать

Ошибка CUDA out of memory при обучении LLM обычно превращается в бесконечный цикл случайных правок: уменьшили batch size, урезали sequence length, снизили LoRA rank — и всё равно где-то снова падает. Особенно весело становится в RL-сценариях с GRPO, vLLM и генерацией нескольких ответов на один промпт. Поговорим о том, как перестать гадать и начать считать потребление GPU-памяти: от чтения самого текста ошибки до оценки вклада vLLM, активаций и параметров обучения. С формулами, реальными конфигами и объяснением, какие настройки действительно дают эффект, а какие только создают иллюзию оптимизации. Оптимизировать LLM

https://habr.com/ru/companies/otus/articles/1037332/

#NLP #LLM #GRPO #обучение_с_подкреплением #CUDA_out_of_memory #vLLM #оптимизация_GPU_памяти #дообучение_моделей #LoRA #PyTorch

A small local model can know plenty and still fail one tiny agent contract.

This tutorial uses Quarkus and MLX LM on a Mac to teach a model a private devcard command with LoRA, then measure the before-and-after difference.

https://www.the-main-thread.com/p/lora-agent-command

#Quarkus #Java #LoRA #AIAgents