LLM для кодинга и локальный тест открытых моделей на AMD

LLM кодеры уже показывают отличные результаты на бенчмарках и в реальных задачах. Кажется, сейчас хорошее время, чтобы начать пробовать ими пользоваться. В статье разберем открытые LLM для кодинга. Сравнимы ли они с подписочными моделями? Можно ли их использовать для работы? А есть ли вариант начать локально? В части туториала: 1. Запустим через docker с помощью llama.cpp. 2. Сделаем замеры скорости генерации. 3. Ускорим за счет спекулятивного декодинга. 4. Подключим в vscode, заставим работать локально и через ssh.

https://habr.com/ru/articles/889310/

#llm_coder #llm #copilot #coding #llm_inference #qwen25coder #sonnet37

#開源分享 Qwen的最新編程模型來了：Qwen2.5-Coder系列，一口氣又開源了四個型號，0.5B、3B、14B、32B，可以和Cursor集成，具備生成可視化內容Artifacts功能

部落格： qwenlm.github.io/zh/blog/qwen2.5-coder-family/
專案地址： github.com/QwenLM/Qwen2.5-Coder
模型： huggingface.co/collections/Qwen/qwen25-coder-66eaa22e6f99801bf65b0c2f

#Qwen #Qwen25Coder #編程模型