Как я собрал Telegram-бота-консультанта по железу на бесплатном стеке (RAG + Groq + python telegram bot)

Представьте консультанта в DNS/Ситилинке, который не навязывает «вот этот блок питания потому что остался на складе», а спокойно объясняет, чем один БП лучше другого под ваш билд, помнит, о чём вы спрашивали раньше и ещё просит вежливый фидбек. В статье рассказываю, как собрал такого консультанта в виде Telegram‑бота «Кремний» — RAG‑бота по железу на бесплатных инструментах (Telegram Bot API, Groq с Llama 3.1 8B, sentence‑transformers) и что за «чуть‑чуть боли» произошло с NumPy и Pterodactyl при деплое. Telegram‑бот‑консультант по железу

https://habr.com/ru/articles/969740/

#telegrambot #pythontelegrambot #RAG #LLM #Groq #Llama_3 #машинное_обучение #нейросети #NumPy #PyTorch

[Перевод] ИИ-консерва: как мы «взламывали» LLM-модели, чтобы извлечь датасеты и рассуждения

Представьте, что каждая обученная языковая модель — это жёсткий диск, на котором записаны все данные её обучения, но в сжатом и зашифрованном виде. Традиционное взаимодействие с моделью — это как чтение отдельных файлов через не всегда предсказуемый интерфейс. А теперь представьте, что у вас появился инструмент, который позволяет провести дефрагментацию и декомпрессию этого диска, извлекая данные обратно в чистом, структурированном виде. Над созданием такого инструмента — LLM-deflate — автор и работал последнее время.

https://habr.com/ru/companies/bothub/articles/955630/

#llmdeflate #llm #извлечение_датасетов #stanford_alpaca #nvidia_nemotron #qwen3coder #gptoss #llama_3

LLM Llama 3 — небольшое погружение в детали

Привет Хабр! В этой статье я попробую немного разобрать код LLM Llama 3 . Полностью проанализировать каждую строку кода не получится, но самые важные и базовые концепции мы все-таки разберем насколько это возможно.

https://habr.com/ru/articles/879468/

#llmмодели #llm #llama3 #llama_3 #искусственный_интеллект #нейросети

Мультимодальные приложения на Llama 3.2 и Llama Stack

Недавний релиз Llama 3.2 с мультимодальными версиями 11B и 90B открывает возможности для создания AI приложений, анализирующих визуальный ввод. Мультимодальные модели были и раньше, но это первая официальная версия Llama с такими функциями. Модель может быть использована для распознавания объектов и текста на изображении, как это делает GPT-4o. Довольно интересен технический рецепт создания мультимодальной Llama 3.2. За основу была взята предыдущая версия - 3.1, обычная текстовая LLM. Логично, если принять во внимание, что конечная цель - извлекать признаки изображения и “транслировать” их в текстовые токены. К LLM добавили image encoder, это модуль, который встраивает представление картинки-ввода в векторное пространство. А также слои image adapter’а - для того, чтобы полученные визуальные признаки передавать в языковую модель. Подробнее об энкодерах и адаптерах изображений можно прочитать, например, в статье Bordes et al. 2024 - введение в визуально-языковые модели. Обучают VLM на парах изображение-текст, именно так обучали и Llama 3.2. Причем в несколько этапов - сначала на большом корпусе данных, а затем применили файнтюнинг на меньшей, но более качественной выборке. Как показывает прошлый опыт работы с моделями Llama 3, такой подход дает хорошие результаты. Базовая модель, обученная на большом корпусе данных (например, 15трлн токенов Llama 3), хорошо генерализуется при файнтюнинге и меньше подвержена оверфиттингу. Пример - моя модель ruslandev/llama-3-8b-gpt-4o-ru1.0 , которая после обучения на небольшом, но качественном датасете превзошла GPT-3.5 на русскоязычном бенчмарке.

https://habr.com/ru/articles/852168/

#mlops #нейронные_сети #reinforcementlearning #llama #llama_3 #llm #nlp #genai #generative_models #генеративные_модели

Подборка бесплатных чат-ботов с ChatGPT на русском в Телеграм в 2024 году

Сегодня существует огромное количество сервисов с нейросетями, но доступ к ним для русской аудитории сильно ограничен. VPN вариант не для всех. Однако это не означает, что нужно себе отказывать в таком полезном инструменте. Я создал подборку из 10 лучших ботов с нейросетями, работающих в Telegram, а значит, VPN вам больше не нужны. Подробны обзор со всеми плюсами и минусами, а также скринами ответов. Прежде чем переходить к топу ботов, предлагаем ознакомиться с кратким функционалом распространенных нейросетей. Тогда вам проще будет ориентироваться.

https://habr.com/ru/articles/848898/

#chatgpt #chat_gpt_бесплатно #midjourney_бесплатно #llama_3 #чат_жпт #chat_gpt_на_русском

LLaMa 3.2 Multimodal Web UI

LLaMa 3.2 Multimodal Web UI — это мультимодальный интерфейс для работы с моделью LLaMa 3.2 на платформе Ollama, поддерживающий текстовые данные и изображения.

Он предоставляет пользователям возможность задавать вопросы и получать ответы в текстовом, кодовом и визуальном форматах, оптимизирован для настольных и мобильных устройств и протестирован на Ubuntu.

src: https://github.com/iamgmujtaba/llama3.2-webUI

#ai #openai #llama #llama3 #llama_3 #web #ollama #linux #webui

Llama 3.1 и Mistral Large 2

В прошлом месяце вышли две интересных модели - Llama 3.1 , улучшенная версия Llama 3 , и Mistral Large 2. Самое заметное отличие Llama 3.1 от предыдущих моделей - у нее есть версия 405B- 405 миллиардов обучаемых параметров. Это самая большая открытая языковая модель, и опубликованные метрики показывают ее производительность на уровне GPT-4. Тесты проводились как на общих бенчмарках, например MMLU, так и специализированных - на код и математику. Для меня особенно интересными показались улучшенные мультиязычные возможности этой модели, так как я давно экспериментирую с обучением LLM на мультиязычных данных, моя последняя модель ruslandev/llama-3-8b-gpt-4o-ru1.0 превзошла GPT-3.5 на русскоязычной версии бенчмарка MT-Bench . Llama 3.1 поддерживает семь языков, кроме английского - французский, немецкий, хинди, итальянский, португальский, испанский и тайский . Русского в списке нет, как легко заметить, но это не значит, что в корпусе базовой модели нет примеров на русском. Есть, и предостаточно, это становится очевидно при файнтюнинге. У меня есть мой собственный датасет для файнтюнинга ruslandev/tagengo-rus-gpt-4o , который я сгенерировал из преимущественно русскоязычных промптов датасета Tagengo с помощью GPT-4o. Теперь о минусах модели Llama 3.1 - файнтюнинг 405B версии обойдется дорого, так как даже при сжатии в 4bit необходимо выделить около 200 ГБ VRAM для такой задачи. Поэтому я файнтюнил версию 8b на вышеупомянутом датасете, арендуя две видеокарты A100 на облачном сервисе immers.cloud . Но я не заметил особого превосходства версии 3.1 над третьей версией. Даже наоборот, я столкнулся с несколькими проблемами - например, 3.1 после файнтюнинга на моем датасете показала тенденцию прерывать генерацию, не завершив ответ - до причины я так и не докопался, но у Llama 3 такой проблемы не было.

https://habr.com/ru/articles/835692/

#языковая_модель #llm #ml #машинное+обучение #искусственный_интеллект #llama #llama_3 #mistral #mistral_ai

Цикл разработки LLM

В этой статье я использую мой опыт обучения больших языковых моделей (смотрите серию видео на канале Ruslan Dev ), чтобы выявить и описать основные фазы разработки собственной LLM. На сегодняшний день разработчики GenAI моделей, как правило, используют веса базовых (foundational) моделей, а не обучают нейросеть с нуля. В качестве данных для обучения часто используются ответы state-of-the-art LLM, таких как GPT-4 . Этот подход получил распространение с тех пор, как создатели Stanford Alpaca показали, что инференс небольшой модели наподобие Llama 7B можно приблизить по качеству к GPT-3 путем файнтюнинга на ответах последней. С тех пор и коммерческие, и опенсорс-модели шагнули вперед. Я работал с базовой моделью Llama-3 , обученной на беспрецедентно огромном корпусе из 15 триллионов текстовых токенов, что дает широкие возможности для файнтюнинга. А датасет для обучения я собирал с помощью последней модели OpenAI - GPT-4o . Как видите, переменные изменились, но уравнение осталось то же - подход Альпаки работает по-прежнему.

https://habr.com/ru/articles/825180/

#искусственный_интеллект #нейросети #машинное+обучение #llama_3 #языковая_модель

Как подружить Llama-3 и YouTube имея всего 40 строк кода

Сделаем Телеграм бота которому можно кинуть ссылку на YouTube видео и поговорить с ним о содержимом этого видео.

https://habr.com/ru/articles/819127/

#ChatGPT #telegrambot #llama_3 #youtube