Будущее трансформеров: от громоздких моделей к персональным обучаемым агентам

Современные большие языковые модели впечатляют, но остаются громоздкими и статичными. В ближайшие годы мы перейдём от таких «гигантов» к персональным ИИ-спутникам: компактным и обучаемым на ходу. Ключ к этому — долговременная память (mem-векторы), модульные трансформеры, параметро-эффективное дообучение, внешние базы знаний и жёсткая оптимизация под локальное железо. Разбираем, какие технологии уже работают, какие ещё только вырастают из лабораторий и что ждёт нас завтра. Будущее трансформеров

https://habr.com/ru/articles/906610/

#memвектор #трансформеры #персональный_ИИ #LLM #долговременная_память #модульные_модели #RAG #PEFT #квантизация #агент

Квантизация

Если вы кликнули на данную статью, то скорее всего вы знаете, что в последнее время появляется огромное количество нейронных сетей. Они находят применение везде: и в задачах компьютерного зрения (Computer Vision, CV), и в обработке естественного языка (Natural Language Processing, NLP), распознавания и генерации речи (Speech-To-Text, STT; Text-To-Speech, TTS). Но есть что-то, что объединяет их все: у любой нейронной сети есть веса. И нам их, очевидно, нужно хранить и применять. Так как мы это делаем? Если вы хорошо слушали и не забыли школьную информатику, вы скажете: в битах! И будете абсолютно правы. А сколько бит надо на хранение? Если мы возьмем какую-то стандартную библиотеку для обучения нейронных сетей (например PyTorch) и будем обучать модель самым простым образом, мы будем использовать тип данных FP32, он же Single precision. На каждое число мы будем выделять 32 бита. Тем не менее, сейчас стремительно набрали популярность большие языковые модели (Large Language Model, LLM), и в них огромное количество параметров. Недавно вышедшая модель от DeepSeek содержит порядка 671 млрд параметров. Можно оценить количество памяти, которая нам понадобится, если хранить все эти числа в FP32:

https://habr.com/ru/articles/887466/

#квантизация #llm #llmмодели #llmархитектура #швм #школа_высшей_математики #оптимизация #оптимизация_моделей #ускорение_нейросетей

Квантизация LLM: делаем модели легче в 4 раза

Современные языковые модели (LLM) содержат миллиарды параметров, что создает огромные требования к вычислительным ресурсам. Например:

https://habr.com/ru/articles/886246/

#LLM #llmмодели #llmприложения #квантизация

Обучение и fine-tuning моделей простым языком: зачем, как, где

В нашей работе с большими языковыми моделями (LLMs), один из самых популярных вопросов касается их до-обучения. Каждый второй клиент спрашивает, нужно ли проводить дополнительное обучение модели. Давайте рассмотрим нужно ли это, как это сделать.

https://habr.com/ru/companies/raft/articles/866148/

#finetuning #lora #loraадаптеры #квантизация #дообучение #llm

OpenAI o1 — LLM, обученная выполнять сложные логические рассуждения

OpenAI изменили направление развития своих языковых моделей, от просто генерации текста их последняя модель перешла к решению задач с использованием логики и пошагового анализа проблемы. До сих пор LLM генерировали текст на основе данных, использованных в процессе обучения. Веса модели хранят представление о зависимостях между текстовыми токенами, полученное из исходного корпуса данных. Соответственно, модель просто генерирует наиболее вероятные токены "по памяти", но не выполняет с их помощью никакой по-настоящему интеллектуальной работы.

https://habr.com/ru/articles/847354/

#MLOps #машинное_обучение #нейронные_сети #reinforcement_learning #NLP #большие_языковые_модели #квантизация #data_engineering #llama #llm

Малые числа, большие возможности: как плавающая запятая ускоряет ИИ и технологии

Привет, Хабр! С вами снова ServerFlow, и сегодня мы решили погрузиться в увлекательный мир чисел с плавающей запятой . Вы когда-нибудь задумывались, почему существуют разные виды этих чисел и как они влияют на производительность наших процессоров и видеокарт? Как малые числа с плавающей запятой помогают развивать нейросети и искусственный интеллект? Давайте вместе разберемся в этих вопросах, раскроем тайны стандарта IEEE 754 и узнаем, какое значение имеют большие и маленькие числа с плавающей запятой в современных вычислениях.

https://habr.com/ru/companies/serverflow/articles/846732/

#плавающая_запятая #fp32 #fp16 #INT8 #квантизация #Тензорные_ядра #fpu #floatingpoint #floating_point #ieee_754

LLMops: что есть, кроме ChatGPT и как это развернуть

Привет, Хабр! Меня зовут Ирина Николаева и я — руководитель R’n’D отдела машинного обучения в компании Raft Digital Solution. Я внедряла различные ML-модели: от анализа временных рядов и Computer Vision до высоконагруженных дата-инженерных сервисов. Эта статья написана по мотивам моего доклада на Highload ++ 2023. В статье вас ждёт: обзор LLM-моделей, техники работы с ними через призму MLOps, разбор лицензий и требований к железу. А так же трюки с квантизацией и файн-тюнингом «на сладкое». Главный дисклеймер статьи в том, что данные лидербордов и технических требований актуальны на момент выступления на Highload, то есть ноябрь 2023, но не всё из них актуально до сих пор. Но если бы я обновила всю статью, была ли бы это та же самая статья — вопрос риторический, поэтому было принято решение оставить всё как есть.

https://habr.com/ru/companies/oleg-bunin/articles/821389/

#искусственный_интеллект #большие_языковые_модели #нейронные_сети #chatgpt #audioInsights #data_protector #ai #data_science #квантизация #файнтюнинг

Оптимизация нейронки в Tensorflow?

В отличие от Pytorch, где структура данных выстраивается налету после начала обучения нейронки – в TensorFlow граф статичен. В этой статье мы кратко расскажем про некоторые способы ускорения обучения путем изменения графа вычислений: XLA, GraphTransform Tool, квантизация, заморозка графа и сохранение легкого чекпоинта.

https://habr.com/ru/articles/804115/

#Оптимизация #tensorflow #ml #машинное_обучение #искусственный_интеллект #ai #квантизация #граф #граф_вычислений #прунинг

Quantization Deep Dive, или Введение в современную квантизацию

Привет! Меня зовут Василий Землянов, я занимаюсь разработкой ML-инфраструктуры. Несколько лет я проработал в команде, которая делает споттер — специальную маленькую нейросетевую модельку, которая живёт в умных колонках Яндекса и ждёт от пользователя слова «Алиса». Одной из моих задач в этой команде была квантизация моделей. На пользовательских устройствах мало ресурсов, и мы решили, что за счёт квантизации сможем их сэкономить — так в итоге и вышло. Потом я перешёл в команду YandexGPT. Вместо маленьких моделей я стал работать с очень крупными. Мне стало интересно, как устроена квантизация больших языковых моделей (LLM). Ещё меня очень впечатляли истории, где люди берут гигантские нейросети, квантизируют в 4 бита и умудряются запускать их на ноутбуках. Я решил разобраться, как это делается, и собрал материал на доклад для коллег и друзей. А потом пришла мысль поделиться знаниями с более широкой аудиторией, оформив их в статью. Так я и оказался на Хабре :) Надеюсь, погружение в тему квантизации будет интересно как специалистам, так и энтузиастам в сфере обучения нейросетей. Я постарался написать статью, которую хотел бы прочитать сам, когда только начинал изучать, как заставить модели работать эффективнее. В ней мы подробно разберём, зачем нужна квантизация и в какой момент лучше всего квантизовать модель, а ещё рассмотрим разные типы данных и современные методы квантизации.

https://habr.com/ru/companies/yandex/articles/800945/

#яндекс #machine_learning #нейронные_сети #deep_learning #квантизация #quantization