AutoML и NAS

Автоматическое машинное обучение (AutoML) – это область исследований, целью которой является автоматизация ручных процессов настройки ML-пайплайнов, то есть полных циклов обработки данных при помощи ML-алгоритмов. Можно выделить основные этапы работы с данными в рамках стандартных подходов ML: сбор данных, их первичный анализ, предобработка (нормализация, кодирование признаков, оценка их важности и фильтрация, заполнение пропусков, поиск шумных признаков и выбросов в данных), выбор оптимальных моделей для решения задачи, возможные варианты комбинирования и ансамблирования моделей, оценка и внедрение итогового решения. Каждый элемент этой последовательности представляет из себя отдельную сложную задачу, требующую вложения труда специалистов. При этом та часть этих задач, которая представляет из себя подбор взаимозаменяемых элементов и оценку их производительности, может быть автоматизирована. Речь не идет об автоматизации сбора данных в широком смысле слова – слишком уж сложна и неоднородна эта задача – но автоматизация выбора наиболее оптимального набора моделей классического машинного обучения среди стандартного набора с учетом заранее поставленных ограничений кажется вполне решаемой проблемой. Методы оптимального поиска таких пайплайнов и решения ряда сложностей, возникающих в связи с такой широкой постановкой, называются автоматическим машинным обучением.

https://habr.com/ru/articles/889714/

#машинное_обучение #ml #automl #nas #оптимизация_гиперпараметров #искусственный_интеллект #швм #школа_высшей_математики

Квантизация

Если вы кликнули на данную статью, то скорее всего вы знаете, что в последнее время появляется огромное количество нейронных сетей. Они находят применение везде: и в задачах компьютерного зрения (Computer Vision, CV), и в обработке естественного языка (Natural Language Processing, NLP), распознавания и генерации речи (Speech-To-Text, STT; Text-To-Speech, TTS). Но есть что-то, что объединяет их все: у любой нейронной сети есть веса. И нам их, очевидно, нужно хранить и применять. Так как мы это делаем? Если вы хорошо слушали и не забыли школьную информатику, вы скажете: в битах! И будете абсолютно правы. А сколько бит надо на хранение? Если мы возьмем какую-то стандартную библиотеку для обучения нейронных сетей (например PyTorch) и будем обучать модель самым простым образом, мы будем использовать тип данных FP32, он же Single precision. На каждое число мы будем выделять 32 бита. Тем не менее, сейчас стремительно набрали популярность большие языковые модели (Large Language Model, LLM), и в них огромное количество параметров. Недавно вышедшая модель от DeepSeek содержит порядка 671 млрд параметров. Можно оценить количество памяти, которая нам понадобится, если хранить все эти числа в FP32:

https://habr.com/ru/articles/887466/

#квантизация #llm #llmмодели #llmархитектура #швм #школа_высшей_математики #оптимизация #оптимизация_моделей #ускорение_нейросетей

Машинный перевод

Автор статьи: Сергей Артамонов - DS Wildberries, Research Engineer Skoltech, аспирант мехмата МГУ, преподаватель Школы Высшей Математики Машинный перевод - одна из самых старых и проработанных задач обработки естественного языка. Машинный перевод выделяется на фоне всего многообразия задач этой дисциплины, и для этого есть несколько причин. Во-первых, машинный перевод – одна из наиболее практически значимых задач всей индустрии: машинный перевод применим повсеместно, и едва ли найдётся область, в которой не требовалось бы автоматически переводить тексты с одного языка на другой. Во-вторых, история развития машинного перевода олицетворяет историю развития NLP в целом – в машинном переводе, как в зеркале, отражались популярные подходы к обработке языка своего времени. Наконец, машинный перевод уникален тем, что в определённом смысле в последние 70 лет был локомотивом ключевых изменений, происходивших не только в NLP, но и в AI в целом: огромное количество идей и разработок, составляющих сегодня техническую повседневность, были впервые опробованы в качестве методов улучшения задачи машинного перевода. Сегодня мы поговорим о том, как развивались методы машинного перевода, как машинный перевод двигал вперёд NLP, что он представляет из себя сегодня и как понять, хороший ли перевод перед нами.

https://habr.com/ru/articles/879240/

#машинный_перевод #искусственный_интеллект #искусственные_нейронные_сети #машинное_обучение #Школа_Высшей_Математики #ШВМ #llm #large_language_model