[Перевод] Визуально-языковые модели: следующий шаг эволюции LLM

Компьютерное зрение больше не живёт отдельно от языковых моделей: визуальные энкодеры, контрастивные лоссы и cross-attention становятся стандартной «обвязкой» вокруг LLM, которые учатся понимать изображения, видео и сложные сцены. В статье разбираются основные архитектуры визуально-языковых моделей, подходы к обучению на парах «изображение–текст», переход к динамическому разрешению и сжатию видеотокенов — то, как классическое CV переупаковывается в мультимодальные системы нового поколения. Перейти к материалу

https://habr.com/ru/companies/otus/articles/973180/

#Computer_Vision #CV #Машинное_обучение #Нейросети #компьютерное_зрение #визуальноязыковые_модели #мультимодальность #визуальные_энкодеры #обучение_модели #Vision_Transformer

«Господин Говорунъ: как я обучил маленькую модель разговаривать на дореформенном русском»

Я обучил небольшую языковую модель, которая отвечает на дореформенном русском как человек из XIX века. Рассказываю, как подготовил данные, собрал синтетический корпус, обучил tiny-LLM и опубликовал её в виде чат-бота. Читать далѣе

https://habr.com/ru/articles/971266/

#большая_языковая_модель #искусственный_интеллект #история #обучение_модели #синтетические_данные #finetuning #huggingface

TimeCoder: Быстрое кодирование нечетких временных выражений для RAG-систем и не только

В этой статье хочу рассказать о задаче с которой мы столкнулись и о найденном решении. Надеюсь наш опыт окажется кому-то полезен и натолкнет на решение других подобных задач. Если вкратце, то в рамках нашей работы по созданию RAG-системы нового поколения перед нами встала фундаментальная задача — необходимость точной временной привязки документов, событий и фактов. В естественном языке временные представления крайне разнообразны: от точных дат до нечетких описаний вроде «в начале прошлого года» или «через пару недель». Для эффективного поиска и анализа было необходимо универсальное решение, способное обрабатывать это многообразие и переводить его в форму, пригодную для машинного использования.

https://habr.com/ru/articles/928704/

#время #трансформеры #обучение_модели #rag

[Перевод] Линейная регрессия в ML для самых маленьких

В мире машинного обучения есть много всего интересного, но тем, кто только начинает свой путь в этой области часто бывает многое непонятно. В этой статье мы попробуем разобраться с линейной регрессией. Линейная регрессия — это статистический метод, используемый для моделирования взаимосвязи между зависимой переменной и одной или несколькими независимыми переменными. Проще говоря, он помогает понять, как изменение одного или нескольких предикторов (независимых переменных) влияет на результат (зависимую переменную). Подумайте об этом, как о проведении прямой линии через диаграмму рассеяния точек данных, которая наилучшим образом отражает связь между этими точками.

https://habr.com/ru/companies/otus/articles/919258/

#ml #linear_regression #линейная_регрессия #обучение_модели #scikitlearn #python #data_science

Вайб-кодинг: практика, о которой почему-то не говорят

В феврале мир разработки перевернулся с выходом Sonnet 3.7. Потому что вдруг внезапно оказалось, что джуны уже не очень-то и нужны. И нейросетка нормально заменяет мидлов тоже. Я откидываюсь в кресле, беру наушники и смотрю, как работает LLM. Можно сразу несколько, работающих над разными частями проекта: Пример проекта с прикручиванием аналитики к инфраструктуре: Сначала в GPT 4.5 провёл продуктовые исследования и сформулировал требования. Попросил превратить это в архитектурный план. Отревьюил, поправил тупые ошибки. Затем этот план (как метапромпт) скормил Sonnet в VS Code через плагин Cline. Попросил сначала создать общую структуру, шаблонные имплементации, документацию, спецификации API (protobuf для gRPC, REST API). Архитектурно сразу заложил микросервисы. Sonnet для каждого сервиса подобрал и обосновал оптимальную базу данных (где-то Postgres, где-то ClickHouse и т.д.). Сгенерировал SDK для взаимодействия, примеры использования. Сразу заложил observability: централизованные логи, метрики Prometheus, трейсинг Jaeger/Tempo, дашборды для Grafana. Потом итерационно генерировал код: сначала тесты (End-to-end, BDD), потом имплементацию под эти тесты. Написал манифесты для Kubernetes и Docker Compose для локального запуска. Сгенерировал даже скрипты для тестов REST API через curl и gRPC через gRPCurl. И всё. А теперь практика — что делать с тем, что современные нейросети учились преимущественно на говнокоде и как быть с джунами.

https://habr.com/ru/companies/h3llo_cloud/articles/900612/

#вайбкодинг #LLM #обучение_модели #кодинг #программирование

[Перевод] Теперь ИИ может заменить любого актера в фильме

Свет, камера... алгоритм? Теперь экран перестал быть уделом исключительно актеров из плоти и крови - все благодаря недавним достижениям в области искусственного интеллекта. В наши дни очень легко создать видео, в котором актеры делают или говорят то, чего на самом деле никогда не делали, или взять фрагмент из фильма и заменить лицо актера на другое. В ИИ-генератор видео с открытым исходным кодом Hunyuan от Tencent недавно была интегрирована поддержка технологии Low-Rank Adaptation (LoRA), что означает, что теперь вы можете обучать пользовательские стили, персонажей и движения, делая ваши ИИ-видео по-настоящему уникальными и персонализированными.

https://habr.com/ru/articles/878432/

#генерация_видео #ии #ai #civitai #j #обучение_модели #обучение_моделей

[Перевод] Пошаговое руководство по созданию синтетических данных в Python

Простое руководство для новичков: как самому генерировать данные для анализа и тестирования Представьте: вы только что написали модель машинного обучения и вам нужно протестировать её работу в конкретном сценарии. Или вы собираетесь опубликовать научную статью о пользовательском решении в области Data Science, но имеющиеся датасеты нельзя использовать из-за юридических ограничений. А может быть, в рамках проекта машинного обучения вы занимаетесь отладкой и исправлением ошибок и вам нужны данные, чтобы идентифицировать и устранить проблемы. В этих, да и во многих других ситуациях могут пригодиться синтетические данные. Реальные данные часто недоступны: уже кому-то принадлежат или дорого стоят. Так что умение создавать синтетические данные — важный навык для дата-сайентистов. В этой статье я расскажу, с помощью каких приёмов и методов можно с нуля создать в Python синтетические данные, игрушечные датасеты и фиктивные значения. В некоторых решениях применяются методы из библиотек Python, в других — приёмы, основанные на встроенных функциях Python.

https://habr.com/ru/companies/netologyru/articles/841952/

#Python #синтетические_данные #mlмодель #обучение_модели #генерация_данных #sdv #faker #scipy #scikitlearn #numpy

GPT для генерации кода в реальном применении на производстве

Почти все используют GPT или другие LLM-based-решения для генерации кода. Есть куча проектов, где так же генерируют фронт (код интерфейсов). Собственно, когда у нас появилась дизайн-система со множеством компонентов, стало понятно, что это идеальная документация для обучения модели, ведь она включает в себя описание типов, аргументы, тесты и состояния использования компонентов. В какой-то момент я начал задумываться, почему мы не используем код, который есть в дизайн-системе, чтобы он автоматически генерировался помощником. Достаточно векторизовать эту базу, дальше модель сможет на основе нашей дизайн-системы выдавать готовые решения по текстовому запросу. Многие наши компоненты достаточно сложные. Самый сложный — таблица, потому что у нас много разных типов таблиц для производственных данных. Внезапно выяснилось, что разработчику нужно три дня, чтобы вникнуть в матчасть и написать свою первую таблицу — или же примерно 30 секунд на запрос «сделай мне таблицу для такой-то задачи», чтобы GPT-4 выбрал подходящие параметры и сразу показал, что надо. Либо дал скорректировать запрос, если таблица не подходит.

https://habr.com/ru/companies/nlmk/articles/826754/

#завод #LLM #интерфейсы #производство #обучение_модели #код #дизайнсистема

Большие языковые модели в финтехе: можно ли доверять им данные

Меня зовут Илья Кашлаков, я руковожу департаментом разработки в ЮMoney. Сегодня расскажу о том, какие задачи финтех может доверить большим языковым моделям (LLM) и как мы в компании следим за безопасностью, чтобы не допускать утечку данных. Также вспомним три самых распространённых уязвимости LLM из топа OWASP и почему выводу обученной модели нельзя доверять без факт-чекинга. Статья будет полезна тем, кто планирует работать с LLM и пока не знает, какие в них бывают проблемы и риски.

https://habr.com/ru/companies/yoomoney/articles/810927/

#llm #машинное_обучение #обучение_модели #безопасность_данных #owasp_top10 #copilot