VK публикует датасет коротких видео для рекомендаций

Сейчас в открытом доступе мало крупных датасетов сервисов коротких видео, но это уникальный формат для рекомендательных алгоритмов. В отличие от музыки или длинных видео они не могут потребляться в фоновом режиме, а каждый показанный ролик получает от пользователя реакцию. Даже если он не оставит лайк, досмотр видео до конца или пропуск уже считаются обратной связью. Именно поэтому мы выложили в открытый доступ датасет VK-LSVD . С его помощью инженеры и ученые смогут развивать и совершенствовать рекомендательные алгоритмы. Как работать с VK-LSVD

https://habr.com/ru/companies/vk/articles/970350/

#датасет #короткие_видео #рекомендательные_системы #ролики #обучение_моделей #vklsvd

Как я собрал и подготовил датасет дефектов печатных плат для обучения моделей YOLO

Когда пришло время выбирать тему диплома, я, как и многие студенты, понятия не имел, о чём писать. После мозгового штурма с одногруппниками родилась идея, которая из простого «варианта для защиты» превратилась в полноценный инженерный проект: «исследование и разработка системы автоматического распознавания дефектов печатных плат». Со временем я понял, что выбрал тему не случайно - это реально актуальная задача для производства, где качество пайки напрямую влияет на работоспособность устройств, а ещё отличный шанс пройти весь цикл Computer Vision проекта от сбора данных до обучения моделей. Эта статья краткая выжимка моего опыта: как собрал собственный датасет дефектов печатных плат для обучения моделей, какие инструменты использовал и на что стоит обратить внимание. Статья будет полезна:

https://habr.com/ru/articles/968626/

#yolo #dataset #labeling #PCB #обучение_моделей #разметка_датасета #computer_vision #machine_learning #машинное_обучение #учусь_программировать

[Перевод] Теория мёртвых фреймворков

Команда JavaScript for Devs подготовила перевод статьи Пола Кинлана о том, почему новые веб-фреймворки сегодня оказываются «мёртвыми при рождении». Автор утверждает: сочетание сетевых эффектов, экосистемы React и обучения LLM формирует замкнутый цикл, в котором альтернативы просто не успевают набрать критическую массу.

https://habr.com/ru/articles/967324/

#React #LLM #фреймворки #вебплатформа #экосистема #инструменты #разработчики #тренды #будущее_веба #обучение_моделей

Pov/real: развеиваем мифы об индустрии genAI и делимся непопулярными мнениями экспертов

Привет, Хабр! На связи Just AI, и сегодня мы собрали для вас непопулярные мнения экспертов индустрии на тему genAI. Зачем? Потому что новости о прорывных технологиях, многомиллиардных инвестициях и стартапах появляются почти каждый день – сложно не утонуть в этом потоке и понять, где реальная ценность, а где просто хайп. Критическое мышление – наше все! В нашем телеграм-канале мы устроили челлендж «pov/real» и попросили авторитетных авторов, AI-практиков и техно-энтузиастов развеять некоторые мифы о genAI и поделиться своей точной зрения. Предлагаем задуматься над выводами вместе, а возможно и где-то поспорить!

https://habr.com/ru/companies/just_ai/articles/958916/

#llm #llmмодели #gpu #finetuning #бенчмарки #стартапы #нейросети #искусственный_интеллект #файнтюнинг #обучение_моделей

Нажал кнопку – художник? Как нейросети меняют законы об авторском праве

В 2022 году случился «нейросетевой бум» – генеративные модели вроде Midjourney вышли из лабораторий и стали доступны широкому кругу людей. Уже несколько лет нейросети являются одной из самых популярных тем для обсуждения в арт-сообществе, вызывая волну споров, страхов и мифов. В этой статье я хочу разобраться во всем этом и разложить по полочкам – отделить мифы от реальности, обсудить популярные аргументы сторонников ИИ, например, сравнение с фотографией, обсудить возможность охраны промпта авторским правом, а также проанализировать ситуацию с обучением моделей и «добросовестным использованием». Я старалась углубиться в проблему и разобрать позиции всех сторон, чтобы статья вышла объективной насколько это возможно ^^

https://habr.com/ru/articles/962148/

#нейросети #генерация_изображений #авторское_право #fair_use #ai_art #midjourney #stablediffusion #обучение_моделей #этика_ии #промпты

130+ датасетов для машинного обучения: гид, который сэкономит часы поиска нужных данных

Сколько раз вы начинали новый ML-проект и первым делом отправлялись на поиски подходящих данных? Процесс этот знаком каждому: есть задача, выбрана архитектура модели, но без качественного датасета дальше не продвинуться. Тут и начинается квест по бесконечному поиску «того самого» набора по репозиториям, форумам и каталогам. Хороших датасетов множество, но найти среди тысяч вариантов нужный — отдельная история. Чтобы облегчить вам эту задачу, мы сделали подборку датасетов, которые активно используются ML-инженерами: от классических наборов данных, известных каждому, до новичков в информационном поле.

https://habr.com/ru/companies/magnus-tech/articles/954130/

#машинное_обучение #датасеты #наборы_данных #подборка_датасетов_для_ML #где_искать_датасет #обучение_моделей #компьютерное_зрение #обработка_естественного_языка #MLрепозитории #распознавание_речи

Если нужно сгенерировать синтетические данные — подборка открытых решений

Про снижение расходов на работу с данными

https://habr.com/ru/companies/mws/articles/932066/

#датасет #датасеты_обучения #ml #обучение_моделей #данные #синтетические_данные #LLM #MWS

Что такое NER, зачем он нужен и когда не поможет

Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения сущностей из текста. Для джунов это возможность пройти весь путь — от разметки данных до обучения собственной кастомной NER-модели, попутно понять типичные сложности и ограничения. Привет, меня зовут Александр Агеев, на протяжении года я занимался NER-моделями для определения сущностей на этикетках продуктов питания. Несмотря на мою любовь к NER, у этой технологии есть свои границы — кейсы, которые она не может решить хорошо, поэтому надо подключать другие инструменты. В статье я дам критерии применимости NER для решения практических задач.

https://habr.com/ru/articles/921698/

#нейросети_python #named_entity_recognition #ner #natural_language_processing #nlp #spacy #примеры_кода #обучение_моделей

Как я подчинил нейросети: личный опыт, принципы и рабочие техники

Практика внедрения нейросетей в маркетинг: от обучения моделей и настройки промтов до автоматизации email-рассылок, прогнозов спроса и A/B-тестов. Кейс-опыт, инструменты, контроль качества и принципы устойчивой интеграции ИИ.

https://habr.com/ru/articles/920190/

#нейросети #автоматизация #бизнесаналитика #emailмаркетинг #прогнозирование_спроса #обучение_моделей #ии

Как я обучал LoRA на стиле South Park для Flux: сбор кадров через MPV, особенности FluxGym и эксперименты с рангами

Генеративные нейросети уже изменили мир цифрового искусства, но настоящая магия начинается, когда ты сам берешь их под контроль. Сегодня расскажу о своем эксперименте по обучению LoRA на стиле South Park — от сбора датасета до финальной модели. Поделюсь реальным опытом, техническими нюансами и самое главное — что конкретно сработало, а что оказалось пустой тратой времени. Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me , техноблогер и нейро-евангелист. Идея обучить LoRA на стиле мультсериала пришла ко мне случайно. На глаза попался новый анимационный сериал "Ваш дружелюбный сосед Человек-паук", и я подумал: "Было бы классно обучить LoRA именно на этом стиле!" Я уже обучал LoRA на отдельных персонажах и простых стилях, но на таких сложных и комплексных особо ещё не тренировал. Но стиль человека-паука показался мне слишком сложным для первого эксперимента такого рода. Решил сначала потренироваться на чем-то попроще. И тут удачно подвернулась спешл-серия South Park! Стиль South Park простой, узнаваемый, многие его любят (включая меня). На Civitai уже была одна LoRA South Park, так что я подумал — если смог кто-то другой, то и я смогу! Спойлер: всё оказалось гораздо сложнее, чем я думал. Но обо всём по порядку.

https://habr.com/ru/companies/timeweb/articles/902902/

#lora #flux #FluxGym #обучение_моделей #тренировка_LoRa #Копирование_стиля #stablediffusion #ии_и_машинное_обучение #timeweb_статьи