TAPe‑дневник, день 8: сегментация по границам, 77% классификации и первые бенчмарки против YOLO

В этом посте продолжаем дневник TAPe‑детекции на COCO: добавляем сегментацию по контрастным патчам на границе объектов, дорабатываем классификацию, избавляемся от learning rate и смотрим, как ведёт себя YOLO на нашем маленьком датасете. А уже завтра покажем базовые и COCO‑бенчмарки, сравнения с YOLO и RF‑DETR по точности (mAP50/mAP50‑95), скорости, числу параметров и требованиям к данным, а заодно чуть подробнее поговорим про аннотацию и то, почему нам хватает десятков изображений на класс там, где другим нужны сотни тысяч. Вникнуть

https://habr.com/ru/articles/1021546/

#tape+ml #компьютерное_зрение #детекция_объектов #сегментация_изображений #COCO #selfsupervised #yolo #detr #learning_rate #embeddings

TAPe‑дневник, день 8: сегментация по границам, 77% классификации и первые бенчмарки против YOLO

В этом посте продолжаем дневник TAPe‑детекции на COCO: добавляем сегментацию по контрастным патчам на границе объектов, дорабатываем классификацию, избавляемся от learning rate и смотрим, как ведёт...

Хабр

TAPe‑дневник, день 7: первый уход от трансформеров и “почти бесплатная” сегментация

В этом посте продолжаем дневник TAPe‑детекции и рассказываем, что получилось после отказа от трансформеров: насколько сократилось число параметров, как работают локальные ассоциации TAPe‑патчей и почему на лице человека у нас начинает “сам по себе” появляться зачаток сегментации. В итоге мы можем в некотором роде классифицировать понятие “кожа”. Да, напрямую мы этого не делаем, но из обучения так выходит, потому что одежда – это натуральная граница внутри самого объекта “человек”, и эти сегменты мы находим, потому что полагаемся на самые контрастные патчи, чтобы собрать из них общее описание всего объекта... Читать про кожу

https://habr.com/ru/articles/1016036/

#машинное_обучение #синтетические_данные #tape+ml #attention #трансформеры #эмбеддинги #selfsupervised #COCO #сегментация #детекция_объектов

TAPe‑дневник, день 7: первый уход от трансформеров и “почти бесплатная” сегментация

В этом посте продолжаем дневник TAPe‑детекции и рассказываем, что получилось после отказа от трансформеров: насколько сократилось число параметров, как работают локальные ассоциации TAPe‑патчей и...

Хабр

TAPe‑дневник, день 6: синтетика, эмбеддинги и первый уход от трансформеров

В этой статье продолжаем онлайн‑дневник экспериментов с TAPe‑подходом к компьютерному зрению на COCO. Здесь – про обучение эмбеддингов на полностью синтетических TAPe‑данных, 74% точности классификации на 5k val‑изображениях и первые выводы о том, почему стандартные трансформеры нам не подходят. Долой трансформеры

https://habr.com/ru/articles/1015514/

#машинное_обучение #трансформеры #детекция #эмбеддинги #синтетические_данные #классификация_изображений #компьютерное_зрение #selfsupervised #attention #tape+ml

TAPe‑дневник, день 6: синтетика, эмбеддинги и первый уход от трансформеров

В этой статье продолжаем онлайн‑дневник экспериментов с TAPe‑подходом к компьютерному зрению на COCO. Здесь – про обучение эмбеддингов на полностью синтетических TAPe‑данных, 74% точности...

Хабр

TAPe-дневник, день 5: 98% на 2% COCO, меньше “фона” и первые боксы

В этой статье продолжаем онлайн‑дневник экспериментов с TAPe‑подходом к компьютерному зрению на COCO. Кратко: подняли точность до ~98% на двухпроцентной выборке, уменьшили количество ложных срабатываний и начали переход от поиска центроидов к детекции прямоугольников вокруг объектов. Скорее узреть

https://habr.com/ru/articles/1014966/

#компьютерное_зрение #COCO #эмбеддинги #TAPe+ML #selfsupervised #attention #ложные_срабатывания #кластеризация #машинное_обучение #нейросети

TAPe-дневник, день 5: 98% на 2% COCO, меньше “фона” и первые боксы

В этой статье продолжаем онлайн‑дневник экспериментов с TAPe‑подходом к компьютерному зрению на COCO. Кратко: подняли точность до ~98% на двухпроцентной выборке, уменьшили количество ложных...

Хабр

Hila Chefer (@hila_chefer)

bfl_ml의 새로운 연구 'Self-Flow'는 이미지·오디오·비디오·월드 모델을 아우르는 자기지도 프레임워크입니다. 저자들은 생성 모델이 강한 표현 학습을 위해 DINO 같은 별도 기법을 반드시 필요로 하지 않다고 보고, 생성 모델을 공동 프레임워크로 직접 가르치는 접근을 제안합니다.

https://x.com/hila_chefer/status/2029212708797661327

#selfflow #selfsupervised #multimodal #generativemodels #bfl

Hila Chefer (@hila_chefer) on X

New research from @bfl_ml 🥳 Meet Self-Flow: our self-supervised framework for image, audio, video & world models 🤖 https://t.co/AshY8IkSEe Do generative models really need DINO to learn strong representations? We propose teaching them directly via a joint framework instead 🧵

X (formerly Twitter)
Cập nhật JEPA của LeCun: chuyển từ mô hình định determinist sang probabilistic. Giới thiệu Variational JEPA (VJEPA) học phân phối dự đoán latent, kết hợp PSR và lọc Bayesian, tránh collapse và hỗ trợ điều khiển tối ưu không cần tái tạo pixel. Bayesian JEPA (BJEPA) tách belief thành expert dynamics + prior, cho zero‑shot transfer và tuân ràng buộc. Thử nghiệm môi trường nhiễu chứng minh lọc nhiễu hiệu quả và ước lượng không chắc chắn. #MachineLearning #AI #SelfSupervised #Uncertainty #JEPA #VJEPA

Как заставить модель учиться, если мы сами ничего не знаем: введение в self-supervised обучение

Разбираем 3 метода self-supervised обучения, которые помогут превратить хаотичные представления данных в структурированные.

https://habr.com/ru/articles/983768/

#selfsupervised #tripletloss #selfprediction #ntxent

Как заставить модель учиться, если мы сами ничего не знаем: введение в self-supervised обучение

Всем привет, я бы хотел вам кое‑что рассказать. Когда я однажды наткнулся на тему, связанную с self‑supervised learning, меня удивила мысль о том, что для обучения...

Хабр

Универсальные модели в видеоаналитике: единый фундамент для множества задач

Привет! С вами Кирилл Тузов, Data Scientist в команде видеоаналитики бэк-офиса Wildberries & Russ. Камеры видят всё. Вопрос в том, распознают ли наши алгоритмы, что именно они видят, — и насколько быстро, надёжно и без тонны ручной работы это происходит. В этой статье я расскажу, как мы используем Self-Supervised, Zero-Shot и мультимодальные модели, чтобы приблизиться к максимально возможной эффективности.

https://habr.com/ru/companies/wildberries/articles/940530/

#видеоаналитика #selfsupervised #llm #computer_vision

Универсальные модели в видеоаналитике: единый фундамент для множества задач

Привет! С вами Кирилл Тузов, Data Scientist в команде видеоаналитики бэк-офиса Wildberries & Russ. Камеры видят всё. Вопрос в том, распознают ли наши алгоритмы, что именно они видят, — и насколько...

Хабр

Как обучают ИИ: без формул, но с котами

В этой статье — без воды, трюизмов, академизмов и формул — разберёмся, в чём принципиальное отличие машинного обучения (ML) от до-ИИ программирования, а затем генеративного ИИ от классических моделей машинного обучения (ML). Поговорим о типах генеративных моделей, их архитектуре и областях применения. Заодно затронем важный вопрос: где проходит граница между классическим программированием и вероятностным творчеством, на котором построены современные нейросети. Статья ориентирована прежде всего на тех, кто делает первые шаги в ИИ, но если ты начинающий ML-инженер, архитектор ИИ-приложений, основатель стартапа или просто хочешь разобраться, что на самом деле происходит под капотом у ChatGPT и Midjourney — ты, скорее всего, найдёшь здесь для себя что-то полезное.

https://habr.com/ru/articles/919296/

#машинное+обучение #искусственный_интеллект #generative_models #generative_art #ml #научпоп #обучение_нейронных_сетей #генеративные_модели #парадигмы #selfsupervised

Как обучают ИИ: без формул, но с котами

Четыре кота, на которых стоит ML Что такое машинное обучение и как оно вообще «учится»? Чем это отличается от обычного программирования с if, for и «всё работает, пока...

Хабр

📢 What if AI models could teach themselves — no labels, no limits?
Meet the 5 foundation models rewriting the rules of machine learning in 2025. From DINO v2 to AZR, these systems learn by reconstructing, contrasting, and evolving — just like humans.

📊 Zero supervision. 90%+ accuracy. Real-world impact.
🧠 This article is a must-read for data scientists, tech leaders, and AI enthusiasts.

🔗 Read now:
https://medium.com/@rogt.x1997/top-5-foundation-models-that-learn-without-labels-and-beat-supervised-ai-8669ccb5cb0f

#AI #FoundationModels #SelfSupervised #MachineL
https://medium.com/@rogt.x1997/top-5-foundation-models-that-learn-without-labels-and-beat-supervised-ai-8669ccb5cb0f

Top 5 Foundation Models That Learn Without Labels — And Beat Supervised AI

The machines have learned to teach themselves — and it’s changing the future of artificial intelligence. Imagine an AI system learning to recognize faces by playing a complex game of hide-and-seek…

Medium