TAPe‑дневник, день 7: первый уход от трансформеров и “почти бесплатная” сегментация

В этом посте продолжаем дневник TAPe‑детекции и рассказываем, что получилось после отказа от трансформеров: насколько сократилось число параметров, как работают локальные ассоциации TAPe‑патчей и почему на лице человека у нас начинает “сам по себе” появляться зачаток сегментации. В итоге мы можем в некотором роде классифицировать понятие “кожа”. Да, напрямую мы этого не делаем, но из обучения так выходит, потому что одежда – это натуральная граница внутри самого объекта “человек”, и эти сегменты мы находим, потому что полагаемся на самые контрастные патчи, чтобы собрать из них общее описание всего объекта... Читать про кожу

https://habr.com/ru/articles/1016036/

#машинное_обучение #синтетические_данные #tape+ml #attention #трансформеры #эмбеддинги #selfsupervised #COCO #сегментация #детекция_объектов

Short actors, long athletes

#performance #live #attention

Original timestamp: 00:20:10

fly51fly (@fly51fly)

Xidian University 연구진이 Feature Sparsity를 활용해 Attention 연산을 확장하는 방법을 발표했다. 어텐션 비용을 줄이면서 대규모 모델의 효율성을 높이려는 연구로, 고성능 LLM 최적화와 관련해 주목할 만하다.

https://x.com/fly51fly/status/2036921995791831491

#attention #sparsity #llm #optimization #research

TAPe‑дневник, день 6: синтетика, эмбеддинги и первый уход от трансформеров

В этой статье продолжаем онлайн‑дневник экспериментов с TAPe‑подходом к компьютерному зрению на COCO. Здесь – про обучение эмбеддингов на полностью синтетических TAPe‑данных, 74% точности классификации на 5k val‑изображениях и первые выводы о том, почему стандартные трансформеры нам не подходят. Долой трансформеры

https://habr.com/ru/articles/1015514/

#машинное_обучение #трансформеры #детекция #эмбеддинги #синтетические_данные #классификация_изображений #компьютерное_зрение #selfsupervised #attention #tape+ml