"Your brain wasn't built to hold this much information | Richard Cytowic", with tips on how to #reclaim your #attention.

https://youtu.be/t0qq9R__XiQ?si=bkplQVKL61lG6GjI

#screens #digital #social #media #addiction #information #overload

TAPe‑дневник, день 7: первый уход от трансформеров и “почти бесплатная” сегментация

В этом посте продолжаем дневник TAPe‑детекции и рассказываем, что получилось после отказа от трансформеров: насколько сократилось число параметров, как работают локальные ассоциации TAPe‑патчей и почему на лице человека у нас начинает “сам по себе” появляться зачаток сегментации. В итоге мы можем в некотором роде классифицировать понятие “кожа”. Да, напрямую мы этого не делаем, но из обучения так выходит, потому что одежда – это натуральная граница внутри самого объекта “человек”, и эти сегменты мы находим, потому что полагаемся на самые контрастные патчи, чтобы собрать из них общее описание всего объекта... Читать про кожу

https://habr.com/ru/articles/1016036/

#машинное_обучение #синтетические_данные #tape+ml #attention #трансформеры #эмбеддинги #selfsupervised #COCO #сегментация #детекция_объектов

Short actors, long athletes

#performance #live #attention

Original timestamp: 00:20:10

fly51fly (@fly51fly)

Xidian University 연구진이 Feature Sparsity를 활용해 Attention 연산을 확장하는 방법을 발표했다. 어텐션 비용을 줄이면서 대규모 모델의 효율성을 높이려는 연구로, 고성능 LLM 최적화와 관련해 주목할 만하다.

https://x.com/fly51fly/status/2036921995791831491

#attention #sparsity #llm #optimization #research