ECCV 2024: как это было. Актуальные статьи и главные тренды
Привет! Меня зовут Александр Устюжанин, и я разработчик в команде YandexART . Недавно я побывал в Милане на одной из крупнейших международных конференций по компьютерному зрению — ECCV (European Conference on Computer Vision). В этом году она проходила уже в 18-й раз, и от Яндекса я приехал не один, а в составе целой делегации специалистов по CV из разных команд. Ребята помогли собрать материалы для этой статьи, и по ходу повествования я всех обязательно представлю. Конференция проходила с 29 сентября по 4 октября. Исследователи подали на ECCV 8585 (!) статей, а прошли отбор 2395 — получается, чуть меньше 30%. Такие масштабные конференции всегда привлекают внимание людей как из академии, так и из индустрии: от больших компаний до стартапов — люди приезжают за новой информацией, нетворкингом и атмосферой большой научной тусовки. Программа была насыщенной, но при этом комфортной — начинали в 9 утра, заканчивали в 18 — оставалось достаточно времени на активности вне расписания. Конечно, невозможно ознакомиться с тысячами докладов, поэтому мы сверялись с расписанием и заранее решали, кто куда хочет сходить. В статье я поделюсь как своими находками, так и отзывами коллег — благодаря этому, как кажется, обзор получился разнообразным и даёт неплохое представление о том, что происходит в мире CV прямо сейчас. Поехали!
https://habr.com/ru/companies/yandex/articles/854982/
#яндекс #machine_learning #computer_vision #конференция #eccv #компьютерное_зрение #работа_с_изображениями #работа_с_видео
We are organizing a workshop on Uncertainty Quantification for Computer Vision at #eccv this year!
Official Implementation of OCR-free Document Understanding Transformer (Donut) and Synthetic Document Generator (SynthDoG), ECCV 2022 - clovaai/donut
Hello Mastodon!
I'm Cemre, I'm 24 years old. I work as a software engineer at Amazon. I live in West London.
Academically I am interested in #MachineLearning and I recently published a paper at #ECCV with my colleagues
.
In my free time I'm usually either studying languages, studying #linguistics, or working on hobby dev projects apps for fun or for facilitating language-learning
I really like reading about indie game projects, retro tech, new technological trends
My colleagues were just presenting our recent work at #ECCV: "Making the Most of Text Semantics to Improve Biomedical Vision--Language Processing" https://arxiv.org/abs/2204.09817
tl;dr improving vision-language pretraining on paired radiology images + reports
Alongside the paper we released stuff:
- Pretrained CXR language models (https://huggingface.co/models?arxiv=arxiv:2204.09817)
- A phrase grounding dataset "MS-CXR" (https://physionet.org/content/ms-cxr/0.1/)
- Toolkit for multimodal learning on health data (https://hi-ml.readthedocs.io/en/latest/multimodal.html)
Multi-modal data abounds in biomedicine, such as radiology images and reports. Interpreting this data at scale is essential for improving clinical care and accelerating clinical research. Biomedical text with its complex semantics poses additional challenges in vision--language modelling compared to the general domain, and previous work has used insufficiently adapted models that lack domain-specific language understanding. In this paper, we show that principled textual semantic modelling can substantially improve contrastive learning in self-supervised vision--language processing. We release a language model that achieves state-of-the-art results in radiology natural language inference through its improved vocabulary and novel language pretraining objective leveraging semantics and discourse characteristics in radiology reports. Further, we propose a self-supervised joint vision--language approach with a focus on better text modelling. It establishes new state of the art results on a wide range of publicly available benchmarks, in part by leveraging our new domain-specific language model. We release a new dataset with locally-aligned phrase grounding annotations by radiologists to facilitate the study of complex semantic modelling in biomedical vision--language processing. A broad evaluation, including on this new dataset, shows that our contrastive learning approach, aided by textual-semantic modelling, outperforms prior methods in segmentation tasks, despite only using a global-alignment objective.