ECCV 2024: как это было. Актуальные статьи и главные тренды

Привет! Меня зовут Александр Устюжанин, и я разработчик в команде YandexART . Недавно я побывал в Милане на одной из крупнейших международных конференций по компьютерному зрению — ECCV (European Conference on Computer Vision). В этом году она проходила уже в 18-й раз, и от Яндекса я приехал не один, а в составе целой делегации специалистов по CV из разных команд. Ребята помогли собрать материалы для этой статьи, и по ходу повествования я всех обязательно представлю. Конференция проходила с 29 сентября по 4 октября. Исследователи подали на ECCV 8585 (!) статей, а прошли отбор 2395 — получается, чуть меньше 30%. Такие масштабные конференции всегда привлекают внимание людей как из академии, так и из индустрии: от больших компаний до стартапов — люди приезжают за новой информацией, нетворкингом и атмосферой большой научной тусовки. Программа была насыщенной, но при этом комфортной — начинали в 9 утра, заканчивали в 18 — оставалось достаточно времени на активности вне расписания. Конечно, невозможно ознакомиться с тысячами докладов, поэтому мы сверялись с расписанием и заранее решали, кто куда хочет сходить. В статье я поделюсь как своими находками, так и отзывами коллег — благодаря этому, как кажется, обзор получился разнообразным и даёт неплохое представление о том, что происходит в мире CV прямо сейчас. Поехали!

https://habr.com/ru/companies/yandex/articles/854982/

#яндекс #machine_learning #computer_vision #конференция #eccv #компьютерное_зрение #работа_с_изображениями #работа_с_видео

ECCV 2024: как это было. Актуальные статьи и главные тренды

Привет! Меня зовут Александр Устюжанин, и я разработчик в команде YandexART . Недавно я побывал в Милане на одной из крупнейших международных конференций по компьютерному...

Хабр

We are organizing a workshop on Uncertainty Quantification for Computer Vision at #eccv this year!

Details: https://uncertainty-cv.github.io/2024/

#computervision #reliableai #deeplearning #CV #AI #ML

UNCV Workshop @ ECCV 2024

ECCV 2024 Workshop on Uncertainty Quantification for Computer Vision.

Another year, another #BIC Workshop!
This year at #ECCV 2024 in Milan, 🇮🇹.

Check it out here: bioimagecomputing.com
Submission Deadline: July 19th 

Get your computational work out, we are looking forward to meet you in October!
🍕 🍷 👩‍🎓 👨‍🎓 ☀️

🌘 Donut:OCR-free文件理解Transformer的官方實現和合成文件生成器
➤ 這是一個新的文件理解方法,利用OCR-free端到端Transformer模型。它不需要現成的OCR引擎/API,但在各種視覺文件理解任務上表現出最先進的性能。
https://github.com/clovaai/donut
Donut是一個新的文件理解方法,利用OCR-free端到端Transformer模型。它不需要現成的OCR引擎/API,但在各種視覺文件理解任務上表現出最先進的性能。此外,我們還提供了SynthDoG,一個合成文件生成器,有助於模型預訓練在各種語言和領域上更具靈活性。
+ 這個Donut模型真的很厲害,不需要OCR引擎/API就能達到最先進的性能,這對於文件理解領域來說是一個重大的突破。
+ SynthDoG這個合成文件生成器也非常有用,可以幫助模型在各種語言和領域上更具靈活性,這對於實際應用來說非常重要。
#文件理解 #Transformer模型 #合成文件生成器 #OCR-free #ECCV 2022
GitHub - clovaai/donut: Official Implementation of OCR-free Document Understanding Transformer (Donut) and Synthetic Document Generator (SynthDoG), ECCV 2022

Official Implementation of OCR-free Document Understanding Transformer (Donut) and Synthetic Document Generator (SynthDoG), ECCV 2022 - clovaai/donut

GitHub

Hello Mastodon!

I'm Cemre, I'm 24 years old. I work as a software engineer at Amazon. I live in West London.

Academically I am interested in #MachineLearning and I recently published a paper at #ECCV with my colleagues .

In my free time I'm usually either studying languages, studying #linguistics, or working on hobby dev projects apps for fun or for facilitating language-learning

I really like reading about indie game projects, retro tech, new technological trends

#introduction

My colleagues were just presenting our recent work at #ECCV: "Making the Most of Text Semantics to Improve Biomedical Vision--Language Processing" https://arxiv.org/abs/2204.09817

tl;dr improving vision-language pretraining on paired radiology images + reports

Alongside the paper we released stuff:

- Pretrained CXR language models (https://huggingface.co/models?arxiv=arxiv:2204.09817)
- A phrase grounding dataset "MS-CXR" (https://physionet.org/content/ms-cxr/0.1/)
- Toolkit for multimodal learning on health data (https://hi-ml.readthedocs.io/en/latest/multimodal.html)

Making the Most of Text Semantics to Improve Biomedical Vision--Language Processing

Multi-modal data abounds in biomedicine, such as radiology images and reports. Interpreting this data at scale is essential for improving clinical care and accelerating clinical research. Biomedical text with its complex semantics poses additional challenges in vision--language modelling compared to the general domain, and previous work has used insufficiently adapted models that lack domain-specific language understanding. In this paper, we show that principled textual semantic modelling can substantially improve contrastive learning in self-supervised vision--language processing. We release a language model that achieves state-of-the-art results in radiology natural language inference through its improved vocabulary and novel language pretraining objective leveraging semantics and discourse characteristics in radiology reports. Further, we propose a self-supervised joint vision--language approach with a focus on better text modelling. It establishes new state of the art results on a wide range of publicly available benchmarks, in part by leveraging our new domain-specific language model. We release a new dataset with locally-aligned phrase grounding annotations by radiologists to facilitate the study of complex semantic modelling in biomedical vision--language processing. A broad evaluation, including on this new dataset, shows that our contrastive learning approach, aided by textual-semantic modelling, outperforms prior methods in segmentation tasks, despite only using a global-alignment objective.

arXiv.org