How do you score a model's confidence when perfect calibration can be gamed by guessing the base rate? EURO scores confidence by the payoff of trusting or abstaining across risk levels, and ACUTE reads the model's activations to decide when to trust an answer. Across six models and three tasks it beats the calibration baselines on this metric while staying well-calibrated, with the biggest gain on tool-calling and none on summarization.

https://benjaminhan.net/posts/20260619-acute-activation-confidence/?utm_source=mastodon&utm_medium=social

#LLMs #Calibration #ICML #AI

The review process of scientific articles is not perfect, but a way to improve is by contributing to it in a diligent manner.

Proud to have an #ICML'26 gold reviewer in our research group #sqIRL
Congrats Benjamin!

#AI #ML #Science #PeerReview #Award
#UAntwerp #IDLab

🚀Exciting news: 2 papers accepted to #ICML (1 Spotlight ~ top 2.2% of papers)

🌟Unsupervised Partner Design Enables Robust Ad-hoc Teamwork (Spotplight)
https://www.collaborative-ai.org/publications/ruhdorfer26_icml/

MEAL: A Benchmark for Continual Multi-Agent Reinforcement Learning
https://www.collaborative-ai.org/publications/tomilin26_icml/

Huge congrats to the authors!

https://blog.icml.cc/2026/03/18/on-violations-of-llm-review-policies/

This is wild. #ICML let reviewers individually choose whether they want to work under a no-LLM policy or light-LLM-use policy. Those who chose the no-LLM policy received watermarked PDFs with hidden instructions to include specific phrases in LLM output. Using this technique, they caught almost 800 reviews that violated the policy *the reviewers had chosen themselves*! And this was just a conservative detection approach which fails if the reviewer slightly paraphrases parts of the LLM output.

This is an interesting policy change regarding author attendance. Much more inclusive, but will authors struggle now to justify their travel expenses? Would be interesting to see how this affects author participation.

From the ICML 2026 CfP https://icml.cc/Conferences/2026/CallForPapers

#icml #conferences

Добро пожаловать в CAMELoT

Большие языковые модели ( LLM ) сталкиваются с трудностями при обработке длинных входных последовательностей из-за высоких затрат памяти и времени выполнения. Модели с расширенной памятью стали многообещающим решением этой проблемы, но текущие методы ограничены объёмом памяти и требуют дорогостоящего повторного обучения для интеграции с новой LLM . В этой статье мы познакомимся с модулем ассоциативной памяти , который может быть связан с любой предварительно обученной LLM без повторного обучения, что позволяет ему обрабатывать произвольно длинные входные последовательности. В отличие от предыдущих методов этот модуль ассоциативной памяти объединяет представления отдельных токенов в непараметрическую модель распределения. Эта модель управляется динамически путём надлежащего балансирования новизны и свежести входящих данных. Извлекая информацию из консолидированной ассоциативной памяти, базовый LLM на стандартных тестах достигает лучших результатов. Эта архитектура называется CAMELoT ( Consolidated Associationive Memory Enhanced Long Transformer ). Она демонстрирует превосходную производительность даже при крошечном контекстном окне в 128 токенов, а также обеспечивает улучшенное контекстное обучение с гораздо большим набором демонстраций.

https://habr.com/ru/companies/first/articles/869632/

#CAMELoT #Машинное_обучение #ICML