Mastodawn

[Перевод] HUME — новый метод AB тестирования ИИ моделей в задачах анализа текста

Исследователи Сбера вместе с зарубежными исследователями создали специальный тест HUME, который оценивает, насколько хорошо люди и современные ИИ-модели справляются с анализом текста: классификацией, кластеризацией, поиском похожих текстов, ранжированием. Кратко: Ученые создали тест, чтобы сравнить людей и самые современные ИИ-модели (те, которые переводят слова в числа — эмбеддинги) в заданиях на понимание смысла. И выяснили, что люди пока что умнее в "тонких" вещах, особенно с неродным для ИИ языком. Проблема: Мы часто хвалим ИИ за высокие баллы в бенчмарках (тестах). Но как понять, хорош ли результат 85%? Может, для человека эта задача проще, и он справился бы на 95%? Или, наоборот, задача настолько сложна и запутана, что человек показал бы только 60%? Без "человеческого ориентира" цифры теряют смысл. Авторы создали новый способ оценки ( HUME — Human Evaluation Framework for Text Embeddings), который позволяет напрямую сравнить людей с ИИ-моделями в задачах анализа текста. Результаты и выводы:

https://habr.com/ru/articles/1031020/

#Hume #сбер #результаты

HUME — новый метод AB тестирования ИИ моделей в задачах анализа текста

Уже 3 месяца я нахожусь в процессе разработки корпоративной RAG-системы и параллельно прохожу курсы по LLM. В такой работе я раз за разом наталкиваюсь на отсутствие возможности нормально оценить...

Хабр

Dennis Alexis Valin Dittrich Apr 22

Compassion and Responsibility, the Moral Architecture of the Mind https://3quarksdaily.com/3quarksdaily/2026/04/compassion-and-responsibility-the-moral-architecture-of-the-mind.html
#smith #hume #rawls #economics #selfConsciousness

Compassion and Responsibility, the Moral Architecture of the Mind - 3 Quarks Daily

by Herbert HarrisWhy should we care about each other? Is it disguised self-interest? Is altruism a "selfish gene" that gives the species a survival advantage?

3 Quarks Daily

🇪🇷Götterdämmerung Apr 21

Hume Sold Out
David #Hume, the only man in history who managed to prove that reality is an illusion, causation a habit, the self a fiction... & then politely took it all back lest it disturb the teacups.

In A Treatise of Human Nature, Hume detonates philosophy like a bored god. He strips causality down to mere expectation, dissolves the self into a bundle of perceptions & leaves reason gasping in a corner like a dethroned monarch.

Yahooey Apr 20

“The life of man is of no greater importance to the universe than that of an oyster.” — David Hume, Of Suicide
#DavidHume #QOTD #Quotation #Quote #Life #ImportanceOfLife #Oyster #Hume

https://yahooeysblog.wordpress.com/2026/04/20/quote-of-the-day-5478/

Quote of the Day

“The life of man is of no greater importance to the universe than that of an oyster.” — David Hume, Of Suicide

Yahooey's Blog

earlymusicTO Apr 17

QUEENS OF HEARTS
SatMay 9 at 7:30
HeliconianHallTORONTO
PayWhatYouWish
https://bemusednetwork.com/events/detail/1047
... through kybd music #Bull #Byrd, lute songs #Coprario #Campion, gamba music #Hume, we catch a glimpse through the Princess Elizabeth Stuart.
...in Italy, convents provided musical communities where women could both perform & compose, as heard in the works of #Rusca #Caccini #Casulana #Coppi

JaneFingler soprano
LouiseHung #harpsichord
Jonathan L Stuchbery #lute
FelixDeák bass #viol

Marcio LM Apr 12

Roubei a imagem do "#Philosophy Matters", do #facebook.

Estudantes de #filosofia lêem #Hume e ficam transformados, seu passeio se torna um pesadelo: estudantes de #psicologia tornam a leitura um entretenimento.

Ou ainda: psicólogos em formação não lêem de verdade.

Fiquei curioso é sobre quantos estudantes de filosofia, no Brasil, lêem Hume - e se algum em psicologia o lê.

Yahooey Mar 19

“It is wonderful to observe what airs of superiority fools and knaves, with large possessions, give themselves above men of the greatest merit in poverty.” — David Hume, “Of Impudence and Modesty,” Essays, Moral and Political
#Hume #DavidHume #QOTD #Quotation #Quote #AirsOfSuperiority #FoolsAndKnaves

https://yahooeysblog.wordpress.com/2026/03/19/quote-of-the-day-5459/

Quote of the Day

Yahooey's Blog

Show thread

HoldMyType Mar 15

Who was #JayarāśiBhaṭṭa ?

Jayarāśi's answer would essentially be: no pramāṇa #proof can do this — not just induction, but even perception and testimony are epistemically ungrounded
He attacked vyāpti (the universal #concomitance we discussed) at its root — you can never establish it, period
This makes him far more radical than even #Hume
The interesting tension
#epistemologicalshift #indianphotography
#Tattvopaplavasimha