Геометрия ландшафта потерь и «понимание» нейросети

Когда нейросеть обучается, ее функция потерь образует сложный ландшафт в пространстве параметров – с вершинами (области высокой ошибки) и долинами (области низкой ошибки). Свойства этого ландшафта – его кривизна , форма минимальных долин, спектр матрицы Гессе и пр. – могут многое рассказать о том, насколько модель усвоила закономерности данных . Идея состоит в том, что не все минимумы одинаковы: одни могут быть «плоскими» (широкими и неглубокими), другие «острыми» (узкими и крутыми). Считается, что геометрия такого минимума связана с тем, как хорошо модель обобщает знания за пределы обучающих примеров и насколько «осмысленно» (семантически обоснованно) она их усвоила. В данном обзоре мы рассмотрим, как характеристики ландшафта потерь служат индикаторами обобщающей способности , интерпретируемости , адаптивности модели и ее чувствительности к семантике данных, а также какие количественные метрики предложены для измерения этих свойств.

https://habr.com/ru/articles/906374/

#машинное_обучение #нейросети #функция_потерь #Гессиан #ландшафт_ошибки #обобщение #интерпретируемость #flat_minima #PACBayes

Что такое интерпретируемость машинного обучения?

Насколько интерпретируемость важна для машинного обучения? Зачем она вообще нужна? Для чего она в информационной безопасности? Меня эти вопросы начали интересуют уже около полугода, и в фоновом режиме я собирал источники, читал исследования, и искал применимость этого направления для ИБ. Я Борис Захир, автор канала « Борис_ь с ml », где рассказываю про синергию машинного обучения и информационной безопасности. В этой статье я расскажу, что такое интерпретируемость и насколько для ее применения готова документная и нормативная база за рубежом и в России, а также предоставлю вам список ссылок по найденной мною теории и практике за эти полгода по теме XAI (eXplainable AI).

https://habr.com/ru/articles/866628/

#интерпретируемость #объяснимость #xai #ии #ml #иб #кибербезопасность

Temporal Fusion Transformer: улучшение прогнозирования в ритейле с минимальными затратами

Всем привет! Меня зовут Дмитрий Поляков, я работаю аналитиком данных в команде ad-hoc аналитики X5 Tech. В этой статье мы хотели бы рассмотреть задачу прогнозирования, которая является чрезвычайно важной задачей в ритейле. Мы детально рассмотрим основные преимущества и архитектурные особенности модели Temporal Fusion Transformer (TFT), наш подход к использованию этой модели в задаче прогнозирования спроса, и как нам удалось увеличить точность прогнозов в среднем на 7%, затратив при этом минимальные усилия. Также эта статья будет полезна и тем, кто хочет глубже понять принципы работы TFT, изучить её применение в библиотеке Darts и решить задачу прогнозирования для множества многомерных временных рядов.

https://habr.com/ru/companies/X5Tech/articles/869750/

#прогнозирование_временных_рядов #нейронные_сети #Temporal_Fusion_Transformer #darts #deep_learning #интерпретируемость #attention

Phoenix: разбираемся со сбоями ML системы прямо в вашем ноутбуке

Нам до сих пор не до конца понятны некоторые возможности больших языковых моделей. Приложения с большими языковыми моделями должны быть оснащены необходимыми инструментами и оставлять данные о событиях, произошедших в процессе работы. Более того, когда данные собраны, их необходимо оценить на предмет критических ошибок, таких как галлюцинации и токсичность. В статье рассматривается open-source библиотека Phoenix , основная цель которой — помочь специалистам по данным понять и оценить сложные LLM -приложения, чтобы они могли узнать больше о внутренней работе системы.

https://habr.com/ru/articles/779980/

#machine_leraning #llm #observability #mlops #data_science #data_mining #интерпретируемость #наблюдаемость