Логистическая и Softmax-регрессии. Теоретические основы и реализация с нуля на Python

Начнём с более простого. Логистическая регрессия — линейный бинарный классификатор, основанный на применении сигмоидальной функции к линейной комбинации признаков, результатом которого является вероятность принадлежности к определённому классу. Обычно порог устанавливается 0.5: если вероятность меньше порога — класс относится к 0, а если больше — к 1. В принципе, условия определения логистической регрессии такие же как и у линейной за исключением бинаризации таргета.

https://habr.com/ru/articles/803397/

#логистическая_регрессия #logistic_regression #softmax #линейная_классификация #принцип_работы #реализация_с_нуля #python #data_science #машинное_обучение

Линейный дискриминантный анализ (LDA). Принцип работы и реализация с нуля на Python

Линейный дискриминантный анализ (Linear Discriminant Analysis или LDA) — алгоритм классификации и понижения размерности, позволяющий производить разделение классов наилучшим образом. Основная идея LDA заключается в предположении о многомерном нормальном распределении признаков внутри классов и поиске их линейного преобразования, которое максимизирует межклассовую дисперсию и минимизирует внутриклассовую. Другими словами, объекты разных классов должны иметь нормальное распределение и располагаться как можно дальше друг от друга, а одного класса — как можно ближе.

https://habr.com/ru/articles/802511/

#дискриминант #lda #линейный_классификатор #принцип_работы #реализация_с_нуля #python #data_science #машинное_обучение

Наивный байесовский классификатор. Основная идея, модификации и реализация с нуля на Python

Наивный байесовский классификатор (Naive Bayes classifier) — вероятностный классификатор на основе формулы Байеса со строгим (наивным) предположением о независимости признаков между собой при заданном классе, что сильно упрощает задачу классификации из-за оценки одномерных вероятностных плотностей вместо одной многомерной. Помимо теории и реализации с нуля на Python, в данной статье также будет приведён небольшой пример использования наивного Байеса в контексте фильтрации спама со всеми подробными расчётами вручную.

https://habr.com/ru/articles/802435/

#наивный_байесовский_классификатор #naive_bayes #принцип_работы #реализация_с_нуля #python #data_science #машинное_обучение #байес #bayes

Метод опорных векторов (SVM). Подходы, принцип работы и реализация с нуля на Python

Метод опорных векторов (Support Vector Machine или просто SVM) — мощный и универсальный набор алгоритмов для работы с данными любой формы, применяемый не только для задач классификации и регрессии, но и также для выявления аномалий. В данной статье будут рассмотрены основные подходы к созданию SVM, принцип работы, а также реализации с нуля его наиболее популярных разновидностей.

https://habr.com/ru/articles/802185/

#метод_опорных_векторов #support_vector_machine #svm #алгоритмы_машинного_обучения #реализация_с_нуля #python #data_science #машинное_обучение #принцип_работы

Алгоритмы AdaBoost (SAMME & R2). Принцип работы и реализация с нуля на Python

Следующим мощным алгоритмом машинного обучения является AdaBoost (adaptive boosting), в основе которого лежит концепция бустинга, когда слабые базовые модели последовательно объединяются в одну сильную, исправляя ошибки предшественников. В AdaBoost в качестве базовой модели используется пень решений (могут использоваться другие модели) — дерево с небольшой глубиной, которому присваивается вектор весов размера N, каждое значение которого соответствует определённому значению y_train и изначально равно 1 / N, где N — количество образцов в обучающей выборке. Каждый следующий пень обучается с учётом весов, рассчитанных на основе ошибок предыдущего прогноза. Также для каждого обученного пня отдельно рассчитывается вес, используемый для оценки важности итоговых прогнозов.

https://habr.com/ru/articles/800499/

#adaboost #реализация_с_нуля #алгоритмы_машинного_обучения #python #принцип_работы #data_science #машинное_обучение