[Перевод] Линейная регрессия в ML для самых маленьких

В мире машинного обучения есть много всего интересного, но тем, кто только начинает свой путь в этой области часто бывает многое непонятно. В этой статье мы попробуем разобраться с линейной регрессией. Линейная регрессия — это статистический метод, используемый для моделирования взаимосвязи между зависимой переменной и одной или несколькими независимыми переменными. Проще говоря, он помогает понять, как изменение одного или нескольких предикторов (независимых переменных) влияет на результат (зависимую переменную). Подумайте об этом, как о проведении прямой линии через диаграмму рассеяния точек данных, которая наилучшим образом отражает связь между этими точками.

https://habr.com/ru/companies/otus/articles/919258/

#ml #linear_regression #линейная_регрессия #обучение_модели #scikitlearn #python #data_science

Фундаментальные вопросы по ML/DL, часть 1: Вопрос → Краткий ответ → Разбор → Пример кода. Линейки. Байес. Регуляризация

У каждого наступает момент, когда нужно быстро освежить в памяти огромный пласт информации по всему ML. Причины разные - подготовка к собеседованию, начало преподавания или просто найти вдохновение. Времени мало, объема много, цели амбициозные - нужно научиться легко и быстро объяснять , но так же не лишая полноты! Обращу внимание, самый действенный способ разобраться и запомнить - это своими руками поисследовать задачу ! Это самое важное, оно происходит в секции с кодом. Будет здорово получить ваши задачи и в следующих выпусках разобрать! Взглянуть на старое под новым углом

https://habr.com/ru/articles/918438/

#machine_learning #data_science #python #scikitlearn #mlинтервью #svm #naive_bayes #регуляризация #линейная_регрессия #алгоритмы

[Перевод] Как прямая помогает обучать машины

В контексте компьютеров, обучение — это всего лишь превращение плохих догадок в более качественные. В этом посте мы увидим, что всё начинается с прямой линии: линейная регрессия даёт первую догадку, а градиентный спуск продолжает её улучшать. Давайте начнём с чего-то близкого нам: цен на недвижимость. Большие дома стоят больше, маленькие — меньше. Подобный паттерн можно заметить даже без анализа: чем больше места, тем дороже. Если создать график цен, то его форма будет очевидной: идущая вверх нечёткая кривая с долей шума, но вполне определённым трендом. Взаимное движение цены и размера как будто предсказуемо. Однако оно не ограничено фиксированными шагами или категориями, их масштаб скользит. Дом может стоить 180 тысяч, 305 тысяч или иметь какую-то промежуточную цену. Теперь представьте, что вы продаёте свой дом. Его площадь 1850 квадратных футов (~172 квадратных метра) — больше среднего, но явно не особняк. Вы видели, почём продаются дома в вашем районе, но цены колеблются. Какой будет справедливая цена?

https://habr.com/ru/articles/915948/

#линейная_регрессия #градиентный_спуск #стохастический_градиентный_спуск #глубокое_обучение

Ошибайся смело: жизненные уроки из мира machine learning

Всем привет, меня зовут Максим Шаланкин, Data Science Team Lead в команде Финтеха Big Data МТС. На ошибках учатся, и это не просто слова. Идея данного поста возникла из моих ежедневных наблюдений: многие люди вокруг остро реагируют на свои ошибки и теряют мотивацию из-за неудач. Я хочу показать, что промахиваться — нормально и даже полезно для будущего профессионального роста. А сделаю я это на примере machine learning — сферы, в которой у меня широкая экспертиза. Между обучением человека и алгоритма ML больше общего, чем может показаться на первый взгляд. В этом тексте я проведу параллели и сравню различные жизненные ситуации и процессы обучения ML-алгоритмов.

https://habr.com/ru/companies/ru_mts/articles/867710/

#machine_learning #машинное_обучение #fail_fast #карьерный_рост #профессиональное_развитие #байесовская_оптимизация #Generative_Adversarial_Networks #линейная_регрессия #градиентный_спуск #градиентный_бустинг

Diff-in-diff: жизнь за пределами идеального эксперимента

Привет, Хабр! На связи команда ad-hoc аналитики X5 Tech. Основная задача аналитика при проведении А/Б тестирования - оценка эффекта воздействия (тритмента). В этой статье мы обсудим, что такое идеальный эксперимент и почему он позволяет корректно оценить эффект от воздействия. Затем расскажем, когда идеальный эксперимент невозможен и дадим интуитивное обоснование того, как метод difference-in-difference помогает справиться с оценкой эффекта воздействия в таких ситуациях. В конце мы обсудим формальные предпосылки метода и покажем на примере симуляций последствия их невыполнения.

https://habr.com/ru/companies/X5Tech/articles/867734/

#статистика #эконометрика #causal_inference #differenceindifference #diffindiff #абтесты #эксперимент #линейная_регрессия #абтестирование #treatment

Машинное обучение: Линейная регрессия. Теория и реализация. С нуля. На чистом Python

В этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать. Я рассказываю все в своем стиле и понимании - с инженерной точки зрения, с точки зрения того, как реализовывать с нуля.

https://habr.com/ru/articles/863194/

#машинное_обучение #искусственный_интеллект #линейная_регрессия

Предсказываем стоимость логистики грузоперевозок по городам на данных маркетплейсов логистики

Разберем на примере данных одного из маркетплейсов логистики как можно предсказывать стоимость грузоперевозок на основе данных расчетов стоимости груза на одном из крупных маркетплейсов по логистике Казахстана

https://habr.com/ru/articles/860804/

#линейная_регрессия

Как пакет с пакетами помог аналитику решить задачу для бизнеса, или keep calm and import statsmodels

Всем привет! Меня зовут Сабина, я лидер команды исследователей данных во ВкусВилле. Мы помогаем бизнесу принимать решения, ориентируясь в том числе на данные. Сегодня я расскажу об одном таком случае. Статья будет полезна аналитикам, которые хотят перестать беспокоиться и начать использовать линейную регрессию из питоновской библиотеки stasmodels.

https://habr.com/ru/companies/vkusvill/articles/851264/

#data_science #python #statsmodels #linear_regression #линейная_регрессия

[Перевод] Линейная регрессия и её регуляризация в Scikit-learn

Создание модели линейной регрессии относится к задачам обучения с учителем, цель которых — предсказать значение непрерывной зависимой переменной (y) на основе набора признаков (X). Одним из ключевых допущений любой модели линейной регрессии является предположение, что зависимая переменная (y) в некоторой степени линейно зависит от независимых переменных (Xi). Это означает, что мы можем оценить значение y, используя математическое выражение:

https://habr.com/ru/articles/850168/

#python #машинное_обучение #линейная_регрессия #для_начинающих #руководство #туториал #machine_learning #data_science #регуляризация #sklearn

50 оттенков линейной регрессии, или почему всё, что вы знаете об A/B тестах, помещается в одно уравнение

Всем привет! A/B тестирование уже давно стало стандартом в проверке гипотез и улучшении продуктов в X5. Но, как ни странно, многие из «модных» техник, которые применяются в A/B тестировании, на самом деле, не что иное, как вариации старой доброй линейной регрессии. Основная идея здесь проста: правильное добавление новых переменных в модель помогает лучше контролировать внешние факторы и уменьшать шум в данных. Это позволяет точнее оценить эффект от воздействия и объединить разные статистические подходы, которые обычно рассматриваются отдельно. Но почему это работает? Почему всё сводится к тому, что добавление переменных помогает объединить, казалось бы, разрозненные техники? Чтобы разобраться в этом, для начала вспомним основы линейной регрессии, после чего перейдём к различным статистическим методам снижения дисперсии и покажем, как они сводятся к линейной регрессии. Затем объединим все техники вместе и на примере покажем, как они работают на практике.

https://habr.com/ru/companies/X5Tech/articles/846298/

#a/bтестирование #cuped #статистика_в_it #линейная_регрессия #стратификация #ttest #data_science #анализ_данных #python #аналитика