Разнообразие нейронных сетей: Обзор основных задач

В этой статье вы увидите, как нейросети решают совершенно разные задачи. Мы создадим свои собственные нейросети на PyTorch и протестируем их на реальных данных: - Распознавание одежды по черно-белым картинкам - Анализ тональности текста - Классификация растений по их характеристикам

https://habr.com/ru/articles/883186/

#python #data_science #neural_network #искусственный_интеллект #машинное_обучение #pytorch #machine_learning

5 фатальных ошибок при работе с Pandas (и как их избежать)

Pandas — швейцарский нож дата-аналитика. Пара строк, и данные отфильтрованы, сгруппированы и готовы к работе. Но часто бывает так: изящный скрипт, летавший на тестовом датасете, на реальных объемах превращается в тормозящего монстра, который воет кулером и выплевывает MemoryError. Почему так происходит? Главная беда — наши привычки из чистого Python. Циклы for, apply и построчная обработка идут вразрез с архитектурой Pandas, построенной поверх массивов NumPy. В этой статье разберем 5 самых частых (и фатальных) ошибок при работе с DataFrame. Посмотрим, как безобидные решения убивают производительность и память, и научимся переписывать код так, чтобы всё работало быстро, элегантно и «по-пандасовски». Спойлер: циклов не будет.

https://habr.com/ru/articles/1008910/

#python #pandas #анализ_данных #data_science #оптимизация_кода #антипаттерны #векторизация #numpy #memoryerror

Победить дракона: что общего между Data Science и игрой Dungeons & Dragons

Что общего между броском d20 и проверкой гипотезы? Между походом в таверну за информацией и сбором данных от заказчика? Оказывается, довольно много. Хабр, привет! Меня зовут Вячеслав Демин, я больше пяти лет работаю в сфере Data Science. Сейчас я руководитель направления аналитики данных в Сбере и эксперт на курсе

https://habr.com/ru/companies/yandex_praktikum/articles/1007134/

#днд #dungeons_and_dragons #подземелья_и_драконы #data_science #data_scientist #работа_с_данными #дата_сайенс #анализ_данных

Обзор книг для анализа данных

Я аналитик данных и люблю бумажный формат книг (если есть сомнения, сначала пробую электронную версию, но если книга заходит всегда потом беру бумажную). В этой статье честный обзор, без рекламы, тех книг, которые я купила не так давно в бумажном формате.

https://habr.com/ru/articles/1007024/

#анализ_данных #алгоритмы #python #книги_для_аналитика #data_science #data_analysis #обзор_книг #грокаем #грокаем_алгоритмы #аналитика

Как мы научились честно считать эффект промокодов: Causal Inference в онлайн-доставке X5 Digital

Сегодня расскажу о модели, которую мы построили для оценки реального эффекта промокодов. Главные вопросы: кому, какой, и зачем мы выдаем промокод. Спойлер: ответ нас удивил. И именно этот ответ стал главной причиной, по которой эту модель вообще стоило строить. Представьте стандартный отчёт по промокампании: «Пользователи, применившие промокод, потратили на 800 рублей больше среднего». Бизнес доволен, маркетинг рапортует об успехе. Но подождите, а сколько из них потратили бы эти деньги и без промокода? Это не риторический вопрос. Это принципиальная проблема, которая называется selection bias — систематическая ошибка отбора.

https://habr.com/ru/companies/X5Tech/articles/1005410/

#causal_inference #differenceindifference #propensity_score_matching #uplift_modeling #a_b_testing #counterfactual_learning #catboost #machine_learning #data_science #python

«Анализ данных. Как стать профессионалом». Обзор книги

Издательская практика в настоящее время требует оценивать англоязычные книги, а в идеале — отлавливать бестселлеры — задолго до выхода, по первым черновикам. Занятие увлекательное, но порой рискованное. Поэтому в потенциальной переводной книге мы ищем сочетание «широкого контекста» и заключённой внутри него «необходимой новизны». Книга должна быть понятна и интересна широкой аудитории, но не перемалывать в очередной раз широко известные вещи, к тому же разобранные в блогах, а серьёзно облегчать повседневный труд и при этом предлагать ступеньку для роста.

https://habr.com/ru/companies/bhv_publishing/articles/995806/

#data_science #анализ_данных #проектирование_систем #python #книги #развитие_продукта

Как меня опрокинул автоматический скоринг Сбера

Эта статья - не попытка критиковать конкретный банк и не утверждение, что алгоритм ошибся. Я не знаю внутренних правил скоринга, не видел модели и не утверждаю, что решение было неверным. Это разбор частного случая глазами человека, который внезапно оказался в очень неприятной жизненной ситуации в связи с тем, что в ответственный момент классификатор «принял решение» об отказе в ипотеке. В данный момент ситуация продолжает оставаться неясной и я нахожусь в стрессе. В какой-то степени, попытка хоть как-то разобраться в том, какие факторы повлияли на отказ в выдаче ипотеки, хоть как-то снижает уровень стресса.

https://habr.com/ru/articles/1005464/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1005464

#сбер #сбербанк #алгоритмы #скоринг #кредитный_скоринг #машинное_обучение #gradient_boosting #data_science

Как меня опрокинул автоматический скоринг Сбера

Эта статья - не попытка критиковать конкретный банк и не утверждение, что алгоритм ошибся. Я не знаю внутренних правил скоринга, не видел модели и не утверждаю, что решение было неверным. Это разбор частного случая глазами человека, который внезапно оказался в очень неприятной жизненной ситуации в связи с тем, что в ответственный момент классификатор «принял решение» об отказе в ипотеке. В данный момент ситуация продолжает оставаться неясной и я нахожусь в стрессе. В какой-то степени, попытка хоть как-то разобраться в том, какие факторы повлияли на отказ в выдаче ипотеки, хоть как-то снижает уровень стресса. <cut text="Читать далее"> Описание проблемы Моя ситуация - абсолютно понятная: в связи с рождением ребёнка мы решили улучшить жилищные условия: продать квартиру и взять вторичку в ипотеку в лучшем районе. Учитывая известные события на вторичном рынке, сам по себе процесс покупки квартиры является довольно стрессовым: нужно проверить надёжность продавцов, составить договор, и т.д. То, что сделка у нас проходит по альтернативной схеме с образованием длинной цепочки, добавляет волнений. Тем не менее, в декабре подаю заявку на ипотеку в Сбер. Мне одобряют заявку аж на 12 000 000 ₽. После этого процесс продажи-поиска жилья был запущен. В феврале нашёлся покупатель, с которым заключили договор, покупатель внёс задаток. Нашли квартиру- и с продавцами тоже заключили договор и внесли задаток. В общем, образовалась та самая альтернативная цепочка. Соответственно, начал собирать документы и выписываться из квартиры. Оформили временную регистрацию: я, жена и ребёнок (9 месяцев) — в её квартире.

https://habr.com/ru/articles/1005464/

#сбер #сбербанк #алгоритмы #скоринг #кредитный_скоринг #машинное_обучение #gradient_boosting #data_science

Сделка с совестью на хакатоне или «Как победить с нерабочим кодом?» История одной команды…

🏆 1 место на хакатоне без работающего кода? Легко! Мы заняли 3 место с рабочим сервисом. Победители показали картинки и получили премию Мэра. Мы проверили их GitHub: там пусто. Внутри расследование: Ссылки на код победителей ( alert() вместо API). Разбор метрик (SMAPE 79%). Как связи решают всё. Читайте, как выигрывают не технологии, а подрядчики. 👇 Погрузимся в историю...

https://habr.com/ru/articles/1004940/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1004940

#Хакатон #Machine_Learning #Разработка_ПО #Карьера_в_IT #Data_Science #Вебразработка #Управление_проектами #Конкурсы #Госсектор #Цифровая_трансформация

Сделка с совестью на хакатоне или «Как победить с нерабочим кодом?» История одной команды…

🏆 1 место на хакатоне без работающего кода? Легко! Мы заняли 3 место с рабочим сервисом. Победители показали картинки и получили премию Мэра. Мы проверили их GitHub: там пусто. Внутри расследование: Ссылки на код победителей ( alert() вместо API). Разбор метрик (SMAPE 79%). Как связи решают всё. Читайте, как выигрывают не технологии, а подрядчики. 👇 Погрузимся в историю...

https://habr.com/ru/articles/1004940/

#Хакатон #Machine_Learning #Разработка_ПО #Карьера_в_IT #Data_Science #Вебразработка #Управление_проектами #Конкурсы #Госсектор #Цифровая_трансформация