Ускоряем и оптимизируем numpy, pandas, scipy и sklearn

С момента публикации статьи на Хабре « Импортозамещаем numpy, pandas, scipy и sklearn » прошло почти три года. В течение этого времени я приостановил работу над проектом из-за нехватки времени, ресурсов и сил. К тому же, меня расстроило, что не смог выполнить просьбу пользователя @N-Cube , который активно интересовался моей библиотекой и хотел ускорить работу своего Jupyter Notebook. В самый критический момент на помощь пришел волшебный AI, который, хоть и иногда проявлял недостаток гибкости, с готовностью исполнял все пожелания своего хозяина. Благодаря этому проект начал продвигаться вперед. За это время в библиотеки были добавлены поддержка CUDA, множество ручных SIMD-оптимизаций с динамическим выбором SIMD, несколько реализаций линейной регрессии и многое другое. Давайте рассмотрим, что на сегодняшний день позволяет сделать моя библиотека. Я представлю несколько тестовых примеров в двух вариантах: с использованием AVX-2 на процессоре Intel® Core™ i7-4790K и AVX-512 на Intel® Xeon. Также покажу результаты замеров для каждого из них. Все тесты проводились без использования GPU, исключительно на процессоре. Это позволяет сравнивать производительность Python и моей библиотеки на равных условиях. Операционная система – Ubuntu 24.04, компилятор – GNU 13.3.0.

https://habr.com/ru/articles/1039866/

#C++ #numpy #pandas #scipy #sklearn #opensource #datascience #data_analysis

Множественная регрессия: Расширяем горизонты прогнозирования

Хотите научиться предсказывать продажи, цены на недвижимость или спрос на товары, учитывая сразу несколько факторов? Вам поможет множественная регрессия. В этой статье вы узнаете: - Математическую основу множественной линейной регрессии – от уравнения гиперплоскости до метода наименьших квадратов; - Разбор полного кода на Python с использованием scikit-learn на реальном датасете Advertising (200 наблюдений); - Как интерпретировать коэффициенты модели; - Сравнение с простой линейной регрессией – насколько лучше работает множественная модель; - Расширение до полиномиальной регрессии, когда линейности недостаточно.

https://habr.com/ru/articles/1015102/

#python #python_для_начинающих #аналитика #анализ_данных #аналитика_данных #регрессия #множественная_регрессия #карьера_в_it #машинное_обучение_python #sklearn

Мета-модель для диагностики обучения нейросетей

Когда мы обучаем модели машинного обучения, почти всегда возникает один и тот же вопрос: Что именно происходит во время обучения? Обычно мы смотрим на графики метрик и пытаемся вручную интерпретировать происходящее. Можно посмотреть на learning curves и понять, что происходит: Но этот анализ почти всегда выполняется вручную или с помощью простейших эвристических правил. А ведь сколько времени, сил и нервов можно было бы сэкономить, если обучить до 100 эпохи а не до 500 (см картинка выше) :-( Но можно задать интересный вопрос: А можно ли автоматически определить состояние обучения модели?

https://habr.com/ru/articles/1010556/

#ml #mlops #mlинженер #python #sklearn #random_forest

🚀 Cập nhật sklearn‑diagnose: thư viện Python “máy MRI” cho mô hình ML giờ đã có chatbot tương tác! Bạn có thể trò chuyện với LLM để hỏi “Tại sao mô hình overfit?” hoặc nhận code mẫu, nhớ ngữ cảnh và khám phá sâu hơn. Giao diện React chạy locally trong trình duyệt. Đừng quên star repo! #MachineLearning #ML #AI #Python #sklearn #CôngNghệ #TríTuệNhânTạo #MLdiagnose

https://www.reddit.com/r/LocalLLaMA/comments/1qr5804/update_sklearndiagnose_now_has_an_interactive/

Компрессор для данных или как я написал свой первый custom transformer

Эта статья будет полезна DS специалистам, и тем, кто хоть когда-нибудь сталкивался с такой проблемой, как выбросы в данных или OOD (out of distribution), и ищет пути решения проблем, возникающих из-за них.

https://habr.com/ru/articles/988736/

#выбросы #анализ_данных #data_science #preprocessing #compression #outliner #custom_transformer #transformer #sklearn

От «обезьяньей» работы к Smart-анализу: как выполнить предобработку данных для моделей

От «обезьяньей» работы к Smart-анализу: как правильно готовить данные для моделей. Что такое Exploratory Data Analysis и как избежать основных ошибок при его выполнении.

https://habr.com/ru/articles/975082/

#pandas #sklearn #data_science #exploratory_data_analysis #machine_learning #numpy #statistics #feature_engineering

Clasificación SVM de 2 clases

Máquinas de Vectores de Soporte con kernel lineal

Se muestra:
- Puntos de entrenamiento
- Puntos de prueba
- vector de soporte
- Hiperplano
- Margen

#python #ML #sklearn

Clasificación de solo dos características de iris:
- longitud y ancho del sépalo
- Algoritmo de k vecinos

#python #sklearn curso ML Aprendiaje Automatico #Anzoategui #Lecheria

Agrupación de estados meteorológicos:
- Agrupamiento Kmeans 3 grupos
- Se puede separar Heavy Rain de los otros 2 grupos

#python Aprendizaje Automatico #ML Guanacaste Software Abierto Libre #sklearn Compressed Sparse Row Matrix Lecheria #anzoategui

Crear una matriz de confusión a partir de los resultados del experimento
Evaluar los resultados del modelo

#Python #sklearn confusion software soberania Guanacaste #Flisol