If you upgraded to Ubuntu 26.04, have an old Python script that uses multiprocessing (with no threading), and "ps -ef | grep python" suddenly looks like a war and peace manuscript. In 2 minutes Claude will tell you the secret one line to make Python 3.14 behave like Python 3.12 did for you up until now.

Spoiler: multiprocessing.set_start_method('fork')

How does Claude know all these things?

#Python3 #Multiprocessing #Ubuntu26_04 #Claude

Нейросети, генетика и десктоп: как я построил микрофреймворк для обучения AI-агентов с неблокирующим GUI

Микрофреймворк для параллельного обучения AI-агентов в средах Gymnasium с графическим интерфейсом на wxPython. Решает классическую проблему «зависшего GUI» при длительном обучении нейросетей: вычисления вынесены в отдельные процессы-сервисы, а интерфейс остаётся полностью отзывчивым. Поддерживает плагинную систему для добавления новых сред, визуализацию прогресса (графики Matplotlib), генетический алгоритм обучения (нейроэволюцию через DEAP) и сборку в один .exe через PyInstaller с автоматическим CI/CD.

https://habr.com/ru/articles/1030208/

#python #нейросети #генетический_алгоритм #нейроэволюция #pytorch #wxpython #multiprocessing #микрофреймворк #desktop_приложение #gui

We split the work across processes and use GPUs to speed up.

#gpu #multiprocessing #data

Okay! I think I have my audio issues sorted out!

In just a few minutes I'll be streaming over at https://www.twitch.tv/srilyk

Join me there as I re-learn #asyncio in Python! I know a bunch, generally and some specifically, about #async in #python

From #threading to #multiprocessing, and #polling and #sockets

Join me as I refresh my memories and learn about the current state of asyncio in Python!

Разбор threading vs multiprocessing vs asyncio в Python

При работе с Python да и другими языками программирования часто возникает необходимость ускорения выполнения кода, масштабирования обработки данных или работы с большим количеством сетевых запросов. Именно в Python для решения этих задач существуют три базовых метода. Это: threading, multiprocessing и asyncio. На первый взгляд – механизмы схожие. Но при детальном разборе ясно, что они решают принципиально разные задачи, опираются на разные модели исполнения и обладают своими ограничениями. В статье расскажу об особенностях каждого метода – будет интересно и познавательно.

https://habr.com/ru/articles/991478/

#threading #multiprocessing #asyncio #Python #параллельность #конкурентность #CPUbound #event_loop #многопоточность

Very interesting read about how ~1970‘s C-based synchronous timeslice hardware architecture doesn‘t fit +2000’s networked GUI #multiprocessing anymore.

It‘s true, even if we live the paradigm change in #programming we need to bolt it on the previous stuff using async or dispatcher libs, message handlers, etc. and then we say „look mum, I made it event-driven and distributed“ 😅

It is even difficult to imagine an AS/400‘s memory model if you lived in a C landscape.

https://programmingsimplicity.substack.com/p/hardware-stockholm-syndrome

Мониторинг Celery. Pull-модель

В этой статье рассмотрим возможность получать метрики Celery непосредственно от самих воркеров, хитрости, на которые придётся пойти, чтобы решить эту задачу, и, самое главное, какие преимущества от этого можно получить по сравнению с классическим подходом к мониторингу Celery. Также продемонстрирую небольшой Django-проект и пример его конфигурации. Особое внимание будет уделено режиму мультипроцессинга и тому, как та или иная конфигурация запуска Celery будет влиять на сложность решения.

https://habr.com/ru/companies/domclick/articles/942584/

#celery #celery_worker #celery_flower #celery_beat #metrics #multiprocessing #multithreading #monitoring

There was something interesting going on on one of my systems:

If a certain function in #Python was called as a separate process with the #multiprocessing library, then the sort_values function of #Pandas would just hang (and therefore the process would never produce the output I was waiting for). Called from the main process was OK.

The solution was to change the sorting algorithm by the `kind="stable"` parameter. Weird.

#ArchLinux #Linux #programming #parallelization