Нейросети, генетика и десктоп: как я построил микрофреймворк для обучения AI-агентов с неблокирующим GUI

Микрофреймворк для параллельного обучения AI-агентов в средах Gymnasium с графическим интерфейсом на wxPython. Решает классическую проблему «зависшего GUI» при длительном обучении нейросетей: вычисления вынесены в отдельные процессы-сервисы, а интерфейс остаётся полностью отзывчивым. Поддерживает плагинную систему для добавления новых сред, визуализацию прогресса (графики Matplotlib), генетический алгоритм обучения (нейроэволюцию через DEAP) и сборку в один .exe через PyInstaller с автоматическим CI/CD.

https://habr.com/ru/articles/1030208/

#python #нейросети #генетический_алгоритм #нейроэволюция #pytorch #wxpython #multiprocessing #микрофреймворк #desktop_приложение #gui

We split the work across processes and use GPUs to speed up.

#gpu #multiprocessing #data

Okay! I think I have my audio issues sorted out!

In just a few minutes I'll be streaming over at https://www.twitch.tv/srilyk

Join me there as I re-learn #asyncio in Python! I know a bunch, generally and some specifically, about #async in #python

From #threading to #multiprocessing, and #polling and #sockets

Join me as I refresh my memories and learn about the current state of asyncio in Python!

Hardware Memory Models

이 글은 멀티프로세서 환경에서 하드웨어 메모리 모델의 중요성과 복잡성을 설명한다. 특히, 순차적 일관성(sequential consistency) 개념과 이를 보장하지 않는 현대 하드웨어(x86-TSO, ARM, POWER)의 메모리 모델 차이를 다룬다. 메모리 모델은 프로그래머, 컴파일러, 하드웨어 설계자가 프로그램 실행의 일관성과 최적화 가능성을 이해하는 데 필수적이다. 이 글은 Go 언어의 메모리 모델 개선 논의를 위한 배경 지식을 제공한다.

https://research.swtch.com/hwmm

#memorymodel #hardware #multiprocessing #concurrency #programminglanguages

Разбор threading vs multiprocessing vs asyncio в Python

При работе с Python да и другими языками программирования часто возникает необходимость ускорения выполнения кода, масштабирования обработки данных или работы с большим количеством сетевых запросов. Именно в Python для решения этих задач существуют три базовых метода. Это: threading, multiprocessing и asyncio. На первый взгляд – механизмы схожие. Но при детальном разборе ясно, что они решают принципиально разные задачи, опираются на разные модели исполнения и обладают своими ограничениями. В статье расскажу об особенностях каждого метода – будет интересно и познавательно.

https://habr.com/ru/articles/991478/

#threading #multiprocessing #asyncio #Python #параллельность #конкурентность #CPUbound #event_loop #многопоточность

Very interesting read about how ~1970‘s C-based synchronous timeslice hardware architecture doesn‘t fit +2000’s networked GUI #multiprocessing anymore.

It‘s true, even if we live the paradigm change in #programming we need to bolt it on the previous stuff using async or dispatcher libs, message handlers, etc. and then we say „look mum, I made it event-driven and distributed“ 😅

It is even difficult to imagine an AS/400‘s memory model if you lived in a C landscape.

https://programmingsimplicity.substack.com/p/hardware-stockholm-syndrome

Мониторинг Celery. Pull-модель

В этой статье рассмотрим возможность получать метрики Celery непосредственно от самих воркеров, хитрости, на которые придётся пойти, чтобы решить эту задачу, и, самое главное, какие преимущества от этого можно получить по сравнению с классическим подходом к мониторингу Celery. Также продемонстрирую небольшой Django-проект и пример его конфигурации. Особое внимание будет уделено режиму мультипроцессинга и тому, как та или иная конфигурация запуска Celery будет влиять на сложность решения.

https://habr.com/ru/companies/domclick/articles/942584/

#celery #celery_worker #celery_flower #celery_beat #metrics #multiprocessing #multithreading #monitoring

There was something interesting going on on one of my systems:

If a certain function in #Python was called as a separate process with the #multiprocessing library, then the sort_values function of #Pandas would just hang (and therefore the process would never produce the output I was waiting for). Called from the main process was OK.

The solution was to change the sorting algorithm by the `kind="stable"` parameter. Weird.

#ArchLinux #Linux #programming #parallelization