AI Bridge: Как по-простому дать Gemini «руки» для управления вашим компьютером

Представьте: вы скидываете нейросети скриншот сложной программы (будь то Cinema 4D, Excel или 1С) и говорите: «Сделай мне вот это». И через секунду мышка на вашем экране начинает сама летать по кнопкам, выполняя работу за вас. Это не магия и не дорогой корпоративный софт. Это AI Bridge — микро-утилита на Python, которую можно запустить за минуту.

https://habr.com/ru/articles/993328/

#AI #Python #Automation #Gemini #Desktop_Agent #PyAutoGUI #Автоматизация

AI Bridge: Как по-простому дать Gemini «руки» для управления вашим компьютером

Представьте: вы скидываете нейросети скриншот сложной программы (будь то Cinema 4D, Excel или 1С) и говорите: «Сделай мне вот это». И через секунду мышка на вашем экране начинает сама летать по...

Хабр

Клик без промаха: комбинированный подход в автоматизации Windows-приложений на примере UWP

Привет, Хабр! Меня зовут Иван Калашников, я занимаюсь автотестированием в Инфовотч. В мире web и тонких клиентов по-прежнему приходится тестировать классические приложения: Office apps, Explorer, Telegram, WhatsApp. Сегодня для примера мы возьмем WhatsApp. Погрузившись в автоматизацию ручных кликов в приложениях Windows с помощью Python, я попробовал несколько известных библиотек, каждая из которых поодиночке оставляла ощущение «чего-то не хватает». PyAutoGUI не видит скрытые элементы, плохо находит элементы с экранами разного масштаба и разрешения, а pywinauto требует разбирать дерево элементов UIA (Microsoft UI Automation), которого может попросту не быть. В этой статье разберём, как объединение этих инструментов позволяет обойти ограничения каждого и надёжно автоматизировать windows-приложения. Комбинация UI-ориентированных (pywinauto, Win32/UIA) и image-based (PyAutoGUI) техник остаётся самым гибким способом тестировать Windows-приложения. Но чтобы смесь действительно работала, нужны: сравнение бэкендов, явные ожидания, DPI-awareness. Мы пройдем через ряд мини-кейсов — от кликов, поиска, отправки сообщения, до чтения текста с экрана и выясним, как справляется связка Python-библиотек.

https://habr.com/ru/companies/infowatch/articles/942538/

#pyautogui #pywinauto #windows #desktop #automation #python

Клик без промаха: комбинированный подход в автоматизации Windows-приложений на примере UWP

Привет, Хабр! Меня зовут Иван Калашников, я занимаюсь автотестированием в Инфовотч. В мире web и тонких клиентов по-прежнему приходится тестировать классические приложения: Office apps, Explorer,...

Хабр

Инновации в тестировании САПР: путь к созданию автоматизированного решения для тестирования

Автоматизация тестирования в мире САПР – это вызов, который невозможно переоценить. Инженеры, архитекторы и проектировщики создают сложнейшие модели, а разработчики ПО ломают голову, чтобы их инструменты работали без сбоев. Но чем мощнее становится программное обеспечение, тем сложнее его тестировать. Проверять САПР вручную – всё равно что искать иголку в стоге сена, который кто-то ежедневно переворачивает. Мы быстро поняли, что такой подход не работает. Поэтому решили изменить систему и построить свою. Нашей целью было – создать решение, которое избавит от рутины, ускорит тестирование и обеспечит его стабильность, а также будет легко масштабируемым. Одна из главных проблем – повторяющиеся проверки. Тестировать одни и те же функции вручную после каждого обновления – долго, монотонно и неэффективно. Можно что-то упустить, ошибиться и просто устать. Мы пошли дальше: наша система не просто заменяет тестировщиков на скрипты, а полностью автоматизирует весь процесс – от запуска тестов до анализа результатов. Мы использовали Python, VirtualBox, JSON и PowerShell, чтобы тесты запускались в чистой среде, результаты были понятны всем, а интеграция с разработкой максимально простой. Архитектура гибкая, удобная и кроссплатформенная. В этой статье мы расскажем, каким образом мы создали систему, как эта система работает и какие задачи она позволяет решить.

https://habr.com/ru/articles/883590/

#автоматизация #автоматизация_тестирования #тестирование_по #qa_automation #python #pyautogui #pywinauto #powershell #сапр #json

Инновации в тестировании САПР: путь к созданию автоматизированного решения для тестирования

Введение Автоматизация тестирования в мире САПР – это вызов, который невозможно переоценить. Инженеры, архитекторы и проектировщики создают сложнейшие модели, а разработчики ПО ломают голову, чтобы их...

Хабр
Master reliable media player control with Python Subprocess! Learn robust techniques beyond simple keystroke sending for cross-platform compatibility & error handling. #PythonSubprocess #MediaControl #KeyboardSimulation #PyAutoGUI #CrossPlatform #Automation
https://tech-champion.com/programming/python-subprocess-control-reliably-sending-keyboard-commands-to-media-players

An #OpenSource #FACS automation system for high-throughput cell #biology:

-built around a commercial Sony #SH800S #cell #sorter
-reduces hands-on effort by 93%
-uses #PyAutoGUI to control #GUI in API absence

https://doi.org/10.1371/journal.pone.0299402
#DIYbio #lab #instruments #fluorescence

An open-source FACS automation system for high-throughput cell biology

Recent advances in gene editing are enabling the engineering of cells with an unprecedented level of scale. To capitalize on this opportunity, new methods are needed to accelerate the different steps required to manufacture and handle engineered cells. Here, we describe the development of an integrated software and hardware platform to automate Fluorescence-Activated Cell Sorting (FACS), a central step for the selection of cells displaying desired molecular attributes. Sorting large numbers of samples is laborious, and, to date, no automated system exists to sequentially manage FACS samples, likely owing to the need to tailor sorting conditions (“gating”) to each individual sample. Our platform is built around a commercial instrument and integrates the handling and transfer of samples to and from the instrument, autonomous control of the instrument’s software, and the algorithmic generation of sorting gates, resulting in walkaway functionality. Automation eliminates operator errors, standardizes gating conditions by eliminating operator-to-operator variations, and reduces hands-on labor by 93%. Moreover, our strategy for automating the operation of a commercial instrument control software in the absence of an Application Program Interface (API) exemplifies a universal solution for other instruments that lack an API. Our software and hardware designs are fully open-source and include step-by-step build documentation to contribute to a growing open ecosystem of tools for high-throughput cell biology.

Как я хотел выиграть пиццы у Dodo (бот на python)

Моя неплохая попытка выиграть Пиццы от Додо с их конкурсом по игре Балда, которая почти окончилась успехом. Пытаюсь переиграть всех

https://habr.com/ru/articles/828522/

#python #додо #додопицца #бот #pyautogui #pillow #easyocr #tesseract #tesseractocr #автоматизация

Как я хотел выиграть пиццы у Dodo (бот на python)

Балда от Dodo Пиццы Тут я буду писать код!! и на Python Как-то друг мне показал пост ВКонтакте из паблика Додо Пиццы. Там говорилось как-то так Мы запускаем нашу игру "Балда" . В течении (~месяца) за...

Хабр

@hamoid yes! I use flameshot, lovely! I'm so sad that Peek, for capturing animations, stopped working. Sometimes I use Recapp and Blue Recorder.

This scrot thing was because I wanted to automate screenshots in Python using #pyautogui integration. I tried PIL.ImageGrab, it didn't work, and I ended using #pyscreenshot which worked fine.

@niccolove @thelinuxEXP I thought a little bit about the problem you two mentioned of making the same #tutorial #videos for every new version of #KDE. What about creating tutorials (half)automated, after every release? (especially if in some cases only cosmetic things changed) Maybe something like #PyAutoGUI could help: https://www.youtube.com/watch?v=3PekU8OGBCA
Python Automation with PyAutoGUI | Full Course With Projects!

YouTube

Testautomatisierung mit #Sikuli oder #Sikulix?

#PyAutoGUI ist deutlich angenehmer in der Handhabung und bis jetzt haben wir keine Bugs entdeckt

https://github.com/asweigart/pyautogui

#Python

GitHub - asweigart/pyautogui: A cross-platform GUI automation Python module for human beings. Used to programmatically control the mouse & keyboard.

A cross-platform GUI automation Python module for human beings. Used to programmatically control the mouse & keyboard. - GitHub - asweigart/pyautogui: A cross-platform GUI automation Python mod...

GitHub