ClearML Agent: обучение модели в Google Colab

ClearML — это целый космос, так что мы продолжаем разбирать его компоненты. В прошлой статье мы рассматривали ClearML Session и настраивали удаленную среду разработки с Jupyter Lab и VSCode. В этот раз поговорим о ClearML Agent и разберем, как с его помощью запустить обучение на удаленном сервере, в частности, Google Colab. Итак, поехали!

https://habr.com/ru/companies/magnus-tech/articles/1022850/

#clearml #MLOps #google_colab #ClearML_Agent #ML_orchestration #запуск_MLзадач #запуск_обучения_на_GPU #автоматизация_MLинфраструктуры #обучение_нейросетей

Как я создала ИИ-агента для анализа отзывов, потому что мне было лень читать 200+ строк в гугл таблице

Или история о том, как лень двигатель прогресса. Когда мне на курсе дали домашку проанализировать больше 200 отзывов о кофейне "Great Grounds", я поняла одно: читать это всё вручную я точно не буду. У меня был выбор: потратить несколько часов на монотонное чтение однотипных "кофе супер" и "цены кусаются", загрузить это в NotebookLM (что я сделала в последствии, для сравнения результатов) или повайбкодить. Например, создать своего мини ИИ-помощника, который сделает это за меня. Спойлер: я выбрала вайбкодинг, и вот что из этого вышло.

https://habr.com/ru/articles/983846/

#вайбкодинг #python #google_colab #notebooklm

Сравниваю Jupyter Notebook, Google Colab, Kaggle и Marimo глазами исследователя и начинающего Data Scientist

Я пришел в Data Science не сразу. Учился в магистратуре по вечерам, работая в совершенно другой сфере (строительство). Осваивать машинное обучение и анализ данных было интересно, но один из самых неожиданных вопросов, который возник буквально сразу - в какой среде писать код? На первый взгляд кажется, что Jupyter Notebook, Google Colab, Kaggle и сравнительно новая Marimo - это одно и то же, ноутбук с ячейками и Python (так же поддерживаются другие языки программирования). Но на практике каждая из этих сред подходит для разных задач, где-то удобнее учиться, а где-то работать командой. Эта статья - результат моего практического сравнения сред, которое я проводил во время обучения и выполнения исследовательских задач, связанных с анализом и подготовкой данных, моделированием и машинным обучением. Статья будет полезна:

https://habr.com/ru/articles/969090/

#jupyter_notebook #google_colab #kaggle #data_scientist #сравнение #исследователь #опыт

От задачи до решения: LLM с RAG-конфигурацией и ROC-AUC. Эксперимент на 121 прогоне за 40 часов с помощью ИИ

Меня зовут Антон, сейчас занимаюсь прикладными проектами индекса цифровой зрелости БРИКС. Пробую за счет инструментов ИИ собирать каскады моделей ИИ для выявления неочевидных зависимостей в разных экономических и культурных процессах на основе данных извлекаемых из открытых источников. В рамках эксперимента я поставил себе задачу применить ИИ в прикладной задаче, при этом использовать только доступные всем инструменты и понятные нарративы. Одним словом, решил примерить на себя роль «Сделай там что-то с ИИ-шечкой, только быстро!» Рассказываю, что из этого поучилось (ссылки на рабочие блокноты, промпты и скриншоты прилагаются).

https://habr.com/ru/companies/mipt_digital/articles/914930/

#llm #rag #f1_score #rocauc #google_colab #openrouter #Groq_api #chunking #DeepSeek #perplexity

Мой опыт локализации игры через нейронку

Все кто пишет “В 2к25 не знать английский” - напишите комент и проходите мимо. Для нормальных, рассказываю, как я перепробовал несколько инструментов, что бы перевести игру. Задача: 1. Перевести большое количество текста (224 тысячи символов или 40 тысяч слов) для инди игры mudborne через нейросеть. 2. Нейросеть должна держать контекст на протяжении всего перевода. 3. Все имена встречающиеся в игре должны переводиться всегда одинаково. 4. Это должен быть полуавтоматический процесс, который переведет игру “за один присест”. 5. На входе должна быть csv таблица, где в первой колонке комментарий разработчика, во второй текст на английском, в третьей должен быть текст на русском 6. Ну и основное просто пройти этот путь, получить опыт. Какие инструменты я протестировал: ChatGPT Claude Google Colab Cursor Smartcat DeepSeek API Gemini Yandex Переводчик документов

https://habr.com/ru/articles/910388/

#нейросети #ai #игры #deepseek #chatgpt #gemini #google_colab #claude

Запускаем FLUX 1 Dev в Google Colab

Ранее я уже делал статью про запуск в пару кликов моделей Stable Diffusion в Google Colab с помощью Fooocus (способ актуальный), сегодня мы проделаем похожее с моделью FLUX 1 Dev, но без web интерфейса.

https://habr.com/ru/articles/895212/

#flux #google_colab #ai #black_forest_labs #texttoimage

Запускаем FLUX 1 Dev в Google Colab

Ранее я уже делал статью про запуск в пару кликов моделей Stable Diffusion в Google Colab с помощью Fooocus (способ актуальный), сегодня мы проделаем похожее с моделью FLUX 1 Dev, но без web интерфейса.

https://habr.com/ru/articles/895210/

#flux #google_colab #ai #black_forest_labs #texttoimage

PyGWalker — это инструмент для удобного анализа данных и визуализации в Jupyter Notebook, который превращает dataframe в интерактивный интерфейс.

Пользователи могут осуществлять визуализацию, очистку и аннотирование данных с помощью перетаскивания и естественных языковых запросов.

Он интегрируется с Graphic Walker и доступен на таких платформах, как Google Colab и Kaggle Code.

scr: https://github.com/Kanaries/pygwalker

#py #python #jupyter #KaggleCode #GoogleColab #google_colab #github #graphicwalker #graphic_walker

Создание цифровой модели рельефа (DEM) по открытым данным

Построение цифровой модели рельефа (DEM) с использованием открытого программного обеспечения PyGMTSAR (Python InSAR) является ярким примером технология, которая выглядит настоящей магией. Действительно, для создания спутникового DEM требуется всего один клик. Указанный пример и многие другие интерактивные примеры InSAR с 3D визуализацией доступны на Google Colab, в Docker образах и даже на GitHub Actions на https://InSAR.dev

https://habr.com/ru/articles/826560/

#Sentinel #NASA #INSAR #PyGMTSAR #DEM #Satellite #Jupyter #Google_Colab

Google Colab вместо Jupyter Notebook: плюсы и особенности работы для новичков

Привет! Меня зовут Ольга Матушевич, я наставница на курсе

https://habr.com/ru/companies/yandex_praktikum/articles/825754/

#google_colab #jupyter_notebook #python #анализ_данных #анализ_данных_python