Is your AI evaluation stuck at precision and recall? 🤖

At QCon AI, Mallika Rao @Netflix unpacks a multi-layered evaluation framework that goes beyond metrics to include product safety, user experience, and infra robustness.

#QConAI #EnterpriseAI #AIEvaluation #MLOps

От небольшой мастерской к ML-фабрике: как мы Yandex AI Studio пересобирали

Сегодня на Yandex Neuro Scale 2025 наша ML‑команда представила обновлённую AI Studio — платформу с большим набором инструментов для разработки ИИ‑агентов в единой end‑to‑end‑среде. Среди новинок — визуальный конструктор агентов, поддержка популярных API и реализация протокола MСP, механизмы AI search. Агентские платформы уже какое‑то время находятся на пике популярности. Поэтому с одной стороны нашей задачей было учесть уже сформированные лидерами отрасли лучшие практики. А с другой — обобщить собственный опыт разработки и внедрения агентов, использующих большие языковые модели, и избавить разработчиков от проблем при инференсе. Вместе с коллегами из команды разработки Анастасией Каримовой и Дмитрием Рыбалко покажем, как это устроено под капотом: — какие особенности эксплуатации нам нужно было учесть, чтобы найти баланс между производительностью и качеством; — как мы сталкивались с особенностями опенсорс‑инструментов для ML и учились справляться с этим разными способами; — как мы упростили создание голосовых агентов и заодно уменьшили latency запросов.

https://habr.com/ru/companies/yandex/articles/949884/

#mlops #ииагенты #aiagent #aiагенты #aiагент #mcp #responses_api #realtime_api

От небольшой мастерской к ML-фабрике: как мы Yandex AI Studio пересобирали

Сегодня на Yandex Neuro Scale 2025 наша ML‑команда представила обновлённую AI Studio — платформу с большим набором инструментов для разработки ИИ‑агентов в единой...

Хабр

✅ Self-adapting – automatically adjust as data evolves

Why it matters: Too many pipelines fail quietly when upstream data changes. This research highlights a path toward resilient, adaptive systems that sustain quality over time.

What do you think?

Are we ready to trust pipelines to adapt themselves?

Where should the human-in-the-loop always stay involved?

#DataEngineering #DataQuality #MachineLearning #AI #MLOps #BigData #DataScience

#ecommerce #hiring update #Praha

Na vlastní produkt do interních týmů v Praze a Bratislavě hledám:

1. ABAP Developer 🇨🇿
2. Procesní Manažer - warehousing a operations 🇨🇿
3. Machine Learning Engineer 🇨🇿
4. Business Development Rep 🇸🇰
5. Procesní Specialista - warehousing a operations 🇸🇰
6. HR Admin, part-time 🇸🇰

#egrocery #recruitment #itrecruitment #Prague
#sap #abap #ml #mlops #process

🚀 Day 8 – Final of the LLM Observability Mini-Course
🔎 Prometheus + Grafana to monitor LLM apps
📊 Metrics: requests, errors, latency
🛠️ Dashboards + alerts
🧩 Integration via docker-compose and prometheus.yml
#LLM #Observability #MLOps #Grafana #Prometheus #AI #Python #LangChain #XavierDataLabs

It's🍁and it's time for another #MLOps Edinburgh Meetup!

In October we are joined by Joan Figuerola Hurtado talking about “From Blue Links to Answers: How Agents Enable A New Era of Information Access and Discovery" and Richard Bownes on "Bring-your-own-tooling in the age of AI" . https://luma.com/u8344qcq

MLOps Meetup Oct 2024 (Two talks!) · Luma

Tonight we’ll be hearing from: Joan Figuerola Hurtado on “From Blue Links to Answers: How Agents Enable A New Era of Information Access and Discovery".Joan…

📅 Day 7 – LLMOps 📊 Integrated model monitoring with Prometheus + Grafana 🚨 Tracked latency, token usage, failures 📈 Real-time dashboards = transparency + control 💡 Observability is crucial for production LLMs#LLMOps #MLOps #LangChain #Observability #AllInfra #XavierDataTech

Title:
🚀 DevOps Automation Tools Market Trends & Analysis (2025–2029)

Post:
Crafted for informed planning, this report explores the forces reshaping the DevOps automation tools market.
📈 Market size: $12.11B (2024) → $14.91B (2025) → $35.2B (2029)
💡 CAGR: 24.0%

Growth drivers:
✔️ Agile development adoption
✔️ Rise of AIOps & MLOps
✔️ Microservices & multi-cloud strategies
✔️ Chaos engineering & container security

🔗 Get free sample: https://www.thebusinessresearchcompany.com/sample.aspx?id=14324&type=smp

#DevOps #Automation #Cloud #AI #MLOps

"ML-powered alerts are only effective when contextual. Explainability isn't a nice-to-have, it's essential. 3 ways to make ML alerts actionable: feature importance, contextual baselines & recent changes correlation #MLOps #Observability #SRE"
InferenceOps | Yuan Tang | Substack

Most recent updates from several AI/ML model inference communities that our teams at Red Hat AI are contributing to. Click to read InferenceOps, by Yuan Tang, a Substack publication with hundreds of subscribers.