Judith van StegerenPlanning to make large behavioural changes to a (sometimes long-running) production-grade AI agent. Working with `pydantic-evals` today because I want to eval the agent before and after. So far it looks very similar to Langfuse datasets/runs for evalling, except that the data lives in your repository instead of in the Langfuse platform.
HabrНаблюдаемость LLM-агентов: Часть 2. Разработка и отладка графа
Привет, Хабр! Меня зовут Владимир и это вторая часть материала о трассировке LLM-агентов. В первой части мы настроили инфраструктуру: подняли LangFuse, организовали трассировку и научились управлять промптами как кодом. Если вы ещё не читали — рекомендую начать с неё. В этой части перейдём от теории к практике: соберём агента, который пишет сказки. В графе будут задействованы инструменты, условные переходы и циклы обратной связи.
Наблюдаемость LLM-агентов: Часть 1. Трассировка LangGraph и версионирование промптов с LangFuse
Привет, Хабр! Меня зовут Владимир и в последнее время я занимаюсь разработкой агентов на LangGraph. Отладка LangGraph-агента - это отдельная боль: когда граф начинает жить своей жизнью, а LLM уходит в бесконечные циклы, понять, что случилось, становится сложно. В этой статье я покажу, как связать LangGraph с LangFuse для трассировки и покажу как управлять промптами как кодом (версионирование и миграция).
Наблюдаемость LLM-агентов: Часть 1. Трассировка LangGraph и версионирование промптов с LangFuse
Привет, Хабр! Меня зовут Владимир и в последнее время я занимаюсь разработкой агентов на LangGraph. Отладка LangGraph-агента - это отдельная боль: когда граф начинает жить своей жизнью, а LLM уходит в...
Renaud JOLYRetour d’expérience très concret sur #Langfuse https://medium.com/adeo-tech/langfuse-journey-to-the-heart-of-your-llms-bebe1a50abb3 #llm #adeo
Как я научил AI анализировать AI: observability для LLM-агентов с Langfuse
Как я построил систему мониторинга LLM-приложений и научил AI анализировать собственные ошибки AI-ассистенты в IDE стали незаменимыми помощниками разработчиков, но остаются чёрными ящиками. Мы не видим что они делают "под капотом", сколько это стоит и где теряется время. В статье покажу как построить системуobservability для AI-агентов: от Cursor IDE до production, с AI-анализом трейсов и открытым исходным кодом.
https://habr.com/ru/articles/987230/
#AI_observability #LLM_monitoring #langfuse #cursor #agentic_ai
N-gated Hacker News🎉 Breaking news: #ClickHouse swallows #Langfuse whole! 🤯 Don't worry, dear user, absolutely nothing will change... except everything. Welcome to the magical world where acquisitions mean "business as usual" and your roadmap is still shrouded in ✨ corporate mystery ✨.
https://langfuse.com/blog/joining-clickhouse #Acquisition #BusinessAsUsual #CorporateMystery #DataNews #HackerNews #ngated
https://langfuse.com/blog/joining-clickhouse #Acquisition #BusinessAsUsual #CorporateMystery #DataNews #HackerNews #ngated
Hacker NewsClickHouse Acquires Langfuse
https://langfuse.com/blog/joining-clickhouse
#HackerNews #ClickHouse #Langfuse #Acquisition #TechNews #DataAnalytics
Fallback of @schenklklopferLangfuse: наблюдаем и отлаживаем LLM-микросервисы без black box
За прошлый год я запустил 5 сервисов с LLM под капотом . Каждый следующий сервис получался лучше предыдущего: мы оттачивали архитектуру, оптимизировали core микросервиса на FastAPI, быстрее выходили на MVP и ловили меньше багов. Но довольно быстро стало понятно: LLM‑сервисы сложно интерпретировать . Для бизнес команды они выглядят как black box. Для инженеров — как набор плохо воспроизводимых состояний. В этой статье я поделюсь практиками, которые: — упрощают интерпретацию поведения LLM; — делают работу сервиса прозрачной для Product Owners и SME; — ускоряют разработку и итерации без передеплоев.
Qiita - 人気の記事【Langfuse】 Strands Agents の動きをローカルでトレースしてみる
https://qiita.com/ryu-ki/items/9a9dacdd91fc15b33310?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items