Мой личный джун. Часть 1. Учим агента писать код и пользоваться git
Привет, Хабр! Меня зовут Владимир и я стал немного более GPU-rich. А это значит, что пора сдуть пыль со старого проекта) В этой части статьи мы создадим необходимую инфраструктуру, напишем простого агента, а также добавим нашему агенту MCP-инструменты.
Langfuse: A New Construct in the Observability Landscape
New Langfuse project helps developers track LLM behavior, manage prompts, and evaluate performance. See how it works.
#Langfuse, #LLMTools, #AIObservability, #PromptEngineering, #AIDevelopment
https://newsletter.tf/langfuse-llm-tracing-prompt-management-evaluation/
The new Langfuse tool combines tracing, prompt management, and evaluation for LLMs. This offers a single way to watch and improve AI models.
#Langfuse, #LLMTools, #AIObservability, #PromptEngineering, #AIDevelopment
https://newsletter.tf/langfuse-llm-tracing-prompt-management-evaluation/
AI 관측 가능성(Observability)을 위한 4가지 핵심 신호
프롬프트를 애플리케이션 코드에서 분리하여 버전 관리 저장소로 관리하면 배포 과정 없이도 즉각적인 수정과 롤백이 가능해진다.
Как мы научили ИИ-агента отвечать за свои слова: 10 000 сообщений, Венгерский алгоритм и немного магии
На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru. Сегодня разбираем самое больное место разработки ИИ-агентов — как доказать, что они реально умнеют, а не просто пускают пыль в глаза. В статье я покажу изнанку нашей системы оценки: — Как 10 000 живых переписок превратились в эталоны для тестов. — Почему стандартные метрики безжалостно валили нашего агента (и зачем нам понадобился Венгерский алгоритм из 1955 года). — И что делать, если метрика падает просто потому, что ИИ оказался умнее вашего устаревшего эталона! Читайте полный разбор с цифрами, кейсами и откровенными провалами…
https://habr.com/ru/companies/llmstart/articles/1038512/
#evaluation #метрики_качества #LLMагенты #Ragas #LangFuse #RAG #Венгерский_алгоритм #AIdriven_разработка #LangChain #langchain_агенты
Как мы научили ИИ-агента отвечать за свои слова: 10 000 сообщений, Венгерский алгоритм и немного магии На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru . Мы делаем AI-системы для бизнеса....
От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде
На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С:УНФ, который помогает отвечать на вопросы клиентов по базе знаний, реальным диалогам поддержки и контексту конкретного обращения. Разберу всю хронологию, нюансы и путь от первой гипотезы до продакшена, которым уже пользуются клиенты. Для бизнеса этот кейс интересен как пример реальной автоматизации через ИИ: сначала ассистент для сотрудников, потом сервис для клиентов. Для технарей — подходом, где решение эволюционировало от RAG-прототипа к агенту на основании данных и метрик, а не потому, что «так модно».
https://habr.com/ru/companies/llmstart/articles/1038436/
#RAG #LLM #ИИагенты #LangChain #LangFuse #Ragas #метрики_качества #context_engineering #мультимодальность #ии
Self-Hosted Observability for Large Language Models Emerges
Developers can now watch their LLM work locally using self-hosted Langfuse. This gives more control over data and insights. Learn how it works.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/
Running your Large Language Models locally with Langfuse is now easier. This new method gives developers more control over their data compared to cloud services.
#LLMOps, #Langfuse, #vLLM, #OpenSource, #AI
https://newsletter.tf/self-hosted-llm-observability-langfuse-vllm/
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.
https://habr.com/ru/companies/sminex_developer/articles/1037438/
#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai
Как подключить Langfuse к LLM через JWT?
Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.
Habr
NewsletterTF
bot
