Как подключить Langfuse к LLM через JWT?

Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge. Но в закрытой корпоративной среде он упирается в простую вещь: LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать. И в этот момент интеграция ломается. Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос. В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.

https://habr.com/ru/articles/1025168/

#llm #litellm #fastapi #proxy #proxyserver #langfuse

You really have to be careful with examples. I saw this example for streaming binary data:
https://fastapi.tiangolo.com/advanced/stream-data/#simulate-a-file

And I was a bit suspicious if it would actually be doable/useful in the real world, and I confirmed that it doesn't actually work that way. I did:
```
>>> with open('/dev/zero', 'rb') as fp:
... for i in fp:
... print(len(i))
...
```

and instead of printing a reasonable set of lengths out, it just hung there. After 6 seconds or so, I hit ctrl-c a few times to abort it, and then after even longer, python died off w/ a Killed: 9 message.

Even with a buffering argument to open, it doesn't improve things.

I also decided to try with a 43MB BytesIO, and again, it didn't chunk it, the for loop returned a single 43MB chunk.

I wonder how many people used the example and things worked, yet they have unexplained weird performance hickups due to larger than expected chunks being used.

#FastAPI #Python

Как ИИ написал локальный редактор IPTV-плейлистов на FastAPI + React 19

Заголовок : Как я написал локальный редактор IPTV-плейлистов на FastAPI + React 19 (и почему всё состояние хранится по именам) Хабы : React , FastAPI , TypeScript , Tailwind CSS , Open source , IPTV , Python Теги : m3u , m3u8 , iptv , fastapi , react , hls , epg , drag-and-drop , self-hosted

https://habr.com/ru/articles/1024902/

#m3u #m3u8 #iptv #fastapi #react #hls #epg #draganddrop #selfhosted

Master FastAPI: Develop High-Performance APIs with Python 2025

As we move into 2026, the demand for lightweight, high-speed backend services continues to accelerate. This tutorial provides the essential foundation for engineers looking to shift from legacy framew...

📺 Watch here: https://www.youtube.com/watch?v=LW7LZ1x44d0

##FastAPI ##Python ##API ##Backend

Тестируем Yandex Code Assistant на задаче, в которой нужно хранить секреты

Всем привет! Меня зовут Станислав Денисов, я ML-инженер в компании «Инфосистемы Джет». Из-за вайбкодинга Хабр пережил уже не один холивар и переживет еще столько же, потому что, судя по всему, он с нами надолго. Занимать какую-либо из сторон в противостоянии бессмысленно. Вайбкодить без предметных знаний в проектах с высокой ценой ошибки как минимум рискованно. Несколько недель вручную собирать MVP или полезную тулзу для работы, когда под рукой есть ИИ, слишком долго. Ситуация, когда ИИ сам пишет, проверяет и деплоит код по запросу разработчика, уже данность. Claude Code создаёт 4% всех публичных коммитов на GitHub , а в Google заявляют, что 50% их кода ー AI-generated . По прогнозам цифры будут только расти, и это само по себе не проблема. Проблема вайбкодинга в том, как именно люди используют технологии и инструменты и распоряжаются результатами. Об инструментах как раз поговорим в статье, а именно о кодовом ассистенте Яндекса. Сегодня разберем оболочку агента, посмотрим, как он справится с деталями и нюансами разработки, и проведем черту между зонами ответственности ИИ и человека. Спойлер: почти Cursor.

https://habr.com/ru/companies/jetinfosystems/articles/1023812/

#yandex_code_assistant #cursor #ииассистенты #практический_опыт #бэкенд #информационная_безопасность #fastapi

1.FastAPI Rapid Guide: Craft Your First API in 2 Minutes | FastAPI Setup Tutorial

As the demand for real-time data and responsive web services continues to skyrocket in 2026, mastering efficient API development is paramount. This tutorial offers an accelerated path to building your...

📺 Watch here: https://www.youtube.com/watch?v=c03v4Uxnp2g

##FastAPI ##Python ##APIDevelopment ##WebDevelopment

2. FastAPI Decoded: Essential Guide to Project Architecture | Beginner-Friendly Python API Tutorial

As we head into 2026, building scalable microservices requires a rock-solid understanding of how your code is organized from the first line. This guide demystifies the structural foundations of FastAP...

📺 Watch here: https://www.youtube.com/watch?v=KXHgM60UqRc

##FastAPI ##Python ##API ##BackendDevelopment

The first ever FastAPI article on my blog.

FastAPI API Key Authentication with Security and Depends

#Python #fastapi

https://joeriksson.se/blog/fastapi-api-key-authentication/