Open-source персистентная память для LLM

Задача, которая казалась тривиальной: научить LLM помнить, с кем она разговаривает. Пользователь пишет «я вегетарианец», а через три сообщения модель предлагает стейк-хаус. Знакомо? Стандартные решения — обрезка истории, суммаризация, внешние векторные базы — всё это костыли. Я пошёл другим путём и сделал NGT Memory — модуль персистентной памяти с открытым исходным кодом. В статье подробно расскажу про архитектуру, эксперименты и все найденные решения. Если строили чат-ботов или AI-агентов — будет интересно

https://habr.com/ru/articles/1014366/

#llm #memory #python #openai #fastapi #opensource #retrieval #chatbot

Open-source персистентная память для LLM

Последние полгода я занимаюсь задачей, которая поначалу казалась тривиальной: научить LLM помнить, с кем она разговаривает. Задача звучит просто. На практике — нет. Если вы строили чат-бот или...

Хабр

woohoo, #starlette had a major version jump. the framework behind stuff like #FastAPI just got a major bump.

Starlette 1.0 is here! 🎉

After nearly eight years since its creation, Starlette has reached its first stable release.

https://github.com/Kludex/starlette
https://github.com/Kludex/starlette

Was trying to figure out why a Python string I returned from a http method, either as bytes or as a str kept appearing on the client as quoted.

I forgot that the server framework (FastAPI) defaults to encoding everything as json.

#Python #FastAPI

Kontiki, a microservices framework in Python.
github.com/kontiki-org/kontiki

#python #kontiki #amqp #rabbitmq #flask #fastapi #microservices

Novo post no blog: injeção de dependência com Dishka e FastAPI.

O sistema nativo de Depends() do FastAPI é ótimo até o momento em que você precisa de ciclos de vida diferentes por dependência, reutilizar serviços num worker Celery ou testar sem depender de banco real. A partir daí, começa a doer.

O artigo mostra como usar o Dishka — um container de IoC que entende escopo — para resolver isso: providers por Scope.APP e Scope.REQUEST, cleanup via yield, integração com FastAPI e testes com container substituto sem app.dependency_overrides.

https://www.riverfount.dev.br/posts/ioc_dishka/

#python #fastapi #dishka #arquitetura

Injeção de dependência do jeito certo: IoC com Dishka e FastAPI

Você já escreveu algo assim numa aplicação FastAPI? 1 2 3 4 5 6 7 8 9 @router.get("/orders/{order_id}") async def get_order(order_id: int): db = SessionLocal() try: repo = OrderRepository(db) service = OrderService(repo, settings.TAX_RATE) return await service.get_order(order_id) finally: db.close() O código funciona. Mas há um problema sério: cada endpoint é responsável por montar sua própria árvore de dependências. Quando OrderService precisar de um CacheClient e de um EventPublisher, quem vai sofrer é quem escreve — e depois testa — cada endpoint. O FastAPI tem seu próprio sistema de Depends() que resolve parte disso, mas tem limites quando a aplicação cresce e os grafos de dependência ficam complexos. É aqui que entra o conceito de Inversão de Controle e, mais especificamente, uma biblioteca que acerta onde o Depends() tropeça: o Dishka.

Blog do Riverfount

It’s surprisingly fast to mechanically convert my REST API to gRPC as the logic is already done and only a thin wrapper needs to be done for the app. Slowest part is getting the Rust server compiled. :)

#rust #grpc #fastapi #ios #etc

Kong API Gateway: Rate Limiting Tutorial | Protect Your API from Overload

https://makertube.net/w/mhEtQ51cRVXybv7SgJbpeL

Kong API Gateway: Rate Limiting Tutorial | Protect Your API from Overload

PeerTube

A senior AI project is not defined by complexity but by structure.
My 8‑day HR Copilot roadmap covers repo setup, data upgrades, backend/UI deployment, QA, documentation, communication, and portfolio expansion.
Clear phases → clear delivery.

#AI #DataEngineering #FastAPI #Streamlit #TechPortfolio #LLM

Добавляем в бизнес-портал Битрикс24 роботов для автоматизации

В прошлой статье мы сделали первое пробное фронтенд-приложение. Сегодня покажем, как делать автоматизацию и добавим 4 роботов: исправление номеров телефонов, нормализация имён и сбор данных по задачам и суммам сделок. Для проекта используем специально подготовленный для работы с AI-агентами шаблон AI-стартера, где уже заложены подробные инструкции для работы с ИИ. В статье — описание всех изменений, возможных проблем во время работы и их решения. И ссылка на репозиторий с проектом, конечно.

https://habr.com/ru/companies/bitrix/articles/1011418/

#битрикс24 #автоматизация #вайбкодинг #агенты_ии #crmсистемы #роботы #бизнеспроцессы #интеграция #python #fastapi

Добавляем в бизнес-портал Битрикс24 роботов для автоматизации

Привет! Меня зовут Игорь Росляков, я технический писатель. По приглашению руководителя направления «Маркет и интеграции» Сергея Вострикова я готовлю цикл статей на тему ИИ-ассистированной разработки...

Хабр

The entire stack is #opensource: dots.ocr model from #HuggingFace, vLLM for inference, #FastAPI proxy with parallel rendering + streaming. Total model size ~12GB, runs comfortably on any 24GB+ GPU.

Vision LLMs are making traditional OCR engines obsolete. No templates, no preprocessing rules, no layout config — just send an image, get structured text back. 🎯