LiteLLM: AI Gateway for LLMs – Features Overview
https://rtfm.co.ua/en/litellm-ai-gateway-for-llms-features-overview/
In the previous posts on OpenT
#AI #LiteLLM #LLM
LiteLLM: AI Gateway for LLMs – Features Overview

Getting Started with LiteLLM AI Gateway - Running in Docker, OpenTelemetry traces in VictoriaTraces, access and limits via Virtual Keys, Teams, and budgets

RTFM: Linux, DevOps, and system administration | DevOps-engineering, and system administration. Cases from practice.

Завод ИИ-агентов в одном терминале через оркестрацию

С детства я смотрел фильмы, где люди разговаривают с компьютерами, и каждый раз думал — ну когда уже. Когда можно будет сказать машине, что делать, а она сделает. Учился на технолога бродильных производств. Защитил кандидатскую. Управляю пивоварней и параллельно — исполнительный директор в фирме по производству пищевого оборудования. Код не писал никогда. Но в детстве, когда появился нормальный интернет, я развлекался тем, что ставил на комп разные дистрибутивы Linux — от OpenBSD до классических. Не особо понимал, как их настраивать и зачем мне это. Потом, когда стал работать — понял, в чём сила Linux, но для настройки просто искал советы в интернете и копировал оттуда команды, или просил брата помочь. А потом появились LLM. И я понял — вот оно. Можно не учить синтаксис, не зубрить фреймворки. Можно объяснить что нужно и получить работающий код. Вдохновился. Попробовал. Столкнулся с галлюцинациями, бесконечными переделками, кода сгенерировано уже куча — а он не работает. Перегорел. Попробовал снова. Контекст такой: мне нужно было сделать АСУ ТП для пивоварни. Система управления технологическим процессом — датчики, клапаны, насосы, частотники. Я решил, что ИИ уже дорос. Начал с одного Claude‑агента: я ему говорю что делать, он делает. Потом дошёл до шести параллельных агентов. Они начали конфликтовать, переделывать работу друг друга, плодить баги. На одну фичу — пять новых проблем. Проект рос, но болезненно. А потом на предприятии по производству оборудования случилась попытка рейдерского захвата. Пришлось бросить всё и месяц заниматься защитой станков. Код и агенты отошли на второй план.

https://habr.com/ru/articles/1042214/

#AInative_разработка #ИИагенты #Оркестрация #Zellij #LiteLLM #Bashскрипты #Claude_Opus #Управление_процессами

Завод ИИ-агентов в одном терминале через оркестрацию

С детства я смотрел фильмы, где люди разговаривают с компьютерами, и каждый раз думал — ну когда уже. Когда можно будет сказать машине что делать, а она сделает. Учился...

Хабр

Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы

Обычно внедрение AI в компаниях происходит по такому сценарию: собрали одного ассистента, показали руководству, получили аплодисменты. Потом второго, третьего — и через полгода получается зоопарк с разными ключами, моделями и неконтролируемым бюджетом. Вместо набора разрозненных ассистентов мы сразу пошли в платформу. В статье рассказываем, из чего она состоит, как эволюционировало наше железо, зачем понадобилось два слоя наблюдаемости и почему маркетплейсный RAG ломается на PDF-файлах. С графиками, схемой архитектуры и выводами, которые сами хотели бы прочитать год назад.

https://habr.com/ru/companies/sminex_developer/articles/1037438/

#ai #llm #openwebui #langflow #langfuse #litellm #vllm #openai

Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы

Привет! Меня зовут Артём, я руковожу группой цифровой трансформации в Sminex. Последние два года моя команда занимается внедрением AI в компанию. В реальности это куда менее гламурная история, чем...

Хабр

I found a budget bypass in #LiteLLM, since they don't pay here you go https://github.com/LargeHardonCollider/litellm-infinite-money-glitch

#cybersecurity #ai #ml

GitHub - LargeHardonCollider/litellm-infinite-money-glitch

Contribute to LargeHardonCollider/litellm-infinite-money-glitch development by creating an account on GitHub.

GitHub
CVE Alert: CVE-2026-42208 - BerriAI - litellm - RedPacket Security

LiteLLM is a proxy server (AI Gateway) to call LLM APIs in OpenAI (or native) format. From version 1.81.16 to before version 1.83.7, a database query used

RedPacket Security

Data Breaches Surge, Exposing Sensitive Info at AI Startups, Agencies

Data breaches are surging, with AI startups and agencies exposed, as seen in the alarming theft of 10 petabytes from a Chinese supercomputer and 4 terabytes from AI startup Mercor due to a supply-chain vulnerability. These incidents highlight the hidden risks of connecting data to AI models, creating sensitive blind spots that leave large…

https://osintsights.com/data-breaches-surge-exposing-sensitive-info-at-ai-startups-agencies?utm_source=mastodon&utm_medium=social

#AiStartups #DataBreaches #EmergingThreats #Litellm #Mercor

Data Breaches Surge, Exposing Sensitive Info at AI Startups, Agencies

Learn how data breaches at AI startups and agencies expose sensitive info and discover steps to protect your organization from supply-chain attacks today.

OSINTSights

Embeddings models from #Scaleway weren't working with #LiteLLM. Couple of hours of searching and testing, it's a three line fix. 😅

https://github.com/BerriAI/litellm/pull/25395/changes

fix(embedding): omit null encoding_format for openai requests by meutsabdahal · Pull Request #25395 · BerriAI/litellm

Relevant issues Fixes #25388 Pre-Submission checklist Please complete all items before asking a LiteLLM maintainer to review your PR I have Added testing in the tests/test_litellm/ directory, Add...

GitHub
Hackers are exploiting a critical LiteLLM pre-auth SQLi flaw

Hackers are targeting sensitive information stored in the LiteLLM open-source large-language model (LLM) gateway by exploiting a critical vulnerability  tracked as CVE-2026-42208.

BleepingComputer
CVE-2026-42208: LiteLLM bug exploited 36 hours after its disclosure

Attackers quickly exploited a critical LiteLLM flaw (CVE-2026-42208) to access and modify sensitive database data via SQL injection.

Security Affairs

🔐 LiteLLM sotto assedio: scoperta falla che mette a rischio le chiavi IA. Tempo di rinforzare la sicurezza! #LiteLLM #CyberSecurity

🔗 https://www.tomshw.it/hardware/litellm-sotto-attacco-falla-espone-chiavi-ia

LiteLLM sotto attacco: la falla espone le chiavi IA

CVE-2026-42208 consente SQL injection senza login sul gateway LLM: nel mirino API key, token e segreti cloud già sfruttati.

Tom's Hardware