The Illusion of Performance: Why Throughput Obscures LLM Failure

Are LLM throughput numbers misleading? Learn why goodput is the new standard for measuring real AI performance and user value as of May 2026.

#llmperformance, #aitechnology, #goodput, #techmetrics, #aiserving

https://newsletter.tf/llm-goodput-vs-throughput-performance-metrics/

Engineers are moving away from throughput, which counts all data, to goodput, which only counts useful data. This shift helps fix slow AI responses that users cannot actually use.

#llmperformance, #aitechnology, #goodput, #techmetrics, #aiserving
https://newsletter.tf/llm-goodput-vs-throughput-performance-metrics/

[Перевод] Когда повторы убивают: метастабильные отказы в распределённых системах

Бывают сбои, которые не исчезают после устранения причины: система залипает, полезная пропускная способность почти нулевая, а петли обратной связи удерживают отказ. В статье формализуем это как метастабильные отказы, разберем цикл «стабильное → уязвимое → метастабильное», характерные метрики и «скрытую ёмкость». Обсудим практики сохранения полезной пропускной способности под перегрузкой: бюджет повторов, приоритеты и отбрасывание запросов, обслуживание «последних первыми», грамотное управление очередями и автомат защиты. Читать про метастабильность

https://habr.com/ru/companies/otus/articles/955442/

#метастабильность #метастабильный_отказ #распределённые_системы #петли_обратной_связи #work_amplification #retry_budget #goodput