PaperCall.io

🧵 (5/5) In trading, end-to-end latency from sensing the market to executing the action (new order single, amend, cancellation) determines whether the agent's reward signal is meaningful or just random noise.

Cross disciplinary research rocks. More later.

#ReinforcementLearning #AlgorithmicTrading #Latency #JohnCarmack #HighFrequencyTrading #Trading

Harry Coultas Blum (@harrycblum)

Fluxions AI가 음성 기반 바이브 코딩 도구 vui를 출시했다는 소식입니다. 스레드 작성자는 자신들도 같은 방향에 도달했다며, StepFun 기준의 첫 토큰 지연시간(first-token latency)이 얼마나 나오는지 질문하고 있습니다. 음성 인터페이스와 저지연 LLM 추론이 중요한 실사용 영역에 해당합니다.

https://x.com/harrycblum/status/2055293170464764101

#voicecoding #vui #llm #latency #agent

Harry Coultas Blum (@harrycblum) on X

@AndaBotHQ @StepFun_ai Voice vibe coding is exactly where we landed too. We just shipped vui (https://t.co/iSzsYDYAQn) — curious what first-token latency you're getting from StepFun?

X (formerly Twitter)
Post by @ukdamo

💬 0  🔁 0  ❤️ 0 · Forever Plastics · Ronald Carson (Inventory, 1950–present) We were the dream of convenience, the permanent press. We were the yogurt cup you spooned empty at dawn, the blister-…

Tumblr

Localmaxxing

최근 AI 추론 수요 증가에 대응해, 저자는 클라우드의 대규모 모델 대신 로컬 35B 모델로 일상 업무의 절반을 처리할 수 있음을 확인했다. 로컬 모델은 대기시간(latency) 측면에서 큰 이점을 제공하며, 복잡한 작업에서는 최신 클라우드 모델에 다소 뒤처지지만, 일상적이고 반복적인 에이전트 작업에는 충분히 경쟁력이 있다. 특히 로컬 추론은 비용, 프라이버시, 자산 가치 활용 측면에서도 의미가 있으며, 앞으로 로컬 모델 성능 향상에 따라 더 많은 작업이 개인 하드웨어에서 처리될 전망이다.

https://tomtunguz.com/localmaxxing/

#localinference #llm #aiagent #latency #modelbenchmarking

Localmaxxing

About half of agent tasks can run on a local 35B model. The real advantage isn't cost or privacy — it's latency. 2.1x faster means more iteration cycles per session.

Tomasz Tunguz

Sam Altman (@sama)

가장 똑똑한 모델을 항상 쓰지 않으면 불안하다고 느끼지만, 때로는 속도가 느려도 괜찮다고 언급했다. AI 모델 선택에서 가격 대비 지능뿐 아니라 가격 대비 속도 트레이드오프를 더 중요하게 봐야 한다는 문제의식을 제기했다.

https://x.com/sama/status/2054627102922797323

#llm #modelselection #latency #cost #ai

Sam Altman (@sama) on X

i get some anxiety not using the smartest-available model/settings. but sometimes i dont mind if it's really slow. i wonder if we should focus more on a price/speed tradeoff relative to a price/intelligence tradeoff.

X (formerly Twitter)

Девять испытаний роста нагрузки: от стартапа к приложению для 25 миллионов пользователей

Эта статья совсем не технический анализ, а увлекательный рассказ о том, как маленький, но очень перспективный стартап стал топовым приложением, а также о том, какие сложности встали на пути команды разработки, DevOps и тестирования X5 Tech. Мы сразу заложили основные принципы нагруженного приложения: микросервисы как основа всего, полное покрытие метриками, асинхронность, кэширование на максималках. Какую-то функциональность разрабатывали сами, где-то задействовали сервисы других техкоманд из X5, а где-то и сторонние решения с рынка. Весь код писали на Python, использовали FastAPI и другие популярные на тот момент фреймворки и технологии.

https://habr.com/ru/companies/X5Tech/articles/1029410/

#highload #микросервисы #latency #postgresql #elasticsearch #kubernetes #hpa #балансировка_нагрузки #нагрузочное_тестирование #observability

Девять испытаний роста нагрузки: от стартапа к приложению для 25 миллионов пользователей

Эта статья совсем не технический анализ, а увлекательный рассказ о том, как маленький, но очень перспективный стартап стал топовым приложением, а также о том, какие сложности встали на пути команды...

Хабр

Tyler Brooks AI Lab (@tylerailab)

AI 모델에 대한 충성도는 결국 지연시간과 사용 편의성에 달려 있으며, 개발자는 현재 가장 적은 마찰로 가장 높은 성능을 제공하는 도구로 이동한다는 주장이다. Codex가 지금은 우세하지만 Anthropic도 곧 따라올 수 있으며, 핵심 경쟁력은 모델 자체보다 워크플로우에 있다는 메시지다.

https://x.com/tylerailab/status/2054559801850359966

#ai #codex #anthropic #workflow #latency

Tyler Brooks AI Lab (@tylerailab) on X

@moritzkremb Model loyalty in AI is just latency. Builders go where the capability-to-friction ratio is highest today. Codex has it now, Anthropic might have it next month. The real moat is your workflow, not the model.

X (formerly Twitter)

Ars Technica (@arstechnica)

Windows 11에 속도 향상을 위한 'low latency profile' 개선이 추가될 예정이라는 소식이다. 사용자 체감 성능과 시스템 응답성을 높이는 운영체제 업데이트로 볼 수 있다.

https://x.com/arstechnica/status/2054258401585385686

#windows11 #latency #performance #microsoft #operatingsystem

Ars Technica (@arstechnica) on X

Speed-boosting "low latency profile" is one of the improvements coming to Windows 11 https://t.co/cuGggznxcr

X (formerly Twitter)