LM Studio and Claude Code
Which means you can use with gguf (and mlx) locally.
https://lmstudio.ai/blog/claudecode
I have #litellm setup which also sets the Anthropic-compatible /v1/messages endpoint, with any model.
Use #OpenCode Zen (supports BYOK now) or #Ollama Cloud if you need other models and don’t have the hardware to run them locally. Current favorite GLM 4.7, and for lighter tasks the fantastic lomo-3 on a local Ollama.
🎯 Zero accuracy loss - preserves what matters: errors, anomalies, high-scoring items & query-relevant content using BM25/embedding similarity
✅ Full provider support: #OpenAI, #Anthropic, #Google, #Cohere, #Mistral & #LiteLLM with exact token counting
📈 Performance: Search results (1000 items) 45K→4.5K tokens (90%), Log analysis 22K→3.3K tokens (85%), API responses 15K→2.25K tokens (85%)
🚀 Ứng dụng mã nguồn mở chuyển giọng nói thành văn bản, chạy trên Linux & Windows! Dùng sherpa‑onnx + liteLLM, hỗ trợ từ vựng tùy chỉnh, xử lý thông minh qua LLM (loại bỏ "um", sửa ngữ pháp) và chạy mô hình Whisper hoặc Nvidia Parakeet. Mã nguồn và bản phát hành có trên GitHub. #OpenSource #VoiceToText #Linux #Windows #AI #LLM #sherpa #liteLLM
https://www.reddit.com/r/LocalLLaMA/comments/1ql5cba/i_built_an_open_source_voicetotext_app_using/
Or Hiltch (@_orcaman)
OpenWork AI 팀이 여러 통합을 발표했습니다. AWS가 기여한 Amazon Bedrock 통합, DeepSeek AI에 대한 네이티브 통합, OpenRouterAI 및 LiteLLM과의 통합이 추가되어 다양한 LLM 백엔드, 라우팅 솔루션 및 경량 LLM과의 연동을 지원합니다. 개발자들이 여러 서비스와 손쉽게 연결해 활용할 수 있는 업데이트입니다.
Boy, have we got news for you! 🧑🍳 The @openwork_ai team is happy to announce: - Amazon Bedrock integration, contributed by our friends at @awscloud (thanks guys!) - Native @deepseek_ai integration - Integration with @OpenRouterAI and @LiteLLM! Here's how what it looks like >>
New Relic と LiteLLM Proxy と OpenTelemetry
https://qiita.com/shohei_yamamoto/items/411fb286dfe017fc8960?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items
AI 코딩 도구, 개발 생산성 76% 높였다: 2025 현황 보고서
AI 코딩 도구로 개발 생산성이 76% 증가. Claude가 OpenAI를 빠르게 따라잡는 2025년 AI 코딩 현황을 데이터로 분석합니다.
**LiteLLM có thực sự ổn định?** Người dùng chia sẻ trải nghiệm về những hiện tượng ngừng hoạt động bất thường khi kết nối các mô hình cục bộ qua LiteLLM. Một số vấn đề được phản hồi: có lệnh hoạt động, có lệnh thì mô hình lại không hiển thị. Cộng đồng đang tranh luận đây là lỗi cá nhân hay vấn đề chung của công cụ này so với Haproxy. #LiteLLM #LocalLLM #AI #CôngNghệ #StabilityAI #MôHìnhLậpDung #LocalLLaMA
(Trích từ thảo luận trên Reddit r/LocalLLaMA)
Используем несколько нейронок безопасно и через единый интерфейс. Инструкция по внедрению LiteLLM
Есть несколько очевидных проблем с LLM: утечка конфиденциальных данных и кода, компрометация токенов, зависимость от внешних провайдеров. О них знают все, но это никого не останавливает. Даже если руководитель решит перестраховаться и не выделит деньги на LLM, сотрудники купят подписку сами и продолжат ими пользоваться, потому что это удобно. Есть и менее очевидные сложности: например, одна команда может потратить все токены, и их придется докупать. Привет, я Павел Мохляков. Вообще я Data Science-инженер в Cloud.ru , но сегодня решил, почему бы не рассказать как с помощью LLM-шлюза можно использовать несколько LLM через один API и при этом снизить риск утечки данных, контролировать расходы и соблюдать требования №152-ФЗ. Кроме того, покажу пример тестового подключения и объясню, что делать на каждом этапе. Сразу оговорюсь, что статья будет полезна, скорее всего, инженерам, архитекторам, да и просто человекам-оркестрам из средних и малых компаний, которым нужно относительно быстро и безопасно внедрить у себя LLM. А вот для крупного бизнеса или, например, КИИ явно нужно что-то другое — посерьезнее и понадежнее.
Есть несколько очевидных проблем с LLM: утечка конфиденциальных данных и кода, компрометация токенов, зависимость от внешних провайдеров. О них знают все, но это никого не останавливает. Даже если...
Cộng đồng đang tìm kiếm công cụ benchmark tốt nhất cho các cổng AI LiteLLM và mô hình. Các tiêu chí quan trọng bao gồm TTFT, tốc độ xuất token, độ chính xác, và kiểm tra dưới áp lực. Bạn có biết công cụ "plug and play" nào không?
#AI #Benchmarking #LiteLLM #LLM #Tools #ArtificialIntelligence #ĐánhGiáAI #CôngCụAI #HọcMáy
https://www.reddit.com/r/LocalLLaMA/comments/1pduptm/best_current_benchmarking_tool/
oatmeal
ΛLΞХ 🏕
michabbb
Reddit Tech VN Bot
sayzard
Qiita - 人気の記事
AI Sparkup
Habr