Install SGLang with uv, pip, or Docker; configure YAML and server flags; then serve Hugging Face LLMs with an OpenAI-compatible API plus native /generate and offline Engine examples.

#Cheatsheet #Self-Hosting #LLM #AI #AI Coding #DevOps #Docker #sglang #openai #SelfHosting

https://www.glukhov.org/llm-hosting/sglang/

SGLang and vLLM Workshops Coming to GOSIM Paris 2026！

The GOSIM Workshops have long been known for their diversity, hands-on learning, and interactivity, making them one of the most popular segments of the conference.

This May, the SGLang Workshop and vLLM Workshop will arrive at GOSIM Paris 2026, bringing together AI infrastructure developers from around the world to explore the latest advances in LLM inference systems.

Ticket purchase link:
https://eventbrite.com/e/gosim-paris-2026-tickets-1984013840806?aff=oddtdtcreator

#SGLang #vLLM

🚀 Big news!
The SGLang Workshop & vLLM Workshop are coming to GOSIM Paris 2026! 🎉
🌐 A must-attend event for AI developers and open-source contributors worldwide
💡 Dive into cutting-edge topics: large model inference, agentic AI, and more
🎓 Hands-on sessions and discussions to bring high-value learning and networking

Get your early bird tickets now and enjoy the discount: https://eventbrite.com/e/gosim-paris-2026-tickets-1984013840806?aff=oddtdtcreator 🚀

#GOSIMParis2026 #SGLang #vLLM #AIWorkshop #OpenSourceAI

Qwen (@Alibaba_Qwen)

Qwen 3.5 Medium 모델 시리즈의 FP8 가중치가 공개되어 배포 준비 완료되었다는 공지입니다. vLLM과 SGLang에 대한 네이티브 지원이 포함되며 모델 카드에 예제 코드가 제공됩니다. FP8 정밀도로 워크플로 최적화가 가능하며 가중치는 Hugging Face에서 획득할 수 있다고 안내합니다.

https://x.com/Alibaba_Qwen/status/2026682179305275758

#qwen3.5 #fp8 #vllm #huggingface #sglang

Qwen (@Alibaba_Qwen)

Qwen 3.5 Medium 시리즈의 FP8 가중치가 공개되어 배포 가능하다는 공지입니다. vLLM과 SGLang에 네이티브 지원을 제공하며, 모델 카드에 예제 코드가 포함되어 있습니다. FP8 정밀도로 워크플로우 최적화 가능하며 가중치는 Hugging Face에서 확인·다운로드할 수 있습니다.

https://x.com/Alibaba_Qwen/status/2026682179305275758

#qwen #fp8 #vllm #huggingface #sglang

Qwen (@Alibaba_Qwen)

SGLang을 사용해 새로운 AI 애플리케이션을 즉시 실행할 수 있다는 내용입니다. SGLang은 최근 주목받는 경량 언어 모델 프레임워크로, 개발자들이 신속하게 모델을 배포하고 테스트할 수 있게 합니다.

https://x.com/Alibaba_Qwen/status/2026348924433477775

#sglang #ai #framework #deployment

Qwen (@Alibaba_Qwen)

Qwen3.5-397B-A17B-FP8 모델 가중치가 공개되었다는 발표입니다. SGLang 지원이 병합되었고 vLLM용 PR이 제출되어(vLLM 리포 연동 예정) 주요 추론 프레임워크에서 곧 사용 가능해진다는 기술·오픈소스 업데이트를 알립니다. 모델 카드와 예제 코드도 제공됩니다.

https://x.com/Alibaba_Qwen/status/2024161147537232110

#qwen3.5 #openweights #vllm #sglang

Qwen (@Alibaba_Qwen)

Qwen3.5-397B-A17B-FP8 모델의 가중치가 공개되었습니다. 추론 프레임워크 적응이 진행되었고 SGLang 지원이 병합되었으며 vLLM에 대한 PR이 제출되어 곧 vLLM 지원이 도입될 예정입니다. 모델 카드에 예제 코드가 포함되어 있어 개발자들이 곧바로 테스트하고 배포할 수 있습니다.

https://x.com/Alibaba_Qwen/status/2024161147537232110

#qwen3.5 #openweights #vllm #sglang #inference

merve (@mervenoyann)

Minimax M2.5가 vLLM과 SGLang을 지원하며, Hugging Face Transformers와의 통합을 위한 커스텀 코드도 제공된다고 발표되어 개발자용 런타임/프레임워크 호환성 업데이트가 이루어졌음을 알립니다.

https://x.com/mervenoyann/status/2022327214138925111

#minimax #m2.5 #vllm #transformers #sglang

LMSYS Org (@lmsysorg)

미스터리였던 Pony Alpha가 GLM-5로 밝혀졌고, Zai_org의 모델 출시를 축하하며 SGLang이 Day-0부터 지원한다고 발표되었습니다. 모델 사양은 744B 파라미터(40B active) 및 28.5T 토큰 프리트레인으로, 복잡한 시스템 엔지니어링과 장기 에이전트 작업에 최적화되었다고 합니다.

https://x.com/lmsysorg/status/2021639499374375014

#glm5 #ponyalpha #sglang #opensource