AISatoshi (@AiXsatoshi)
외부 노트북에서 자택의 LMstudio에 원격으로 연결해 gpt-oss-120b 모델을 구동한 결과 초당 200토큰 이상 처리 가능한 성능을 확인했다는 실사용 보고입니다. 원격 접속 환경에서 높은 토크나이즈 처리량을 달성한 사례로, LMlink를 통한 원격 추론·개발 워크플로 우수성을 시사합니다.
AISatoshi (@AiXsatoshi)
외부 노트북에서 자택의 LMstudio에 원격으로 연결해 gpt-oss-120b 모델을 구동한 결과 초당 200토큰 이상 처리 가능한 성능을 확인했다는 실사용 보고입니다. 원격 접속 환경에서 높은 토크나이즈 처리량을 달성한 사례로, LMlink를 통한 원격 추론·개발 워크플로 우수성을 시사합니다.
金のニワトリ (@gosrum)
Qwen3.5-35B-A3B-UD-Q4_K_XL(업데이트판)의 ts-bench 결과가 공유되었고, 업데이트로 점수가 84%에서 92%로 향상되어 gpt-oss-120b를 능가했다고 보고했습니다. 27B와 112B 버전은 아직 업데이트되지 않아 이후 재평가 예정이라는 내용입니다. 성능 향상과 벤치마크 우위가 핵심입니다.
OpenAI just opened the doors to its massive Mixture‑of‑Experts models: gpt‑oss‑120B and gpt‑oss‑20B, both released under an Apache‑2.0‑style license. This means the weights are publicly available for anyone to fine‑tune, audit, or build on. A big step for open‑weight AI research—read more to see what this could mean for the community. #OpenAI #gptoss120B #gptoss20B #Apache2.0
🔗 https://aidailypost.com/news/openai-releases-gpt-oss-120b-gpt-oss-20b-under-apache-20-style-license
本地端跑 coding assistant 的方案
#120b #aider #assistant #code #coding #gpt #GptOss120b #llm #local #oss
Вам нужна RAM, а не VRAM. Параметр -cmoe для запуска больших и огромных моделей LLM локально. Ускоряем GPT-OSS-120B
Всё больше выходит больших MoE моделей с малым числом активных параметров. У MoE совсем другой сценарий нагрузки и использования ресурсов нежели у Dense моделей, достаточно немного VRAM. Большие MoE модели устроит 1 GPU и много обычной RAM. О том, как устроены MoE и как ускорить работу одним параметром не меняя железо.
https://habr.com/ru/articles/961478/
#llamacpp #cmoe #локальные_нейросети #gptoss120b #gptoss #cpumoe #qwen3 #deepseek #llm
Всё больше выходит больших MoE моделей с малым числом активных параметров. У MoE совсем другой сценарий нагрузки и использования ресурсов нежели у Dense моделей, достаточно немного VRAM. Большие MoE...
Compiler optimizations for 5.8ms GPT-OSS-120B inference (not on GPUs)
#HackerNews #CompilerOptimizations #GPTOSS120B #Inference #AIResearch #MachineLearning #FuriosaAI
"Bạn đang chạy mô hình GPT-oss-120b trên MacBook Pro M4 128GB không? Thông qua cho biết nhé! 😊 Đang cân nhắc mua, muốn kiểm tra performance. #GPToss120b #MacBookProM4 #MôHìnhỐcT mẫu #MacBookProM4"
https://www.reddit.com/r/LocalLLaMA/comments/1oefgkn/anybody_running_gptoss120b_on_a_macbook_pro_m4/
GPT-OSS-20B / 120B: Сухие цифры после реальных тестов
GPT-OSS - тесты на реальном железе: производительность моделей 20B и 120B на RTX 4090, RTX 5090 и H100. Реальные метрики TPS, сравнение скорости генерации и практические выводы о том, какую модель выбрать для локального использования.
https://habr.com/ru/articles/938960/
#GPTOSS20B #GPTOSS120B #TPS_токены_в_секунду #RTX_4090_vs_RTX_5090 #Ollama #H100_PCIe #llm #локальная_LLM #VRAM_использование #vllm
Ok, dann erstmal nicht.
Statt dessen https://openai.inference.de-txl.ionos.com/v1/chat/completions