OpenAI just opened the doors to its massive Mixture‑of‑Experts models: gpt‑oss‑120B and gpt‑oss‑20B, both released under an Apache‑2.0‑style license. This means the weights are publicly available for anyone to fine‑tune, audit, or build on. A big step for open‑weight AI research—read more to see what this could mean for the community. #OpenAI #gptoss120B #gptoss20B #Apache2.0

🔗 https://aidailypost.com/news/openai-releases-gpt-oss-120b-gpt-oss-20b-under-apache-20-style-license

本地端跑 coding assistant 的方案

在 Hacker News 上看到「Ask HN: Who uses open LLMs and coding assistants locally? Share setup and laptop」這篇,在討論怎麼在本地端上跑 coding assistant 的方案。 裡面有人提到 Aider 搭 gpt-oss-120b 還不錯?如果要把 gpt-oss-120b 全上 GPU 的話好像得生出 64G...

Gea-Suan Lin's BLOG

Вам нужна RAM, а не VRAM. Параметр -cmoe для запуска больших и огромных моделей LLM локально. Ускоряем GPT-OSS-120B

Всё больше выходит больших MoE моделей с малым числом активных параметров. У MoE совсем другой сценарий нагрузки и использования ресурсов нежели у Dense моделей, достаточно немного VRAM. Большие MoE модели устроит 1 GPU и много обычной RAM. О том, как устроены MoE и как ускорить работу одним параметром не меняя железо.

https://habr.com/ru/articles/961478/

#llamacpp #cmoe #локальные_нейросети #gptoss120b #gptoss #cpumoe #qwen3 #deepseek #llm

Вам нужна RAM, а не VRAM. Параметр -cmoe для запуска больших и огромных моделей LLM локально. Ускоряем GPT-OSS-120B

Всё больше выходит больших MoE моделей с малым числом активных параметров. У MoE совсем другой сценарий нагрузки и использования ресурсов нежели у Dense моделей, достаточно немного VRAM. Большие MoE...

Хабр
Serving gpt-oss-120b at 5.8 ms TPOT with two RNGD cards: compiler…

Here are the key optimizations that enabled two RNGD cards to achieve 5.8 ms per output token for gpt-oss-120b, running under 180 W, in just weeks.

FuriosaAI

"Bạn đang chạy mô hình GPT-oss-120b trên MacBook Pro M4 128GB không? Thông qua cho biết nhé! 😊 Đang cân nhắc mua, muốn kiểm tra performance. #GPToss120b #MacBookProM4 #MôHìnhỐcT mẫu #MacBookProM4"

https://www.reddit.com/r/LocalLLaMA/comments/1oefgkn/anybody_running_gptoss120b_on_a_macbook_pro_m4/

When modern meet history, I have written for my work linux terminal #AI chat terminal with #sixel support (yep they were introduced in 1979). #gptoss120b is hosted with #llamacpp and client is written with python and Microsoft Autogen. For graphics output I am using libsixel-tools and all that is wrapped with Rich library. Python code is executed in #podman container. Btw all that is running on HP ZBook Ultra G1a 14 laptop. Yep I know it is just 500 lines of glue code.

GPT-OSS-20B / 120B: Сухие цифры после реальных тестов

GPT-OSS - тесты на реальном железе: производительность моделей 20B и 120B на RTX 4090, RTX 5090 и H100. Реальные метрики TPS, сравнение скорости генерации и практические выводы о том, какую модель выбрать для локального использования.

https://habr.com/ru/articles/938960/

#GPTOSS20B #GPTOSS120B #TPS_токены_в_секунду #RTX_4090_vs_RTX_5090 #Ollama #H100_PCIe #llm #локальная_LLM #VRAM_использование #vllm

GPT-OSS-20B / 120B: Сухие цифры после реальных тестов

OpenAI выпустила GPT-OSS модели ( https://huggingface.co/openai/gpt-oss-20b и https://huggingface.co/openai/gpt-oss-120b ) , и сообщество немедленно начало экспериментировать. Но реальные бенчмарки...

Хабр

IONOS AI Model Hub bietet GPT-OSS-120B von OpenAI – DSGVO-konform, in Deutschland gehostet, mit OpenAI-API-Kompatibilität.

https://ionos.blog/ionos-ai-model-hub/

#KI #OpenAI #DSGVO #digitalesouveranitat #ionos #gptoss #gptoss120b

IONOS AI Model Hub: Fortschrittliche KI-Lösungen für den deutschen Markt - IONOS Blog

IONOS führt den AI Model Hub ein, eine Plattform, die KI-Modelle, einschließlich LLM und Text to Image Modelle bereitstellt.

IONOS Blog
ChatGPT-ähnliche KI lokal am Mac nutzen: OpenAI bringt neue Offline-Modelle
OpenAI veröffentlicht erstmals seit Jahren neue Modelle mit offenen Gewichten. Ihr könnt jetzt ChatGPT-ähnliche KI direkt auf eurem Mac nutzen – ganz oh
https://www.apfeltalk.de/magazin/news/chatgpt-aehnliche-ki-lokal-am-mac-nutzen-openai-bringt-neue-offline-modelle/
#KI #News #ApacheLizenz #Apple #AppleSilicon #Entwicklerinnen #gptoss120b #gptoss20b #KI #KIModelle #Mac #Offline #OnDeviceKI #OpenAI #Sprachmodell
ChatGPT-ähnliche KI lokal am Mac nutzen: OpenAI bringt neue Offline-Modelle

Mit den kostenlosen Modellen von OpenAI läuft ChatGPT auch auf eurem Mac. Tools wie Ollama oder LM-Studio machen die Installation leicht.

Apfeltalk Magazin