INT8 양자화로 LLM 추론 비용·지연을 줄였나요? 경험 공유해 주세요! 🤔 어떤 캘리브레이션 전략이 효과적이었나요? #INT8 #LLM #Quantization #MLOps #AI

https://aipages.net/int8-llm-%ec%b6%94%eb%a1%a0-%eb%b0%b0%ed%8f%ac-%ec%8b%a4%eb%ac%b4-%ea%b0%80%ec%9d%b4%eb%93%9c/

AISatoshi (@AiXsatoshi)

DeepSeek-V4의 출시가 임박한 것으로 보이며, 트윗 작성자는 양자화 방식이 FP8이 아닌 INT8로 보인다고 언급하고 있습니다. 이는 모델 경량화·추론 효율 관점에서 중요한 설계 선택으로 보이며, INT8 채택 시 성능·호환성·하드웨어 요구사항에 대한 관심이 커질 수 있습니다.

https://x.com/AiXsatoshi/status/2031744529163022522

#deepseekv4 #int8 #quantization #model

Let's give this RX 7800 XT a run for its money. Can it path trace? ->

Cyberpunk 2077 - FSR 4 - INT8 - Path Tracing - RX 7800 XT

https://www.youtube.com/watch?v=1eJJ2VmCUUY

#gaming #Cyberpunk2077 #FSR4 #INT8 #PathTracing

Performance and Numerical Aspects of Decompositional Factorizations with FP64 Floating-Point Emulation in INT8

#NVIDIA #Int8 #FP64 #Factorization

https://hgpu.org/?p=30278

Малые числа, большие возможности: как плавающая запятая ускоряет ИИ и технологии

Привет, Хабр! С вами снова ServerFlow, и сегодня мы решили погрузиться в увлекательный мир чисел с плавающей запятой . Вы когда-нибудь задумывались, почему существуют разные виды этих чисел и как они влияют на производительность наших процессоров и видеокарт? Как малые числа с плавающей запятой помогают развивать нейросети и искусственный интеллект? Давайте вместе разберемся в этих вопросах, раскроем тайны стандарта IEEE 754 и узнаем, какое значение имеют большие и маленькие числа с плавающей запятой в современных вычислениях.

https://habr.com/ru/companies/serverflow/articles/846732/

#плавающая_запятая #fp32 #fp16 #INT8 #квантизация #Тензорные_ядра #fpu #floatingpoint #floating_point #ieee_754

「 #AI PC ベンダーは #TOPS を持たなければなりません – しかし、これは単に GHz 戦争の再発なのでしょうか? 」： The Register

「チップメーカーにとって、AI PC は TOPS を目指す競争となっており、#Intel 、#AMD 、 #Qualcomm がそれぞれ他社を上回ろうとしています。

先週わかったように、AMD の次世代 Ryzen 300 シリーズ チップは 50 NPU TOPS を誇り 、Intel の Lunar Lake パーツは 48 NPU TOPS を実現し ます。 一方、クアルコムとアップルは以前、 自社のNPUがそれぞれ45 TOPSと38 TOPSを達成すると 発表した。
通常、TOPS について話すときは、#INT8、つまり 8 ビット精度を意味すると想定されています。 ただし、下位の 6 ビットおよび 4 ビットのデータ型が一般的になりつつあるため、それはもはや当たり前のことではありません。」

https://www.theregister.com/2024/06/11/ai_pc_tops/

#prattohome #TheRegister