RyanLee (@RyanLeeMiniMax)

MiniMax가 NVIDIA AI 팀과 중국에서 만나 차세대 모델의 추론 최적화 협력을 논의했다. 또한 MiniMax의 최신 스파스(sparse) 솔루션이 곧 공개될 예정이라고 예고해 AI 개발 및 추론 효율화 측면에서 주목된다.

https://x.com/RyanLeeMiniMax/status/2053366300567818561

#nvidia #minimax #inference #sparse #llm

RyanLee (@RyanLeeMiniMax)

NVIDIA AI 팀과 중국에서 만나 MiniMax와 NVIDIA가 차세대 모델의 추론 최적화에서 더 깊은 협력을 추진한다고 밝혔다. 또한 MiniMax의 최신 sparse 솔루션이 곧 공개될 예정이라고 예고해, 새로운 AI 모델/추론 효율화 기술 발표로 볼 수 있다.

https://x.com/RyanLeeMiniMax/status/2053366300567818561

#nvidia #minimax #inference #sparse #llm

Saeed Anwar (@saen_dev)

대부분의 프로덕션 시스템이 아직도 긴 문맥을 한 번에 넣기보다 청킹과 검색을 쓰는 이유로 quadratic attention 비용을 지적한다. Ring attention과 sparse variant가 도움은 되지만, 10만 토큰 이하에서는 추가되는 엔지니어링 복잡성이 대체로 가치가 낮다고 설명한다.

https://x.com/saen_dev/status/2050120696395678001

#attention #llm #retrieval #sparse #engineering

Pelajari cara menghemat ruang disk dan kuota internet menggunakan Git Sparse Checkout. Panduan lengkap mengelola repositori besar dengan mengabaikan folder berat.

#fediverse #Teknik #Sparse #Checkout

https://dalam.web.id/warta-tekno/teknik-sparse-checkout-git

Sparse nén mô hình fine-tuned và dataset thành delta từ bản gốc. Nén 14GB xuống 1.4GB (lossless) hoặc 50MB (tương đương LoRA), phục hồi trong 4 giây. Áp dụng sau khi training, phù hợp mọi mô hình đã huấn luyện. Hiệu quả cho AI y tế, tài chính, pháp lý. #AI #MachineLearning #FineTuning #ModelCompression #Sparse #TríTuệNhânTạo #HọcMáy #NénMôHình

https://www.reddit.com/r/LocalLLaMA/comments/1q47kyt/delta_compression_for_finetuned_models_and/

Công cụ mới mang tên Sparse giúp nén các mô hình AI đã fine-tune dưới dạng "delta" (phần chênh lệch) so với mô hình gốc.

Điểm nổi bật:
- Nén mô hình 14GB xuống còn 1.4GB (không mất dữ liệu) hoặc 50MB (tương đương LoRA).
- Áp dụng được cho MỌI mô hình đã huấn luyện xong, không cần can thiệp lúc training.
- Tốc độ khôi phục cực nhanh (khoảng 4 giây).
- Giải pháp tối ưu cho lưu trữ và phân phối các mô hình AI chuyên biệt.

#AI #MachineLearning #Sparse #Compression #DeepLearning #CongNghe #TriTueNh

 Signal adds new Cryptographic Defense against Quantum Attacks.

Signal announced the introduction of Sparse Post-Quantum Ratchet [SPQR], a new cryptographic component designed to withstand quantum computing threats. SPQR will serve as an advanced mechanism that continuously updates the encryption keys used in conversations and discarding the old ones.

https://signal.org/blog/spqr/

#signal #sparse #postquantum #ratchet #spqr #it #security #privacy #engineer #media #tech #news