AI SparkupBonsai 8B 등장, 1.15GB로 아이폰에서 돌아가는 8B급 성능의 비밀
PrismML이 공개한 1-bit LLM Bonsai 8B 소개. 1.15GB로 아이폰에서 동작하며 Microsoft BitNet과의 차별점, 인텔리전스 밀도 개념을 정리합니다.
sayzardAlex Cheema (@alexocheema)
Ollama의 MLX 백엔드, Microsoft의 BitNet B1.58 2B 4T 모델, TurboQuant 논문 등 관련 स्रोत을 제시합니다. 경량화된 로컬 LLM과 양자화 기술을 추적하는 데 유용한 참고 링크 모음입니다.
Paul Couvert (@itsPaulAi)
Tether가 QVAC BitNet LoRA라는 LoRA 기반 파인튜닝 프레임워크를 공개했습니다. 휴대폰에서 수십억 매개변수 모델을 실행하고 파인튜닝할 수 있게 하며 메모리 사용을 최대 90% 절감한다고 주장합니다. 또한 iPhone 16에서 13B 모델을 파인튜닝했고 약 11배 속도 향상을 달성했다고 보고됩니다.
JH
Seungjoon Lee (@joonlee0228) on Threads
마이크로소프트가 진짜 미쳤어요 🤯 100B 파라미터 모델을 GPU 없이, 그냥 CPU에서 돌린다고요. BitNet이라는 1비트 양자화 기술인데 — 이거 되면 판이 바뀜. 지금까지 로컬 AI 하려면: • GPU 비싼 거 질러야 하고 • VRAM 부족해서 모델 반토막 내야 하고 • 전기세 보고 조용히 울어야 했잖아요 근데 1비트면 파라미터당 메모리가 거의 안 드니까, 맥북이나 일반 데스크탑 CPU로 100B급 모델이 돌아간다는 거예요. API 비용 걱정? 없음. 내 컴퓨터에서 다 해결 💻 물론 1비트로 정확도를 얼마나 살리느냐가 핵심인데, MS가 이 스케일로 오픈소스까지 밀고 있다는 건 — 뭔가 숫자가 나온다는 뜻이겠죠. NVIDIA 주식 들고 있는 분들, 좀 불안하지 않아요? 😏 Source: https://github.com/microsoft/BitNet
AIagent.at 🤖 AI NewsLearn how to install bitnet.cpp, download the BitNet b1.58 model, and run a fully local AI chat and inference server on your machine. This beginner guide shows you how to run tiny AI models without cloud dependencies. https://www.kdnuggets.com/run-tiny-ai-models-locally-using-bitnet-a-beginner-guide #AIagent #AI #GenAI #AIInfrastructure #BitNet
Hacker NewsMicrosoft BitNet: 100B Param 1-Bit model for local CPUs
https://github.com/microsoft/BitNet
#HackerNews #Microsoft #BitNet #100BParam #1BitModel #LocalCPUs #MachineLearning #AI
AI Daily Post🚀 Want to run BitNet-b1.58-2B-4T locally? The new setup_env.py script automates a CMake build of the C++ backend, turning Python-driven setup into a fast inference engine. Perfect for hobbyists and researchers eager to experiment with large AI models offline. Dive into the details and see how easy open-source deployment can be! #BitNet #Python #CMake #LocalInference
🔗 https://aidailypost.com/news/python-setupenvpy-builds-bitnet-b158-2b-4t-c-backend-via-cmake
Reddit Tech VN BotTạo động cơ LLM 1.58-bit chạy 117 token/giây trên 1 nhân CPU với Rust và AVX-512, nhưng bị lỗi ở lớp Activation khiến đầu ra luôn là <unk>. Cần hỗ trợ về: (1) Weight tying trong BitNet – thiếu hệ số tỉ lệ? (2) Cách scale tích lũy nguyên từ VPOPCNTDQ trước khi đưa vào RMSNorm/SiLU. Dự án mã nguồn mở, zero-copy, không heap allocation. #Rust #AVX512 #LLM #MachineLearning #AI #R3Engine #BitNet #LocalAI #HPC #Inference #trítuệnhân tạo #môhìnhtonngẫu #xửlýsongsong #tinhoccao
https://www.reddit.
Chúng ta đang chuyển từ thời đại MatMul sang “AI cộng dồn” với BitNet (trọng số ternary), L‑Mul (thêm thay cho nhân) và mHC (đảm bảo ổn định quy mô). Nếu chạy mô hình 70B+ chỉ dùng 1/100 năng lượng, GPU hiện tại sẽ trở thành lạc hậu, cần ASIC chuyên cộng. Các bạn có nghĩ nên dừng mua GPU và tập trung vào kiến trúc cộng không? #AI #AdditiveAI #BitNet #L_Mul #mHC #CôngNghệ #TríTuệNhânTạo
RetrópolisEpisódio 166 – 30 anos de Internet comercial no Brasil – Parte A
https://retropolis.com.br/2025/08/06/episodio-166-parte-a/
#Podcast #3270 #Alternex #ARPA #ARPANET #ASCIIArt #BITNET #BobKhan #CETEL #CGIBr #ControlData #DARPA #DEC #Embratel #enlace #FakeNews #FAPESP #Fermilab #GuerraFria #GuiaDaInternetBr #IBASE #IBM #internet #JosephLickner #Kremvax #LinhaCruzada #LNCC #Londres #MIT #modem #MTP #NCP #NICBr #PDP #rede #RedeRio #Registrobr #retrocomputing #retrogaming #Retrpolis #revista #RN
Episódio 166 – 30 anos de Internet comercial no Brasil – Parte A - Retrópolis
Bem-vindos ao podcast Retrópolis! Apresentado pela Municipalidade de Retrópolis. Esta é a Parte A do Episódio 166. Sobre o episódio Não parece, mas a Internet comercial no Brasil já tem 30 aninhos de idade. Vamos comemorar o primeiro retorno de Saturno da rede das redes com um agora-vilão especialmente convidado. Sobre esta parte Uma brevíssima