Lee Robinson (@leerob)
Composer 2가 오픈소스 베이스에서 시작했으며, 향후 전체 사전학습(full pretraining)을 진행할 계획이라고 설명했습니다. 최종 모델의 계산량 중 약 4분의 1만 베이스에서 왔고 나머지는 자체 학습에서 비롯되었다며, 평가 결과가 달라지는 이유와 라이선스 준수도 언급했습니다.
Yep, Composer 2 started from an open-source base! We will do full pretraining in the future. Only ~1/4 of the compute spent on the final model came from the base, the rest is from our training. This is why evals are very different. And yes, we are following the license through
Unsloth Studio(Beta)는 오픈소스 노코드 로컬 웹 UI로, GGUF·safetensor 모델을 로컬에서 실행·학습·내보내기까지 한곳에서 지원합니다. 500+ 모델을 VRAM 70% 절감·2배 빠르게 학습(정확도 유지), 텍스트·비전·TTS·임베딩 지원. PDF/CSV/DOCX에서 자동으로 데이터셋 생성, 셀프히일링 도구호출·웹검색·코드 실행·자동 튜닝, 모델을 GGUF/safetensors로 내보내기 가능. 오프라인 우선 설계로 개인정보 보호, Windows/Mac/Linux/Docker/Colab에서 사용(베타).
AISatoshi (@AiXsatoshi)
Qwen 시리즈의 추론(reasoning) 부분이 지나치게 길다고 지적하며, 사고과정(chain-of-thought) 최적화를 위한 별도의 트레이닝을 왜 하지 않는지 의문을 제기하고 있음.
Sid Sahu (@siddhantsahu92)
rasbt(@rasbt)를 인용해, 강화학습(RL) 인프라가 최고 성능 모델을 훈련하는 데 있어 순수 증류(distillation)보다 훨씬 큰 변수라는 주장입니다. 따라서 증류로 인한 성능 향상은 불규칙하고 크지 않다는 지적을 담고 있습니다.
https://x.com/siddhantsahu92/status/2026567306734874770
#reinforcementlearning #rl #infrastructure #distillation #modeltraining
Avi Chawla (@_avichawla)
작성자는 10년간 신경망을 훈련해온 경험을 바탕으로 모델 학습을 최적화하는 16가지 실전 방법을 정리한 스레드를 공유했습니다. 하이퍼파라미터 조정, 학습률 스케줄링, 배치크기·정규화·데이터 증강 등 학습 효율과 일반화 성능을 개선하는 실무 팁들을 단계적으로 설명해 모델 개발자들이 학습 속도와 성능을 높이는 데 활용할 수 있습니다.
Mohit Goyal (@ByteMohit)
Kimi_Moonshot이 자체적으로 모델을 학습시키고 서로 비교하는 능력이 매우 강력하다는 반응입니다. 작성자는 이를 두고 '주니어 ML 엔지니어가 대체될 수 있다'고 농담으로 표현했습니다.
khazzz1c (@Imkhazzz1c)
새 회사에 합류한 뒤 불안감을 호소하며 한 달 내 ICLR 논문을 끝내야 하고, 10xB 규모의 모델을 포스트트레이닝해 리더보드에 올려야 한다고 언급하면서 목표로 Gemini 2.5를 지목함. 대회·벤치마크 수준의 성능 목표와 대규모 모델 후속 학습 부담을 드러내는 내용.
Since joining my new company, my anxiety has been through the roof. I’m expected to finish an ICLR paper within a month—and I feel like it has to get accepted. Then I’m in charge of post‑training a 10xB‑scale model and pushing it on leaderboards, but the targets are Gemini 2.5
Tháng 1/2026, một nhà phát triển đã thử nghiệm PEFT trên model qwen3 8b VL để thực hiện trích xuất văn bản có cấu trúc từ hình ảnh. Kết quả validation lớn nhất chỉ đạt 0.4 F1 score. Thay đổi Lora adapter không đẩy độ chính xác cao hơn. Thực nghiệm được dẫn dắt bằng việc hiển thị mô tả để giới hạn kết quả phía ra.
#ML #AI #MachineLearning #PEFT #NLP #ModelTraining #DataScience #AIExperiments #VLModels #HọcMáy #NgônNgữCh করেন #DữLiệu #ThửNhiệmAI
Nightshade: Make images unsuitable for model training
https://nightshade.cs.uchicago.edu/whatis.html
#HackerNews #Nightshade #ImageManipulation #AIethics #ModelTraining #PrivacyProtection
**GLM-4.6: Cực kỳ hạn chế trên API chính thức, nhưng "thở phanh" hoàn toàn trên Venice.ai!**
Mô hình GLM-4.6 của Zhipu AI bị kiểm duyệt khắt khe khi dùng API hoặc chat chính thức, từ chối các yêu cầu hơi "lố". Nhưng cùng mô hình này lại tự do tuyệt đối trên Venice.ai, có thể tạo nội dung gây sốc hay thậm chí là "prompt đen tối" nhất. Đây là minh chứng rõ ràng cho sự khác biệt giữa bản "trĩu nặng đạo đức" và bản "tuôn trào sáng tạo".
sayzard
Reddit Tech VN Bot
Hacker News