Apple, Google Gemini 기반의 온디바이스 AI 모델 개발 추진

Apple은 Google Gemini 모델에 대한 완전한 접근 권한을 확보하여 온디바이스 실행에 최적화된 소형 AI 모델을 개발하고 있다.

🔗 원문 보기

Mathematics Distillation Challenge – Equational Theories

https://terrytao.wordpress.com/2026/03/13/mathematics-distillation-challenge-equational-theories/

#HackerNews #Mathematics #Distillation #Challenge #Equational #Theories #TerryTao #MathChallenge

Sebastian Raschka (@rasbt)

Ch08 노트북(Reasoning-from-scratch 리포지토리)이 GitHub에 공개되었습니다. LLM을 대상으로 한 'hard distillation' 구현 예제 코드로, 어떤 LLM에도 적용 가능한 증류 기법을 다루며 서비스 약관 준수를 명시합니다. 실습용 코드와 챕터 자료가 포함되어 있어 연구자·개발자에게 유용한 오픈소스 리소스입니다.

https://x.com/rasbt/status/2031730268596310141

#llm #distillation #github #modelcompression

Sebastian Raschka (@rasbt)

rasbt가 모델 증류(Claude distillation)를 주제로 챕터를 집필하면서, OpenRouter와 Ollama를 이용해 다양한 오픈웨이트 모델로부터 증류용 데이터를 생성하는 유틸리티를 공개했습니다. 관련 코드와 설명은 'reasoning-from-scratch' 저장소의 Chapter 8 README에 정리되어 있습니다.

https://x.com/rasbt/status/2027449675654058190

#distillation #modeldistillation #opensource #ollama #openrouter

fly51fly (@fly51fly)

[논문] "Mirroring the Mind: Distilling Human-Like Metacognitive Strategies into Large Language Models" 발표(Seoul National University, 2026). 인간과 유사한 메타인지 전략을 대형 언어모델에 증류하는 연구로, LLM의 자기감시·메타인지 개선 가능성을 다룹니다. arXiv 원문 제공.

https://x.com/fly51fly/status/2027501675192455398

#metacognition #llm #research #distillation

Sid Sahu (@siddhantsahu92)

rasbt(@rasbt)를 인용해, 강화학습(RL) 인프라가 최고 성능 모델을 훈련하는 데 있어 순수 증류(distillation)보다 훨씬 큰 변수라는 주장입니다. 따라서 증류로 인한 성능 향상은 불규칙하고 크지 않다는 지적을 담고 있습니다.

https://x.com/siddhantsahu92/status/2026567306734874770

#reinforcementlearning #rl #infrastructure #distillation #modeltraining

BijanBowen (@Ominousind)

Anthropic의 모델을 대상으로 한 새로운 지식 증류(distillation) 공격 데모가 공개되었다. GPT-5.2를 교사 모델로 사용하고, Llama 3B 모델에 QLoRA를 적용하여 50개의 출력만으로도 큰 성능 전이가 이루어졌음을 보여주었다. 이는 대형 언어 모델(LLM)의 지식을 소형 모델로 이전하는 혁신적 방법으로, 모델 복제 및 보안 측면에서 중요한 연구 시사점을 제공한다.

https://x.com/Ominousind/status/2026306850879144221

#anthropic #gpt5 #llm #distillation #qlora

#Anthropic exposes massive #AI #distillation #attacks

https://www.technewsro.blog/anthropic-expune-atacuri-masive-de-distilare-ai/

🚨 #Anthropic identificó una campaña a escala industrial para extraer ilícitamente las capacidades de Claude y mejorar sus propios modelos.

Este ataque se llevó a cabo por tres laboratorios de IA: #DeepSeek, #Moonshot y #MiniMax, generando más de 16 mill de intercambios con Claude a través de aproximadamente 24.000 cuentas fraudulentas.

Cada campaña se centraba en las capacidades más diferenciadas de Claude: razonamiento agente, uso de herramientas y codificación.

#Distillation #LLM #Security