Hacker NewsPretraining Language Models via Neural Cellular Automata
https://hanseungwook.github.io/blog/nca-pre-pre-training/
#HackerNews #Pretraining #Language #Models #Neural #Cellular #Automata #AI #Research #Machine #Learning
sayzardDan McAteer (@daniel_mac8)
GPT-5.4가 이전 모델(GPT-4.5) 이후 처음으로 더 큰, 추가 사전학습된 베이스 모델일 가능성이 제기된다는 분석. 작성자는 다단계 에이전트 과제에서 단순한 RL만으로는 이런 폭넓은 개선이 나오기 어렵다며 관련 연구(예: 'Illusion of Diminishing Returns')를 상기시킨다.
Dan McAteer (@daniel_mac8) on X
Do you smell that? Is that…BIG model??? GPT-5.4 may represent a larger, further pretrained base model for the first time since GPT-4.5. Doubt you get such broad improvements on multi-step agentic tasks with RL only. If you remember the “illusion of Diminishing Returns” paper
Xiaomin Yu (@XiaominY72213)
이 연구는 텍스트 데이터만으로 MLLM(멀티모달 대형 언어 모델)을 프리트레이닝하는 방법을 제안하며, 모달리티 간 격차(modality gap) 현상을 활용해 성능을 향상시키는 접근법을 탐구한다. 관련 논문은 Arxiv에 등록되어 있으며, Github에 소스 코드가 공개되어 있어 연구 재현성과 확장 가능성이 높다.
fly51fly (@fly51fly)
논문 'Stabilizing Native Low-Rank LLM Pretraining'(2026)이 arXiv에 공개되었습니다. Concordia와 Sorbonne 연구진(P. Janson, E. Oyallon, E. Belilovsky 등)이 저랭크(low-rank) 기반 LLM 사전학습의 불안정성 문제를 다루고 안정화 기법을 제시하는 연구로, 대규모 모델 효율화와 사전학습 개선에 중요한 시사점을 담고 있습니다.
vitrupo (@vitrupo)
Dario Amodei의 발언을 인용해 사전학습(pre-training)을 학습과 진화의 중간에 위치한 과정으로 설명합니다. 인간은 수백만 년에 걸친 선험적 prior를 물려받지만, LLM은 무작위 가중치에서 시작해 수조 개의 토큰을 증류해 그와 비슷한 priors를 형성한다고 해석하며 인간 학습 비유의 한계를 언급합니다.
vitrupo (@vitrupo) on X
Dario Amodei says pre-training sits somewhere between learning and evolution. Humans inherit priors shaped over millions of years. LLMs start as random weights and distill trillions of tokens into those priors. We describe them using human learning metaphors. But the analogy
fly51fly (@fly51fly)
프리트레이닝에서 습득된 지식이 감독형 파인튜닝으로 어떻게 전달되는지를 '매직 상관관계' 관점에서 분석한 연구입니다. 사전학습의 특성, 데이터 구성 및 파인튜닝 절차가 지식 이전에 미치는 영향에 대한 이론적·실험적 통찰을 제공하며, 모델 개발과 파인튜닝 전략에 시사점을 줍니다.
fly51fly (@fly51fly)
논문 'Value-Based Pre-Training with Downstream Feedback' (S Ke, G Fanti, CMU, 2026) 공개: 다운스트림 피드백을 활용한 가치 기반 프리트레이닝 기법을 제안하여 사전학습과 실제 업무(다운스트림) 성능 간의 연계를 강화하는 방법을 연구한 arXiv 논문입니다.
AIagent.at 🤖 AI News#LLMs learn various #characterarchetypes during #pretraining. #Posttraining focuses on the “#Assistant” #persona, but its stability is uncertain. Researchers mapped a “persona space” for LLMs, finding the “#AssistantAxis” aligns with helpful, professional archetypes. Monitoring and capping activations along this axis can prevent models from drifting into harmful personas, enhancing their stability and safety. https://www.anthropic.com/research/assistant-axis?AIagents.at #AIagent #AI #ML #NLP #LLM #GenAI
Akshay (@akshay_pachaar)
LLM이 어떻게 훈련되는지 4단계 요약: (1) 프리트레이닝(pre-training), (2) 인스트럭션 파인튜닝(instruction fine-tuning), (3) 선호도 기반 파인튜닝(preference fine-tuning), (4) 추론 능력 추가(adding reasoning capabilities). ChatGPT 같은 모델 생성 과정의 핵심 단계 정리.
Trending Stocks 📈Big Computers, New Questions - Ilya Sutskever and Dwarkesh Patel