Anthropic (@AnthropicAI)
MSM을 활용하면 어떤 모델 스펙이나 헌법(constitution)이 정렬 학습에서 더 나은 일반화를 이끄는지 실증적으로 비교할 수 있다고 설명한다. 단순히 규칙만 주는 것보다, 그 규칙의 가치와 배경을 설명하거나 더 세부적인 하위 규칙을 추가하는 방식이 더 효과적일 수 있다는 점을 강조한다.
Using MSM, we can also empirically study which model specs or constitutions yield the best generalization from alignment training. Specifying rules works to some extent, but explaining the values underlying those rules (or adding more detailed subrules) is even better.
Elon Litman (@elon_lit)
딥러닝의 일반화에 대한 통합 이론을 제시하며 grokking, double descent, benign overfitting, implicit bias를 하나의 틀로 설명하는 연구 결과다. 신경망의 population risk 최적화가 작은 변화로 귀결된다는 점을 제안해 이론적으로 중요한 발견이다.
https://x.com/elon_lit/status/2051713061036167253
#deeplearning #generalization #research #neuralnetworks #machinelearning
We developed a unified theory of generalization in deep learning. It explains grokking, double descent, benign overfitting, and implicit bias. But theory is only half the story. It turns out that optimizing the population risk of any neural network amounts to a small change to
Nomad_Sim (@sedonaroxx)
과적합이 아닌 과매개변수화 모델에서 파라미터 수가 증가할수록 더 다양한 방식으로 적합할 수 있어, 훈련에서 발견되지 않은 잠재 구조를 학습할 수 있다는 관점을 설명했다. 로짓 모델과 SVM의 커널 고차원 투영을 예로 들어, 더 큰 모델의 일반화 직관을 논의한 내용이다.
@_avichawla We observe this in logit and SVMs (where the kernel projects onto high dims); the intuition is higher parameters help to fit the model in more ways and the model learns underlying latent structure not discovered in training. Happens with over parameterized models. Fascinating
fly51fly (@fly51fly)
Vision Transformer의 일반화 능력을 내부 동작 분석으로 측정하는 연구입니다. 모델의 중간 표현과 내부 작동 방식을 통해 일반화 성능을 이해하려는 내용으로, 비전 모델 해석과 평가 방법에 관심 있는 AI 개발자에게 유용합니다.
https://x.com/fly51fly/status/2042720417018958105
#visiontransformer #interpretability #generalization #research #computervision
Lenka Zdeborova (@zdeborova)
메모리화와 일반화의 균형을 탐구하기 위해 Rules-and-Facts 모델을 소개했다. 단순 암기가 아니라 규칙 학습과 사실 기억을 동시에 요구하는 실제 과제를 평가하는 데 초점을 맞춘 연구로 보인다.
https://x.com/zdeborova/status/2037522113750302758
#llm #machinelearning #memorization #generalization #research
Memorization is often treated as something that can be tolerated without harming generalization - or studied in isolation. But many real tasks require *both learning rules and memorizing facts*. We introduce the Rules-and-Facts model to probe this: https://t.co/hPSYC2eyUV
Lossfunk (@lossfunk)
Esolang-Bench에 대한 질문에 답하며, 이 프로젝트는 호기심 기반으로 시작됐고 인간의 sample-efficiency와 OOD generalization을 이해하는 데 관심이 있었다고 설명한다. 모델이 zero/few-shot으로 얼마나 학습하는지 보는 벤치마크의 목적을 공유한다.
fly51fly (@fly51fly)
YOR(Your Own Mobile Manipulator) 논문: 일반화 가능한 모바일 매니퓰레이터 설계 및 구현 제안. M. H. Anjaria, M. E. Erciyes, V. Ghatnekar, N. Navarkar 등 저자, New York University 관련(2026, arXiv). 로봇의 모듈성·이식성·환경 일반화 측면에서 기여를 목표로 함.
Xin Eric Wang (@xwang_lk)
GEA(진화형 에이전트)의 일반화 성능을 테스트하기 위해, 평가 시점에 acting 모듈의 코딩 모델을 GPT 계열 및 Claude 계열 백본으로 교체해 실험했다. iteration-0(초기) 에이전트와 GEA로 진화한 최종 에이전트를 비교한 결과, GEA로 진화한 에이전트가 다양한 백본에서 일관되게 더 높은 성능을 보였다는 중간 보고 내용이다.
@WengZhaoti39773 @anton_iades @deepaknathani11 @zhenzhangzz @XiaoSophiaPu 🧵4/N GEA transfers across models To test generalization, we swapped the acting module’s coding model with different GPT-series and Claude-series backbones at eval time—then compared iteration-0 vs. the best GEA-evolved agent. Result: the GEA agent consistently beats the
#ontology of
#time-qualified-objects
#Ingarden
#StudiaPhilosophica #1935
/3
Ingarden here tries to describe esp. a 'general structure'[formale Aufbau] of say every day macroscopic 'objects of discourse', anticipating them terminologically as "zeitbestimmte, individuelle, seinsautonome Gegenstände" [time-qualified, individual, autonomously existing objects]. And in the light of rather 90 years of "analytical philosophy" later
[ having sharpened our reservations wrt say "Seinsbestimmungen"]
this verbal packaging seems, as said above, unfortunate. But what (from my p.o.v.) Ingarden wants to draw attention to, is kind of an #ontological #generalization of what nowadays in #philbio is habitually discussed under the heading of #homeostatic systems/processes/objects.
#autopoiesis #homeostasis
It’s incredible that these two identities can explain so much.
Link: https://arxiv.org/abs/2505.03754
#math #calculus #euler #unification #generalization #integrals #integration
sayzard
Wilhelm_Grafe
Emmanuel José García