Raven: Memory as a Set of Slots

Raven은 고정 크기 메모리 모델이 장기 기억 유지에 겪는 문제를 해결하기 위해 슬롯 단위로 상태를 분할하고, 각 슬롯을 독립적으로 선택적 갱신하는 새로운 순환 모델 구조를 제안한다. 기존 SSM은 메모리를 균일하게 감쇠시키고, SWA는 고정 슬롯을 강제로 교체하는 반면, Raven은 학습된 희소 라우터를 통해 어떤 슬롯을 갱신할지 결정하여 중요한 정보를 전용 슬롯에 저장하고 간섭을 최소화한다. 이 접근법은 이론적 한계에 근접하는 상수 메모리 재호출 능력을 가능하게 하며, 후속 연구에서 구체적 아키텍처와 성능 결과가 공개될 예정이다.

https://goombalab.github.io/blog/2026/raven-part1/

#recurrentmodel #memory #sequencelearning #slotmemory #ssm

Raven Part-1 - Memory as a set of Slots | Goomba Lab

Homepage of the Goomba AI Lab @ CMU MLD.

The speed-difference between #EC2Launch and #cloud-init is pretty stark. When I fire up a #Linux instance that has a #userData payload, doing:

sleep $(( 60 * 2 )) ; ssh <USER>@<INSTANCE_ID>Is usually sufficient to get me a login. If I launch a Windows-based EC2, I usually have to do:
sleep $(( 60 * 10 )) ; aws ssm start-session --target <INSTNCE_ID>Unless I want the dreaded "not available error". Worse, while two-minute pause for the cloud-init/Linux EC2 usually logs me in with the cloud-init content well underway, the #SSM login, after a ten-minute pause, usually has me arriving well before EC2Launch has even finished unpacking its data to start executing powershell scripts. It's like "dafuq is taking you so long??"

When waiting for the #AWS #SSM agent to come online:

$ sleep 60 ; !!Is really clutch if your ssh <USER>@<INSTANCE_ID> failed due to:An error occurred (TargetNotConnected) when calling the StartSession operation: <INSTANCE_ID> is not connected. kex_exchange_identification: Connection closed by remote host

https://www.mask9.com/2462791/ NGT48 6期生に吉本坂46 おばたのお兄さんから芸能界を生き残るためのアドバイス!狙うは「おばたの公式お兄さん」 #八千代コースター #SSM #スーパー・ササダンゴ・マシン #NGT48 #Yoshimotozaka46 #吉本坂46 #吉本坂46てつじ

Salaire social minimum : Un passage en force sans trop de risques

La hausse de 170 euros du salaire social minimum au 1er janvier 2027 mécontente aussi bien le patronat que les syndicats, qui dénoncent une décision unilatérale du gouvernement. Pour la coalition, le risque d’une mobilisation sociale majeure sur ce sujet est cependant limité.

https://www.woxx.lu/salaire-social-minimum-un-passage-en-force-sans-trop-de-risques/

New #openaccess publication #SciPost #Physics Core

Interplay of entanglement structures and stabilizer entropy in spin models

Michele Viscardi, Marcello Dalmonte, Alioscia Hamma, Emanuele Tirrito
SciPost Phys. Core 9, 012 (2026)
https://scipost.org/SciPostPhysCore.9.1.012

#UniversityNaplesFederico2 #INFN Napoli #ICTP #SSM
#MUR

Digitalizare, Cloudul Guvernamental și Soft Systems Methodology

Discuția despre digitalizare și Cloudul guvernamental este un cadru excelent pentru a introduce o abordare din gândirea sistemică numită Soft Systems Methodology (prescurtată SSM, traducere: Metodologia Sistemelor Soft). Această abordare, cu o maturitate de peste 30 ani, aplicată deja în mii de proiecte din domeniul IT, dar și în educație, sănătate sau administrația publică.

Gândește critic

fly51fly (@fly51fly)

2026년 발표 논문 'Retrieval-Aware Distillation for Transformer-SSM Hybrids'가 arXiv에 공개되었습니다. 저자 A Bick, E P. Xing, A Gu(소속 CMU)가 참여했으며, 검색(리트리벌) 인식 증류 기법을 Transformer와 SSM 하이브리드 모델에 적용하는 연구입니다. (arXiv 링크 포함)

https://x.com/fly51fly/status/2023159682651820406

#research #distillation #transformer #ssm #arxiv

fly51fly (@fly51fly) on X

[LG] Retrieval-Aware Distillation for Transformer-SSM Hybrids A Bick, E P. Xing, A Gu [CMU] (2026) https://t.co/rV3HvlKkTP

X (formerly Twitter)

Mô hình SSM 46M tham số được đào tạo trên Mac Studio M4 Max với tính toán biên. Kết quả: mô hình học khác biệt và tạo ra văn bản "Tôi sẽ đến... Tôi sẽ nói với bạn". #TríTuệNhânTạo #AI #MôHìnhHọcMáy #StateSpaceModel #SSM #MachineLearning #HọcMáy #EnforcedBistability

https://www.reddit.com/r/LocalLLaMA/comments/1qqu55g/training_a_46m_param_ssm_with_enforced/

Awni Hannun (@awnihannun)

mlx-lm에서 SSMs를 이용해 continuous batching(연속 배칭)을 구현했으며, 64GB M4 Max에서 NVIDIA의 Nemotron Nano 모델을 동시에 실행하는 OpenCode 에이전트 4개를 구동한 기술적 업데이트를 공유함. Nemotron Nano는 MoE와 하이브리드 어텐션을 사용해 작은 머신에 적합하다고 설명됨.

https://x.com/awnihannun/status/2009399942469800431

#ssm #ml #nvidia #nemotronnano

Awni Hannun (@awnihannun) on X

Got continuous batching working with SSMs in mlx-lm. Here's four OpenCode agents simultaneously running Nvidia's Nemotron Nano on 64GB M4 Max. This is a nice model for smaller machines since it's MoE + hybrid attention (small cache).

X (formerly Twitter)