A vegan, a crossfitter, a Linux user and a Raspbery Pi owner walk into a bar

it's the same guy.

Only one guy walked into the bar.

Oh god, why won't he shut up?

^ This made me laugh today

#Linux #Vegan #Sports #Attention

Kinda a pattern now, someone gets a huge audience, gets all the eyeballs staring up at them.

Then they open their mouth and a warty amphibian hops out before our startled eyes!

OMG!

What's going on?

What do we even do?

#attention

Sebastian Raschka (@rasbt)

학습 대부분에서 사용할 수 있고, 마지막 단계에는 일반 attention으로 되돌려도 성능이 거의 유지되는 비교적 부담이 적은 attention 수정 기법을 언급한 트윗입니다. 효율적인 모델 학습과 아키텍처 개선 아이디어로 주목할 만합니다.

https://x.com/rasbt/status/2054543968344412621

#attention #training #llm #research #optimization

Chers Devs : Votre PM n'est (probablement) pas là pour vous pourrir la vie

https://video.ut0pia.org/w/2kcG1rcw9nauzRDVUfduxm

Notifications Are a Form of Surveillance

알림은 단순한 정보 전달 수단이 아니라 사용자의 주의를 통제하고 행동 패턴을 수집하는 감시 도구로 진화했다. 알림은 사용자의 호기심을 자극해 앱을 열도록 유도하며, 이를 통해 앱은 사용자의 일상 습관과 반응 패턴을 학습해 더욱 효과적으로 주의를 끌어낸다. 이러한 반복적 알림은 사용자의 행동 데이터를 축적하여 맞춤형 마케팅과 광고 노출을 극대화하는 비즈니스 모델의 핵심이다. 진정으로 중요한 알림만 허용되어야 하며, 대부분의 앱은 긴급 상황이 아닌 사소한 업데이트로 과도한 주의 분산을 초래한다.

https://frostecho.neocities.org/posts/notifications-are-a-form-of-surveillance/

#attention #privacy #notifications #behavioraldata #userengagement

I guess we're going to find out whether ideas that I have in the middle of the night, along with domain purchases, are a good idea 😅

Introducing my first zine, coming Q3 2026:

https://blog.dougbelshaw.com/cognitive-wallpaper-001/

#zines #DigitalLiteracies #Attention #ProductiveFriction

fly51fly (@fly51fly)

서울대와 Google Research가 통합 가능한 상대적 위치 인코딩을 위한 효율적 3D 트랜스포머 어텐션 기법 ‘RelFlexformer’를 소개했다. 3D 구조 데이터나 통합 가능한 위치 표현이 필요한 모델에서 계산 효율을 높이는 새로운 아키텍처 연구다.

https://x.com/fly51fly/status/2054315812232790410

#transformer #attention #positionalencoding #googleresearch #arxiv

Nearly Optimal Attention Coresets

이 논문은 어텐션 메커니즘을 작은 공간에서 근사하는 코어셋(coreset)의 존재를 증명하며, 거의 최적 크기의 코어셋을 제안한다. 단위 노름 키와 값 집합에 대해, 모든 쿼리에 대해 어텐션 결과의 근사 오차가 ε 이하인 부분집합을 차원과 쿼리 노름에 따라 효율적으로 구성할 수 있음을 보였다. 이는 기존 결과보다 우수한 성능을 보이며, ε-코어셋 크기에 대한 하한도 함께 제시한다. 이 연구는 어텐션 계산의 메모리 효율적 근사 및 대규모 모델 최적화에 기여할 수 있다.

https://www.pinecone.io/research/Nearly-Optimal-Attention-Coresets/

#attention #coreset #approximation #machinelearning #optimization