fly51fly (@fly51fly)

표현 인코더(representation encoders)를 활용해 표준 확산(transformer-based diffusion) 모델을 매니폴드 데이터에 적용 가능하도록 확장한 연구입니다. 매니폴드 구조를 고려한 학습으로 확산 트랜스포머의 성능과 적용 범위를 넓히는 방법을 제안하며, 이미지·신호·지오메트리 데이터 등 비유클리드 데이터 처리에 기여합니다.

https://x.com/fly51fly/status/2022790223336505559

#diffusion #transformers #manifoldlearning #representationlearning

fly51fly (@fly51fly)

Effective Reasoning Chains 논문은 체인 기반 추론(reasoning chains)이 모델 내부 표현의 내재적 차원(intrinsic dimensionality)을 낮춘다는 발견을 보고합니다. A. Prasad, M. Joshi, K. Lee, M. Bansal( Google DeepMind & UNC Chapel Hill )의 이론·실험은 체인 오브 사고의 구조적 이유와 모델 설계·효율성에 대한 시사점을 제공합니다.

https://x.com/fly51fly/status/2021699501342241171

#reasoning #chainofthought #representationlearning #arxiv

Rohan Paul (@rohanpaul_ai)

해당 논문은 별도로 학습된 많은 신경망들이 동일한 소수의 가중치 방향(weight directions)을 공유한다는 흥미로운 주장을 제시합니다. 약 1,100개 모델을 분석한 결과 각 층당 약 16개 방향이 대부분의 가중치 변이를 설명한다고 보고하여, 표현학습·모델압축·전이학습 연구에 중요한 시사점을 제공합니다.

https://x.com/rohanpaul_ai/status/2008481920582074609

#neuralnetworks #representationlearning #research #weights

Nghiên cứu mới giới thiệu UML: Unpaired Multimodal Learner, một phương pháp đột phá giúp các mô hình đơn phương thức (ảnh, âm thanh) học biểu diễn tốt hơn bằng cách tận dụng dữ liệu đa phương thức KHÔNG GHÉP CẶP. UML chia sẻ tham số giữa các modality khác nhau, cải thiện đáng kể hiệu suất mà không cần dữ liệu ghép cặp truyền thống.

#AI #MachineLearning #MultimodalAI #UnpairedData #RepresentationLearning #UML
#TríTuệNhânTạo #HọcMáy #ĐaPhươngThức #DữLiệuKhôngGhépCặp #HọcBiểuDiễn

https://www.redd

A geometric link: Convexity may bridge human & machine intelligence
https://phys.org/news/2025-07-geometric-link-convexity-bridge-human.html

On convex decision regions in deep network representations
https://www.nature.com/articles/s41467-025-60809-y

Convexity (algebraic geometry)
https://en.wikipedia.org/wiki/Convexity_(algebraic_geometry)

#ML #RepresentationLearning #convexity #AbstractAlgebra #DeepLearning #intelligence #NetworkTheory

We still have free slots in our KIT summer semester 2025 seminar on "Large Language Model-Enhanced Representation Learning for Knowledge Graphs" supervised by @GenAsefa, Mary Ann Tan and @lysander07

https://portal.wiwi.kit.edu/ys/8600

#teaching #knowledgegraphs #llms #generativeai #representationlearning #seminar @fiz_karlsruhe @KIT_Karlsruhe #AI

Gentle Introduction to Graph Neural Networks
https://distill.pub/2021/gnn-intro/
https://news.ycombinator.com/item?id=42468214
https://en.wikipedia.org/wiki/Graph_neural_network

* specialized artificial neural networks designed for tasks whose inputs are graphs
* GNN use pairwise message passing
* graph nodes iteratively update their representations by exchanging information w. their neighbors

#ML #ANN #NeuralNetworks #graphs #GraphNeuralNetworks #GNN #RepresentationLearning

'Desiderata for Representation Learning: A Causal Perspective', by Yixin Wang, Michael I. Jordan.

http://jmlr.org/papers/v25/21-107.html

#representationlearning #representations #representation