Tensor Shapes

Pyrefly는 PyTorch 모델 내 텐서의 형태(shape)를 추적하여 정적 타입 검사와 자동 인레이 타입 힌트를 제공하는 실험적 도구입니다. 심볼릭 정수 산술과 연산자별 형태 변환 규칙을 결합해 복잡한 텐서 형태를 추론하며, 코드 작성 시 중간 텐서의 형태를 즉시 확인할 수 있어 디버깅과 개발 생산성을 크게 향상시킵니다. 기존 Pyre, Pyright, jaxtyping과 비교해 더 간결하고 실용적인 타입 시스템을 제공하며, PyTorch 연산자에 대한 형태 변환 DSL 확장도 지원합니다. 현재 활발히 개발 중이며 커뮤니티 기여를 받고 있습니다.

https://pyrefly.org/en/docs/tensor-shapes/

#pytorch #tensor #statictyping #python #typechecking

Google Cloud Next showcases AI's pervasive role

Google Cloud Next just wrapped up, and it's crystal clear that AI is calling the shots - just look at the cool new announcements, like Google's split 8th-gen Tensor chips, designed specifically for inference and training. This game-changing move shows how seriously Google is taking AI, separating real-time responses from model building and…

https://osintsights.com/google-cloud-next-showcases-ais-pervasive-role?utm_source=mastodon&utm_medium=social

#ArtificialIntelligence #GoogleCloudNext #Tensor #MachineLearning #CloudComputing

Tensors store numbers in shapes like scalars, vectors, and matrices.

#tensor #math #machinelearning

Learn how to deploy vLLM at scale on Kubernetes with PagedAttention, continuous batching, and tensor parallelism for high-throughput LLM inference. Covers multi-GPU, multi-node strategies and best practices.

#vLLM #Kubernetes #GPU #Large Language Models #Tensor Parallelism

https://dasroot.net/posts/2026/02/deploying-vllm-scale-kubernetes/