PystachIO: Efficient Distributed GPU Query Processing with PyTorch over Fast Networks & Fast Storage
The AI hardware boom has led modern data centers to adopt HPC-style architectures centered on distributed, GPU-centric computation. Large GPU clusters interconnected by fast RDMA networks and backe…
Нейросеть, которая помнит всё: заморозка ядра вместо «костылей» (Frozen Core Decomposition)
Frozen Core Decomposition (FCD) — инновационный метод для решения проблемы катастрофического забывания в continual learning. Используя разложение Tucker, метод достигает 96.1% точности на Split MNIST с минимальным забыванием (0.2%) и поддерживает работу с CNN, ResNet, GPT-2 и другими архитектурами. В статье разбираем математику, результаты экспериментов и реализацию на PyTorch.
https://habr.com/ru/articles/979030/
#continual_learning #neural_networks #frozen_core_decomposition #tucker_decomposition #machine_learning #deep_learning #catastrophic_forgetting #incremental_learning #PyTorch #neural_network_training
[Перевод] Устранение дисбаланса классов в PyTorch с помощью WeightedRandomSampler
Как известно, если в наборе данных для обучения классификатора разные классы представлены в разном объёме, это может привести к ухудшению качества результата. Одним из методов борьбы с дисбалансом классов является оверсемплинг, т.е. демонстрация классификатору в процессе обучения редких классов с повышенной частотой. В исследовании 2017 года авторы утверждают, что из всех испробованных ими методов овесемплинг показал лучший результат и не привёл к переобучению классификаторов на основе свёрточных нейронных сетей. Класс WeightedRandomSampler в PyTorch позволяет гибко настраивать оверсемплинг и избавляет от излишнего копирования данных внутри датасета. Разбираемся, как он работает
I've been dying to use #ML for supply-chain threat detection and finally have the time to do it. I don't love Python, but #PyTorch has been ridiculously fun TBH, and hashtag#ONNX has made it easy to plug those models into Go.
In related news, I'm using hashtag#Clickhouse for the first time ever, importing 5 billion rows of data onto a computer that Microsoft claims isn't good enough for Windows 11. ¯\_(ツ)_/¯
🍂 Mô hình ML thất bại? Lỗi thường không nằm ở kiến trúc mà tại đường ống dữ liệu!
Bài viết chia sẻ giải pháp xây dựng pipeline PyTorch mạnh mẽ:
➤ Tải chậm (lazy loading) để tiết kiệm RAM
➤ Sửa lỗi chỉ mục (1-based → 0-based)
➤ Biến đổi ảnh thông minh (Resize + CenterCrop)
➤ Tăng cường dữ liệu ngẫu nhiên khi huấn luyện
➤ Xử lý lỗi file hỏng & giám sát hiệu suất
Hãy đầu tư vào pipeline dữ liệu - nơi quyết định thành công thật sự!
"Everywhere At The End of Time" in 12 seconds.
(Video made by my GPU RTX 3060. Audio and a little bit of video edited by me)
Model used was the Wan2.2-I2V-A14B @ Q4_K_S quant. Workflow's the FLF2V one on ComfyUI.
#eateot #everywhereattheendoftime #thecaretaker #wan22 #stablediffusion #comfyui #rtx #rtx3060 #nvidia #python #ai #localai #wan #wanai #pytorch #videogeneration #aigc
AIsbom – open-source CLI to detect "Pickle Bombs" in PyTorch models
https://github.com/Lab700xOrg/aisbom
#HackerNews #AIsbom #OpenSource #CLI #PickleBombs #PyTorch #Models #AI #Tools
PyTorch không phải là dữ liệu, mà là file thực thi. Khi tải và chạy file .pt (PyTorch), hệ thống thực chất đang giải nén và thực thi mã bằng pickle - module Python có nguy cơ bị tấn công RCE (thực thi mã từ xa). Chỉ cần 5 dòng code, có thể tạo "bom" phá hủy server. Công cụ AIsbom giúp quét sâu cấu trúc nhị phân, phát hiện mã độc trong model. Hiện đã hỗ trợ quét cả PyTorch và SafeTensors.
#AI #SupplyChain #Security #MachineLearning #PyTorch #SafeTensors #ThreatDetection #AIAn toàn chuỗi cung ứng
Sideline-Lab (nền tảng phân tích video bóng đá tự động cho CLB & chuyên gia) cần tuyển Developer part-time làm từ xa. Vị trí: Backend (Python/FastAPI), Computer Vision (OpenCV/PyTorch), AI Engineer (YOLO), MLOps, Full-stack. Tech stack: Python, Postgres, Docker, PyTorch. Ứng tuyển: Nhắn tin trực tiếp. #viecLamIT #AI #PyTorch #SidelineLab
https://www.reddit.com/r/SaaS/comments/1pndk3s/sidelinelab_için_parttime_remote_yazılımcı/
HGPU group
Habr
Thomas Strömberg
DevTo VN Bot
Lazy Bear Dude
N-gated Hacker News
Hacker News