Миф о дешевом железе: полный расчет стоимости КХД для облака и локальных решений

Корпоративное хранилище данных (КХД) — один из ключевых компонентов любой ИТ-системы, который необходим для безопасного хранения и использования всех данных компании. Но построение КХД нередко превращается в «задачу со звездочкой» еще на этапе выбора платформы для развертывания: многим компаниям сложно определить, какой из вариантов будет не только надежнее, но и дешевле. В этой статье попробуем в деталях и на примерах разобрать, какой вариант развертывания экономически рентабельнее и что стоит учитывать при выборе платформы для построения КХД. Материал подготовлен директором центра бизнес-решений VK Tech Константином Дудниковым и директором по развитию облачного бизнеса Группы Arenadata Антоном Близгаревым @beton55.

https://habr.com/ru/companies/vk/articles/899562/

#vk_cloud #arenadata #хранение_данных #кхд #vk_tech

NVMe для HDD: как новая технология решает проблемы хранения данных ИИ

Системы искусственного интеллекта сталкиваются с серьезной проблемой: как хранить и обрабатывать огромные объемы данных, необходимые для обучения и работы моделей. Традиционные решения уже не справляются с требованиями скорости, масштабируемости и экономичности. Решением могут стать жесткие диски с интерфейсом NVMe. Они сочетают в себе экономичность HDD с производительностью NVMe, устраняя узкие места в системах хранения данных для ИИ. Seagate впервые представила прототип таких накопителей в 2021 году на саммите Open Compute Project, а в марте 2025 года на конференции GTC компания продемонстрировала уже полноценное решение, интегрирующее NVMe HDD с современной платформой Mozaic 3+ и процессорами обработки данных NVIDIA BlueField-3. Разбираемся, как NVMe HDD могут изменить подход к хранению данных для ИИ и стать ключевым элементом будущих инфраструктур.

https://habr.com/ru/companies/mclouds/articles/899490/

#итинфраструктура #hdd #nvme #хранение_данных #искусственный_интеллект #ssd #pcie #накопители

Рассказываем об апдейтах за март: месяц бесплатного S3, настройка IOPS и не только

Привет! Я — Дима, технический писатель

https://habr.com/ru/companies/selectel/articles/899448/

#selectel #k8s #kubernetes #managed_kubernetes #хранение_данных #базы_данных #dbaas #облако #серверы #облачные_серверы #выделенные_серверы #gpu #обновления

S3: возможности протокола и паттерны использования

Привет, Хабр! На связи Игорь Шишкин, я руковожу командой R&D в облачном направлении Рег.ру и являюсь архитектором наших сервисов. В статье расскажу, как в целом работать с S3-совместимыми хранилищами, зачем их использовать, какие бывают базовые паттерны и что с этим делать. Поехали!

https://habr.com/ru/companies/runity/articles/898710/

#s3 #s3хранилище #хранилище #хранение_данных #облачные_технологии #simple_storage_service #хранение_информации #бакет #bucket #go

[Перевод] Подробное руководство по облачной инфраструктуре для ИИ-проектов

Как вычислительные ресурсы, системы хранения, сетевые технологии и AI-фреймворки влияют на производительность AI-проектов. Почему понимание этой инфраструктуры даёт конкурентное преимущество

https://habr.com/ru/articles/896194/

#облачная_инфраструктура #искусственный_интеллект #gpu #tpu #dpu #хранение_данных #сетевые_технологии #nvlink #rdma #ai_фреймворки

Шардированный кластер ClickHouse

Хочу рассказать, как спроектированы распределённые вычисления в ClickHouse. Вы узнаете, на что влияет схема кластера (и на что не влияет). Расскажу, как можно на ровном месте создать себе проблему при помощи всего одной таблицы Kafka и нескольких матвьюх. Поделюсь опытом про дебаг и оптимизацию SELECT-запросов к Distributed таблицам: поизучаем планы выполнения и поэксперементируем с настройками в блоке SETTINGS.

https://habr.com/ru/companies/wildberries/articles/896060/

#clickhouse #sql #bigdata #хранение_данных #data_engineering #mpp #shared_nothing

Отказоустойчивость в MinIO

Simple Storage Service или S3 — сервис (и одновременно протокол) для хранения данных большого объёма. Для работы использует API поверх HTTP, который позволяет загружать или получать объекты из хранилища. В проектах с приватной инфраструктурой часто возникает потребность в организации on-premise S3-хранилища. Популярное решение в таком случае это MinIO — удобная и довольно простая в использовании реализация сервиса S3. Когда нам в RUTUBE потребовалось S3, мы не стали долго думать и взяли MinIO, потому что он стильный, модный, молодежный хорошо себя зарекомендовал на рынке, хорошо документирован и прост в первоначальной настройке и эксплуатации. В этой статье поделюсь своим опытом использования MinIO, сделав акцент на отказоустойчивости и сохранности данных в случае инцидентов разной степени — от выпадения диска до пожара в цоде.

https://habr.com/ru/companies/habr_rutube/articles/895286/

#minio #отказоустойчивость #s3 #репликация #хранение_данных

S3-совместимые хранилища: как собрать свой конструктор

В одном из больших кластеров S3 в Точке хранится 110 терабайт полезных данных. Это не много по объёму, но он распределён среди 6+ миллионов файлов. Стоимость работы системы оценивается более чем в миллион рублей в месяц — это с учётом фактора репликации, бэкапов, основной системы хранения и резерва ресурсов. Это пятое место по стоимости среди всех сервисов. Мы выбрали SeaweedFS, потому что это удобный конструктор, который позволяет загружать файлы любого размера, легко масштабироваться без деградации скорости доступа и надёжно защищать данные от потерь. В статье рассказываю, каким должно быть идеальное S3-хранилище для миллионов файлов, и почему нам не подошли Ceph и Minio.

https://habr.com/ru/companies/tochka/articles/895180/

#storage #s3 #seaweedfs #объектное_хранилище #хранение_данных #opensourse

Диспетчер паролей: как выбрать лучший

Несмотря на то, что использование паролей не является надежным методом аутентификации, они широко распространены при работе с различными сервисами и программами. Сегодня все больше пользователей сталкивается с необходимостью управлять десятками, а порой и сотнями паролей от различных сервисов. Хранить их в заметках, в личных сообщениях или в браузере не только неудобно, но и небезопасно. Чтобы решить данную проблему существуют специальные типы программ, которые помимо хранения обеспечивают защиту конфиденциальных данных предоставляя место, где они будут в безопасности. На рынке присутствуют десятки различных программ для администрирования паролей. Сегодня мы проведем подробный разбор программ для хранения паролей и разберем их основной функционал.

https://habr.com/ru/companies/timeweb/articles/895420/

#timeweb_статьи #браузеры #диспетчер_паролей #пароль #менеджер_паролей #хранение_данных #безопасность_данных #it_безопасность #windows

LTO снова в моде. Чего ждать от нового, десятого поколения лент

Тренд на ленты возвращается. Много лет про LTO было практически не слышно — их использовали только те организации, которым нужно хранить данные более 15 лет, например проектные и геолого-разведочные компании, архивные фонды. Но шифровальщики и программы-вымогатели увеличили спрос. Сейчас даже те, кому не надо так долго хранить терабайты данных, начали смотреть в сторону LTO, чтобы иметь отчуждаемые в офлайн резервные копии. Заказчики, для которых мы подбираем решения on-premise, тоже устанавливают себе ленточные приводы, чтобы иметь возможность физически отделять данные от доступа извне. Перед выходом LTO-10 решили посмотреть, что там вообще с ленточными технологиями и как они себя чувствуют в эпоху NVME.

https://habr.com/ru/companies/mclouds/articles/893936/

#хранение_данных #бэкап #резервное_копирование #lto #lto6 #lto9 #итинфраструктура #lto10