Смотрим под капот объектному хранилищу VK Cloud: что скрывает архитектура Object Storage

Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища. Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней.

https://habr.com/ru/companies/vktech/articles/917190/

#vk_cloud #s3 #объектное_хранилище #vk_tech #object_storage #хранилище_данных #tarantool

Атака через заброшенные бакеты

Пример ссылки на удалённый бакет termis с государственного сайта, источник В связи с развитием технологий каждый год появляются принципиально новые способы атаки, которые раньше никому в голову не приходили и/или не были возможны технически. Например, в 2025 году впервые в истории исследователи провели атаку через заброшенные бакеты S3 . Это разновидность атаки на цепочку поставок , как пресловутый случай SolarWinds . Такие действия злоумышленников практически невозможно детектировать стандартными инструментами безопасности, поэтому те могут незаметно работать годами. Взлом доверенных бакетов означает автоматический доступ к тысячам компаний и организаций, которые скачивают оттуда софт: обновления, исходный код, опенсорсные библиотеки и т. д.

https://habr.com/ru/companies/globalsign/articles/914742/

#заброшенный_бакет #цепочка_поставок #supply_chain_attack #объектное_хранилище

S3 в мире Kubernetes: как объектное хранилище сделать частью контейнеров (подоход от команды Deckhouse)

Статья рассказывает о том, как облачное объектное хранилище S3 можно интегрировать с Kubernetes с помощью решений от Deckhouse и файловой системы GeeseFS. Автор объясняет, зачем вообще подключать S3 как том для контейнерных приложений, какие задачи это решает и почему для этого выбран именно GeeseFS. А ещё честно указывает на подводные камни — ограничения по скорости, отсутствие привычных файловых атрибутов, особенности кэширования и диагностику.

https://habr.com/ru/companies/flant/articles/910938/

#s3 #deckhouse #GeeseFS #объектное_хранилище #хранение_данных #облачные_технологии #интеграция #гибридные_системы #масштабирование #kubernetes

Почему мы делаем собственное объектное хранилище в MWS

Привет! Меня зовут Алексей Баранов, я руковожу направлением Data Storage Systems в облаке MWS. Мы начинаем серию статей, в которой расскажем, как устроены наши системы хранения, почему мы их делаем так и почему именно такие. В этой статье расскажу, как мы подошли к выбору технологий для object storage новой облачной платформы. Обсудим плюсы и минусы популярных на рынке решений вроде Ceph RGW, какие требования мы предъявляли к системе, и какая архитектура в итоге получилась.

https://habr.com/ru/companies/mws/articles/909306/

#cloud #объектное_хранилище #s3 #mws #схд #хранение_данных #ceph #разработка_облака

Версионирование объектов в S3: пример работы с версиями Python

Версионирование объектов в S3-хранилищах — это мощный механизм, который позволяет отслеживать изменения файлов, предотвращать их случайное удаление и восстанавливать предыдущие версии. Это особенно полезно при работе с резервными копиями или чувствительными данными — есть возможность в любой момент вернуться к определенному состоянию объекта или восстановить его даже после удаления. Всем привет! Меня зовут Гришин Александр, я продакт-менеджер и отвечаю за развитие

https://habr.com/ru/companies/selectel/articles/906898/

#selectel #s3 #объектное_хранилище #версионирование #python #облачное_хранение #хранение_данных

Мультирегиональность в Selectel S3: работаем с регионами SPB и MSK из Python

Катастрофоустойчивое хранение данных — одна из актуальных задач при построении IT-инфраструктуры. Но ее решение может завести в тупик. Как оптимальнее организовать хранение данных, исключив домены отказа? Как разместить определенные данные ближе к целевой нагрузке или части аудитории? Как организовать асинхронную репликацию данных между Москвой и Санкт-Петербургом? Всем привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных . Под катом я расскажу, как с помощью мультирегиональности взаимодействовать с разными регионами S3 через Python и библиотеку boto3. Это поможет хранить и обрабатывать данные в Москве и Санкт-Петербурге, используя единую авторизацию и простой интерфейс. К тому же — улучшить катастрофоустойчивость и доступность данных, а еще снизить задержки при работе с объектами, когда инфраструктура распределена между городами.

https://habr.com/ru/companies/selectel/articles/896758/

#selectel #python #s3 #объектное_хранилище #катастрофоустойчивость #мультирегиональность

Мультирегиональность в Selectel S3: работаем с регионами SPB и MSK из Python

Катастрофоустойчивое хранение данных — одна из актуальных задач при построении IT-инфраструктуры. Но ее решение может завести в тупик. Как оптимальнее организовать хранение данных, исключив домены отказа? Как разместить определенные данные ближе к целевой нагрузке или части аудитории? Как организовать асинхронную репликацию данных между Москвой и Санкт-Петербургом? Всем привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие

https://habr.com/ru/companies/selectel/articles/896758/

#selectel #python #s3 #объектное_хранилище #катастрофоустойчивость #мультирегиональность

S3-совместимые хранилища: как собрать свой конструктор

В одном из больших кластеров S3 в Точке хранится 110 терабайт полезных данных. Это не много по объёму, но он распределён среди 6+ миллионов файлов. Стоимость работы системы оценивается более чем в миллион рублей в месяц — это с учётом фактора репликации, бэкапов, основной системы хранения и резерва ресурсов. Это пятое место по стоимости среди всех сервисов. Мы выбрали SeaweedFS, потому что это удобный конструктор, который позволяет загружать файлы любого размера, легко масштабироваться без деградации скорости доступа и надёжно защищать данные от потерь. В статье рассказываю, каким должно быть идеальное S3-хранилище для миллионов файлов, и почему нам не подошли Ceph и Minio.

https://habr.com/ru/companies/tochka/articles/895180/

#storage #s3 #seaweedfs #объектное_хранилище #хранение_данных #opensourse

Объектное хранилище S3: практическое руководство без лишних слов

Объектное хранилище S3 стало стандартом для работы с большими объемами данных в облаке. Оно позволяет хранить файлы любого типа, легко управлять доступом и интегрироваться с другими сервисами. Но давайте без маркетинговых лозунгов: зачем это действительно нужно? Меня зовут Станислав Погоржельский, я технологический евангелист VK Cloud, и в том числе в рамках своей работы рассказываю про наши облачные и on-prem решения. В этой статье мне захотелось поделиться, как именно объектное хранилище S3 помогает решать реальные задачи.

https://habr.com/ru/companies/vktech/articles/892234/

#vk_cloud #s3 #cloud_storage #объектное_хранилище

Мультипарт-загрузка в объектное хранилище Selectel: пишем тривиальный пример на Python

Объектные хранилища с доступом на базе S3 API — это, возможно, лучшее решение для хранения больших объемов данных. Однако при загрузке крупных файлов могут возникнуть проблемы. Например, долгая передача данных из-за сетевых ограничений или таймауты и обрывы соединения. Как ни крути, а интернет даже здесь диктует свои условия. Попробуем их обойти с помощью мультипарт-загрузки. Привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье я расскажу, как загружать большие файлы в S3 с помощью мультипарт-загрузки, используя Python и boto3. Под катом вы узнаете, как работает этот механизм и как его настроить для эффективной работы.

https://habr.com/ru/companies/selectel/articles/887698/

#selectel #s3 #объектное_хранилище #multipart_upload #python #storage #object_storage