Мультирегиональность в Selectel S3: работаем с регионами SPB и MSK из Python

Катастрофоустойчивое хранение данных — одна из актуальных задач при построении IT-инфраструктуры. Но ее решение может завести в тупик. Как оптимальнее организовать хранение данных, исключив домены отказа? Как разместить определенные данные ближе к целевой нагрузке или части аудитории? Как организовать асинхронную репликацию данных между Москвой и Санкт-Петербургом? Всем привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных . Под катом я расскажу, как с помощью мультирегиональности взаимодействовать с разными регионами S3 через Python и библиотеку boto3. Это поможет хранить и обрабатывать данные в Москве и Санкт-Петербурге, используя единую авторизацию и простой интерфейс. К тому же — улучшить катастрофоустойчивость и доступность данных, а еще снизить задержки при работе с объектами, когда инфраструктура распределена между городами.

https://habr.com/ru/companies/selectel/articles/896758/

#selectel #python #s3 #объектное_хранилище #катастрофоустойчивость #мультирегиональность

Мультирегиональность в Selectel S3: работаем с регионами SPB и MSK из Python

Катастрофоустойчивое хранение данных — одна из актуальных задач при построении IT-инфраструктуры. Но ее решение может завести в тупик. Как оптимальнее организовать хранение данных, исключив домены отказа? Как разместить определенные данные ближе к целевой нагрузке или части аудитории? Как организовать асинхронную репликацию данных между Москвой и Санкт-Петербургом? Всем привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие

https://habr.com/ru/companies/selectel/articles/896758/

#selectel #python #s3 #объектное_хранилище #катастрофоустойчивость #мультирегиональность

S3-совместимые хранилища: как собрать свой конструктор

В одном из больших кластеров S3 в Точке хранится 110 терабайт полезных данных. Это не много по объёму, но он распределён среди 6+ миллионов файлов. Стоимость работы системы оценивается более чем в миллион рублей в месяц — это с учётом фактора репликации, бэкапов, основной системы хранения и резерва ресурсов. Это пятое место по стоимости среди всех сервисов. Мы выбрали SeaweedFS, потому что это удобный конструктор, который позволяет загружать файлы любого размера, легко масштабироваться без деградации скорости доступа и надёжно защищать данные от потерь. В статье рассказываю, каким должно быть идеальное S3-хранилище для миллионов файлов, и почему нам не подошли Ceph и Minio.

https://habr.com/ru/companies/tochka/articles/895180/

#storage #s3 #seaweedfs #объектное_хранилище #хранение_данных #opensourse

Объектное хранилище S3: практическое руководство без лишних слов

Объектное хранилище S3 стало стандартом для работы с большими объемами данных в облаке. Оно позволяет хранить файлы любого типа, легко управлять доступом и интегрироваться с другими сервисами. Но давайте без маркетинговых лозунгов: зачем это действительно нужно? Меня зовут Станислав Погоржельский, я технологический евангелист VK Cloud, и в том числе в рамках своей работы рассказываю про наши облачные и on-prem решения. В этой статье мне захотелось поделиться, как именно объектное хранилище S3 помогает решать реальные задачи.

https://habr.com/ru/companies/vktech/articles/892234/

#vk_cloud #s3 #cloud_storage #объектное_хранилище

Мультипарт-загрузка в объектное хранилище Selectel: пишем тривиальный пример на Python

Объектные хранилища с доступом на базе S3 API — это, возможно, лучшее решение для хранения больших объемов данных. Однако при загрузке крупных файлов могут возникнуть проблемы. Например, долгая передача данных из-за сетевых ограничений или таймауты и обрывы соединения. Как ни крути, а интернет даже здесь диктует свои условия. Попробуем их обойти с помощью мультипарт-загрузки. Привет! Меня зовут Гришин Александр, я продакт-менеджер в Selectel и отвечаю за развитие объектного хранилища и облачных баз данных. В этой статье я расскажу, как загружать большие файлы в S3 с помощью мультипарт-загрузки, используя Python и boto3. Под катом вы узнаете, как работает этот механизм и как его настроить для эффективной работы.

https://habr.com/ru/companies/selectel/articles/887698/

#selectel #s3 #объектное_хранилище #multipart_upload #python #storage #object_storage

Настройка бэкапов в S3 через Microsoft SQL Server без скриптов и стороннего ПО

Привет, Хабр! Меня зовут Даниил, я дежурный системный инженер в Selectel. Но так было не всегда. Несколько лет назад я работал системным администратором в маленькой компании. И в какой-то момент мы решили внедрять 1С. А так как все вокруг у нас было на Windows, выбор пал на Microsoft SQL Server. Связка казалась самой очевидной и простой. В то время опыта у меня было маловато, многого я не знал, но прекрасно понимал, что

https://habr.com/ru/companies/selectel/articles/875956/

#selectel #s3 #mssql #бэкапы #резервные_копии #объектное_хранилище #субд

Продуктовые обновления ноября: 100% кешбэк на CDN, новые конфигурации в БД и другое

Привет! Я — Настя, технический писатель в Selectel. В дайджесте рассказываю, какие обновления в продуктах и услугах произошли в ноябре. Вы узнаете, как бесплатно контролировать трафик в облачных серверах, получить доступ к двухнедельному тестированию ML- и Inference-платформ, а также скачать дистрибутив SelectOS. Подробнее — под катом.

https://habr.com/ru/companies/selectel/articles/866306/

#selectel #выделенные_серверы #облачные_сервисы #облако #объектное_хранилище #ml #базы_данных

Как мы сделали собственное S3-совместимое объектное хранилище

Всем привет! На связи Виктор Стародуб — технический лидер команды S3, один из авторов и создателей объектного СХД Читать дальше

https://habr.com/ru/companies/cloud_ru/articles/850526/

#s3 #объектное_хранение #объектное_хранилище #объектное_хранилище_s3 #схд #sds #cloudru_evolution #свое_объектное_хранилище #хранение_метаданных

Продуктовые обновления октября: релиз сертифицированного WAF, прерываемые ВМ в Managed Kubernetes и другое

Привет, Хабр! Октябрь был полон новыми событиями и обновлениями. Мы представили собственные серверы, зарелизили прерываемые ВМ в Managed Kubernetes, а также запустили новую акцию по переезду в Selectel. Под катом рассказываем обо всех изменениях и напоминаем о предстоящих мероприятиях.

https://habr.com/ru/companies/selectel/articles/858506/

#selectel #дайджест #новости #выделенные_серверы #облако #объектное_хранилище #ml

Как интегрировать Veeam B&R с объектным хранилищем Selectel

Привет, Хабр! Veeam Backup & Replication — отличный софт для работы с бэкапами виртуальных машин. Но вот незадача — разобраться с ним может быть не так уж просто. Да и резервные копии нужно как минимум где-то хранить. Меня зовут Дима, я системный администратор в Selectel. В этой инструкции пошагово разберу интеграцию Veeam B&R

https://habr.com/ru/companies/selectel/articles/848934/

#selectel #объектное_хранилище #s3 #veeam #veeam_backup_and_replication #хранение_данных