S3 и зачем вообще городить ещё один клиент…

Вы нормально знаете Ceph, пулы, RGW, где смотреть логи и почему внезапно полезли 403. Вопрос в другом: вокруг кластера живут люди, которым нужен не Ceph, а S3 как диск в облаке . Им нужно залить билд, вытащить дамп, перекинуть префикс между стендами, выдать временную ссылку, проверить, что объект реально лежит и какой у него размер. Без чтения ceph -w s3cmd rados etc, без объяснений про placement groups и без вашего участия в каждой мелочи. CLI и скрипты вы держите для себя и для пайплайнов. Консоль облака у вас может быть про другой контур. А типичный пользователь упирается в простую вещь: хочу окно с таблицей, перетаскиванием и понятной ошибкой , а не пятнадцать шагов «спроси админа». Отсюда и смысл отдельного десктопного клиента под S3 API: не заменить вам эксплуатацию, а снять с вас поток однотипных ручных запросов и дать людям самообслуживание в рамках выданных ключей и политик.

https://habr.com/ru/articles/1023538/

#S3 #ceph #minio #client #s3cmd #aws #aws_s3 #aws_sdk

[Перевод] Как AWS S3 обеспечивает скорость 1 петабайт в секунду при помощи медленных HDD

Все знают, что такое AWS S3, но немногие осознают масштабы, в которых он работает, и те усилия, которые понадобились, чтобы этого добиться. По сути, это масштабируемый сервис многопользовательского хранилища с API для сохранения и извлечения объектов, обеспечивающий крайне высокую доступность 1 и надёжность 2 по относительно низкой цене 3 . Масштабы • 400+ триллионов 4 объектов • 150 миллионов запросов в секунду • > 1 ПБ/с пикового трафика • Десятки миллионов дисков А что лежит в основе всего этого? Жёсткие диски. Способы достижения S3 таких масштабов — это настоящее инженерное чудо. Чтобы понять и оценить систему, нужно сначала оценить её базовый строительный блок — жёсткий диск . Жёсткие диски (HDD) — это старая, уже выходящая из моды технология, во многом вытесненная SSDs. Жёсткие диски хрупки физически, ограничены по IOPS и имеют высокие задержки. Однако благодаря им возможно то, на что пока неспособны флэш-диски: крайне дешёвая экономика хранения .

https://habr.com/ru/articles/1015042/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1015042

#aws_s3 #s3 #хранилища_данных #жесткие_диски

[Перевод] Как AWS S3 обеспечивает скорость 1 петабайт в секунду при помощи медленных HDD

Все знают, что такое AWS S3, но немногие осознают масштабы, в которых он работает, и те усилия, которые понадобились, чтобы этого добиться. По сути, это масштабируемый сервис многопользовательского хранилища с API для сохранения и извлечения объектов, обеспечивающий крайне высокую доступность 1 и надёжность 2 по относительно низкой цене 3 . Масштабы • 400+ триллионов 4 объектов • 150 миллионов запросов в секунду • > 1 ПБ/с пикового трафика • Десятки миллионов дисков А что лежит в основе всего этого? Жёсткие диски. Способы достижения S3 таких масштабов — это настоящее инженерное чудо. Чтобы понять и оценить систему, нужно сначала оценить её базовый строительный блок — жёсткий диск . Жёсткие диски (HDD) — это старая, уже выходящая из моды технология, во многом вытесненная SSDs. Жёсткие диски хрупки физически, ограничены по IOPS и имеют высокие задержки. Однако благодаря им возможно то, на что пока неспособны флэш-диски: крайне дешёвая экономика хранения .

https://habr.com/ru/articles/1015042/

#aws_s3 #s3 #хранилища_данных #жесткие_диски

Platform API в Рег.облаке: унификация протокола доступа и архитектурная база для публичных и приватных облаков

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу отделом разработки облачной платформы Рег.облака. Несколько лет назад, пока облако росло, у нас сложилась предсказуемая ситуация. Несколько лет назад, пока облако росло, интеграционный слой между сервисами и брендами естественным образом усложнялся. Каждый новый сценарий требовал отдельного решения — и со временем стало понятно, что нужен общий подход. В этой статье расскажу, какие решения мы приняли, от чего отказались и где сознательно не стали усложнять систему.

https://habr.com/ru/companies/runity/articles/1004424/

#регоблако #platform #api #kaas #terraform #aws #aws_s3 #sdk #go #openstack

[Перевод] Архитектура корпоративных данных: AWS + Snowflake

Одна из самых больших проблем, с которой, как мы видим, сталкиваются дата‑инженеры и инженеры‑аналитики, — это то, что они тратят слишком много времени на поддержание устаревшей инфраструктуры, не имея при этом четкой наблюдаемости сбоев в работе конвейера. Это приводит к тому, что они постоянно находятся в состоянии тушения пожара и не могут сосредоточиться на решении более важных задач. И хуже всего то, что из‑за этого бизнес теряет доверие к данным.

https://habr.com/ru/companies/otus/articles/929890/

#Корпоративная_архитектура #моделирование_данных #AWS #snowflake #архитектура_данных #Облачные_технологии #data_engineering #Data_Mining #AWS_S3

Как я построил serverless OCR-сервис на AWS Lambda и Amazon Bedrock

В этом посте я расскажу, как на практике за пару часов реализовал serverless OCR-сервис на AWS, используя AWS Lambda и модель из Amazon Bedrock . Статья ориентирована на опытных AWS-архитекторов, поэтому мы углубимся в архитектуру, покажу код (Terraform для инфраструктуры и Python для Lambda), обсудим масштабирование, ограничения и прикинем стоимость решения в регионе eu-central-1 (Франкфурт) .

https://habr.com/ru/articles/906738/

#bedrock #aws #aws_lambda #aws_s3 #serverless #eventdriven #python #step_functions

[Перевод] Приключение по перереносу аналитики из Oracle в Iceberg

Мы начали с простой цели: разобраться в небольших операционных данных из нашей среды Oracle E-Business Suite (OEBS). Сначала всё казалось несложным. У нас был классический data warehouse: пакетная обработка, массовые загрузки и привычная реляционная СУБД. Но по мере того как мы углублялись в проект, казалось бы рутинная задача превратилась в исследование и эксперименты с неожиданными поворотами и поиском чего-то действительно универсального.

https://habr.com/ru/articles/878764/

#iceberg #oracle #oracle_database #postgresql #snowflake #athena #aws_s3

Работа с файлами через Yandex Object Storage в Spring Boot

Yandex Cloud Object Storage - это совместимое с AWS S3 облачное хранилище. В этой статье мы интегрируем его в Spring Boot приложение, используя SDK Амазона

https://habr.com/ru/articles/871280/

#spring_boot #aws_s3 #java