[Перевод] Как AWS S3 обеспечивает скорость 1 петабайт в секунду при помощи медленных HDD

Все знают, что такое AWS S3, но немногие осознают масштабы, в которых он работает, и те усилия, которые понадобились, чтобы этого добиться. По сути, это масштабируемый сервис многопользовательского хранилища с API для сохранения и извлечения объектов, обеспечивающий крайне высокую доступность 1 и надёжность 2 по относительно низкой цене 3 . Масштабы • 400+ триллионов 4 объектов • 150 миллионов запросов в секунду • > 1 ПБ/с пикового трафика • Десятки миллионов дисков А что лежит в основе всего этого? Жёсткие диски. Способы достижения S3 таких масштабов — это настоящее инженерное чудо. Чтобы понять и оценить систему, нужно сначала оценить её базовый строительный блок — жёсткий диск . Жёсткие диски (HDD) — это старая, уже выходящая из моды технология, во многом вытесненная SSDs. Жёсткие диски хрупки физически, ограничены по IOPS и имеют высокие задержки. Однако благодаря им возможно то, на что пока неспособны флэш-диски: крайне дешёвая экономика хранения .

https://habr.com/ru/articles/1015042/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1015042

#aws_s3 #s3 #хранилища_данных #жесткие_диски

[Перевод] Как AWS S3 обеспечивает скорость 1 петабайт в секунду при помощи медленных HDD

Все знают, что такое AWS S3, но немногие осознают масштабы, в которых он работает, и те усилия, которые понадобились, чтобы этого добиться. По сути, это масштабируемый сервис многопользовательского хранилища с API для сохранения и извлечения объектов, обеспечивающий крайне высокую доступность 1 и надёжность 2 по относительно низкой цене 3 . Масштабы • 400+ триллионов 4 объектов • 150 миллионов запросов в секунду • > 1 ПБ/с пикового трафика • Десятки миллионов дисков А что лежит в основе всего этого? Жёсткие диски. Способы достижения S3 таких масштабов — это настоящее инженерное чудо. Чтобы понять и оценить систему, нужно сначала оценить её базовый строительный блок — жёсткий диск . Жёсткие диски (HDD) — это старая, уже выходящая из моды технология, во многом вытесненная SSDs. Жёсткие диски хрупки физически, ограничены по IOPS и имеют высокие задержки. Однако благодаря им возможно то, на что пока неспособны флэш-диски: крайне дешёвая экономика хранения .

https://habr.com/ru/articles/1015042/

#aws_s3 #s3 #хранилища_данных #жесткие_диски

Platform API в Рег.облаке: унификация протокола доступа и архитектурная база для публичных и приватных облаков

Привет, Хабр! Меня зовут Игорь Шишкин, я руковожу отделом разработки облачной платформы Рег.облака. Несколько лет назад, пока облако росло, у нас сложилась предсказуемая ситуация. Несколько лет назад, пока облако росло, интеграционный слой между сервисами и брендами естественным образом усложнялся. Каждый новый сценарий требовал отдельного решения — и со временем стало понятно, что нужен общий подход. В этой статье расскажу, какие решения мы приняли, от чего отказались и где сознательно не стали усложнять систему.

https://habr.com/ru/companies/runity/articles/1004424/

#регоблако #platform #api #kaas #terraform #aws #aws_s3 #sdk #go #openstack

[Перевод] Архитектура корпоративных данных: AWS + Snowflake

Одна из самых больших проблем, с которой, как мы видим, сталкиваются дата‑инженеры и инженеры‑аналитики, — это то, что они тратят слишком много времени на поддержание устаревшей инфраструктуры, не имея при этом четкой наблюдаемости сбоев в работе конвейера. Это приводит к тому, что они постоянно находятся в состоянии тушения пожара и не могут сосредоточиться на решении более важных задач. И хуже всего то, что из‑за этого бизнес теряет доверие к данным.

https://habr.com/ru/companies/otus/articles/929890/

#Корпоративная_архитектура #моделирование_данных #AWS #snowflake #архитектура_данных #Облачные_технологии #data_engineering #Data_Mining #AWS_S3

Как я построил serverless OCR-сервис на AWS Lambda и Amazon Bedrock

В этом посте я расскажу, как на практике за пару часов реализовал serverless OCR-сервис на AWS, используя AWS Lambda и модель из Amazon Bedrock . Статья ориентирована на опытных AWS-архитекторов, поэтому мы углубимся в архитектуру, покажу код (Terraform для инфраструктуры и Python для Lambda), обсудим масштабирование, ограничения и прикинем стоимость решения в регионе eu-central-1 (Франкфурт) .

https://habr.com/ru/articles/906738/

#bedrock #aws #aws_lambda #aws_s3 #serverless #eventdriven #python #step_functions

[Перевод] Приключение по перереносу аналитики из Oracle в Iceberg

Мы начали с простой цели: разобраться в небольших операционных данных из нашей среды Oracle E-Business Suite (OEBS). Сначала всё казалось несложным. У нас был классический data warehouse: пакетная обработка, массовые загрузки и привычная реляционная СУБД. Но по мере того как мы углублялись в проект, казалось бы рутинная задача превратилась в исследование и эксперименты с неожиданными поворотами и поиском чего-то действительно универсального.

https://habr.com/ru/articles/878764/

#iceberg #oracle #oracle_database #postgresql #snowflake #athena #aws_s3

Работа с файлами через Yandex Object Storage в Spring Boot

Yandex Cloud Object Storage - это совместимое с AWS S3 облачное хранилище. В этой статье мы интегрируем его в Spring Boot приложение, используя SDK Амазона

https://habr.com/ru/articles/871280/

#spring_boot #aws_s3 #java