Локальный диск на 288 ПБ: монтируем S3-бакет Yandex Cloud без боли

Решил я тут, что будет удобно иметь S3 бакет как диск в системе для всякого. Так как я плотно работаю с Yandex Cloud, то и использовать буду их бакет. У них довольно щедрые тарифы и достаточно большие бесплатные лимиты. https://yandex.cloud/ru/docs/storage/pricing Я сижу на Федоре. Для подключения бакета буду использовать GeeseFS - - высокопроизводительная файловая система S3 ( Яндекс , Amazon ), соответствующая стандарту POSIX и написанная на языке Go. GeeseFS позволяет монтировать S3 бакет как файловую систему. Файловые системы FUSE на основе S3 обычно имеют проблемы с производительностью, особенно при работе с небольшими файлами и операциями с метаданными. GeeseFS пытается решить эти проблемы, используя агрессивный параллелизм и асинхронность. Будет работать кстати и на винде. Естественно нужно иметь аккаунт в яндекс облаке. У меня он есть. Создать новый не представляет сложности. Там ещё и грант 4000 рублей дадут. Поэтому переходим к делу. В облаке нужно будет создать бакет . А так же статические ключи доступа . Скачиваю бинарник https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64 . Кстати должна быть установлена ещё fuse, в федоре она предустановлена. В профиль aws нужно добавить созданный ранее статический ключ доступа. Если вы не пользовались aws cli, то нужно создать файл ~/.aws/credentials , если пользовались то файл уже есть. В него нужно добавить профиль

https://habr.com/ru/articles/978218/

#Yandex_Cloud #Object_Storage #GeeseFS #S3 #FUSE #монтирование_бакета #systemd #Fedora #файловая_система_в_облаке #POSIX_поверх_S3

Документация Yandex Cloud | Yandex Object Storage | Правила тарификации для Object Storage

В статье содержатся правила тарификации сервиса Object Storage.

S3 в мире Kubernetes: как объектное хранилище сделать частью контейнеров (подоход от команды Deckhouse)

Статья рассказывает о том, как облачное объектное хранилище S3 можно интегрировать с Kubernetes с помощью решений от Deckhouse и файловой системы GeeseFS. Автор объясняет, зачем вообще подключать S3 как том для контейнерных приложений, какие задачи это решает и почему для этого выбран именно GeeseFS. А ещё честно указывает на подводные камни — ограничения по скорости, отсутствие привычных файловых атрибутов, особенности кэширования и диагностику.

https://habr.com/ru/companies/flant/articles/910938/

#s3 #deckhouse #GeeseFS #объектное_хранилище #хранение_данных #облачные_технологии #интеграция #гибридные_системы #масштабирование #kubernetes

S3 в мире Kubernetes: как объектное хранилище сделать частью контейнеров (подоход от команды Deckhouse)

Всем привет. Меня зовут Виктор Панин, я Project Manager команды Deckhouse Storage в компании «Флант». В этой статье я поделюсь своим взглядом, возможно, отличным от мнения команды, на использование S3...

Хабр