#aws #s3 #objectStore

Дизайн имеет ограничения: переименования дорогие, потому что в S3 нет нативного rename и приходится копировать и удалять объекты.
При очень больших mount’ах возникают отдельные издержки.
Не все ключи S3 можно показать как POSIX-файлы. Запусковая версия не даёт тонкого ручного контроля над моментом коммита. Но вместо того чтобы обещать невозможное, система явно показывает границу между двумя моделями и делает её управляемой.

Итого: проблема не в том, что у данных есть разные способы доступа, а в том, что раньше между этими способами приходилось строить неудобные мосты вручную.

S3 за последние годы расширился от объектного хранилища до платформы, которая старается обслуживать разные представления данных — табличное, векторное и теперь файловое — не заставляя пользователей постоянно бороться с форматом доступа.
Хранилище должно убирать инфраструктурное трение и не мешать работе с данными, а S3 движется именно в эту сторону.

#aws #s3 #objectStore

В практическом плане S3 Files работает так: bucket или его часть можно смонтировать в EC2, контейнере или Lambda как обычную файловую систему.

При первом обращении система подтягивает метаданные из S3 и строит синхронизированное файловое представление.
Маленькие файлы до 128 КБ подгружаются сразу, для больших сначала поднимаются только метаданные, а данные скачиваются по мере чтения.

Это позволяет быстро начать работу даже с bucket, содержащим миллионы объектов. Изменения, сделанные через файловый интерфейс, агрегируются и примерно раз в 60 секунд коммитятся обратно в S3 единым PUT.
Синхронизация двусторонняя: если объект изменился напрямую в S3, файловое представление это тоже увидит.
При конфликте источником истины считается S3, а файловая версия уходит в `lost+found`.
Данные, к которым давно не обращались, вытесняются из файлового слоя, но не удаляются из самого S3.

#aws #s3 #objectStore

Есть и компромиссы.
Один из них — консистентность и атомарность. Файловые системы позволяют, например, собрать изменения и сделать их видимыми через `atomic rename`, тогда как в S3 такой эквивалент отсутствует.
Другой — авторизация: IAM-политики S3 и права файловой системы устроены совершенно по-разному, и попытка одновременно наложить обе модели на каждый объект была бы слишком сложной.
В новом подходе права задаются на уровне mount и файлового слоя, а IAM остаётся защитным внешним контуром.

Ещё одна большая проблема — различия в пространстве имён: в S3 нет настоящих директорий, разделители путей условны, а некоторые объектные ключи вообще нельзя корректно представить как POSIX-имена.

Если имя нельзя безопасно перенести через границу, оно просто не переносится, а система сигнализирует об этом событием.