Mastodawn

Как мы в Selectel строим S3-хранилища: от железа до приложения

Современные S3-хранилища давно перестали быть «черным ящиком»: от их архитектуры напрямую зависят отказоустойчивость, производительность и экономика сервисов, которые на них опираются. Но за внешне простым API скрывается интересная, сложная, промышленная система — от железа в стойках до многослойного распределенного приложения. В этой статье разберем, как устроено промышленное объектное хранилище на практике: какие архитектурные решения лежат в основе, как достигается масштабируемость и где проходят реальные технические компромиссы. Меня зовут Александр Гришин, я руковожу направлением хранения и обработки данных Погнали!

https://habr.com/ru/companies/selectel/articles/1032580/

#S3 #s3хранилище #cloud #selectel #object_storage

Как мы в Selectel строим S3-хранилища: от железа до приложения

Хабр

bot Mar 30

RAG 이후의 검색: 하이브리드 검색과 에이전트를 위한 데이터베이스 설계 - Turbopuffer 사이먼 에스킬센

Turbopuffer는 기존 벡터 데이터베이스의 막대한 비용 문제를 해결하기 위해 S3 객체 스토리지와 NVMe SSD를 결합한 새로운 계층형 스토리지 아키텍처를 제안한다.

🔗 원문 보기

RAG 이후의 검색: 하이브리드 검색과 에이전트를 위한 데이터베이스 설계 - Turbopuffer 사이먼 에스킬센

Ruby-News | 루비 AI 뉴스

BitPirate Mar 18

Unsere tägliche #object_storage Störung gib uns heute @hetzner

https://status.hetzner.com/incident/b4b6899e-2797-45e6-ba19-870fa314e0f1 (NBG1 degraded)

https://status.hetzner.com/incident/b4b6899e-2797-45e6-ba19-870fa314e0f1 (FSN1 degraded)

Ist das bei euch eigentlich ein Azubi Projekt?

#hetzner #s3

Hetzner Online Status

Hetzner Online Status – On this site, you’ll find status reports about Hetzner Online’s products and services.

Habr Mar 17

Зарубежные хостинги блокируют в России — переехал на Яндекс Cloud за 0 ₽/мес с помощью Claude Code

Vercel из России работает через раз. Sweb и Beget — от 300 руб/мес за раздачу файлов. Оказалось, что Яндекс Cloud отдаёт Object Storage, DNS, SSL и Cloud Functions бесплатно. Перенёс сайт за один день с помощью Claude Code + два самописных скилла для yc CLI и Яндекс Метрики.

https://habr.com/ru/articles/1011050/

#yandex_cloud #object_storage #nextjs #static_hosting #claude_code #vercel_альтернатива #яндекс_метрика #ai

Зарубежные хостинги блокируют в России — переехал на Яндекс Cloud за 0 ₽/мес с помощью Claude Code

TL;DR: Vercel, Netlify, Cloudflare Pages — всё заблокировано или нестабильно из РФ. Российские альтернативы (Sweb, Beget, TimeWeb) — от 300₽/мес за то, что по сути — файлы в бакете. Оказалось, что...

Хабр

Habr Jan 27

Роль хранилищ и платформ данных в развитии ИИ

Сегодня бизнес активно использует машинное обучение (Machine Learning, ML) для решения самых разных задач — от прогнозирования продаж до автоматизации процессов. Однако искусственный интеллект — это не какое-то волшебство, а математика, методы и алгоритмы, которые не будут работать без качественных и подходящих именно им данных. Чем больше качественных данных доступно для анализа, тем более сложные и точные модели можно построить. Меня зовут Анна Фенюшина, я ведущий архитектор направления «Дата-сервисы» в VK Tech. В этой статье я разберу, какие поколения ML существуют, какие данные нужны для их реализации и как современные хранилища могут помочь в развитии ИИ.

https://habr.com/ru/companies/vktech/articles/989456/

#vk_cloud #ИИ #ML #Data_Platform #vk_tech #vk_data_platform #object_storage #s3

Роль хранилищ и платформ данных в развитии ИИ

Хабр

Habr Dec 18

Локальный диск на 288 ПБ: монтируем S3-бакет Yandex Cloud без боли

Решил я тут, что будет удобно иметь S3 бакет как диск в системе для всякого. Так как я плотно работаю с Yandex Cloud, то и использовать буду их бакет. У них довольно щедрые тарифы и достаточно большие бесплатные лимиты. https://yandex.cloud/ru/docs/storage/pricing Я сижу на Федоре. Для подключения бакета буду использовать GeeseFS - - высокопроизводительная файловая система S3 ( Яндекс , Amazon ), соответствующая стандарту POSIX и написанная на языке Go. GeeseFS позволяет монтировать S3 бакет как файловую систему. Файловые системы FUSE на основе S3 обычно имеют проблемы с производительностью, особенно при работе с небольшими файлами и операциями с метаданными. GeeseFS пытается решить эти проблемы, используя агрессивный параллелизм и асинхронность. Будет работать кстати и на винде. Естественно нужно иметь аккаунт в яндекс облаке. У меня он есть. Создать новый не представляет сложности. Там ещё и грант 4000 рублей дадут. Поэтому переходим к делу. В облаке нужно будет создать бакет . А так же статические ключи доступа . Скачиваю бинарник https://github.com/yandex-cloud/geesefs/releases/latest/download/geesefs-linux-amd64 . Кстати должна быть установлена ещё fuse, в федоре она предустановлена. В профиль aws нужно добавить созданный ранее статический ключ доступа. Если вы не пользовались aws cli, то нужно создать файл ~/.aws/credentials , если пользовались то файл уже есть. В него нужно добавить профиль

https://habr.com/ru/articles/978218/

#Yandex_Cloud #Object_Storage #GeeseFS #S3 #FUSE #монтирование_бакета #systemd #Fedora #файловая_система_в_облаке #POSIX_поверх_S3

Документация Yandex Cloud | Yandex Object Storage | Правила тарификации для Object Storage

В статье содержатся правила тарификации сервиса Object Storage.

KIP/JΛYCHØU ⁂

Dec 17

如何为Ghost添加S3支持(Cloudflare R2)

https://ghost.feddit.social/ghost-add-s3-support-cloudflare-r2

#ghost #s3 #cloudflare #object_storage #blog

Ghost添加S3支持(Cloudflare R2)

在Cloudflare创建好bucket、配置自定义域、CORS 策略自定义域： CNAME files.ghost.xxx.xxx <cloudflare account id>.r2.cloudflarestorage.com 创建文件夹&拉取源代码 cd ~/docker/social/ghost/data/ghost mkdir -p adapters/storage && cd adapters/storage git clone https://github.com/colinmeinke/ghost-storage-adapter-s3.git s3 cd s3 安装下載 Node.js® 24 LTS & 安装S3支持 curl -o- https://raw.githubusercontent.</cloudflare>

The JayJayLands

KIP/JΛYCHØU ⁂

Dec 12

非常好的关于国内外对象存储的博客
使我的存储桶旋转
所以我还是选择
* cloudflare r2应对社交媒体（gts、mstdn等）大流量存储
* backblaze b2应对私人用于备份数据和相册吧

https://blog.sotkg.com/2025/12/oss-prepare-list

#object_storage #cloudflare #r2 #backblaze #b2 #对象存储

国内外主流对象存储价格对比 | Mikuの极光星

全面对比腾讯云、阿里云、华为云、七牛云等国内及 Cloudflare、Blackblaze 等海外对象存储服务商，以 100GB 存储和 100GB 流量为基准，整理资源包定价、免费额度、超额计费规则，帮助你选择最具性价比的 OSS 方案。

Mikuの极光星

KipJayChou 「GTS」Dec 11

在config.yaml内将远程媒体缓存默认配置从

media-remote-cache-days	7
media-cleanup-from	"00:00“
media-cleanup-every	"24h"

修改为

media-remote-cache-days	2
media-cleanup-from	"00:00“
media-cleanup-every	"8h"

目前在Cloudflare R2的存储空间为6.26GB
等过一段时间再看看
当然也可以通过GTS Cli手动执行清理
但是我运行在docker内，不启动gotosocial_main就无法执行docker exec -it gotosocial_main sh和./gotosocial admin media prune remote
但是这个命令必须在Gotosocial未运行时起作用。
求赐教

删除孤立媒体：
./gotosocial admin media prune orphaned

#cloudflare #r2 #s3 #object_storage #cache #gotosocial #cli

KipJayChou 「GTS」Dec 8

优化了文件结构

优化了图片链接格式

迁移cloudflare r2 bucket clawcloud-gotosocial-main到gotosocial-main

wget https://downloads.rclone.org/v1.72.0/rclone-v1.72.0-linux-amd64.deb
sudo dpkg -i rclone-v1.72.0-linux-amd64.deb
rclone version
rclone config
rclone lsd r2:
rclone copy r2:clawcloud-gotosocial-main r2:gotosocial-main \
  --progress \
  --transfers 32 \
  --checkers 64 \
  --fast-list \
  --size-only \
  --stats 5s
rclone tree r2:gotosocial-main

优化Google App Password 分配，删除了过多的密码，只为服务器分配密码

#file_system #smtp #cloudflare #r2 #s3 #object_storage #rclone #password #google #gmail