Serious question: is there any reason, why I shoudln't use #GlusterFS to keep a two node setup in sync?
Gluster seems to be pretty easy to use and maintain. I was supprised, that a node, which was offline for about 5 months now, just booted up and synced itself without any complains.
I plan a geo redundant setup, where I want to replicate primarely mailboxes and Backup files.
But I heread that the gluster project is "dead" and not really maintained by redhat anymore?
Как работает система резервного копирования в SpaceVM
В среде виртуализации цена ошибки выше, чем в физической инфраструктуре: проблема редко затрагивает одну машину — чаще это сразу десятки ВМ и сервисы, на которых завязана половина инфраструктуры. Администратор удалил не тот диск, хранилище повело себя нестабильно, данные оказались повреждены. В такие моменты важен не сам факт наличия резервного копирования, а то, насколько быстро и предсказуемо можно восстановиться. В SpaceVM система резервного копирования (СРК) изначально проектировалась не как отдельный внешний инструмент, а как часть платформы. Это важно: все сценарии — от быстрого отката до восстановления на другом узле — встроены в общий цикл работы с виртуальными машинами и не требуют отдельной инфраструктуры. Разберём, как работает СРК в SpaceVM на практике: от моментальных снимков до полноценных резервных копий и массовых сценариев восстановления — то есть всех стандартных задач.
https://habr.com/ru/companies/spacevm/articles/1021690/
#glusterfs #gfs2 #хранение_данных #резервное_копирование #виртуализация #snapshot #vdi #гиперконвергентная_инфраструктура #восстановление_данных #отказоустойчивость
Как создать программно-определяемое хранилище в SpaceVM
Привет, Хабр! Меня зовут Даниил Киселёв, я специалист по техническому сопровождению Space. В этой статье я на практическом примере покажу, как в SpaceVM собрать программно-определяемое кластерное хранилище. Рассмотрим типовую конфигурацию, учитывая, что в реальном продакшене параметры и архитектурные решения могут отличаться. Бизнес ожидает от СХД простых характеристик — чтобы данные были доступны всегда, а сбои и обслуживание не останавливали работу виртуальных машин и сервисов. Именно поэтому программно-определяемые хранилища становятся распространенным инструментом. На примере SpaceVM разбираем, как за считанные минуты собрать отказоустойчивое кластерное SDS, которое решает сразу несколько ключевых задач: снижает стоимость владения и обеспечивает стабильную работу в реальных условиях эксплуатации. Вопрос о том, зачем вообще нужны программно-определяемые хранилища не лишен смысла. Объемы данных, которые приходится хранить бизнесам, постоянно растут, емкость хранилищ приходится постоянно наращивать, а многим компаниям приходится, к тому же, еще и обеспечивать соответствие требованиям регуляторов. Но стоимость аппаратных СХД и объем инвестиций в них перевешивают – и компании задумываются о переходе на SDS. Они не только дешевле в принципе – экономия становится еще заметнее, если приходится иметь дело с неструктурированными данными. Есть и другие преимущества: можно абстрагироваться от аппаратной платформы и успешно побороть пресловутый vendor-lock. (это особенно важно в России), компании куда проще обеспечить независимость от вендорских санкций.
https://habr.com/ru/companies/spacevm/articles/995776/
#sds #glusterfs #виртуализация #хранение_данных #инфраструктура
In this guide, I will try to explain how to set up a Docker Swarm system that is completely highly available
https://hostlab.tech/blog/docker-swarm-ha-gluster
#docker #dockerswarm #keepalived #nginx #linux #ubuntu #portainer #gluster #glusterfs #tutorial #opensource #highavailability
Woke up early again with a smidge of acid reflux. In the process of getting water, both dogs swarmed me so I can't stretch my legs or lie down again. This is my life now.
Yesterday ended up being a "fuck everything" day so no writing group, no Leicmin, and no chores.
Today, my goal are to migrate another couple of terabytes from SeaweedFS to GlusterFS, start ripping a fresh copy of Kids in the Hall and Supernatural the day after I deleted them to make the move easier because we haven't watched either show in years (we hate S15 of Supernatural) but then Partner had the sudden craving to watch out of the blue (more evidence that telepathy exists between us).
In Leicmin, I went through the TypeID crates in hope to find one that "just works" to avoid learning Rust macros but none support my need of sqlx and JSON serialization so... I have to learn Rust meta coding.if I want to avoid a lot of boilerplate (I'm up to thirteen typesafe identifiers).
My initial exploration of macros isn't going well, I haven't found the connection of what I want (an attribute on a call) to where I need to go (a bunch of impl blocks and common functions).
At work, I'm now interacting with a second team of fourteen developers in India, so my personal coding time is now reduced to "while other people are speaking during meetings" and a two hour block at the end of the day.
I also had to show our team how to use C# extensions to avoid copy pasting the same block of code twelve times.
Which led nicely into my meeting with the India recruiters for the third team of "about six" developers and what I'm looking for (the ability to pay attention to details with a bonus of understanding features of a language that has been out for two decades).
So it's going to be a "hard" puzzle day.
It would be awesome I could move from the bed or lie down. :D
So far, GlusterFS is working. I'm going to try moving some files over to the new node while evacuating another seaweedfs node. Since I have to do three seaweedfs nodes for every GlusterFS, it will take a while. Plus, rsync is really slow since I have so many files that appear good but aren't.
But I got Bob's Burgers done. If I can get Golden Girls, Partner will be happier.
Still sad that SeaweedFs didn't work, it was promising for a few years. It is just too difficult to figure out what is wrong with it today.
Takes a few days to evacuate a few nodes to find out if GlusterFS will work.
The whole reason I'm trying it out is that I've been fighting getting a good pipeline from the arrs to Jellyfin/Plex. For some reason, the copies have been failing with an "input/output" error since last March. I usually can get it working by remounting the FUSE drive or having to reboot the machine, but it seems to be get steadily worse and it keeps littering the system with size 0 files when the copy fails (and I can't replace the arrs' version of copying to use something more toleranant).
I told Partner that if I couldn't figure it out by the first of the year, I would try something else. Obviously, I could go back to Ceph which continues to have all the features I want but also has an obscenely higher maintenance load but I thought GlusterFS might be lower level despite it having an requirement I'm really not fond of (my media replicates twice so I have to add two identical size drives at a time as opposed to Ceph/Seaweed which can have disparate volume sizes and scatter them as appropriate).
If I can't get GlusterFS, I'll probably go back to Ceph and see how painful it is to set up in NixOS again. Things look like they have changed in the last few years, so it might be viable but as I said, it's a lot of maintenance.
After experiments at home it is now time to introduce #terramaster Debian-based bricks at work within our #glusterfs storage to start migrations to new storage appliances. Here we go, the first 200TB of brick is served to tuneup and healing...
https://lovergine.com/installing-debian-on-a-usb-stick-for-a-terramaster-nas.html
Несмотря на всю мою симпатию к #glusterfs и опыт, в моём случае она не выдерживает проверку геораспределением и небольшой, но постоянной нагрузкой. Уже были пара вопросов с небыстрым обновлением файлов, а сегодня словил один файл, который даже удалить нельзя, если не размонтировать volume.
Многостраничный тюнинг не спасает ситуацию и есть шанс, что для небольшого кластерка буду искать что-то другое, но более устойчивое. :)
DeltaLima 🐧
Habr
Daniel Lakeland
SuitDeer
D. Moonfire
Francesco P Lovergine 
RamSDRAdmin (R3DHX)