Mistress RemiliaFeb 6, 2025
Decided to use these spare drives I have to make a #LizardFS cluster. I've always wanted to tinker with something like this anyway, and a few spare drives and RPi4s with #Slackware #Linux will be just the trick for a small home installation.
DanielJul 8, 2020

@Fritange Pour moi ça grossi moins vite de go-carbon/carbonapi.

J’ai alloué 50Go pour l’instant mais j’en ai 400Go non alloué dans mon LVM.

Va falloir que je lise jusqu’à comprendre correctement :

https://docs.influxdata.com/influxdb/v1.8/guides/downsample_and_retain/

#supervision #métrologie #OpenNebula #LizardFS #telegraf #influxDB #grafana

Downsample and retain data | InfluxData Documentation

Show threadDanielJul 8, 2020

Finalement, il me reste à mieux comprendre les partitions (shards) et les politiques de conservation des données (retention policy) que je trouvais simple à configurer dans graphite.

L’idée est d’avoir une résolution :

- à 5 secondes pour les données très récentes
- à 10 secondes pour les données un peu plus anciennes
- et ainsi de suite

Voici quelques captures d’écrans pour illustrer

#supervision #métrologie #OpenNebula #LizardFS #telegraf #influxDB #grafana #influxQL #SQL #graphite

Show threadDanielJul 8, 2020

Je pense que les choses vont rester tel quel pour un moment :

- langage de requête sympa d’influxDB influxQL ressemblant à du SQL
- support des étiquettes pour des requêtes plus sympa
- 300Mo de stockage de données là ou go-carbon/carbonapi ont très vite utilisé 20Go

https://docs.influxdata.com/influxdb/v1.8/query_language/explore-data/

#supervision #métrologie #OpenNebula #LizardFS #telegraf #influxDB #grafana #influxQL #SQL

Explore data using InfluxQL | InfluxData Documentation

Explore time series data using InfluxData's SQL-like query language. Understand how to use the SELECT statement to query data from measurements, tags, and fields..

Show threadDanielJul 8, 2020

Le seul écueil avec go-carbon/carbonapi est qu’il ne supporte pas les étiquettes comme graphite sauf à passer à un stockage en base de données Clickhouse.

Finalement, quitte à ajouter une pile supplémentaire, j’ai remplacé hier les outlis go-graphite par influxdb.

Le changement nécessite de refaire les tableaux de bords mais il n’y en avait pas beaucoup alors ça va 😉

#supervision #métrologie #OpenNebula #LizardFS #telegraf #goCarbon #clickHouse #carbonapi #goGraphite #influxDB #grafana

Show threadDanielJul 8, 2020

J’ai ensuite changé graphite par le couple go-carbon/carbonapi du projet go-graphite qui promet des performances nettement améliorées et une excellente compatibilité avec les logiciels carbon/graphite

https://github.com/go-graphite/go-graphite-docs

#supervision #métrologie #OpenNebula #LizardFS #telegraf #carbon #graphite #goCarbon #carbonapi #goGraphite #grafana

go-graphite/go-graphite-docs

Documentation for go-graphite project. Contribute to go-graphite/go-graphite-docs development by creating an account on GitHub.

Show threadDanielJul 8, 2020

Après avoir trouvé un tableau de bord Grafana pour LizardFS et comme je suis très fainéant, j’ai remplacé collectd par telegraf pour réutiliser le script de collecte des données spécifiques à LizardFS.

https://grafana.com/grafana/dashboards/2944

J’ai continué avec des intervalles de mesures de 5 secondes.

#supervision #métrologie #OpenNebula #LizardFS #collectd #telegraf #carbon #graphite #grafana

LizardFS Metrics dashboard for Grafana

This plugin/script for Telegraf will collect the metrics from LizardFS and stores it into InfluxDB, then you can view your metrics in Grafana on a templated dashboard.

DanielJul 8, 2020

J’ai mis en place un peu de métrologie sur notre nouvelle Infrastructure OpenNebula utilisant LizardFS.

Dans mes premiers tests sur machines virtuelles, j’avais utilisé collectd, graphite et grafana et j’étais arrivé rapidement à avoir quelque chose de vraiment sympathique.

L’intérêt de collectd est sa légèreté permettant des mesures à intervalles courtes, j’ai utilisé 5 secondes et ça se passe bien 😉

#supervision #métrologie #OpenNebula #LizardFS #collectd #carbon #graphite #grafana

Show threadDanielJun 12, 2020

C’est un détail qu’il faut garder en tête si l’on supprime des données pour faire de la place rapidement.

Il est possible de modifier cette durée de rétention par répertoire, voir même par fichier :

lizardfs settrashtime -r 60 /srv/lizardfs/unused-data/

#Lizardfs

DanielJun 12, 2020

Le système de fichier #Lizardfs est vraiment sympa.

Il permet de définir une politique de rétention des données supprimées.

Ainsi, je viens de supprimer 3,5To sur notre nouvelle infrastructure #OpenNebula en moins d’une seconde.

Mais en fait, les données sont dans un espace dédié pendant quelques temps. J’ai configuré 1h pour le répertoire que je viens de supprimer.

Du coup, si cette suppression avait été une erreur, je pourrais restaurait sans soucis.

https://lizardfs.com/

LizardFS - Get your storage up and running in 28 minutes

LizardFS Software Defined Storage is a distributed, parallel, scalable, fault-tolerant, Geo-Redundant and highly available file system.

LizardFS