Mastodawn

Data vs. Big Data : Data gagne pour 90% des projets, Big Data pour scale/temps réel. #DataEngineering #BigData #Tech #Humour #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-bigdata-tech-share-7456654084331237377-IHfH

#dataengineering #bigdata #tech #humour #optimisation | Gabriel C.

🥊 "Data vs. Big Data : Le combat du siècle (et qui va gagner ?)" Dans un coin : **Data classique**, léger, rapide, économique. Dans l’autre : **Big Data**, lourd, puissant, coûteux. 🔹 **Round 1 : Le volume** - Data : "Je gère tes 10 Go sans sourciller." - Big Data : "10 To ? Pas de problème, je mange ça à midi." 🔹 **Round 2 : La vitesse** - Data : "Ton rapport en 2 secondes ? Facile." - Big Data : "Tes données en temps réel ? Je suis fait pour ça." 🔹 **Round 3 : Le budget** - Data : "Je coûte 100 €/mois." - Big Data : "Moi ? 10 000 €/mois. Et c’est sans compter les ingénieurs." 💡 **Verdict** : - **Data gagne** pour 90% des projets. - **Big Data gagne** si vous avez vraiment besoin de scale ou de temps réel. 💬 **Vous pariez sur qui ?** #DataEngineering #BigData #Tech #Humour #Optimisation

gaby_wald 2d ago

Pipeline data = spaghettis ? 1 pipeline = 1 responsabilité, documentation, tests. Résultat : -40% bugs. #DataEngineering #Tech #Pipeline #Humour #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-tech-pipeline-share-7456652860756369408-PfYG

#dataengineering #tech #pipeline #humour #optimisation | Gabriel C.

🍝 "Votre pipeline data ressemble à un plat de spaghettis ? Voici comment le démêler" On a tous déjà vu un pipeline data qui ressemble à ça : - Un script Python qui appelle un script Bash. - Qui appelle un job Spark. - Qui écrit dans une base MySQL. - Qui déclenche un autre script Python. - Qui… **personne ne comprend plus**. 🔹 **Comment éviter ça ?** 1️⃣ **Un pipeline = une responsabilité** (comme un bon plat : un ingrédient à la fois). 2️⃣ **Documentation obligatoire** : Si vous ne pouvez pas l’expliquer à votre grand-mère, c’est que c’est trop compliqué. 3️⃣ **Tests automatiques** : Parce que personne n’a envie de goûter un plat empoisonné. 💡 **Résultat** : Un client a réduit ses bugs de **40%** en appliquant ces règles. 💬 **Quel est le pipeline le plus "spaghetti" que vous ayez vu ?** #DataEngineering #Tech #Pipeline #Humour #Optimisation

Rob Pomeroy 4d ago

Ah niche apps, you've got to love them. My latest open source app is FrameFit, fixing my own problem: optimising photos for a digital photo frame, for maximum performance.

It's not ground breaking, but it's free!

https://github.com/robpomeroy/framefit/releases/latest

#OpenSource #photography #optimisation

gaby_wald 5d ago

API lente (5s) → optimisée (500ms) : index SQL, pagination, cache Redis, asynchrone (Celery). #BackEnd #API #Tech #Optimisation #SQL ... https://www.linkedin.com/posts/gabriel-chandesris_backend-api-tech-share-7455520801820323840-Dpti

#backend #api #tech #optimisation #sql | Gabriel C.

⚡ "Une API qui mettait 5 secondes à répondre ? Voici comment on est passé à 500ms" **Contexte** : Un client se plaignait de **lenteurs insupportables** sur son API de recherche. Voici comment on a résolu le problème : 🔹 **Diagnostic** : 1. **Logs** : Requêtes SQL prenant **3 secondes**. 2. **Profiling** : 90% du temps passé dans une jointure mal optimisée. 🔹 **Solutions appliquées** : 1. **Index manquants** : - Ajout d’un index sur `created_at` et `user_id` → **temps de requête divisé par 5**. 2. **Pagination** : - `LIMIT 100` au lieu de renvoyer **10 000 résultats**. 3. **Cache Redis** : - Mise en cache des résultats fréquents (ex : "top 10 produits") → **gain de 2 secondes**. 4. **Asynchrone** : - Les tâches longues (ex : génération de PDF) sont maintenant traitées en background (**Celery**). 💡 **Résultat final** : - **Temps de réponse** : 5s → **500ms**. - **Coût serveur** : Réduit de **40%** (moins de requêtes lourdes). 💬 **Quelle est la pire API lente que vous ayez vue ? Comment l’avez-vous optimisée ?** #BackEnd #API #Tech #Optimisation #SQL

gaby_wald 6d ago

Réduire coûts infrastructure data : requêtes SQL optimisées, nettoyage données, automatisation, formats stockage (Parquet). Exemple : -40% espace disque. #DataEngineering #Optimisation #Tech #BaseDeDonnées #Performance ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-optimisation-tech-share-7455179292315066368-hjI0

#dataengineering #optimisation #tech #basededonnées #performance | Gabriel C.

💰 "Vos coûts d’infrastructure data explosent ? Voici comment les réduire de moitié sans toucher au cloud" En optimisant les pipelines de **trois clients**, nous avons réduit leurs dépenses d’infrastructure de **40 à 60 %**. Voici comment, **sans même parler de cloud** : 1️⃣ **Optimisation des requêtes et des index** : - **Problème** : Des requêtes SQL mal écrites qui scannent des millions de lignes inutiles. - **Solution** : - Ajoutez des **index sur les colonnes fréquemment interrogées** (ex : `created_at`, `user_id`). - Remplacez les `SELECT *` par des requêtes ciblées (ex : `SELECT id, name FROM users`). - *Résultat* : Un client a divisé le temps d’exécution de ses rapports par **10**. 2️⃣ **Nettoyage des données inutiles** : - **Problème** : Stocker des logs de 5 ans ou des doublons coûte cher. - **Solution** : - **Politique de rétention** : Gardez 3 mois de logs (sauf besoins particuliers), 1 an pour les données clients. - **Suppression des doublons** : Un script Python simple peut libérer **30 % d’espace disque**. - *Exemple* : Un client a récupéré **2 To d’espace** en nettoyant ses bases. 3️⃣ **Automatisation des tâches manuelles** : - **Problème** : Des rapports générés à la main chaque semaine. - **Solution** : - **Scripts Python + cron** pour automatiser les tâches répétitives. - **Alertes automatiques** en cas d’anomalie (ex : données manquantes). - *Gain* : **5 heures/semaine** récupérées pour l’équipe. 4️⃣ **Choix des formats de stockage** : - **Problème** : Stocker des données textuelles en JSON alors qu’un format binaire (Parquet) serait plus efficace. - **Solution** : - **Parquet ou Avro** pour les données analytiques (compression x10). - **CSV** seulement pour les échanges ponctuels. - *Économie* : **40 % de réduction** de l’espace disque. 5️⃣ **Maintenance proactive** : - **Problème** : Attendre qu’un disque soit plein pour agir. - **Solution** : - **Surveillance des capacités** (alertes à 70 % d’utilisation). - **Archivage automatique** des données anciennes. - *Exemple* : Un serveur a été sauvé d’un crash grâce à une alerte précoce. 💬 **Quel est votre meilleur conseil pour optimiser les coûts d’infrastructure ?** #DataEngineering #Optimisation #Tech #BaseDeDonnées #Performance

gaby_wald Apr 28

3 compétences clés data engineering : comprendre métier, déboguer, automatiser sans sur-conception. Exemple : +5% revenus. #DataEngineering #Tech #Compétences #Carrière #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-tech-compaeztences-share-7454842749058695168-gczG

#dataengineering #tech #compétences #carrière #optimisation | Gabriel C.

💎 "Ces 3 compétences font la différence entre un Data Engineer junior et un senior" Après avoir formé des dizaines de Data Engineers, voici **ce qui sépare les bons des excellents** : 1️⃣ **Comprendre le métier** : - Un senior ne se contente pas de construire des pipelines. Il **comprend l’impact business** : - *"Ce rapport client sert à réduire le churn → je priorise sa fiabilité."* - *Exemple* : Un junior optimise un pipeline pour la vitesse. Un senior le fait pour **réduire les erreurs de facturation** (impact : +5% de revenus). 2️⃣ **Déboguer des systèmes complexes** : - Savoir lire les logs, isoler les problèmes, et **ne pas blâmer les outils**. - *Cas réel* : Un pipeline en échec depuis 2 jours ? Le senior trouve la cause en 1h : un changement de schéma non documenté. 3️⃣ **Automatiser sans sur-ingeniering** : - Éviter les **"usines à gaz"** : - ❌ *"On va utiliser Kafka + Spark + Airflow pour un rapport hebdo."* - ✅ *"Un script Python + cron suffit."* - *Résultat* : Un client a divisé ses coûts cloud par 3 en simplifiant ses workflows. 💬 **Quelle compétence vous a sauvé la mise en data engineering ?** #DataEngineering #Tech #Compétences #Carrière #Optimisation

gaby_wald Apr 28

Data vs. Big Data : <1 To → SQL, >10 To → Spark/Hadoop. Critère : volume, vitesse. Exemple : économie 150k€. #DataEngineering #BigData #Tech #SQL #Optimisation ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-bigdata-tech-share-7454816037411258369-lcS0

#dataengineering #bigdata #tech #sql #optimisation | Gabriel C.

🤔 "Big Data ? Peut-être pas. Voici comment choisir entre data classique et Big Data" Tout le monde veut du "Big Data", mais **80% des projets n’en ont pas besoin** (retour d’expérience). Voici comment décider : 🔹 **Data classique (SQL, Excel, rapports)** : - **Quand l’utiliser** : - Données structurées (< 1 To). - Analyses simples (ex : ventes mensuelles). - Budget limité. - **Outils** : PostgreSQL, MySQL, Power BI. - *Exemple* : Une PME a économisé 150k€/an en restant sur PostgreSQL au lieu de passer à un data lake. 🔹 **Big Data (Hadoop, Spark, Kafka)** : - **Quand l’utiliser** : - Données **non structurées** (logs, IoT, texte). - **Temps réel** (ex : détection de fraude). - **Scale massive** (ex : > 10 To). - **Coûts cachés** : Infrastructure, expertise rare. - *Exemple* : Un client a abandonné son projet Hadoop après 6 mois : trop complexe pour ses besoins. 💡 **Critère décisif** : - **Volume** : < 1 To → Data classique. > 10 To → Big Data. - **Vitesse** : Besoin de temps réel ? Big Data. Sinon, SQL suffit. 💬 **Avez-vous déjà vu un projet Big Data inutile ? Racontez !** #DataEngineering #BigData #Tech #SQL #Optimisation

gaby_wald Apr 27

Réduire coûts cloud data : right-sizing, spot instances, data lakes vs data warehouses. Exemple : -120k€/an. #DataEngineering #Cloud #OnPremise #Optimisation #Tech ... https://www.linkedin.com/posts/gabriel-chandesris_dataengineering-cloud-onpremise-share-7454441711260487681-FiGn

#dataengineering #cloud #onpremise #optimisation #tech | Gabriel C.

💰 "Vos coûts cloud data explosent ? Voici comment les réduire de 50%" En Data Engineering, **le cloud peut coûter cher**. Nos astuces : 1️⃣ **Right-sizing** : - Passez de `m5.xlarge` à `m5.large` si vos jobs Spark n’utilisent que 30% CPU. - Outil : **AWS Cost Explorer**. 2️⃣ **Spot Instances** : - Jusqu’à **90% moins cher** pour les jobs non critiques (ex : ETL nocturnes). - Risque : Interruption possible (à gérer avec des checkpoints). 3️⃣ **Data Lakes vs. Data Warehouses** : - **Lakes** (S3, ADLS) : Moins cher pour le stockage brut. - **Warehouses** (Snowflake, Redshift) : Optimisés pour les requêtes. 💡 **Exemple** : Un client a économisé **120k€/an** en appliquant ces règles. 💬 **Quel est votre meilleur tip pour réduire les coûts cloud ?** #DataEngineering #Cloud #OnPremise #Optimisation #Tech

Mr. Knowledge Apr 24

Maîtrisez les Stratégies SEO pour Optimiser Votre Contenu Maîtrisez les Stratégies SEO pour Optimiser Votre Contenu Découvrez "Parlez riche langues : devenez un savant en syntaxe" de Hesham Nebr ! Transformez votre flux de contenu avec des stratégies SEO, améliorez la performance de votre site et engagez votre audience. Un guide indispensable pour maîtriser les techniques d'optimisation et de gestion, tout en boostant votre expérience utilisateur ! Tags : #ebook #livre #SEO #optimisation #con...

gaby_wald Apr 21

Big Data vs. Data classique : quand l’utiliser ? Exemple : 150k€ économisés. #Data #BigData #Tech #Optimisation #SQL ... https://www.linkedin.com/posts/gabriel-chandesris_data-bigdata-tech-share-7452325669235105792-eLRB

#data #bigdata #tech #optimisation #sql | Gabriel C.

🤔 "Big Data" n’est pas toujours la solution. Voici comment choisir Tout le monde veut du "Big Data", mais **80% des projets n’en ont pas besoin** (source : Gartner). Alors, quand l’utiliser ? ✅ **Data classique** : Bases SQL, rapports, analyses simples. ✅ **Big Data** : Données non structurées (logs, IoT), temps réel, scale massive. 💡 **Cas réel** : Une PME a économisé 150k€/an en passant d’un cluster Hadoop à PostgreSQL. 💬 **Vous avez déjà vu un projet Big Data inutile ?** #Data #BigData #Tech #Optimisation #SQL