Что делать, когда твои системы становятся legacy

Всем привет. На связи Дмитрий Немчин из Т-Банка. Снова буду говорить про Greenplum, но в необычном контексте. С 2015 года занимаюсь Greenplum: развитием, эксплуатацией, автоматизацией и всем, что обычно появляется вокруг большой аналитической платформы. Когда я пришел, у нас было два production-кластера Greenplum и десятки терабайтов данных. Сейчас production-кластеров около 20 и объемы данных измеряются петабайтами. За это время Greenplum прошел путь от небольшого DWH до центра крупной Дата Платформы. И сейчас это система, которая все еще держит большую часть нагрузки, но постепенно перестает быть точкой будущих инвестиций. Переход к такому состоянию системы часто воспринимается болезненно. Особенно если технология долго была центральной для команды и бизнеса. Но сам факт перехода в legacy не означает, что система была плохой или что работа команды обесценилась. Чаще наоборот: legacy становятся решения, которые долго работали, выдержали рост и успели стать частью критичной инфраструктуры. В статье хочу разобрать переход на примере Greenplum: что я называю legacy, почему технология начала ограничивать следующий этап роста, какие варианты были у команды и что происходит с людьми, когда привычная система постепенно уходит из фокуса развития.

https://habr.com/ru/companies/tbank/articles/1047642/

#legacy #системы #greenplum #итинфраструктура #bigdata #devops

#OMG, Russian #propaganda is telling the #truth, and we're all being monitored by the #NSA.

source: united24media.com/investigatio…

Poor #Snowden is now stuck in #Russia for telling the #world the truth about the U.S. #surveillance program.

#fsb #news #policestate #bigtech #propaganda #fnord #newspeack #whistleblower #cybersecurity #tracking #bigdata #bigbrother #orwell #spy #secretservice #intelligence #usa #worldorder #prtivacy #society #ethics #smartphone

US campaigner warns #Scotland about #AI #data centre boom

“You guys are really vulnerable, and you’re vulnerable because you have

- #Water resources
- #Rural land
- #Renewable #energy

This industry will not only suck all of that, but then they’re going to have to rely on fossil fuel. That’s the reality.”

https://www.thenational.scot/news/26190746.us-campaigner-warns-scotland-ai-data-centre-boom/

#BigData #greed #GlobalWarming #ClimateChange #PeopleNotProfits #CO2 #FossilFuels #pollution #WaterShortage

Scuba: Diving into Data at Facebook

https://vldb.org/pvldb/vol6/p1057-wiener.pdf

#DataScience #Databases #BigData

#LabPlot (upcoming release) just got even more powerful.

The latest merge request introduces native support for importing data from the following file formats:

👉 #Apache #Parquet
👉 #Apache #ORC
👉 #Arrow #IPC (#Feather)

—three of the most efficient and widely used columnar storage formats in data science.

#DataScience #OpenSource #FOSS #FLOSS #KDE #DataViz #BigData #Data #DataAnalysis #Python #R #OpenData #HackerNews #TechNews #OpenData #Science #Research #Analytics #Tech #IT

Amb l'associació de #Palantir i #Google la militarització del #BigData de les #BigTech ja és evident.
https://mx.investing.com/news/company-news/palantir-se-asocia-con-google-cloud-en-integracion-de-datos-93CH-3642781

No els volem donar les nostres dades, no volem entrenar els seus sistemes que utilitzen a la #guerra i per la #repressio

#insubmissioBigTech