Тестирование систем и движков массивно-параллельных вычислений. Часть II. TPC-DS

Привет! Сегодня я продолжаю тему сравнения систем и движков массивных параллельных вычислений. В прошлой публикации я раскрыл основные принципы проведения тестирования, которыми руководствуется наша команда, и привел результаты как реальных промышленных сценариев, так и синтетических тестов. Материал вызвал интерес и дискуссию: значит, он актуальный и полезный. Для кого-то факты стали убедительными, а кто-то усомнился в объективности результатов, поэтому, как и было обещано, я делюсь материалами сравнительного тестирования, выполненного по общепринятому стандарту TPC-DS. Сегодня вы узнаете, повлияла ли смена методики на результаты.

https://habr.com/ru/companies/datasapience/articles/921882/

#trino #impala #greenplum #lakehouse #bigdata #mpp #dwh #tpcds #data #data_lake

🚀 Big Data Pipeline Cheatsheet for AWS, Azure & GCP 🌩️
This one visual explains it all: from Ingestion ➡️ Data Lake ➡️ Computation ➡️ Data Warehouse ➡️ Presentation.

Perfect for:
🧠 Data Engineers
☁️ Cloud Architects
🤖 ML Engineers

🔁 Boost this if you're building in the cloud!

#DataEngineering #BigData #CloudComputing #AWS #Azure #GCP #MachineLearning #ETL #DataPipeline #MastodonTech #OpenSource #Fediverse

data2day 2025: Praxiswissen für Data Teams – Von Architektur bis Agentic AI

Von Datenarchitekturen und -Pipelines über Datenqualität und Governance bis zu Agentic AI und Data Privacy sowie Praxiseinblicken reichen die Konferenzthemen.

https://www.heise.de/news/data2day-2025-Praxiswissen-fuer-Data-Teams-Von-Architektur-bis-Agentic-AI-10457797.html?wt_mc=sm.red.ho.mastodon.mastodon.md_beitraege.md_beitraege&utm_source=mastodon

#BigData #IT #MachineLearning #news

#politics #BigData #DataRescue

'The [Data Rescue Project] Portal makes it easy to discover rescued datasets by government offices sharing the data, topic, and more. '

https://www.datarescueproject.org/data-rescue-project-portal/

Data Rescue Project: Data Rescue Project Launches New Portal. “The Data Rescue Project (DRP) is excited to announce the launch of the DRP Portal—a milestone in our collective effort to protect and preserve at-risk public information. … The Portal makes it easy to discover rescued datasets by government offices sharing the data, topic, and more.”

https://rbfirehose.com/2025/06/25/data-rescue-project-data-rescue-project-launches-new-portal/

With people submitting their private code and their companies' code to random #BigData servers so that Big Data's #LLM can suggest code or conduct code reviews, we can just give up on the idea that there is such a thing as #IntellectualProperty or #Copyright, right?

#Gitlab #DuoCode

Elon Musk, unser liebster Südafrikaner, will Grok auf die Daten der Welt hetzen, um das geballte menschliche Wissen korrigieren zu können. So heißt es hier und da. Und irgendwie wird einem da schon ein bisschen mulmig. Denn wir wissen ja: Wissen ist Macht. Und wer das Wissen kontrolliert, übt die maximale Macht aus. Das hat also der Irre vor. Er will alles umschreiben lassen. Von Grok natürlich, nicht von Menschen oder so. Und ich fühle mich gerade George Orwell ganz nah.

[…]

https://www.henning-uhle.eu/informatik/digital-transformation/wissen-korrigieren-was-hat-der-irre-jetzt-wieder-vor

Data Engineering Interview Questions in 1 minute #dataengineer #datascience #bigdata

source

https://quadexcel.com/wp/data-engineering-interview-questions-in-1-minute-dataengineer-datascience-bigdata/

UK watchdog fines 23andMe over 2023 data breach

The U.K. data protection watchdog has fined 23andMe £2.31 million ($3.1 million) for failing to protect U.K. residents’ personal and genetic data prior to its 2023 data breach.

#UK #ICO #23andMe #DNA #genetics #databreach #infosec #data #bigdata #security #cybersecurity #hackers #hacking #hacked

https://techcrunch.com/2025/06/17/uk-watchdog-fines-23andme-over-2023-data-breach/