Терабайты данных из Teradata в Trino — эффективный способ передачи

Архитектурный принцип Lakehouse предполагает, что вы оперируете всеми данными, загруженными в систему. Но иногда нужно выполнить ad hoc анализ за ее периметром, потому что необходимых данных по каким-либо причинам нет в Lakehouse-платформе . В этом случае на помощь приходит федеративный доступ. Стандартом для такой задачи является движок Trino. Он умеет извлекать данные из внешних СУБД и даже в некоторых случаях может делать push-down определенных вычислений на сторону системы-источника. Главное, чтобы под рукой был подходящий connector для нужной СУБД, который умеет эффективно с ней работать. Недавно в состав Data Ocean Nova был добавлен новый Trino Teradata Connector . Он позволяет пользователям «подтягивать» необходимые срезы данных из Teradata в рамках ad hoc запросов и решает задачу эффективной передачи данных: можно передавать терабайты в несколько потоков без существенного увеличения нагрузки на источник. В данной статье разберем: - Как организовать эффективную многопоточную работу с Teradata : где часто допускают ошибки, как должно выглядеть правильное решение; - Какие возможности дает Nova Trino Teradata Connector : многопоточная передача, push-down оптимизации.

https://habr.com/ru/companies/datasapience/articles/1024690/

#trino #teradata #mpp #lakehouse #datalakehouse #dwh #bigdata

Teradata présente son premier serveur MCP
https://www.lemondeinformatique.fr/actualites/lire-teradata-presente-son-premier-serveur-mcp-97557.html

#Infosec #Security #Cybersecurity #CeptBiro #Teradata #ServeurMCP

Today is the DBA Appreciation Day!

Bring your DBAs a cake and a coffee, please. And don't drop any tables in production, pretty please. It's weekend ...

#PostgreSQL #SQLServer #Oracle #DB2 #MySQL #MariaDB #Snowflake #SQLite #Neo4j #Teradata #SAPHana #Aerospike #ApacheSpark #Clickhouse #Informix #WarehousePG #Greenplum #Adabas

🚀 We’re hiring! #Teradata is looking for passionate professionals to join our team in Mumbai:

1️⃣ Senior Instructional Designer / eLearning Developer (Remote – Airoli, Navi Mumbai)
https://careers.teradata.com/jobs/219051/senior-instructional-designer-elearning-developer

2️⃣ Senior Curriculum Developer (Hybrid – Powai, Mumbai)
https://careers.teradata.com/jobs/219052/senior-curriculum-developer

#Hiring #InstructionalDesign #eLearning #CurriculumDevelopment #TeradataCareers

My Q in a work meeting just now: "So we're moving away from #Teradata b/c the pricing has become untenable. Are you all thinking about how/where we move again if the same thing becomes true of #databricks ?"

Leadership did *not* like that question...

Как мы проверяли качество данных после завершения миграции с Teradata на Greenplum

Привет, Хабр! Мы завершаем серию статей о миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущих статьях мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL‑скриптов с помощью реализованных сервисов миграции кода и переноса архива данных. В этот раз мы расскажем вам о нашем опыте и результатах кросс‑платформенной проверки качества данных во время и после миграции, а также о трудностях и решениях, связанных с этим процессом. Завершая нашу серию, мы подходим к ключевому аспекту миграции данных — проверке и обеспечению качества данных после переноса. Теперь, когда перед нами стоят два параллельно функционирующих хранилища, возникает вопрос о точности и согласованности данных между ними.

https://habr.com/ru/companies/sberbank/articles/869294/

#teradata #greenplum #миграция

🔍 Teradata Off Campus Drive 2025 🔍

💼 Job Role: Associate Professional Software Engineer

🔗 https://studentscircles.com/teradata-off-campus-drive/

💬 Join Our WhatsApp Group: https://bit.ly/waalerts

#jobs #hiring #freshers #offcampus #jobalert #jobsearch #entryleveljobs #studentscircles #teradata

オープンソース機械学習関数
https://qiita.com/hchd/items/e17352461be00bfc3345?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Python #MachineLearning #scikit_learn #teradata #VantageCloud

Teradata AutoML
https://qiita.com/hchd/items/048ba473b9fabc27e766?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items

#qiita #Python #MachineLearning #teradata #AutoML #VantageCloud

Как мы перенесли архив данных из Teradata в GreenPlum с помощью Hadoop и PXF

Привет, Хабр! Мы продолжаем серию статей о проведённой миграции аналитического хранилища данных с платформы Teradata на GreenPlum. В предыдущей статье мы рассказали о нашем опыте и результатах автоматизированного переписывания SQL-скриптов из диалекта Teradata в диалект GreenPlum с помощью реализованного сервиса миграции кода. В этой статье мы расскажем вам о полученном нами опыте и результатах переноса архива данных объёмом более 400 Тб из Teradata в GreenPlum, а также о трудностях и решениях, связанных с этим процессом.

https://habr.com/ru/companies/sberbank/articles/836942/

#teradata #greenplum #миграция_данных #перенос_данных