Инфраструктура для Data-Engineer форматы файлов

В современной дата-инженерии работа с данными неразрывно связана с различными форматами файлов. Каждый формат имеет свои особенности, преимущества и области применения. В этой статье мы рассмотрим наиболее популярные форматы, научимся с ними работать и поймем, когда какой формат лучше использовать.

https://habr.com/ru/articles/859968/

#json #avro #parquet #csv #orc #data_engineering #data_engineer #форматы_файлов #форматы_хранения #колоночные_файлы

Pkl — новый язык конфигураций от Apple. Обзор и сравнение с YAML и JSON

Каждое приложение требует определенного уровня конфигурации. С помощью специальных языков можно создавать файлы, которые способны автоматизировать инициализацию системы. Эти файлы обычно читаются и интерпретируются только один раз. Наиболее распространенный пример — конфигурации INI Windows, которые обрабатываются с использованием API Microsoft. Популярность конфигураций вроде INI с годами менялась. По мере развития приложений росла и сложность конфигурирования. Поэтому особенно важно правильно выбрать язык конфигураций, чтобы не усложнить жизнь себе и своему pet-проекту. Под катом рассказываем о пикулях и Pkl — новом решении от Apple.

https://habr.com/ru/companies/selectel/articles/797917/

#selectel #pki #языки_программирования #конфигурация #форматы_файлов