Смотрим под капот объектному хранилищу VK Cloud: что скрывает архитектура Object Storage

Современные компании оперируют терабайтами или даже петабайтами данных. Но часто эти данные имеют разный формат, степень структурированности и не нужны в «горячем» доступе, поэтому зачастую хранить весь массив в традиционных БД не только невозможно, но и нерационально. Как результат, бизнес все чаще использует объектные S3-хранилища. Меня зовут Андрей Капустин. Я менеджер продукта Tarantool в компании VK Tech. В этой статье я расскажу об объектном хранилище VK Cloud, его архитектуре и месте Tarantool в ней.

https://habr.com/ru/companies/vktech/articles/917190/

#vk_cloud #s3 #объектное_хранилище #vk_tech #object_storage #хранилище_данных #tarantool

Как не запутаться в обновлениях 1C: работаем с «Обновлятором»

Распространенная головная боль пользователей 1C — обновление. Это нетривиальная задача, которая требует внимания ко множеству нюансов. Что‑то забыли, что‑то не учли — и уже потеря денег, а может быть, и данных. Мы рассмотрим несколько подобных примеров. Теперь многое становится проще. Рассказываем о том, как с помощью стороннего инструмента автоматизировать процесс, сэкономить время и избежать всех возможных препятствий. Уделим внимание работе с кластером в готовом облаке 1С в Selectel .

https://habr.com/ru/companies/selectel/articles/914134/

#selectel #1c #1cloud #1c_интеграция #1c_предприятие #1с_сервер #хранилище_данных #кластер #облачные_сервисы #облачные_сервисы_для_предприятий

Как не запутаться в обновлениях 1C: работаем с «Обновлятором»

Распространенная головная боль пользователей 1C — обновление. Это нетривиальная задача, которая требует внимания ко множеству нюансов. Что‑то забыли, что‑то не учли — и уже потеря денег, а может быть, и данных. Мы рассмотрим несколько подобных примеров. Теперь многое становится проще. Рассказываем о том, как с помощью стороннего инструмента автоматизировать процесс, сэкономить время и избежать всех возможных препятствий. Уделим внимание работе с кластером в готовом облаке 1С

https://habr.com/ru/companies/selectel/articles/914134/

#selectel #1c #1cloud #1c_интеграция #1c_предприятие #1с_сервер #хранилище_данных #кластер #облачные_сервисы #облачные_сервисы_для_предприятий

Как работать с сетевыми дисками для выделенных серверов

Привет, Хабр! На связи Владимир Иванов, системный администратор

https://habr.com/ru/companies/selectel/articles/890852/

#selectel #ceph #iscsi #хранение_данных #хранилище_данных #proxmox #vmware_esxi #san

TATLIN и Basis Dynamix: интеграция нашей платформы виртуализации с отечественной СХД

Работать с YADRO мы начали еще несколько лет назад, главной задачей нашего сотрудничества было и остается обеспечение совместимости между СХД TATLIN и нашей платформой управления динамической инфраструктурой Basis Dynamix Enterprise. Наша платформа и раньше умела работать с различными СХД — Hitachi, Huawei и других. Однако где-то были реализованы не все возможности, где-то не хватало веб-интерфейса и приходилось работать через консоль, где-то страдало быстродействие. Тесное сотрудничество с YADRO позволяло подходить к решению этих проблем с обеих сторон, плюс, многие наши заказчики регулярно интересовались развитием поддержки TATLIN.UNIFIED в наших продуктах. И вот на этой неделе мы объявили о более глубокой интеграции между TATLIN.UNIFIED Gen 2 и Basis Dynamix Enterprise, включающей поддержку репликации и мгновенных снимков через интерфейс платформы. О чем и хотим рассказать подробнее.

https://habr.com/ru/companies/basis/articles/890950/

#платформа_виртуализации #dynamix #хранилище_данных #tatlinunified #yadro #интеграция #репликация #снапшоты

Зачем бизнесу нужно DWH и как обосновать необходимость проекта? Можно ли оценить окупаемость хранилища?

Проекты внедрения DWH относятся к трудоемким и всегда требуют вложений, стоимость проектов начинается от 1,5 млн руб. К проекту необходимо привлекать системных аналитиков, архитекторов DWH, разработчиков, DevOps, дата-инженеров. Кроме затрат на ФОТ, нужны бюджеты на инфраструктуру и технологии, так как готового решения DWH из "коробки" не существует. Как при таких затратах аргументировать для бизнеса необходимость внедрения DWH? Какие бизнес-задачи может решить хранилище данных? Можно ли оценить окупаемость и эффективность внедрения? Читайте в статье.

https://habr.com/ru/articles/888952/

#dwh #кхд #корпоративное_хранилище_данных #bi #бизнесаналитика #хранилище_данных

Дорожная карта миграции большого хранилища данных

Недавно решали на работе задачу миграции хранилища данных. Оно у нас одно из крупнейших в отрасли, по крайней мере, в нашей стране. Оказалось, что даже на этапе планирования всё не так просто, как кажется. Делюсь проблемами, их решениями и получившейся дорожной картой. Привет, Хабр! Меня зовут Татьяна Сеземина. Я — директор портфеля проектов Т1 ИИ и руковожу проектами разработки и миграции больших хранилищ данных, сейчас мои проекты касаются отраслей ритейла и логистики. Каждый проект миграции длится от года до нескольких лет. Одна из моих команд столкнулась с необходимостью детального планирования длительной многолетней миграции хранилища, вплоть до каждого объекта. Расскажу, почему так произошло и как такую проблему решать.

https://habr.com/ru/companies/oleg-bunin/articles/876306/

#Миграция #импортозамещение #планирование #хранилище_данных #данные #управление_командой #управление_проектами #управление_проектами_и_командой #планирование_проектов #планирование_времени

Озеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышло

Привет, Хабр! Меня зовут Михаил Килинский, я — Senior Developer в проекте Data Warehouse «Лаборатории Касперского». Наша команда строит хранилища данных и разрабатывает ETL- и ELT-процессы, мы пишем на Python, SQL и C# (.NET), а весь код находится в монорепозитории . Гибкие методологии построения хранилищ данных — очень популярный тренд. Причина — возрастающая сложность корпоративных моделей данных и необходимость интеграции большого числа разнородных источников, которые включают в себя не только традиционные СУБД и плоские файлы, но и различные real-time-брокеры сообщений, внешние API и базы данных NoSQL. В этой статье хочу рассказать, как мы изначально хранили данные, почему решили внедрить методологии Data Lake и Data Vault и к чему это привело. Кроме того, покажу, как мы изобрели свой велосипед разработали свой фреймворк по автоматизации работы с помощью модели Data Vault.

https://habr.com/ru/articles/876834/

#dwh #data_warehouse #data_lake #хранилище_данных #корпоративное_хранилище_данных #архитектура_данных #базы_данных #данные #data #data_engineering

Как перейти от ручной проверки данных к автоматической: решение ИЦ «Безопасный транспорт»

Об Инновационном центре Инновационный центр «Безопасный Транспорт» создан в 2017 году на базе ЦОДД для работы с Big data и решения задач Транспортного комплекса Москвы. Команда экспертов изучает и анализирует потребности жителей столицы, а также разрабатывает и внедряет инновационные цифровые сервисы и решения для транспорта и дорог города. На данный момент на базе Инновационного центра построено хранилище данных Транспортного комплекса столицы, которые используются во многих проектах и продуктах, направленных на оказание поддержки в принятии управленческих решений Правительству Москвы, а также на улучшение транспортной инфраструктуры города в целом. Хранилище данных - сердце Транспортного комплекса С 2013 года Москва стремительно росла, улучшалась и расширяла свои границы. Логично, что это влекло за собой бурное развитие Транспортного комплекса, а вместе с ним увеличивалось и количество обслуживающих его IT-систем и данных, которые эти системы генерируют. Для реализации концепции data driven нужно было собрать все эти данные в одном месте, а для этого была нужна отдельная команда и отдельное подразделение. С этого в 2017 году и началась история ИЦ, сердцем которого является хранилище данных. На данный момент данные хранилища Инновационного Центра используются во множестве информационно-аналитических продуктов. В их числе — интерактивная аналитическая отчётность, цифровое мастер планирование города, Экологическая карта, Коммуникационная платформа, Карта аварийности, Справка загруженности и другие решения, направленные на улучшение и развитие Транспортного комплекса Москвы.

https://habr.com/ru/articles/867082/

#хранилище_данных #безопасный_транспорт #ИЦ_Безопасный_транспорт #big_data #большие_данные #скрипты #атрибуты #проверки #автоматическая_генерация #качество_данных

Платформа данных в хранилище Магнит OMNI

Всем привет! Меня зовут Михаил, я руковожу разработкой хранилища данных «Магнит OMNI». Хочу рассказать, как мы решали проблемы его создания: разделение ресурсов хранилища между несколькими большими равнозначными заказчиками; переиспользование кода для оптимизации рутинных задач; развитие платформы DWH в условиях активно растущего бизнеса; навигация в сотнях витрин и соблюдение единообразия расчёта метрик.

https://habr.com/ru/companies/magnit/articles/864472/

#хранилище_данных #хранилища_данных #dwh #data_mesh #data #базы_данных