SQL vs Excel: когда таблицы уже не справляются

Когда в компании работа выстроена в Excel, проблем нет, пока в таблице несколько тысяч строк. Но бизнес растёт, и вот в файле уже миллион записей. Поиск тормозит, сложные формулы зависают. А если сотрудник случайно удалит столбец — восстанавливать придётся вручную. Это первые сигналы, что Excel не справляется. В этой статье разберём, когда Excel перестаёт быть удобным инструментом и как SQL помогает решать эти проблемы. А приглашённые эксперты поделятся практическими примерами и советами по переходу.

https://habr.com/ru/companies/netologyru/articles/891236/

#excel #большие_объемы_данных #sql_server #централизованная_система_хранения #хранение_данных #acid #редактор_таблиц #переход_на_sql #структурирование_данных #снежинка

Цифровая карта аварийности: как технологии помогают сделать дороги безопаснее

Привет, Хабр! Буквально недавно в ИЦ прошло ежегодное мероприятие “Инновационная столица-2024” , где мой коллега, руководитель отдела цифровых сервисов, продемонстрировал обновленный АИС “Мониторинг аварийности”. Цифровая карта ДТП не имеет аналогов в России, поэтому в этой статье я бы хотел рассказать, чем так уникален продукт, и как он помогает снижать количество ДТП в городе.

https://habr.com/ru/articles/889052/

#сервисы #аналитика_данных #транспорт #картографические_сервисы #архитектура_системы #аис #большие_данные #большие_объемы_данных #технологии #безопасность

Работа с большими файлами в Python

Обработка больших текстовых файлов — распространенная задача в различных областях, таких как анализ данных, машинное обучение, веб-скрапинг и другие. Например, при работе с логами веб-сервера, которые могут достигать гигабайтов в размере, или при обработке больших наборов данных, таких как базы данных транзакций. В таких сценариях, когда файлы слишком велики для загрузки в память целиком, эффективное управление памятью становится критически важным.

https://habr.com/ru/articles/842792/

#потоковые_данные #обработка_данных #большие_файлы #большие_данные #большие_объемы_данных #работа_с_файлами #высокая_производительность #файлы #оптимизация_кода #память_в_python