Как перевернуло машину на пустом месте и при чем тут Big Data, компьютерное зрение и предиктивная аналитика

Привет, Хабр. Этой статьей я открываю сезон, который многие называют «зимняя романтика и гололед», а я теперь буду называть сезоном «внезапной наледи в тени леса». В прошедшие выходные мой хороший друг решил прокатиться за город. Скорость была абсолютно штатная, даже чуть ниже разрешенной – около 80 км/ч. Асфальт сухой, солнце слепит глаза, в машине играет приятный подкаст. И тут – въезд в тень лесополосы. Обычно он знает, что там может быть сыро, но в этот раз природа подготовила сюрприз в виде наледи. Машина клюнула носом, корму мгновенно поставило в занос, а через секунду мир совершил кульбит, и мой друг повис на ремне безопасности, глядя в перевернутое небо. Хорошо, что все живы, отделались ушибами и испугом. Но когда мы сидели у него на кухне и разбирали произошедшее (а он, как любой айтишник, начал с вопроса «почему?»), меня посетила мысль: Почему, черт возьми, современный автомобиль, напичканный электроникой, не предупредил его об этой ловушке? Ведь информационные технологии давно уже должны были сделать такие сюрпризы невозможными. Давайте разберем по полочкам, какие именно IT-решения могли бы предотвратить этот переворот, если бы они были не просто в машине, а работали в едином контексте.

https://habr.com/ru/articles/1010728/

#ADAS #V2X #Компьютерное_зрение #LiDAR #Big_Data #Предиктивная_аналитика #Машинное_обучение #Интернет_вещей #IoT #Беспроводные_технологии

2,5 миллиарда в «БДСМ»: Почему CIO «Магнита» ищет миллионы, теряя миллиарды?

Пока IT-директор «Магнита» ищет способы сэкономить 200 млн рублей на серверах и обновляет техрадары, в их логистике ежегодно «сгорает» 2,5 миллиарда. Я пришел в комментарии к CIO с готовым алгоритмом, который пакует фуры со скоростью 500 000 объектов в секунду с учетом LIFO, развесовки и крена, но получил лишь игнор и минус в рейтинг. Что ж, переходим к публичному вызову: 168 часов против 2,5 миллиардов. Кто быстрее — математика или корпоративный TOGAF?

https://habr.com/ru/articles/1007972/

#Логистика #Алгоритмы #Big_Data #Математика #Программирование #LIFOпогрузка #Развесовка_по_осям #3D_Bin_Packing #Greedy_algorithm #Жадный_алгоритм

Эксперимент по поиску brain wallets: проверяем топ популярных паролей на живых Bitcoin-кошельках

Данный эксперимент проделан исключительно в формате развлечения выходного дня. Всё, что вы здесь увидите — результат чистого любопытства и желания покопаться в больших данных. Никакие приватные ключи не публикуются, только публичная информация об адресах.

https://habr.com/ru/articles/1006118/

#bitcoin #brain_wallet #rockyou #криптовалюта #безопасность #big_data #python #GPU #RTX_4090 #Yandex_Cloud

Сделай сам с помощью ИИ: Собираем систему мониторинга теплицы без знания кода

Приветствую! Меня всё ещё зовут Александр Воробьев и я всё ещё пытаюсь облегчить жизнь программистам микроконтроллеров, схемотехникам, стартаперам и всем тем, кто не ровно дышет к автоматизации и технологиям. В далеком 2022 году решил я автоматизировать теплицу тёще и даже это реализовал на базе ESP32 с управлением автополива по WI-FI и мониторингом температуры, освещенности, влажности почвы в теплице. Использовал готовый сервис интернета вещей iocontrol.ru для управления поливом и мониторингом телеметрии - температура, влажность, освещенность. Удобная штука, но с ограничениями. Но тем не менее огромное спасибо создателям этого веб ресурса! Вкратце расскажу про железную часть проекта

https://habr.com/ru/articles/1005606/

#esp32 #esp32c6 #электроника #ииагенты #iot #aiot #беспроводные_технологии #big_data #dataset #умная_теплица

От товара к предложению: как Ozon учитывает цену и доставку в ранжировании

Всем привет! Меня зовут Станислав Ким, я ML-разработчик в команде качества поиска Ozon. В этой статье расскажу, как мы перешли от ранжирования товаров к ранжированию предложений, внедрили «матрицу памяти» для переноса статистики и получили +0,9% к GMV на пользователя. Представьте простую ситуацию. Вы — продавец электроники. Выводите на Ozon новую модель робота-пылесоса. Чтобы ворваться на рынок, вы ставите цену на 20% ниже конкурентов и отгружаете партию на ближайший склад, чтобы доставка была «завтра». Логика подсказывает: алгоритмы увидят выгодное предложение (дёшево + быстро), подкинут товар в топ, и продажи взлетят. Реальность: проходит день, два... а товар висит на 5-й странице выдачи. Потому что для алгоритма ранжирования ваш пылесос — «чистый лист». У него нет истории продаж, нет кликов, нет отзывов. Рядом в топе — конкуренты: они дороже, доставка дольше, но у них есть история: тысячи заказов за прошлый год. Алгоритм «любит» их за накопленную статистику, а ваше выгодное предложение игнорирует — он просто не знает, чего от него ждать. В индустрии эта проблема называется cold start — и с ней сталкиваются все крупные маркетплейсы. Мы поняли, что нужно менять саму парадигму. Наш лозунг: ранжировать не абстрактную карточку товара с её прошлым, а конкретное предложение с его условиями здесь и сейчас.

https://habr.com/ru/companies/ozontech/articles/995840/

#поиск #маркетплейс #ранжирование #machine_learning #рекомендательные_системы #big_data #abтестирование #поисковые_запросы #Ozon #cold_start

ClickHouse: MergeTree с нуля

Привет, Хабр! Меня зовут Натаров Иван. Я занимаюсь вопросами обработки, анализа и визуализации данных. ClickHouse сегодня стал стандартом де-факто для аналитических задач, но часто начинающие специалисты тратят слишком много времени на погружение в технологию. Документация зачастую дает либо слишком поверхностное объяснение, либо уходит в технические детали, которые сложны для восприятия. В этой статье мы разберем фундамент ClickHouse - движок MergeTree . Посмотрим, как данные физически хранятся на диске, чем «парт» отличается от «партиции» и почему индекс в ClickHouse работает не так, как мы привыкли это видеть в транзакционных базах данных (например, PostgreSQL или MySQL). Погнали!

https://habr.com/ru/articles/1001054/

#ClickHouse #SQL #Big_Data #СУБД #MergeTree #Хранилища_данных #Data_Engineering #Tutorial

Digital Q.DataBase в Docker: быстрый старт с Oracle и MS SQL-совместимостью

Контейнеры давно стали стандартом современной разработки. Согласно отчету Docker State of Application Development 2025, они используются примерно в 92% IT-организаций и фактически стали универсальным способом упаковки и запуска приложений независимо от платформы и окружения. Это тот случай, когда инфраструктура перестает мешать и начинает экономить время. Именно поэтому Digital Q.DataBase доступна, в том числе, в виде Docker-образа. Это позволяет за несколько минут попробовать Oracle- и MS SQL-совместимую СУБД на Windows, Linux и macOS, ограничившись несколькими командами, без сложной установки и длительного онбординга. Полноценная рабочая среда готова к использованию сразу после старта контейнера. По сути, после того как вы скачали архив и подготовили директорию, для запуска Digital Q.DataBase достаточно четырех команд.

https://habr.com/ru/companies/diasoft_company/articles/996300/

#субд #sql #postgresql #база_данных #хранение_данных #itинфраструктура #big_data #digital_qdatabase

[Перевод] Шаблоны проектирования поглощения данных-01: пакетная обработка, потоковая передача и CDC — практическое руководство

Привет, Хаброжители! От выбора подхода к поглощению данных может зависеть успех или провал работы конвейера данных Получив опыт создания конвейеров данных, которые ежедневно обрабатывают сотни миллионов записей, я понял, что именно на уровне поглощения данных решается успех или провал большинства проектов в области инженерии данных. Если здесь допустить ошибку, то придется месяцами бороться с проблемами, возникающими c производительностью, качеством данных и недовольством заинтересованных сторон. Если все сделать правильно, то ваш конвейер станет надежной основой для принятия важных бизнес-решений.

https://habr.com/ru/companies/piter/articles/996148/

#анализ_и_проектирование_систем #высоконагруженные_системы #big_data

"Laura is joined by investigative journalist and co-founder of The Nerve, Carole Cadwalladr, to break down the influence of one of Silicon Valley's shadiest characters, Peter Thiel, in the operation of the British state. Cadwalladr spells out the operations of Thiel's Palantir, and how it has gotten its claws into everything from NHS data to Britain's defence system."—PoliticsJOE

The shady Silicon Valley giant taking over Britain | Carole Cadwalladr interview >

https://youtu.be/YftdpU4ElUQ?si=oDWeH9PadpHYLYBV

#Palentir #UK_insanity #USA_fascism #Great_Britain #Peter_Thiel #interview #Silicon_Valley #military #Carole_Cadwalladr #Trump_regime #techno_feudalism #defence #defence_system #UK #military_industry #cloud_capitalism #military_industrial_complex #free_service #infiltration #big_data #video #ministry_of_defense #investigative_journalism #facial_recognition #big_brother #data_brokerage #mass_surveillance #reliance #technology #networks

BIM Data Service: как мы превращаем BIM-модель в единый источник данных

Привет, Хабр! Меня зовут Альбина Алдабергенова, я – руководитель продукта BIM Data Service в ПИК. Продолжаем серию статей об экосистеме ПИК. В предыдущих материалах мы уже рассказали историю ее формирования и разобрали несколько инструментов: Family Manager , PikTools и BIM Inspector . Сегодня расскажу о продукте BIM Data Service, который превращает «цифровой двойник» здания в единый источник общих данных. А также о том, как мы автоматизировали один из самых непростых процессов в строительстве — расчёт сметы.

https://habr.com/ru/companies/pik_digital/articles/994448/

#bim #bimсистемы #bimмоделирование #bim_проекирование #big_data #big_data_analytics #big_data_solutions #девелопмент #строительство