Еще чуть-чуть быстрее ищем кратчайший путь на Python

Привет! На связи команда геоаналитики ecom.tech , мы строим модели машинного обучения на основе пространственных данных для задач ритейла в реальном времени, а также создаем промежуточные инструменты на базе методов прикладной геоаналитики. На наших технологиях работает Самокат и Мегамаркет. Например, наша команда решает задачу поиска оптимального расположения даркстора (место, где хранятся продукты, а также собираются заказы). Зона покрытия даркстора — радиус в пару километров, и количество их постоянно увеличивается. Мы хотим уметь размещать новый даркстор так, чтобы как можно больше людей получали заказы за минимальное время доставки. В этой статье мы расскажем, как выбираем локации для новых дарксторов: определимся с постановкой задачи, погрузимся в контекст проекта и покажем, как можно анализировать сотни тысяч разных точек на карте в секунду.

https://habr.com/ru/companies/ecom_tech/articles/911732/

#python #networkx #open_street_map #геоданные #геоинформационные_сервисы

Обработка геоданных для ML-задач. Часть 3: агрегирование данных и оценка пространственных шаблонов

Пространственное агрегирование помогает контролировать степень детализации данных в зависимости от пространственных характеристик отдельных записей. Эта операция может быть полезна, если вы хотите сравнить разные регионы по конкретному параметру, (например, плотность населения или динамика продаж), оценить значение признака на единицу площади (скажем, среднюю выручку магазинов на квадратный километр) или преобразовать набор точек в растровые пространственные данные. Важно учитывать, что агрегирование упрощает анализ , но «схлопывает» внутреннюю вариативность данных, типа как усреднённая температура по больнице может скрывать локальные перегретые серверные. Существует, по крайней мере, три метода пространственного агрегирования ...

https://habr.com/ru/companies/cinimex/articles/900738/

#геоданные #feature_engineering #python #postgresql #postgis #data_science #анализ_данных #машинное_обучение #машинное+обучение #машинное_обучениe

Обработка геоданных для ML-задач. Часть 2: пространственные объединения и расстояния

Статья продолжает обсуждение пространственных признаков в Python. Здесь мы рассматриваем пространственные объединения — аналог обычного объединения в мире геоданных, основанный на топологических отношениях между объектами, таких как пересечение, вложение или касание. Также мы узнаем, как правильно рассчитывать различные типы расстояний (и иногда это не просто евклидово расстояние между двумя точками). Например, геодезическое расстояние учитывает кривизну Земли, что особенно важно для анализа данных на больших территориях; расстояние маршрута учитывает направление: оптимальный маршрут от A до B не всегда равен маршруту от B до A.

https://habr.com/ru/companies/cinimex/articles/900734/

#геоданные #feature_engineering #python #postgresql #postgis #data_science #анализ_данных

Машинное обучение в страховании: как ИИ и большие данные меняют подходы к оценке рисков и борьбе с мошенничеством

Привет, Хабр! Меня зовут Дмитрий, я дата-сайентист в команде моделирования Росгосстраха. Страховые компании активно обращаются к технологиям машинного обучения (ML) и искусственного интеллекта (ИИ) для формирования тарифов, борьбы с мошенничеством, оптимизации различных процессов и улучшения качества обслуживания клиентов. В этом обзоре я хочу рассказать о том, как ML/ИИ трансформирует процессы в страховом секторе. Посмотрим, как технологии интегрируются в повседневную работу крупной страховой компании на примере нескольких характерных задач. Машинное обучение в страховой отрасли Согласитесь, что практически все люди в своей жизни сталкиваются с потребностью в страховании. Кто-то хочет застраховать новую машину, кто-то стремится защитить квартиру от залива, а кто-то – иметь подушку безопасности в случае проблем со здоровьем. Ключевой особенностью большинства неприятных событий является их принципиальная случайность, неожиданность. Страховой бизнес – одна из старейших областей, которая использует статистику и анализ данных как основу для своей деятельности. Исторически, в контексте страховой практики, соответствующий раздел математики называли актуарными расчетами. что происходит "за кулисами" страхования?

https://habr.com/ru/companies/rgs_it/articles/899140/

#машинное_обучение #искуственный_интеллект #страхование #каско #антифрод #мошенники #детекция_повреждений #распознавание_документов #клиентский_сервис #геоданные

Геопространственная обработка признаков

Привет, я Александр Мещеряков, более 3-х лет работаю в компании «Синимекс» специалистом по анализу данных. Мне удалось поработать с различными ML-проектами, и больше всего меня увлекла работа с геоданными. Для многих эта тема кажется немного «магией» и я хотел бы на страницах Хабра пролить на нее немного света. Эта статья — как шпаргалка для шеф-повара: берите готовые рецепты под ваши задачи. Здесь вы найдёте ключевые библиотеки (geopandas, h3-py) и принципы работы с геоданными — от парсинга OpenStreetMap до агрегации по шестиугольникам.

https://habr.com/ru/companies/cinimex/articles/896546/

#геоданные #feature_engineering #python #postgresql #postgis #data_science #анализ_данных

[Перевод] Моделируем поверхность Земли в пару строчек

Вы когда-нибудь играли в Outer Wilds ? Планеты там невероятно красивы. Это собственно стало основной мотивацией создать свою простую модель планеты, используя реальные географические данные о высотах и немножко магии Wolfram Language

https://habr.com/ru/articles/872554/

#marching_cubes #геоданные #земля #блокнот #wljs #wolfram #jupyter_notebook #mathematica

Индекс твоего города — обновление

Накопилось немного обновлений для city-indexes.online , которые уже давно доступны (тем кто возможно пользуется сайтом), но время рассказать появилось только сейчас.

https://habr.com/ru/articles/860620/

#геоданные #недвижимость #торговля #osm #postgis #martin #maplibre_gl_js #nominatim

GPS в нашей жизни: как навигация стала доступна каждому

Изначально навигационная спутниковая система NavStar GPS предназначалась исключительно для военного применения: например, для определения точных координат подводных лодок при запуске межконтинентальных баллистических ракет. Но с 70-х годов все изменилось. Сейчас без GPS сложно представить нашу жизнь. Давайте чуть коснемся истории и посмотрим, как 32 вращающихся по орбите спутника повлияли буквально на все вокруг.

https://habr.com/ru/companies/first/articles/857108/

#геолокация #геоданные #геоинформационные_сервисы #история_it #история_ит #история_создания #научнопопулярное #научпоп #gps #gpsнавигация

Индекс твоего города — Карты на стол

Предоставлен доступ к исходному коду для city-indexes.online . Собраны ответы на частые вопрос в одном месте. Обновлений для пользователя немного - добавлены города Вологда, Новороссийск, Ульяновск, Париж и Ницца. Основное - это открытый код для расчетов и самого сайта - City Indexes - GitLab .

https://habr.com/ru/articles/856082/

#геоданные #недвижимость #osm #maplibre_gl_js #martin #h3 #postgis

Galileo: как Европа создала свою альтернативу GPS

Все мы пользуемся или уж точно слышали о американской системе глобального позиционирования GPS или о отечественной ГЛОНАСС. Однако в Европе также появилась альтернативная система GNSS, которая позволяет не зависеть от сигналов спутников других государств. Давайте посмотрим, как она появилась и зачем Евросоюз вложил в неё уже больше 10 млрд долларов.

https://habr.com/ru/companies/first/articles/855378/

#galileo #геолокация #геоданные #геоинформационные_сервисы #история_it #история_ит #история_создания #научнопопулярное #научпоп