Pixel-perfect Downsampling — идеальная отрисовка 50 миллионов точек без потерь

Стандартные алгоритмы даунсемплинга хорошо работают с линейными графиками. На scatter они теряют до 60% визуально значимых данных. Показываем, как двумерное прореживание решает задачу, которую одномерные методы фундаментально не могут.

https://habr.com/ru/articles/1022894/

#downsampling #time_series #scatterplot #filtering #telemetry #algorithms #benchmark

Укрощаем рыночный хаос: Пишем Liquid Neural Network (LNN) на PyTorch для алготрейдинга

Если вы когда-нибудь пытались натравить классическую LSTM на минутные свечи волатильных активов, вы знаете эту боль. Сначала Loss красиво падает на трейне, вы предвкушаете покупку острова, а на тесте модель превращается в тыкву. Она либо предсказывает скользящую среднюю со сдвигом на один шаг, либо упирается в «стену» Loss = 0.693 (то есть −ln(0.5)), сводя всё к подбрасыванию монетки. Проблема не в вас. Проблема в том, что рекуррентные сети (RNN, LSTM, GRU) живут в дискретном времени. Для них шаг между 10:00 и 10:01 абсолютно идентичен шагу между пятницей и утром понедельника. Они не умеют сжимать и растягивать восприятие времени, когда волатильность взрывается. В этой статье мы отойдем от мейнстримных архитектур и напишем с нуля Liquid Neural Network (Жидкую Нейронную Сеть) . Мы заставим время течь непрерывно, используя численные методы дифференциальных уравнений прямо внутри PyTorch-графа, и посмотрим, как она вытаскивает скрытый макро-тренд из абсолютного рыночного хаоса. Теория без воды: Что делает сеть «жидкой»? Концепция Liquid Time-Constant Networks была представлена исследователями из Лаборатории искусственного интеллекта MIT (CSAIL). Их изначальная цель — управление дронами и автопилотами в непредсказуемой среде. Но финансовые рынки — это та же турбулентность, только выраженная в долларах , рублях и других валютах. В классической RNN скрытое состояние $h_t$ обновляется по дискретным шагам: $$h_t = \tanh(W_{in} x_t + W_h h_{t-1} + b)$$ В Liquid Network мы отказываемся от дискретности. Состояние нейрона $h(t)$ — это непрерывная переменная, описываемая обыкновенным дифференциальным уравнением (ОДУ):

https://habr.com/ru/articles/1020630/

#machine_learning #pytorch #liquid_neural_networks #lnn #алготрейдинг #временные_ряды #time_series #ode

Масштабируемый мониторинг: Настраиваем VictoriaMetrics в HA-конфигурации с VMAgent и Grafana

Сегодня мы построим масштабируемую, отказоустойчивую систему , которая будет расти вместе с вашей инфраструктурой и не сломается в самый неподходящий момент. Вместо 3 часов дебага падающего Prometheus вы смотрите дашборд, который показывает 99.9% uptime вашего мониторинга. Это реальность с правильно настроенным стеком на основе VictoriaMetrics .

https://habr.com/ru/articles/970490/

#victoriametrics #мониторинг #kubernetes #devops #prometheus #grafana #monitoring #time_series #high_availability #кластер

Cold start mới Arc: warehouse thời gian mở nguồn/`DuckDB`+`Parquet`+`Arrow`. Hỗ trợ lưu trữ đa dạng (`local`/`MinIO`/`S3`), xử lý 2M record/s qua protokol nhị phân (MessagePack). Cá nhân stavtigos: dễ thành lập (`Docker` 1 lệnh) + miễn phí (`AGPL-3.0`). Mời phản hồi!
#time_series#open_source#DuckDB#Parquet#Arrow#selfhosted#data_warehouse #ɔi_ở_mã_ng éternelle

https://www.reddit.com/r/selfhosted/comments/1o8269c/built_my_own_opensource_timeseries_warehouse/

RL-агент для алгоритмической торговли на Binance Futures: архитектура, бэктест, результаты

Цель данной статьи - предоставить полное техническое руководство по созданию торгового агента, обученного с помощью Reinforcement Learning , на основе архитектуры Dueling Double Deep Q-Network с использованием Prioritized Experience Replay . Агент разработан для ведения краткосрочной торговли на Binance Futures . Он принимает решения на основе минутных рыночных данных, включая: open , high , low , close , volume , volume_weighted_average , num_trades . Основная цель агента — максимизировать итоговую прибыль PnL с учётом комиссий и проскальзываний, в данном проекте ключевым этапом оценки стратегии агента выступает реалистичный бэктест, моделирующий поведение в условиях, максимально приближенных к реальной торговле.

https://habr.com/ru/articles/934258/

#reinforcementlearning #quantitative_finance #machine_learning #deep_learning #binance #cryptocurrency #finance #investment #python #time_series

Кросс-валидация на временных рядах: как не перемешать время

Привет, Хабр! Сегодня рассмотрим то, что чаще всего ломает даже круто выглядящие модели при работе с временными рядами — неправильная кросс‑валидация . Разберем, почему KFold тут не работает, как легко словить утечку будущего, какие сплиттеры реально честны по отношению ко времени, как валидировать фичи с лагами и агрегатами.

https://habr.com/ru/companies/otus/articles/921604/

#временные_ряды #time_series #машинное_обучение #прогнозирование #кроссвалидация #crossvalidation

[Перевод] 5 техник, применяемых в анализе временных рядов, которые должен знать каждый. Часть 2

В отличие от традиционных наборов данных, где объекты часто остаются статичными, данные временных рядов обладают уникальными временными паттернами , которые необходимо использовать для извлечения значимых признаков. В этом разделе мы рассмотрим некоторые из наиболее эффективных методов.

https://habr.com/ru/companies/otus/articles/918832/

#временные_ряды #лаговые_признаки #pandas #python #time_series #стационарность #анализ_временных_рядов

Кригинг F-фактора или кормить, любить и никогда не покидать

Девочка и мальчик — метисы хаски жили в трубах на стройке, в феврале 2025 года спасены волонтерами, откормлены и подлечены. Сейчас у них появились хозяева и теперь их будут "Кормить, любить и никогда не покидать!" . Про любовь может быть как-нибудь в другой раз, а сегодня поговорим про "кормить". Канули в лету времена, когда своих маленьких друзей все кормили "со стола". Сегодня в стране сформировалась полноценная отрасль кормов для непродуктивных животных . Так на профессиональном языке называют наших домашних любимцев. Это название нам кажется неправильным. Они очень даже продуктивные. Их продукция это любовь и преданность, наши позитивные эмоции, прогулки в любую погоду и многие другие радости жизни. Чаще всего домашних собак и кошек мы кормим влажными консервированными кормами . Сегодня мы поговорим о производстве влажных кормов, узнаем почему F-фактор критически важен и зачем ему самому нужен кригинг.

https://habr.com/ru/articles/913974/

#автоклав #кригинг #качество #временные_ряды #predictive_maintenance #интерполяция #time_series

LLM во временных рядах: от предикта температуры до крипотовалют

Базовое желание человека -- знать что будет дальше. Какая завтра погода, в какое время не будет пробок, сколько будет стоить нефть и бакс. Было бы удобно провести быстрый анализ с LLM, ведь у каждого есть доступ хотя бы к одной нашумевшей нейросетке. Тем более LLM уже может прогнозировать будущее! Ниже вы можете посмотреть результаты прогноза для разных временных рядов из статьи Large Language Models Are Zero Shot Time Series Forecasters . Остается лишь вопрос, а можно ли лучше? Давайте разберемся!

https://habr.com/ru/companies/raft/articles/887486/

#llm #time_series #time_series_forecasting #ai #prompt #timellm #btc #trump #cryptocurrencies #artificial_intelligence