Cold start mới Arc: warehouse thời gian mở nguồn/`DuckDB`+`Parquet`+`Arrow`. Hỗ trợ lưu trữ đa dạng (`local`/`MinIO`/`S3`), xử lý 2M record/s qua protokol nhị phân (MessagePack). Cá nhân stavtigos: dễ thành lập (`Docker` 1 lệnh) + miễn phí (`AGPL-3.0`). Mời phản hồi!
#time_series#open_source#DuckDB#Parquet#Arrow#selfhosted#data_warehouse #ɔi_ở_mã_ng éternelle

https://www.reddit.com/r/selfhosted/comments/1o8269c/built_my_own_opensource_timeseries_warehouse/

RL-агент для алгоритмической торговли на Binance Futures: архитектура, бэктест, результаты

Цель данной статьи - предоставить полное техническое руководство по созданию торгового агента, обученного с помощью Reinforcement Learning , на основе архитектуры Dueling Double Deep Q-Network с использованием Prioritized Experience Replay . Агент разработан для ведения краткосрочной торговли на Binance Futures . Он принимает решения на основе минутных рыночных данных, включая: open , high , low , close , volume , volume_weighted_average , num_trades . Основная цель агента — максимизировать итоговую прибыль PnL с учётом комиссий и проскальзываний, в данном проекте ключевым этапом оценки стратегии агента выступает реалистичный бэктест, моделирующий поведение в условиях, максимально приближенных к реальной торговле.

https://habr.com/ru/articles/934258/

#reinforcementlearning #quantitative_finance #machine_learning #deep_learning #binance #cryptocurrency #finance #investment #python #time_series

Кросс-валидация на временных рядах: как не перемешать время

Привет, Хабр! Сегодня рассмотрим то, что чаще всего ломает даже круто выглядящие модели при работе с временными рядами — неправильная кросс‑валидация . Разберем, почему KFold тут не работает, как легко словить утечку будущего, какие сплиттеры реально честны по отношению ко времени, как валидировать фичи с лагами и агрегатами.

https://habr.com/ru/companies/otus/articles/921604/

#временные_ряды #time_series #машинное_обучение #прогнозирование #кроссвалидация #crossvalidation

[Перевод] 5 техник, применяемых в анализе временных рядов, которые должен знать каждый. Часть 2

В отличие от традиционных наборов данных, где объекты часто остаются статичными, данные временных рядов обладают уникальными временными паттернами , которые необходимо использовать для извлечения значимых признаков. В этом разделе мы рассмотрим некоторые из наиболее эффективных методов.

https://habr.com/ru/companies/otus/articles/918832/

#временные_ряды #лаговые_признаки #pandas #python #time_series #стационарность #анализ_временных_рядов

Кригинг F-фактора или кормить, любить и никогда не покидать

Девочка и мальчик — метисы хаски жили в трубах на стройке, в феврале 2025 года спасены волонтерами, откормлены и подлечены. Сейчас у них появились хозяева и теперь их будут "Кормить, любить и никогда не покидать!" . Про любовь может быть как-нибудь в другой раз, а сегодня поговорим про "кормить". Канули в лету времена, когда своих маленьких друзей все кормили "со стола". Сегодня в стране сформировалась полноценная отрасль кормов для непродуктивных животных . Так на профессиональном языке называют наших домашних любимцев. Это название нам кажется неправильным. Они очень даже продуктивные. Их продукция это любовь и преданность, наши позитивные эмоции, прогулки в любую погоду и многие другие радости жизни. Чаще всего домашних собак и кошек мы кормим влажными консервированными кормами . Сегодня мы поговорим о производстве влажных кормов, узнаем почему F-фактор критически важен и зачем ему самому нужен кригинг.

https://habr.com/ru/articles/913974/

#автоклав #кригинг #качество #временные_ряды #predictive_maintenance #интерполяция #time_series

LLM во временных рядах: от предикта температуры до крипотовалют

Базовое желание человека -- знать что будет дальше. Какая завтра погода, в какое время не будет пробок, сколько будет стоить нефть и бакс. Было бы удобно провести быстрый анализ с LLM, ведь у каждого есть доступ хотя бы к одной нашумевшей нейросетке. Тем более LLM уже может прогнозировать будущее! Ниже вы можете посмотреть результаты прогноза для разных временных рядов из статьи Large Language Models Are Zero Shot Time Series Forecasters . Остается лишь вопрос, а можно ли лучше? Давайте разберемся!

https://habr.com/ru/companies/raft/articles/887486/

#llm #time_series #time_series_forecasting #ai #prompt #timellm #btc #trump #cryptocurrencies #artificial_intelligence

Эконометрика в ритейле: как не потратить миллионы на заведомо неэффективные эксперименты

Всем привет! На связи команда ad-hoc аналитики X5 Tech. Если вы уже знакомы с нашими статьями, то наверняка знаете, что нашей ключевой темой является А/Б тестирование. Важной составляющей А/Б теста является дизайн: для успешного проведения эксперимента необходимо оценить размер пилотной и контрольной групп, зафиксировав предварительно ожидаемый эффект. Но возникает вопрос: как убедиться в обоснованности гипотезы и рассчитать ожидаемые эффекты от инициативы? В статье мы рассмотрим ключевые понятия из эконометрики, такие как коинтеграция и модель коррекции ошибок, и продемонстрируем их применение на ретроспективных данных. Мы подробно разберём, как использовать эти инструменты для анализа взаимосвязей между временными рядами. В качестве практического примера с помощью функции импульсного отклика мы проведём количественную оценку ожидаемого влияния повышения комплектности персонала на списания на выбранном кейсе.

https://habr.com/ru/companies/X5Tech/articles/874190/

#анализ_данных #data_science #аналитика #статистика #эконометрика #эконометрика_в_ритейле #временные_ряды #time_series #абтесты #коинтеграция

Chronos от Amazon: революция в обработке временных рядов. Часть 2

Итак, друзья, продолжаем тему прогнозирования временных рядов с помощью Chronos. Напомню, что Chronos это фреймворк от компании Amazon — простой, но эффективный фрэймворк для предобученных вероятностных моделей временных рядов. Chronos токенизирует значения временных рядов с помощью масштабирования и квантования в фиксированный словарь и обучает существующие архитектуры языковых моделей на основе трансформеров на этих токенизированных временных рядах с использованием функции потерь кроссэнтропии. Chronos был предобучен на основе семейства T5 (размеры от 20M до 710M параметров) на большом количестве общедоступных наборов данных, дополненных синтетическим набором данных, который сгенерировали с помощью гауссовских процессов для улучшения обобщения. В этой статье я не буду подробно рассказывать как устроен Chronos и на чем он предобучен. Вся эта информация подробно изложена в моей предыдущей статье ( Часть 1 ). Здесь мы попробуем применить его на общедоступных данных на примере прогнозирования котировок акций компаний из индекса Dow Jones (общедоступный датасет на Kaggle), а также на данных одного крупного российского перевозчика. По биржевым данным цель была проста, посмотреть, как новый инструмент справляется с задачей предсказания цены акции. А на данных с железной дороги в качестве цели исследования выбрали построение прогнозов по количеству отступлений, называемых просадка пути. Многие из вас ездили поездом, и вот когда качает, это зачастую и есть просадки. Отступление довольно часто и быстро возникающее, влияет на безопасность движения, плавность хода и скорость. И предприятиям, обслуживающим путь, полезно оценивать при планировании, сколько таких отступлений предстоит устранять в следующем месяце. Данные брали посуточные, для десяти случайно выбранных предприятий. Временной период в 4 года, из них 1 месяц для тестирования. Посуточные показатели суммировали до месяца. В случае Dow Jones, пытаемся предсказать цену закрытия акции посуточно на 12 точек вперед.

https://habr.com/ru/articles/859498/

#машинное_обучение #data_science #time_series #natural_language_processing #chronos #искусственный_интеллект #machine_learning #llm #artificial_intelligence #временные_ряды