Прогноз расходов МООнлайн-конкурс СберИндекса 2026 · направление «Прогнозирование»

Онлайн-конкурс СберИндекса 2026 · направление «Прогнозирование»

Прогнозирование расходов МО и раннее обнаружение структурных сдвигов

Панель: 13 140 рядов «территория × категория», 2 190 территорий, январь 2023 — декабрь 2024.

1

Данные

Какие источники взяты и как согласованы по времени

Расходы МО2 190 МО × 6 категорий × 24 месяцаНациональные ряды СберИндекса10 рядовНовости GDELT3 011 689 событийКалендарь событий23 событияПроизводственный календарь2018–2026Таблицы организаторов уровня МОдоступность рынков и 5 ближайших соседейПогода NASA POWER1 341 ячейка сеткиНаселение МО (Росстат)2 019 из 2 190 МО

Ни один источник не изменил ошибку устойчиво: знак разности меняется от окна к окну. Ближе всех — Производственный календарь (к базовой модели): лучше в 8 окнах из 10.

Все источники, лицензии и подписи →
2

Расчёт

Чем проверено

Проверка14 окон, горизонты 1, 3, 6 и 12 месяцев, метрика MAEМодели13 моделей и ансамбль по прошлым ошибкамВнешние данныеТолько известные на момент прогнозаСдвигиИщем в ошибках прогноза, а не в самом ряде
3

Результат

Прогноз · лучшая модель зависит от горизонта
ГоризонтЛучшая модельMAE, ₽Prophet, ₽Точнее Prophet
1 мес.Chronos-2 с ковариатами581,7683,31 из 4
3 мес.Chronos-2 с ковариатами588,6835,93 из 4
6 мес.LightGBM422,01 353,81 из 1
12 мес.Ансамбль793,74 596,53 из 3

MAE ниже, чем у Prophet, на 4 горизонтах из 4. На горизонте 1 месяц средний перевес создан меньшинством окон: в остальных точнее Prophet.

Сдвиги · ищем в ошибках прогноза
Детектор по остаткам прогноза
0,221 F12,3 мес. задержка
Тревога по расписанию эталон
0,227 F12,2 мес. задержка

По F1 детектор эталон не превосходит. При равной частоте ложных тревог он находит 43% сломов против 34% и срабатывает через 2,3 мес. против 3,1.

Foundation-модели против остальных — отдельное сравнениеВклад каждого источника: что помогло, а что нетРазборы реальных примеров и ограничения
01Данныечто взяли и как согласовали по времени
1.1 · ИсточникиКритерий К5 · 15%

Источники: что берём, как согласуем по времени и что это дало

Ни один источник не изменил ошибку устойчиво: знак разности меняется от окна к окну. Ближе всех — Производственный календарь (к базовой модели): лучше в 8 окнах из 10.

10 источников: цель прогноза, справочник территорий и 8 внешних. Одна строка — один источник. Столбец «Что дал» — измеренное изменение ошибки прогноза от добавления источника (абляция), а не ожидание.

Что дал — изменение MAE, ₽; минус — ошибка стала меньшеокна проверки, где знак тот же, что в среднемпомогнавредилнеясноустойчиво лучше · устойчиво хуже · знак меняется от окна к окну
ИсточникЧто берёмОбъём и периодСогласование по времениЧто дал · изменение MAE, окна, вывод
Основа панели · уровень МО
Расходы на уровне МО
набор организаторов, Лаборатория СберИндекс
CC BY-SA 4.0
Цель прогноза: безналичные расходы по шести категориям303 126 строк: 2 190 МО, 13 140 рядов; январь 2023 — декабрь 2024по месяц прогноза
прогноз от месяца использует ряд по этот месяц включительно
цель прогноза
Справочник территорий: границы и преобразования МО
СберИндекс
CC BY-SA 4.0
Название, тип, регион, ОКТМО и координаты центра МО2 190 МО панели, редакция 2024 года; координаты центра — у 1 943не зависит от времени
Регион и тип МО — статические признаки и ключ стыковки новостей
Уровень страны
Национальные ряды СберИндекса: расходы, зарплаты, обороты, ставка
Данные СберИндекса: при копировании необходимо упоминание
61 макропризнак; сезонный индекс; проверка детекторов на известных шоках10 рядов; с сентября 2013 по сентябрь 2026; месяц и неделялаг 7–60 дней
лаг публикации от конца периода
к базовой модели
+25,7 ₽6 из 10неясно
Производственный календарь России
официальные сведения; условий использования источник не публикует
Рабочие дни, праздники, сокращённые дни, месяцы распродаж2018–2026 годыизвестен заранее
берётся на целевой месяц
к базовой модели
−61,9 ₽8 из 10неясно
Уровень региона и страны
Новости GDELT 1.0
свободное использование при ссылке на проект GDELT
46 признаков: число событий, тон, доли типов событий, новизна3 011 689 событий, 82 региона; октябрь 2022 — декабрь 2024лаг 0
по дате попадания события в базу
к базовой модели
−3,1 ₽6 из 10неясно
поверх календаря и национальных рядов
−2,6 ₽5 из 10неясно
Календарь событий
составлен авторами по официальным источникам
составлен авторами решения; у каждой записи ссылка на источник
Решения Банка России по ставке, паводки, чрезвычайные ситуации23 события; март 2020 — октябрь 2024по дате публикации
событие входит с даты его публикации
к базовой модели
+50,5 ₽5 из 10неясно
поверх календаря и национальных рядов
+0,4 ₽5 из 10неясно
Уровень МО
Индекс доступности рынков
набор организаторов, Лаборатория СберИндекс
CC BY-SA 4.0
Логарифм индекса доступности рынков; логарифм среднего расстояния до 5 ближайших МО2 170 из 2 190 МО панели; расчёт организаторов за 2024 годпостоянная
характеристика территории; рассчитана по данным 2024 года — позже части моментов прогноза
к базовой модели
+7,3 ₽6 из 10неясно
поверх календаря и национальных рядов
+26,3 ₽6 из 10неясно
Автодорожные связи между МО
набор организаторов, Лаборатория СберИндекс
CC BY-SA 4.0
5 ближайших по автодороге МО панели: прирост их расходов той же категории за 1 и 3 месяца и уровень относительно них2 353 366 пар МО панели по автодорогам; 5 ближайших соседей есть у 2 172 МО, медианное расстояние 58 км, 15% соседей — в другом регионекак свой ряд
расходы соседей — по месяц прогноза включительно
к базовой модели
+37,6 ₽7 из 10неясно
поверх календаря и национальных рядов
+5,6 ₽6 из 10неясно
Погода NASA POWER
реанализ MERRA-2
открытые данные NASA; при использовании указывается источник
Отклонение температуры и осадков от нормы ячейки сетки за последний опубликованный месяц и за три месяца; норма целевого месяца1 341 ячейка сетки 0,5° × 0,625° для 2 190 МО; январь 2022 — декабрь 2024, норма — 2001–2020 годылаг 7 дней
к концу месяца известен предыдущий; норма известна заранее
к базовой модели
−9,4 ₽6 из 10неясно
поверх календаря и национальных рядов
+11,3 ₽7 из 10неясно
Росстат: численность населения МО на 1 января 2023 года
официальная статистика Росстата; условий использования на странице бюллетеня нет, источник указывается
Логарифм численности населения и доля городского населения2 019 из 2 190 МО панели (92,2%); привязка по названию внутри региона через бюллетень 2024 годапостоянная
оценка на 1 января 2023 года в редакции, опубликованной к 4 сентября 2023 года, — до первого момента прогноза (31 октября 2023 года)
к базовой модели
+5,3 ₽6 из 10неясно
поверх календаря и национальных рядов
+30,0 ₽6 из 10неясно
1.2 · Сверка территорий

Территории — по официальным кодам, а не по названиям

Если бы сопоставляли по названиям
327рядов из 13 140 · 2,5%

отнесены к чужому региону: ряды из чужого региона попадали в 101 из 2 188 территорий, 14 территорий были отнесены к чужому региону целиком.

Панель
2 190 территорий, 13 140 рядов, 77 регионов; название, тип и ОКТМО взяты из редакции справочника 2024 года.
Почему не по названиям
49 названий встречаются в нескольких регионах — это 121 территория, и различает их только код.
Как проверили
Для сверки те же наблюдения сопоставлены с публичной выгрузкой, где территория задана только названием.
1.3 · Согласование по времениКритерий К5 · 15%

Согласование внешних данных по времени

В прогноз входит только то, что опубликовано к моменту прогноза: дата публикации — конец отчётного периода плюс лаг источника.

Момент прогноза — конец последнего наблюдаемого месяца. На всех шагах многошагового прогноза стоят одни и те же значения, известные на момент прогноза: прогноз от июня на июль, август и сентябрь не получает ни июльских новостей, ни августовского решения по ставке. На целевой месяц берётся только производственный календарь — он известен заранее.

  1. 01СобытиеПроизошло в отчётном периоде источника
  2. 02ПубликацияКонец периода плюс лаг источника: от 0 до 60 дней
  3. 03Момент прогнозаКонец последнего месяца: берём только опубликованное к этой дате
  4. 04Целевые месяцыНа всех шагах — одни и те же значения; на целевой месяц — только производственный календарь

Что видит прогноз, сделанный в конце сентября 2024 года

Пример для одного момента прогноза. Чем больше лаг публикации, тем раньше обрывается полоса.

известно на момент прогнозапериод прошёл, данные ещё не опубликованыпостоянная характеристикацелевые месяцы прогноза

Новости GDELT о России по месяцам

Событий в месяц, максимум — 165 936. Ромб под столбцом — событие календаря событий в этом месяце; число рядом — сколько их.

×3
янв 2023июлянв 2024июлдек
События календаря за этот период: 13
  • 01.06.2023 — Ростовская область: локальное нарушение. Июнь 2023: кратковременный режим КТО в Ростовской области
  • 21.07.2023 — вся страна: повышение ключевой ставки. Начало цикла повышения: ключевая ставка 8,5% годовых
  • 15.08.2023 — вся страна: повышение ключевой ставки. Внеочередное заседание: ключевая ставка повышена до 12% годовых
  • 15.09.2023 — вся страна: повышение ключевой ставки. Ключевая ставка повышена до 13% годовых
  • 27.10.2023 — вся страна: повышение ключевой ставки. Ключевая ставка повышена до 15% годовых
  • 15.12.2023 — вся страна: повышение ключевой ставки. Ключевая ставка повышена до 16% годовых
  • 01.04.2024 — Оренбургская область: паводок. Паводок в Орске и Оренбургской области, режим ЧС федерального характера
  • 01.04.2024 — Тюменская область: паводок. Паводок в Курганской и Тюменской областях, режим ЧС
  • 01.04.2024 — Курганская область: паводок. Паводок в Курганской области, режим ЧС регионального характера
  • 26.07.2024 — вся страна: повышение ключевой ставки. Ключевая ставка повышена до 18% годовых
  • 01.08.2024 — Курская область: эвакуация. Август 2024: режим ЧС и эвакуация в приграничных районах Курской области
  • 13.09.2024 — вся страна: повышение ключевой ставки. Ключевая ставка повышена до 19% годовых
  • 25.10.2024 — вся страна: повышение ключевой ставки. Ключевая ставка повышена до 21% годовых
02Как считалисхема решения, проверка, метрика и детектор
2.1 · Схема решенияКритерий К1 · 10%

Схема решения

Прогноз и поиск сдвигов — одна цепочка. Внешние данные входят сбоку и только после согласования по времени; детектор смотрит на ошибки готового прогноза.

Боковой вход · внешние данные

Внешние источникинациональные ряды, новости, календари, погода, население
Согласование по временитолько опубликованное к моменту прогноза
Внешние признакиодни и те же на всех шагах прогноза↓ входят в модели

Основная цепочка · прогноз

Расходы МО2 190 МО по 6 категориям — цель прогноза
Панель13 140 рядов «МО × категория», территории — по официальным кодам
Модели13 моделей на 14 окнах проверки: бейзлайны, Prophet, LightGBM, нейросети, foundation-модели
Ансамбльвеса подобраны по ошибкам прошлых месяцев
Прогнозрасходов на 1, 3, 6 и 12 месяцев вперёд

Ветка от ансамбля · сдвиги

Сдвиги ищем в ошибках прогноза, а не в самом ряде: сезонный подъём прогноз объясняет сам, и тревогу он не вызывает.

Остатки прогнозафакт минус прогноз в единицах обычной ошибки
Детектор сдвиговтревога, когда ошибки перестают быть обычными

Код разделён на ядро и оболочку — Functional Core / Imperative Shell:

Ядрочистые функции, без чтения файлов и сети

Окна проверки, признаки, метрики, детекторы сдвигов и веса ансамбля

Оболочкавсё, что касается внешнего мира

Загрузка данных, адаптеры моделей, командная строка и сборка этой страницы

2.2 · Проверка и метрикаКритерий К1 · 10%Критерий К6 · 10%

Окна проверки и метрика MAE

Модели проверяем на 14 окнах: учим на данных по некоторый месяц и сравниваем прогноз с тем, что было дальше.

Метрика конкурса

MAE — средний модуль разности факта и прогноза по всем парам «ряд × месяц» проверки, в рублях; ниже — лучше.

Окно проверки
Пара «последний месяц обучения, горизонт»: модель видит ряды по этот месяц и прогнозирует следующие месяцы.
Где сравниваем
Модели сравниваются на 1 201 рядах оценочной выборки; глобальные модели учатся на всех 13 140 рядах панели.
Счёт окон
В скольких окнах проверки одна модель точнее другой: показывает, держится ли знак разности от окна к окну. 3 из 4

14 окон проверки на оси месяцев панели

обучениепроверка: с этими месяцами сравнивают прогноз
2.3 · Детектор на примереКритерий К3 · 20%

Как детектор находит сдвиг

Детектор смотрит не на сам ряд, а на ошибку прогноза на шаг вперёд, делённую на её обычный размах до этого месяца: сезонный подъём прогноз объясняет сам, и тревогу он не вызывает.

Ряд бенчмарка — настоящий ряд расходов, в который внесён слом известной величины в известный месяц.

факт и ошибка прогнозапрогноз на шаг вперёд и статистика детекторавнесённый сломтревога детекторапорог
1 · Ряд и прогноз на шаг вперёд, ₽1 5002 0002 5003 0003 5002 · Ошибка прогноза, в обычных ошибках−8−6−4−20243 · Статистика CUSUM и порог02468порог 3,0слом внесёнтревога · тот же месяцянв 2023априюлоктянв 2024априюлокт
03Результаты · прогнозкакая модель точнее и как выглядит прогноз
3.1 · Главный результатКритерий К2 · 20%Критерий К6 · 10%

Лучшая модель зависит от горизонта прогноза

Вывод

На 1 и 3 месяца точнее всех Chronos-2 с ковариатами, на 6 месяцев — LightGBM, на 12 месяцев — ансамбль. У Prophet, эталона из условий конкурса, ошибка выше на каждом из 4 горизонтов.

Данные
Оценочная выборка: 1 201 ряд
Метод
14 окон проверки, MAE; с Prophet сверено по окнам проверки
Подробнее
Отчёт, раздел 4 · configs/backtest.yaml

Критерий конкурса требует четырёх горизонтов: 1, 3, 6 и 12 месяцев. Модели сравниваются внутри каждого горизонта; метрика — MAE, руб., ниже — лучше. Prophet — эталон из условий конкурса — выделен строкой.

MAE, руб. — ниже лучше; модели сравниваются внутри каждого горизонта и сгруппированы по типу.
Модель1 мес.3 мес.6 мес.12 мес.
окон проверки, общих для всех моделей4413
Лучшая на горизонтеи в скольких окнах она точнее ProphetChronos-2 с ковариатами581,7
1 из 4
Chronos-2 с ковариатами588,6
3 из 4
LightGBM422,0
1 из 1
Ансамбль793,7
3 из 3
Foundation-модели
Chronos-2 с ковариатами581,7588,6640,81 136,5
Chronos-2 (grouped)642,6721,3790,01 104,1
Chronos-2648,4738,6848,51 157,6
TimesFM-2.5661,5729,0786,71 109,7
Статистические модели
AutoTheta640,6677,6651,8963,2
AutoETS717,5752,7743,3993,8
AutoARIMA765,7832,5782,91 362,0
Машинное обучение и нейросети
LightGBM678,6642,5422,0не строится¹
NHITS747,0946,2763,6не строится¹
NBEATSx935,31 005,8767,1не строится¹
Ансамбли
Ансамбль по категориям656,4687,2483,7881,6
Ансамбль811,1783,3485,0793,7
Эталон и наивные прогнозы
Prophet эталон683,3835,91 353,84 596,5
Наивный788,0810,7759,8993,3
Сезонный наивный1 272,51 278,01 296,61 322,5
моделей / наблюдений15 / 4 43115 / 13 28715 / 6 64012 / 36 758

MAE по горизонтам, ₽

Лидеры, Prophet и наивный прогноз. Кольцо — лучшая модель горизонта.

4005007001 0001 5002 0003 0005 0001 мес.3 мес.6 мес.12 мес.ProphetэталонChronos-2с ковариатамиНаивныйАнсамбльLightGBM
  • Шкала логарифмическая: равные шаги по вертикали — равные отношения ошибок. На обычной шкале ошибка Prophet на длинном горизонте сжала бы остальные линии в одну.
  • Счёт окон. По окнам проверки лучшая модель точнее Prophet: 1 месяц — в 1 окне из 4; 3 месяца — в 3 окнах из 4; 6 месяцев — в 1 окне из 1; 12 месяцев — в 3 окнах из 3. На горизонте 1 месяц средний перевес создан меньшинством окон: в остальных точнее Prophet.
  • ¹ Не строится: глобальному LightGBM при h=12 не из чего собрать обучающую выборку, нейросетям не остаётся входного окна.
  • Окна. Горизонт 12 месяцев — три перекрывающихся фолда, обучение 10–12 месяцев.
3.2 · Foundation-моделиКритерий К4 · 15%

Foundation-модели против остальных

Вывод

Foundation-модели лучше остальных одиночных моделей на горизонтах 1 и 3 мес., на 6 и 12 мес. — уступают; Prophet они превосходят на всех горизонтах.

Данные
Оценочная выборка: 1 201 ряд
Метод
Предобученные веса без дообучения, те же окна проверки
Подробнее
Отчёт, раздел 6 · configs/models.yaml
лучшая foundation-модельлучшая из остальных одиночных моделейкороче полоса — меньше ошибка
1 месяцfoundation точнее
Chronos-2 с ковариатами581,7
AutoTheta640,6
Prophet — 683,3
3 месяцаfoundation точнее
Chronos-2 с ковариатами588,6
LightGBM642,5
Prophet — 835,9
6 месяцевостальные точнее
Chronos-2 с ковариатами640,8
LightGBM422,0
Prophet — 1 353,8
12 месяцевостальные точнее
Chronos-2 (grouped)1 104,1
AutoTheta963,2
Prophet — 4 596,5
Все foundation-модели, MAE, руб. Жирным — лучшая одиночная модель горизонта; ансамбль приведён для сравнения.
Модель1 мес.3 мес.6 мес.12 мес.
Chronos-2 с ковариатами581,7588,6640,81 136,5
Chronos-2 (grouped)642,6721,3790,01 104,1
Chronos-2648,4738,6848,51 157,6
TimesFM-2.5661,5729,0786,71 109,7
Лучшая из остальных одиночных моделей640,6AutoTheta642,5LightGBM422,0LightGBM963,2AutoTheta
Prophet эталон683,3835,91 353,84 596,5
Ансамбль по категориям · для сравнения656,4687,2483,7881,6

Веса используются без дообучения, ревизии закреплены: amazon/chronos-2 (ревизия 29ec3766, лицензия apache-2.0); google/timesfm-2.5-200m-pytorch (ревизия 1d952420, лицензия apache-2.0).

3.3 · Прогноз на рядах

Как выглядит прогноз

Прогноз чаще ниже факта: на рядах оценочной выборки факт выше прогноза в 70,4% месяцев.

Три крупнейших ряда оценочной подвыборки из разных регионов. На каждый месяц 2024 года — прогноз итогового ансамбля с самым коротким доступным горизонтом (1 или 3 месяца) и интервал 0,1–0,9.

фактпрогноз ансамбляинтервал 0,1–0,9
Анадырский муниципальный районЧукотский АО · все категории · тыс. ₽
405060708090янв 2024априюлокт

Факт выше прогноза в 9 месяцах из 12

Муниципальный округ ПресненскийМосква · все категории · тыс. ₽
5060708090янв 2024априюлокт

Факт выше прогноза в 10 месяцах из 12

Елизовский муниципальный районКамчатский край · все категории · тыс. ₽
40455055606570янв 2024априюлокт

Факт выше прогноза в 11 месяцах из 12

3.4 · Выбор ряда

Выберите территорию и категорию

Факт, прогноз итогового ансамбля (на каждый месяц — самый короткий доступный горизонт), интервал 0,1–0,9 и тревоги детектора CUSUM по остаткам прогноза. Для каждой пары «регион × категория» показан один муниципалитет из оценочной подвыборки.

Показан МО из оценочной выборки:
фактпрогнозинтервал 0,1–0,9тревога детектора
3.5 · Все метрики: среднее по горизонтам15 моделей × 6 метрик. Выбирать модель по этой таблице нельзя — только по таблице горизонтов.Справка · К2 · К6

Справочная сводка. Среднее берётся по тем горизонтам, на которых модель определена, поэтому модели без горизонта 12 месяцев (LightGBM, нейросети) выглядят в ней лучше, чем есть: самый трудный горизонт в их среднее не входит. Выбирать модель по этой таблице нельзя — только по таблице горизонтов выше.

МодельMAE, руб.MAE macro, руб.WAPER² pooledR² per-series (медиана)MASE
LightGBM588,9600,60,0670,9880,1471,588
Ансамбль759,2772,30,0870,985−0,2562,181
Ансамбль по категориям779,8790,80,0900,984−0,4262,258
AutoTheta843,9855,00,0970,980−0,6242,380
NHITS860,2873,50,0980,978−0,5302,194
AutoETS894,1906,10,1030,979−0,6582,463
Наивный913,4925,00,1050,977−0,7422,485
Chronos-2 с ковариатами923,3939,30,1060,978−0,7702,589
NBEATSx927,9940,20,1060,976−0,6822,339
Chronos-2 (grouped)953,3966,80,1100,975−0,9252,615
TimesFM-2.5959,3971,00,1110,976−0,9052,666
Chronos-2996,01 009,50,1150,974−1,1612,760
AutoARIMA1 140,81 144,10,1310,957−1,0333,083
Сезонный наивный1 306,41 330,70,1500,962−1,8103,589
Prophet эталон3 142,93 199,80,3620,532−23,5137,956
04Результаты · сдвигикакой метод раньше замечает слом
4.1 · Сравнение детекторовКритерий К3 · 20%

Обнаружение структурных изменений

Вывод

По F1 детектор эталон не превосходит. При равной частоте ложных тревог он находит 43% сломов против 34% и срабатывает через 2,3 мес. против 3,1.

Данные
Бенчмарк: 1 500 настоящих рядов, в 1 131 внесён слом известной величины
Метод
Пороги подобраны на одной половине бенчмарка, метрики — на другой
Подробнее
Отчёт, раздел 5 · configs/cpd.yaml

При равной частоте ложных тревог

Период расписания подобран на калибровочной половине бенчмарка, сравнение — на тестовой

CUSUM по остаткам прогноза0,89 ложной тревоги на ряд в год
43% сломов
срабатывает в среднем через 2,3 мес. после слома
Расписание: тревога раз в 8 месяцев0,87 ложной тревоги на ряд в год
34% сломов
срабатывает в среднем через 3,1 мес. после слома

Разница в доле найденных сломов

95%-й интервал бутстрепа по рядам

+8,6процентного пункта

Интервал от 2,7 до 14,7 п.п. ноль не включает.

Что показал бенчмарк

  1. 01
    Остатки прогноза и сырой ряд. Лучший онлайн-детектор по остаткам прогноза — CUSUM: F1 0,221, задержка 2,3 мес. Лучший по сырому ряду — Page–Hinkley: F1 0,219, задержка 3,2 мес. Тот же CUSUM по сырому ряду — F1 0,188.
  2. 02
    Эталон — тревога по расписанию. Эталон сравнения — тревога по расписанию, каждые 6 месяцев независимо от данных: F1 0,227. Выше эталона по F1 — 0 из 15 вариантов «метод × вход».
  3. 03
    Сравнение при равной частоте ложных тревог. Расписание с ближайшей частотой ложных тревог — раз в 8 месяцев (0,87 на ряд в год против 0,89 у детектора): оно находит 34% сломов и срабатывает через 3,1 мес. после слома; CUSUM по остаткам прогноза — 43% и 2,3 мес. Разница в полноте — 8,6 п.п., 95%-й интервал бутстрепа по рядам — от 2,7 до 14,7 п.п.

Оговорки

  1. 04
    Тревоги на рядах без слома. На рядах без внесённого слома CUSUM поднимает тревогу у 71% рядов, на рядах со сломом — у 80%: разметка покрывает только внесённые сломы, а собственные изменения настоящих рядов в ней не отмечены.
  2. 05
    Тревоги на настоящих рядах. На настоящих остатках ансамбля (1 111 рядов оценочной выборки, один прогноз на месяц) CUSUM поднимает 3 049 тревог — 2,75 на ряд в год; конформный детектор по интервалам ансамбля — 422. Хотя бы одна тревога — у 935 рядов из 1 111 (84%). Остатки смещены: факт выше прогноза в 70,4% месяцев, поэтому часть тревог отражает систематическое отставание прогноза, а не смену режима.
  3. 06
    Модель вероятности шока. Модель вероятности шока в итоговую систему не вошла: при равном числе тревог она проигрывает простому детектору по остаткам (F1 0,107 против 0,172).

Варианты «метод × вход»

Пороги калиброваны на отдельной части бенчмарка, метрики — на тестовой.

Aлучший по остаткам прогнозаBлучший онлайн по сырому рядуCтот же CUSUM по сырому рядувход — остатки прогнозавход — сырой рядF1 эталона
МетодРежимВходF10,1880,227Задержка, мес.Ложных тревог на ряд в год
Тревога по расписаниюэталонраз в 6 месяцев0,2272,1821,287
Скользящее окно (L2)офлайнсырой ряд0,2222,7040,876
ACUSUMонлайностатки прогноза0,2212,2750,889
Page–Hinkleyонлайностатки прогноза0,2202,6951,215
BPage–Hinkleyонлайнсырой ряд0,2193,2420,900
PELT (L2)офлайнсырой ряд0,2163,3040,519
BinSeg (L2)офлайнсырой ряд0,2113,3650,507
Конформныйонлайнсырой ряд0,2103,0530,849
Ядерный (RBF)офлайнсырой ряд0,1973,7970,322
PELT (RBF)офлайнсырой ряд0,1963,7970,322
Конформныйонлайностатки прогноза0,1903,5500,599
CCUSUMонлайнсырой ряд0,1883,7320,824
Точность и полнота по всем вариантам
ВариантТочностьПолнота
Тревога по расписанию0,1420,572
Скользящее окно (L2) · сырой ряд0,1510,419
A · CUSUM · остатки прогноза0,1490,430
Page–Hinkley · остатки прогноза0,1390,529
B · Page–Hinkley · сырой ряд0,1480,421
PELT (L2) · сырой ряд0,1720,290
BinSeg (L2) · сырой ряд0,1700,279
Конформный · сырой ряд0,1440,388
Ядерный (RBF) · сырой ряд0,1900,203
PELT (RBF) · сырой ряд0,1900,203
Конформный · остатки прогноза0,1450,275
C · CUSUM · сырой ряд0,1300,336
Задержка против частоты ложных тревогКаждая точка — один порог детектора. Левее и ниже — лучше.
01234567 мес.00,51,01,5ложных тревог на ряд в годBOCPDконформныйPage–HinkleyCUSUM по остаткамрасписаниеэталон
Ниже пунктира — раньше расписания при той же частоте ложных тревог.
Отрезок соединяет точки, взятые для сравнения при равной частоте ложных тревог: CUSUM при пороге 3,0 и расписание раз в 8 месяцев.
Серые кривые — другие онлайн-детекторы по остаткам прогноза. Кривая построена по всему бенчмарку, включая калибровочную половину: это описание, а не проверка.
05Вклад частей решениячто меняется, если часть отключить
5.1 · АбляцииКритерий К5 · 15%

Абляции: что реально помогает

Вывод

Ни один источник не изменил ошибку устойчиво: знак разности меняется от окна к окну. Ближе всех — Производственный календарь (к базовой модели): лучше в 8 окнах из 10.

Абляция — прогон решения с отключённой частью, чтобы измерить её вклад. Конфигурации A–F посчитаны на одном наборе фолдов; все внешние признаки взяты по состоянию на момент прогноза.

Данные
Те же окна проверки; LightGBM с разными наборами признаков и ансамбли
Метод
Абляция: слой добавляется, остальное не меняется; вывод — по окнам проверки
Подробнее
Отчёт, раздел 9 · configs/ablations.yaml

Конфигурации: слой за слоем

∆MAE — разница с конфигурацией A; минус — ошибка меньше.

КонфигурацияМодели в набореMAE, ₽∆MAE к A, ₽F1 обнаружения
ALightGBM только на данных СбераLightGBM (A: Сбер)635,2
0,0
0,222
BПлюс календарь и национальные рядыLightGBM (B: +макро)596,7
−38,5
0,222
CПлюс новости и календарь событийLightGBM (C: +новости)618,8
−16,4
0,222
DНабор моделей с foundation-моделямиLightGBM (B: +макро), Chronos-2, Chronos-2 с ковариатами600,4
−34,8
0,222
EНабор моделей с foundation-моделямиLightGBM (C: +новости), Chronos-2, Chronos-2 с ковариатами, TimesFM-2.5, AutoTheta623,2
−12,0
0,222
FНабор E и детектор по остаткам прогнозаКак в E623,2
−12,0
0,221

В столбце «F1 обнаружения» у A–E стоит лучший офлайн-метод по сырому ряду, у F — онлайн-детектор по остаткам прогноза. Все конфигурации измерены на одних и тех же 31 238 наблюдениях. В таблице — разница общих MAE; в тесте значимости — средняя по рядам разность ошибок, поэтому эти числа немного расходятся.

Вклад слоёв

Средняя по рядам разность ошибок и устойчивость знака по окнам проверки.

помог — ошибка меньше, и знак держится по окнам проверкинавредил — ошибка больше, и знак держитсянеясно — знак меняется от окна к окнуокна, где знак тот же, что в среднем
← ошибка меньше0ошибка больше →∆MAE · окна · вывод

Каждый источник по отдельности

LightGBM с одним добавленным блоком признаков против той же модели без него: к базовой модели и поверх календаря и национальных рядов. Источник, который помогает базовой модели, но ничего не добавляет поверх лучшего набора, повторяет уже известное модели.

0сравнений: источник устойчиво помог
0сравнений: устойчиво навредил
14 из 14неясно: знак меняется от окна к окну
← ошибка меньше0ошибка больше →∆MAE · окна · вывод

Шкала у диаграмм одна: полоса во всю половину — 65 ₽.

06Разборы реальных примеровкак методы ведут себя на настоящих рядахКритерий К7 · 10%

Настоящие ряды: 2 национальных ряда с размеченными шоками и ряд МО с крупнейшим остатком прогноза.

рядразмеченный шок найденне найдентревога методаокно допуска ±2 месяца вокруг тревоги
Разбор 1 · национальный ряд · 2018–2026

Национальные расходы «Всего»

Офлайн-метод «скользящее окно (L2)», штраф откалиброван на бенчмарке

Офлайн-метод «скользящее окно (L2)» со штрафом, откалиброванным на бенчмарке, находит 3 из 5 размеченных шоков в пределах ±2 месяцев и ставит 9 тревог. Окна допуска вокруг этих тревог накрывают 47% ряда: с такой вероятностью «найденной» оказалась бы случайная дата.

3 из 5размеченных шоков найдено в пределах ±2 месяцев
9тревог за весь ряд
47%ряда накрыто окнами допуска вокруг тревог
Расходы, млрд руб. в месяц · цифры над ромбами — номера событий из списка ниже
2 0004 0006 0008 00010 0002019202020212022202320242025202612345
  1. 1март 2020Начало пандемии COVID-19: ажиотажный спроснайден
  2. 2апрель 2020Нерабочие дни и ограничения COVID-19найден
  3. 3март 2022Ключевая ставка 20% и ажиотажный спросне найден
  4. 4сентябрь 2022Частичная мобилизациянайден
  5. 5октябрь 2024Ключевая ставка 21%не найден

Метод работает задним числом, по всему ряду, и для сигнализации не подходит. Шок считается найденным, если тревога стоит не дальше 2 месяцев от его даты.

Разбор 2 · национальный ряд · 2018–2026

Национальные расходы «Услуги»

Офлайн-метод «скользящее окно (L2)», штраф откалиброван на бенчмарке

Офлайн-метод «скользящее окно (L2)» со штрафом, откалиброванным на бенчмарке, находит 3 из 5 размеченных шоков в пределах ±2 месяцев и ставит 12 тревог. Окна допуска вокруг этих тревог накрывают 59% ряда: с такой вероятностью «найденной» оказалась бы случайная дата.

3 из 5размеченных шоков найдено в пределах ±2 месяцев
12тревог за весь ряд
59%ряда накрыто окнами допуска вокруг тревог
Расходы, млрд руб. в месяц · цифры над ромбами — номера событий из списка ниже
5001 0001 5002 0002019202020212022202320242025202612345
  1. 1март 2020Начало пандемии COVID-19: ажиотажный спроснайден
  2. 2апрель 2020Нерабочие дни и ограничения COVID-19найден
  3. 3март 2022Ключевая ставка 20% и ажиотажный спросне найден
  4. 4сентябрь 2022Частичная мобилизацияне найден
  5. 5октябрь 2024Ключевая ставка 21%найден

Метод работает задним числом, по всему ряду, и для сигнализации не подходит. Шок считается найденным, если тревога стоит не дальше 2 месяцев от его даты.

Разбор 3 · ряд МО · 2024

Мотыгинский муниципальный район · Маркетплейсы

Красноярский край
Живой детектор CUSUM по остаткам ансамбля

Крупнейший остаток прогноза в потоке живого детектора (Красноярский край, |z| = 18,3). Это не шок, а устойчивый рост категории, за которым модель с 24 точками истории не успевает. Повышения ключевой ставки, попавшие в окно, объяснением не являются: рост начался раньше и шёл ровно.

11 из 12месяцев с тревогой детектора
|z| = 18,3крупнейший остаток прогноза в потоке живого детектора
24месяца истории у ряда
Маркетплейсы, тыс. ₽ в месяц
фактпрогноз ансамбляинтервал 0,1–0,9тревога детектора
024681012янв 2024февмарапрмайиюниюлавгсеноктноядек
07Справкаограничения, критерии конкурса, данные и воспроизведение
7.1 · ОграниченияКритерий К7 · 10%

Ограничения

9 ограничений, которые стоит держать в голове, читая результаты. Метка показывает, к какой части решения относится ограничение: прогноз, сдвиги или данные.

01

Короткая история рядов

прогноз

История каждого ряда — 24 месяца: в сводке по всем горизонтам R² по отдельным рядам отрицателен у 14 из 15 моделей, а на горизонте 12 месяцев direct-модели построить нельзя.

02

На уровне МО шоки почти не размечены

сдвиги

Реальных размеченных шоков на уровне МО почти нет: методы обнаружения сравниваются на полусинтетическом бенчмарке, реальная проверка — только на национальных рядах.

03

Публичным лидербордам не доверяем

прогноз

Публичные лидерборды foundation-моделей ненадёжны из-за утечки бенчмарков в предобучение, поэтому выводы делаются только по собственному бэктесту.

04

Календарь и национальные ряды

данные

Устойчивого изменения нет — MAE ниже на 37,8 руб. в среднем, лучше в 7 окнах из 10.

05

Новости и календарь событий поверх них

данные

Устойчивого изменения нет — MAE выше на 22,9 руб. в среднем, хуже в 5 окнах из 10.

06

Мало окон проверки

прогноз

Окон проверки мало: на 1 месяц — 4, на 3 месяца — 4, на 6 месяцев — 1, на 12 месяцев — 3. Различия моделей измерены в этих окнах; повторятся ли они в другом периоде, по таким данным сказать нельзя. По окнам проверки лучшая модель точнее Prophet: 1 месяц — в 1 окне из 4; 3 месяца — в 3 окнах из 4; 6 месяцев — в 1 окне из 1; 12 месяцев — в 3 окнах из 3. На горизонте 1 месяц средний перевес создан меньшинством окон: в остальных точнее Prophet.

07

Оценка основной модели оптимистична

прогноз

Основной LightGBM получает производственный календарь на целевой месяц; гиперпараметры не подбираются. Эта конфигурация выбрана после сравнения вариантов модели на тех же окнах проверки, поэтому её оценка оптимистична: лучший из нескольких вариантов на новых данных обычно оказывается хуже, чем на тех, по которым его выбрали.

08

Часть признаков — из более поздних редакций

данные

Тип МО взят из редакции справочника 2024 года: у 84 территорий из 2 190 он отличается от редакции 2023 года, и для окон проверки от месяцев 2023 года это сведение из следующей редакции. Индекс доступности рынков и расстояния между МО рассчитаны организаторами по данным 2024 года — позже части моментов прогноза.

09

F1 не отличает метод от расписания

сдвиги

Тревога по расписанию, не глядя на данные, даёт F1 0,227; выше неё — 0 из 15 вариантов «метод × вход». F1 с окном допуска на этом бенчмарке не отличает метод от расписания; отличает сравнение при равной частоте ложных тревог.

7.2 · Для жюри

Где смотреть по критериям конкурса

Та же навигация есть в оглавлении, во вкладке «Критерии».

КритерийВесНа этой страницеВ отчётеАртефакт
К1 Простое и понятное объяснение методологии10%цепочка, схема решения, окна проверкиразделы 1–3reports/methodology.md
К2 Сравнение моделей прогнозирования, Prophet, горизонты 1, 3, 6 и 12 месяцев20%MAE по горизонтам, все метрикираздел 4artifacts/metrics/leaderboard_by_horizon.csv
К3 Сравнение моделей обнаружения точек структурных изменений20%сравнение детекторов, как детектор находит сдвиграздел 5artifacts/cpd/detector_comparison.csv
К4 Современные фундаментальные модели временных рядов15%foundation-моделираздел 6configs/models.yaml
К5 Интеграция новостей и способ их согласования с данными СберИндекса15%согласование по времени, вклад источников, источникиразделы 7 и 9configs/features.yaml
К6 Метрики: MAE обязательно, R² опционально10%определение MAE, MAE по горизонтам, все метрикираздел 4artifacts/metrics/summary.csv
К7 Интерпретация, ясность, воспроизводимость и обоснованность выводов10%разборы примеров, ограничения, воспроизведениеразделы 10–12README.md
7.3 · Данные и воспроизведениеКритерий К7 · 10%

Воспроизвести решение

Всё решение одной командой
make all
То же в контейнере
docker compose run --rm pipeline
Собрать эту страницу
make report

Шаги по отдельности перечислены в README.md. Условия использования всех данных — в файле DATA_LICENSES.md.

Источник данных и обязательные подписи

Источник данных — Данные СберИндекса (sberindex.ru). Обязательные подписи источников:

  1. [1]Потребительские безналичные расходы на уровне муниципальных образований по категориям трат. СберИндекс. Данные доступны по адресу https://sberindex.ru/ru/research/data-sense-opisanie-nabora-dannikh-khakatona-sberindeksa-po-munitsipalnim-dannim (данные скачаны 2026-10-02).
  2. [2]Индекс доступности рынков на уровне муниципальных образований. СберИндекс. Данные доступны по адресу https://sberindex.ru/ru/research/data-sense-opisanie-nabora-dannikh-khakatona-sberindeksa-po-munitsipalnim-dannim (данные скачаны 2026-10-02).
  3. [3]Автодорожные и железнодорожные связи между муниципальными образованиями. СберИндекс. Данные доступны по адресу https://sberindex.ru/ru/research/data-sense-opisanie-nabora-dannikh-khakatona-sberindeksa-po-munitsipalnim-dannim (данные скачаны 2026-10-02).
  4. [4]Данные о границах и преобразованиях муниципальных образований. Сбериндекс. Данные доступны по адресу https://sberindex.ru/ru/research/dataset-borders-and-changes-of-municipalities (данные скачаны 2026-10-02).
  5. [5]Данные СберИндекса (https://sberindex.ru).
  6. [6]The GDELT Project (https://www.gdeltproject.org/).
  7. [7]The data was obtained from National Aeronautics and Space Administration (NASA) Langley Research Center's Prediction Of Worldwide Energy Resources (POWER) project funded through the NASA Earth Science Division.
  8. [8]The data was obtained from the POWER Project's Monthly and Annual 2.10.0 version on 2026/10/02.
  9. [9]Росстат. Численность населения Российской Федерации по муниципальным образованиям на 1 января 2023 года (статистический бюллетень). https://rosstat.gov.ru/compendium/document/13282