Прогнозирование временных рядов — важная область исследований для машинного обучения (ML), особенно в тех случаях, когда точное прогнозирование имеет решающее значение: в таких отраслях, как розничная торговля, цепочки поставок, энергетика, финансы и т.д. Например, в области потребительских товаров, повышая точность прогнозирования спроса на 10-20%, можно сократить складской запас на 5% и увеличить выручку на 2-3%. Сейчас решения для прогноза на основе машинного обучения обычно создаются экспертами и требуют значительных усилий, включая построение модели, конструирование признаков и настройку гиперпараметров. Однако такой опыт недоступен для широкого круга пользователей, что ограничивает преимущества применения ML для решения задач прогнозирования временных рядов.

На помощь приходит автоматизированное машинное обучение (AutoML) — метод, который делает ML более доступным за счёт автоматизации процесса создания моделей и ускоряет как исследование машинного обучения, так и переход к его использованию на практике. Например, первая же работа по поиску нейронной архитектуры позволила совершить прорыв в области компьютерного зрения (NasNet, AmoebaNet и EfficientNet) и в обработке естественного языка (Evolved Transformer). С недавних пор AutoML также применяется к табличным данным.

Сегодня мы представляем масштабируемое комплексное решение AutoML для прогнозирования временных рядов, которое соответствует трём ключевым критериям:

• Полная автоматизация: решение принимает информацию в качестве входных данных и создает обслуживаемую модель TensorFlow в качестве выходных данных без вмешательства человека.
• Массовость: решение работает для большинства задач прогнозирования временных рядов и автоматически ищет лучшую конфигурацию модели для каждой задачи.
• Высокое качество: полученные модели выдерживают конкуренцию с созданными вручную для конкретных задач.

Мы продемонстрировали успех такого подхода, участвуя в конкурсе прогнозирования M5, где это решение AutoML с умеренными вычислительными затратами показало отличную производительность по сравнению с ручными моделями.

Проблемы прогнозирования временных рядов

Прогнозирование временных рядов создаёт несколько сложностей для моделей машинного обучения. Во-первых, здесь присутствует высокая неопределённость, поскольку цель состоит в том, чтобы предсказать будущее на основе исторических данных. В отличие от других задач ML, набор тестов, например, для будущих продаж продуктов может иметь иное распределение, чем набор для обучения и проверки. Во-вторых, данные временных рядов из реального мира часто страдают от отсутствия информации и высокой перемежаемости (когда большая часть временного ряда имеет нулевое значение). Некоторые задачи временных рядов могут не иметь исторических данных и нести проблему холодного старта, например, при прогнозировании продаж нового продукта. В-третьих, поскольку мы стремимся создать полностью автоматизированное универсальное решение, один и тот же алгоритм должен применяться к различным наборам данных, которые могут сильно различаться в зависимости от предметной области (продажи продуктов, веб-трафик и т.д.), степени детализации (ежедневно, ежечасно и т.д.), длины истории, типов функций (категориальные, числовые, дата-время и т.д.) и т.п.

Решение AutoML

Чтобы решить эти задачи, мы разработали сквозной конвейер TensorFlow со специализированным пространством поиска для прогнозирования временных рядов. Он основан на архитектуре кодер/декодер, в которой кодер преобразует историческую информацию во временном ряду в набор векторов, а декодер генерирует будущие прогнозы на основе этих векторов. Сформированное современными моделями последовательностей (Transformer, WaveNet) и передовыми практиками прогнозирования временных рядов, наше пространство поиска включало такие компоненты, как внимание, расширенная свёртка, стробирование, пропуск соединений и различные преобразования функций. Полученное решение AutoML выполняет поиск наилучшего сочетания этих компонентов, а также основных гиперпараметров.

Чтобы избежать неопределённости при прогнозировании будущего временного ряда, для окончательных прогнозов используется ансамбль лучших моделей, обнаруженных в ходе поиска. Разнообразие топовых моделей сделало прогнозы более устойчивыми к неопределённости и менее склонными к переобучению по историческим данным. Чтобы обрабатывать временные ряды с упущенной информацией, мы заполняем пробелы обучаемым вектором и позволяем модели учиться адаптации к недостающим временным шагам. Чтобы устранить прерывистость, мы прогнозируем для каждого будущего временного шага не только само значение, но и вероятность того, что оно на этом временном шаге не равно нулю, и объединяем два прогноза. Наконец, мы обнаружили, что автоматический поиск может регулировать выбор архитектуры и гиперпараметров для различных наборов данных, что делает решение AutoML универсальным и автоматизирует усилия по моделированию.

Бенчмаркинг в прогнозировании конкуренции

Чтобы протестировать наше решение AutoML, мы участвовали в конкурсе прогнозирования M5, последнем из серии M-конкурсов, с почти 40-летней историей, одном из самых авторитетных в сообществе прогнозистов. Это соревнование проводилось на Kaggle с использованием данных о продажах продуктов Walmart, реальный характер которых делает задание довольно сложным.

Мы участвовали в конкурсе с нашим полностью автоматизированным решением и заняли 138 место из 5558 участников (первые 2,5%) в итоговой таблице лидеров, получив серебряные медали. На изготовление моделей у участников конкурса было почти четыре месяца. Многим конкурентам потребовались месяцы ручных усилий, а наше решение AutoML получило модель за короткое время с умеренными вычислительными затратами (500 процессоров за 2 часа) и без вмешательства человека.

Мы также протестировали наше решение для прогнозирования AutoML на нескольких других наборах данных Kaggle и обнаружили, что в среднем оно превосходит 92% моделей, созданных вручную, несмотря на ограниченное использование ресурсов.

Эта работа демонстрирует силу комплексного решения AutoML для прогнозирования временных рядов, и нас бесконечно вдохновляет потенциал его влияния на прикладные приложения.

Источник: https://ai.googleblog.com/2020/12/using-automl-for-time-series-forecasting.html