Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Prognozirovanie i obnaruzhenie anomaliy v clickhouse s pomoschyu fundamentalnyh
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Прогнозирование и обнаружение аномалий в ClickHouse с помощью фундаментальных моделей временных рядов

Источник: ClickHouse•17 ноября 2026 г. в 17:21

Прогнозирование и обнаружение аномалий в ClickHouse с помощью фундаментальных моделей временных рядов

Подключите TimesFM к ClickHouse с помощью исполняемых UDF для прогнозирования розничного спроса, обнаружения аномалий и учета известных будущих событий с использованием SQL.

ClickHouse — это распространенное хранилище для данных временных рядов, от логов и метрик инфраструктуры до продаж и активности пользователей. Наша собственная внутренняя платформа логирования, LogHouse, хранит более квадриллиона строк временных рядов. Прогнозирование будущих значений и обнаружение необычных наблюдений — обычные задачи для этих данных, но обучение и поддержка отдельной классической модели временных рядов, такой как ARIMA, для каждого сервиса, клиента или продукта может быть затруднительной по мере роста количества рядов.

Фундаментальные модели временных рядов (TSFM) обещают устранить необходимость обучения для каждого ряда: будучи предварительно обученными на множестве рядов, они могут создавать прогнозы «с нуля» (zero-shot) на основе истории нового ряда, которые также можно использовать для выявления наблюдений, отклоняющихся от ожиданий. Это делает их естественным дополнением для аналитики в реальном времени и рабочих нагрузок хранилищ данных в ClickHouse, где SQL уже справляется с агрегацией, группировкой по времени и фильтрацией, необходимыми для формирования каждого ряда.

В этой статье мы подключаем TimesFM 3.0 к ClickHouse через исполняемые пользовательские функции (UDF). В качестве иллюстрации мы используем записанные розничные продажи из M5 dataset для прогнозирования ежедневного спроса и выявления необычных исторических наблюдений.

Сопутствующий репозиторий clickhouse-timeseries-ai содержит сервер модели TimesFM, определения исполняемых UDF для ClickHouse и конфигурацию Docker Compose. Вам понадобятся Git, Docker с Compose v2 и доступ в интернет для первой сборки и загрузки модели. В качестве отправной точки выделите примерно 8 ГБ доступной оперативной памяти и несколько ГБ дискового пространства; это не является измеренным минимумом. GPU не требуется.

Клонируйте репозиторий и запустите демо:

Это запустит ClickHouse и сервер модели, загрузит закрепленный чекпоинт и зарегистрирует функции. Конфигурация по умолчанию использует CPU для инференса и кэширует веса для последующих запусков.

Инференс TimesFM выполняется вне процесса ClickHouse. Исполняемая Python UDF получает числовой массив, отправляет его на сервис модели по HTTP и преобразует ответ в массивы и кортежи ClickHouse. Сервис предоставляет две конечные точки:

Прогнозирование по сути является оберткой над timesfm3.TimesFM3Evaluator.predict_batch. Для приведенных ниже примеров обучение или дообучение не выполняется.

Загруженные веса TimesFM 3.0 имеют ограничения для некоммерческого и непроизводственного использования. Ознакомьтесь с применимыми условиями использования модели, прежде чем применять эту настройку за пределами локальной оценки. Эти функции являются частью демо, а не встроенными функциями ИИ в ClickHouse (пока!).

Функции работают с полными рядами:

values — это Array(Float64). Входные данные не обязательно должны быть литеральными массивами или сохраненными столбцами массивов: это могут быть SQL-выражения, построенные из CTE, подзапросов, JOIN или результатов агрегированных запросов. Например, запрос может отфильтровать и агрегировать события в ежедневные итоги, собрать эти итоги в упорядоченный по времени массив и передать его напрямую в aiForecast. Функции получают результирующие массивы, а не таблицу или строку запроса.

Прогнозы возвращают массив именованных кортежей (expected, lower_bound, upper_bound, quantiles), по одному на каждый будущий шаг. expected — это медиана; нижняя и верхняя границы — это q10 и q90, формирующие номинальный 80% доверительный интервал. quantiles содержит все девять нативных квантилей TimesFM, от q10 до q90, в виде пар (уровень, значение). Все значения поступают из одного вызова модели.

SQL-помощник aiForecastQuantile(prediction, 0.8) выбирает q80 из шага прогноза, например, для использования более высокой оценки спроса при планировании запасов. aiForecastInterval(prediction, 0.6) возвращает границы q20–q80 для номинального 60% интервала. Эти помощники только выбирают значения из возвращенного кортежа; они не вызывают модель. Неподдерживаемые квантили или интервалы, включая 95% интервал из этого чекпоинта, вызывают ошибку, а не экстраполяцию за пределы выходных данных.

Многомерные входные данные представляют собой Array(Array(Float64)), где один внутренний массив соответствует каждому целевому ряду или дополнительному входному признаку. Целевой ряд — это последовательность значений для прогнозирования, например, ежедневные продажи. Входной признак предоставляет контекст, такой как график рекламных акций или индикатор праздничного дня. Исторические каналы выровнены по времени. Ковариаты известного будущего также должны охватывать горизонт прогнозирования. Результат содержит один массив прогноза на каждую цель. Это может представлять связанные ряды спроса вместе с календарем рекламных акций, например.

aiDetectAnomalies принимает необязательные массивы past_covariates и future_covariates в своем options_json, по одному внутреннему массиву на признак. Все входные данные охватывают одни и те же наблюдаемые даты; сервис предоставляет каждый канал известного будущего до конца каждого оцениваемого окна, но целевые значения — только до начала прогноза. Выходные данные остаются одним выровненным массивом. Это довольно плотный формат — полный пример приведен ниже в разделе прогнозирования ежедневных продаж, где future_covariates выглядит как [0,0,0…1,0…], указывая на известные будущие события, в данном случае — рождественские праздники.

Модель получает упорядоченные числа, а не метки времени или имена таблиц. SQL определяет интервал агрегации и выборки, обрабатывает пропущенные периоды и упорядочивает каждый ряд. Таким образом, горизонт 28 означает 28 дней для ежедневных входных данных или 28 часов для почасовых. Ни UDF, ни модель не выводят временную сетку из исходной таблицы.

M5 содержит ежедневные продажи единиц товаров в десяти магазинах Walmart за 5 лет: с 2011-01-29 по 2016-04-24. Возможно, M5 включен в обучение модели, но наша цель здесь — продемонстрировать, как использовать модель временных рядов, а не доказать эффективность. В этом примере m5.store_daily содержит ежедневные итоги товаров, представленных в наборе данных, со столбцами store_id, day и units:

Следующий запрос использует 730 дней наблюдений по 27 марта 2016 года для прогнозирования следующих 28 дней для каждого магазина:

groupArray собирает наблюдения для каждого магазина. Сортировка кортежей (day, units) делает их порядок явным перед тем, как arrayMap извлечет значения. Каждый магазин создает один запрос к модели и получает 28 кортежей прогноза, соответствующих периоду с 28 марта по 24 апреля. max_threads = 1 ограничивает параллелизм запросов для сервера модели в этом демо, который принимает один активный запрос на инференс за раз.

График показывает последние 42 дня истории входных данных и следующие 28 дней прогноза для CA_1. Белая линия включает наблюдаемые продажи в отложенном периоде; эти наблюдения не предоставлялись модели. Заштрихованная полоса — это нативный интервал q10–q90 с номинальным покрытием 80%.

Возвращенные массивы можно развернуть с помощью ARRAY JOIN и связать с будущими датами. С этого момента прогнозы становятся обычными результатами запросов: их можно объединять с измерениями товаров или магазинов, сравнивать с последующими наблюдаемыми продажами или сохранять в таблице для дальнейших запросов. Та же структура запроса применима к рядам, агрегированным из данных транзакций или событий, а не из подготовленной ежедневной таблицы.

Для сохраненного массива прогноза arrayMap(p -> aiForecastQuantile(p, 0.8), forecast) выбирает q80 на каждом будущем шаге. Выбор другого квантиля не требует нового прогноза и не меняет медиану или другие квантили.

Прогнозы также могут предоставлять ожидаемое значение, с которым можно сравнить уже полученное наблюдение. aiDetectAnomalies применяет этот подход к историческим данным. Он прогнозирует отложенное окно на основе более ранних наблюдений, сравнивает прогноз с фактическими значениями, а затем переходит к следующему окну. Наблюдения становятся контекстом только после того, как их окно было оценено.

Следующий запрос оценивает последние 180 дней во входных данных каждого магазина с использованием семидневных окон. score_last_n выбирает, сколько последних наблюдений получают оценки; это не ограничивает историю, доступную модели. Результат выравнивается по исходному ряду, поэтому его можно объединить с датами и наблюдаемыми единицами с помощью arrayZip:

Функция возвращает (ожидаемое значение, нижнюю границу, верхнюю границу, оценку аномалии, является ли значение аномалией) для каждого входного наблюдения. Неоцененные позиции контекста имеют пустые (null) прогнозы и оценки. Оценка представляет собой абсолютную ошибку прогноза, деленную на расстояние от медианы до границы интервала с этой стороны, с числовым минимумом. Это не вероятность: threshold=3 фильтрует оценки выше 3, а не задает уровень достоверности. Оценки аномалий всегда используют q10 и q90 в качестве опорных границ. Выбор другого квантиля прогноза или интервала для другого запроса не меняет эту опорную точку, оценки или порог аномалии.

Некоторые из строк, возвращенных из M5 (более высокие оценки указывают на более аномальные данные):

Верхние панели сравнивают наблюдения с прогнозами, основанными на предыдущей истории. Нижние панели показывают соответствующие нормализованные ошибки и порог 3. Выделенные наблюдения — это фактические значения из M5, а не внедренные события.

В день Рождества во всех магазинах зафиксированы очень низкие продажи. Прогноз, основанный только на истории, не учитывает график праздников. Мартовские наблюдения в CA_2 также значительно ниже прогноза, но календарь не определяет событие на эти даты. SQL может объединить помеченные строки с другими записями, которые могут объяснить изменение. Оценка модели сама по себе не устанавливает, было ли это отсутствие товара на складе, закрытие или проблема с данными. В M5 нет меток аномалий, основанных на достоверных данных (ground-truth), поэтому эти строки демонстрируют рабочий процесс оценки, а не точность обнаружения.

Признаки известного будущего могут описывать ожидаемые события, такие как праздники, запланированные закрытия, рекламные акции или периоды технического обслуживания. Флаг is_event_day отмечает даты выбранного события как в истории, так и в окне прогноза. Модель получает выровненные числа, а не названия событий; в UDF нет специальной логики для праздников. Следует использовать отдельные каналы признаков, когда типы событий имеют разные эффекты, вместо того чтобы группировать каждый праздник или событие в один флаг.

В качестве измеримого примера мы повторяем семидневное окно оценки для периода с 23 по 29 декабря 2015 года для всех десяти магазинов, с флагом события Рождества и без него. Оба прогона используют одни и те же 786 предыдущих ежедневных наблюдений, контрольную точку модели, опорные значения оценки q10–q90 и порог 3. Единственный добавленный вход — это флаг дня события.

Скрипт воспроизведения загружает m5.event_calendar из файла calendar.csv набора данных M5, по одной строке на дату. Для этого эксперимента is_event_day=1, если поле названия события — Рождество, и 0 в противном случае. Объединение календаря с продажами позволяет сохранить выбранное событие выровненным с каждым наблюдением:

toJSONString сериализует именованный кортеж в объект options. Его поле future_covariates содержит один массив признаков: is_event_day. Признаков, основанных только на прошлом, нет, поэтому past_covariates опущен. Служба оценки может видеть график событий на 23–29 декабря, не видя продаж за эти дни. Все это к тому, что именно так можно предоставить модели известные будущие события для учета при составлении прогноза.

Оценки в день Рождества падают ниже неизменного порога в девяти из десяти магазинов. Все десять были помечены при прогоне, основанном только на истории. Для двух примеров с Рождеством:

Календарь помогает модели предвидеть спад, но не полностью прогнозирует продажи, близкие к нулю. Нулевые продажи в TX_2 все еще падают ниже границы q10, учитывающей календарь (874 единицы); нормализованная ошибка больше не превышает 3. CA_2 остается помеченным с оценкой 3.50. Это отдельное сравнение с учетом календаря, а не изменение результатов, основанных только на истории, приведенных выше, и оно не устанавливает общую точность обнаружения аномалий.

Этот интерфейс соответствует работе, уже проделанной в системе аналитики реального времени или хранилище данных. Данные о транзакциях и событиях могут быть агрегированы в регулярный ряд в ClickHouse, при необходимости с использованием материализованных представлений для поддержания этих агрегатов по мере поступления данных. Запрос выбирает историю и вызывает вывод (inference), в то время как возвращенные прогнозы остаются доступными для SQL для фильтрации, объединения и дальнейшей агрегации.

Для повторяющегося рабочего процесса результаты прогнозирования могут сохраняться вместе с их источником прогноза и версией модели, а затем сравниваться с фактическими значениями по мере поступления новых данных. Недавние наблюдения могут быть оценены в ограниченном скользящем окне с сохранением более ранней истории в качестве контекста. Это позволяет избежать повторной оценки всей таблицы при каждом запуске. Демонстрация не планирует эти запросы и не поддерживает таблицы прогнозов автоматически; это отдельные решения для приложения.

Служба модели по-прежнему является внешней зависимостью на пути запроса. Длину контекста, количество рядов, пропускную способность вывода и тайм-ауты запросов необходимо ограничивать. Примеры SQL используют исторические данные и не устанавливают задержку потоковой передачи или производительность в промышленной эксплуатации. Покрытие интервалов и пороги оценки также должны быть проверены для предполагаемого использования.

Мы подключили ClickHouse к базовой модели временных рядов и использовали SQL для прогнозирования спроса, обнаружения аномалий и предоставления известных будущих событий, которые помогают объяснить ожидаемые изменения. ClickHouse подготавливает и упорядочивает данные, в то время как модель предоставляет прогнозы без обучения для каждого ряда. Прогнозы возвращаются как обычные результаты запросов, готовые для объединения, фильтрации и дальнейшего анализа временных рядов в базе данных.

Тот же подход «SQL к модели» может соединить ClickHouse с табличными базовыми моделями для прогнозов по структурированным строкам. В будущей статье мы рассмотрим, как подготавливать табличные входные данные в ClickHouse, вызывать табличную базовую модель и использовать ее прогнозы в SQL.

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Что нового в dbt: ноябрь 2026 г.
dbt Labs

Что нового в dbt: ноябрь 2026 г.

Мы случайно запустили наш новый интерфейс
Posthog

Мы случайно запустили наш новый интерфейс

Быстрее находите нужные строки логов с помощью полнотекстового поиска в Grafana Cloud Logs
Grafana Labs

Быстрее находите нужные строки логов с помощью полнотекстового поиска в Grafana Cloud Logs

Ответ находится на расстоянии трех связей. Вычисляемые атрибуты помещают его туда, где он вам нужен.
Collibra

Ответ находится на расстоянии трех связей. Вычисляемые атрибуты помещают его туда, где он вам нужен.

Collibra признана лидером третий год подряд в отчете Gartner® Magic Quadrant™ для платформ управления данными и аналитикой
Collibra

Collibra признана лидером третий год подряд в отчете Gartner® Magic Quadrant™ для платформ управления данными и аналитикой

Отправка готовых к запросам логов в Azure Data Explorer с помощью Datadog Observability Pipelines
Datadog

Отправка готовых к запросам логов в Azure Data Explorer с помощью Datadog Observability Pipelines

Ещё от ClickHouse

JSONBench возвращается, и ClickHouse всё ещё лидирует
ClickHouse

JSONBench возвращается, и ClickHouse всё ещё лидирует

Представляем Loom: память для агентов, которая не отстает от вашего кода
ClickHouse

Представляем Loom: память для агентов, которая не отстает от вашего кода

SET allow_preview_features = 1: предварительный просмотр функций своими силами в ClickHouse Cloud
ClickHouse

SET allow_preview_features = 1: предварительный просмотр функций своими силами в ClickHouse Cloud

Использование высокопроизводительной аналитики в вашем lakehouse с помощью ClickHouse и Amazon S3 Tables
ClickHouse

Использование высокопроизводительной аналитики в вашем lakehouse с помощью ClickHouse и Amazon S3 Tables

ClickHouse Managed Postgres выходит на рынок в статусе GA, а приобретение Xata добавляет сервису возможности для автономных агентов
ClickHouse

ClickHouse Managed Postgres выходит на рынок в статусе GA, а приобретение Xata добавляет сервису возможности для автономных агентов

Крупнейшее расширение ClickHouse за всю историю
ClickHouse

Крупнейшее расширение ClickHouse за всю историю