Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Den kogda nebo opustelo vizualizatsiya sboya faa s pomoschyu clickhouse format p
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

День, когда небо опустело: визуализация сбоя FAA с помощью ClickHouse FORMAT PNG

Источник: ClickHouse•18 ноября 2026 г. в 10:09

День, когда небо опустело: визуализация сбоя FAA с помощью ClickHouse FORMAT PNG

Визуализируйте сбой FAA 13 ноября с использованием данных о полетах ADS-B и функции FORMAT PNG в ClickHouse, отобразив целый день воздушного движения США прямо из SQL.

В пятницу, 13 ноября 2026 года, сбой в системе FAA привел к прекращению воздушного движения по всей территории США. В этом посте показан весь день над 48 смежными штатами, по одному кадру каждые пять минут, на основе данных ADS-B на adsb.exposed.

Анимация рендерится самой ClickHouse. Здесь нет библиотек для построения графиков и нет скриптов обработки изображений. SQL-запрос возвращает одну строку на пиксель, а встроенный формат вывода PNG преобразует эти строки в анимированный PNG. Карта, заголовок, часы и временная шкала внизу — все это строки одного и того же результирующего набора. Даже буквы создаются с помощью SQL: растровый шрифт 3×5, сохраненный в виде литерала словаря.

Эту же анимацию можно посмотреть в форматах animated PNG, GIF и MP4.

В анимации каждое воздушное судно отображается в виде короткого следа: расстояния, которое оно преодолело за пять минут. Цвета соответствуют палитре по умолчанию на adsb.exposed:

  • Красный цвет угасает с высотой.
  • Зеленый цвет нарастает на первых 5000 футах, поэтому набор высоты и снижение вокруг аэропортов выглядят желтыми и оранжевыми.
  • Синий цвет показывает путевую скорость, поэтому крейсерский трафик на большой высоте окрашен в синий цвет.

Утро выглядит как любая пятница. Сеть заполняется с Восточного побережья на запад, и к 13:00–14:00 по восточному времени почти 15 000 самолетов находятся в воздухе в кадре за любой отдельно взятый час. Около 15:40 по восточному времени количество позиций начинает падать и продолжает снижаться до конца второй половины дня. Высотные следы редеют первыми, а аэропорты темнеют один за другим. К 20:00 по восточному времени остаются лишь разрозненные полеты на малых высотах и несколько пролетов по краям кадра.

Почасовые показатели для кадра (уникальные воздушные судна по адресу ICAO и те, что замечены выше 18 000 футов):

В 20:00 по восточному времени количество самолетов на крейсерской высоте составляет менее десятой части от уровня первой половины дня. Для сравнения, в самый тихий час предыдущей ночи (03:00 по восточному времени) все еще насчитывалось 818 самолетов. После 21:00 по восточному времени высотный трафик начинает возвращаться.

Вот статичное изображение двух 10-минутных окон: 14:00 по восточному времени (вверху) и 20:00 по восточному времени (внизу). Оно было отрисовано с помощью единственного запроса к публичному серверу adsb.exposed (см. ниже):

Вы можете исследовать те же дни в интерактивном режиме: adsb.exposed, Nov 11–16.

adsb.exposed сохраняет каждый отчет о положении от adsb.lol, airplanes.live и ADSB Exchange в таблице ClickHouse planes_mercator. В ней содержится 380 миллиардов строк, и каждая строка содержит время, координаты, высоту, скорость и информацию о воздушном судне. Координаты также хранятся в проекции Web Mercator и предварительно вычислены в виде двух столбцов UInt32:

Весь мир представляет собой квадрат 2³² × 2³². Таблица отсортирована по функции mortonEncode(mercator_x, mercator_y), использующей Z-кривую Мортона. Монадный тайл или любой прямоугольник на карте представляет собой диапазон mercator_x и mercator_y, а первичный ключ делает чтение такого диапазона быстрым и дешевым. Преобразование координаты в пиксель занимает один сдвиг бита: mercator_x >> 19 делит мир на 2¹³ = 8192 пикселя, что соответствует 5-му уровню масштабирования на веб-сайте. В этом масштабе прямоугольник от 128° з. д. до 64° з. д. и от 22° с. ш. до 51° с. ш. имеет размер 1456 × 840 пикселей.

Для каждого кадра и каждого пикселя сервер подсчитывает количество позиций и вычисляет средние значения высоты и скорости (pixels.sql):

День отсчитывается по восточному времени: полночь по восточному времени — это 05:00 UTC. Запрос считывает 42,5 миллиона позиций и возвращает 9 миллионов строк — по одной для каждого пикселя, где был зафиксирован хотя бы один самолет в одном из 288 кадров. В среднем это около 31 000 подсвеченных пикселей на кадр из 1,2 миллиона.

Публичная точка доступа adsb.exposed ограничивает результат примерно одним миллионом строк. Поэтому запрос принимает час в качестве параметра {h:UInt32} и выполняется 24 раза. clickhouse-local делает это в один оператор: функция таблицы url разворачивает {0..23} в URL в 24 URL, причем подстановка подставляется прямо в параметр запроса:

Обратите внимание на параметр default_format=RowBinary. Функция url указывает клиенту, какой формат нужно разобрать, но не говорит серверу, какой формат отправлять. Для пользователей сайта по умолчанию используется TSV, и попытка разобрать TSV как RowBinary приводит к запутанной ошибке "Cannot read all data".

В результате получается файл размером 160 МБ с предварительно агрегированными пикселями, и все дальнейшие этапы выполняются локально.

В ClickHouse есть формат вывода, который отображает результат запроса в виде изображения. Цветовой режим определяется именами столбцов: r, g, b для RGB, r, g, b, a для RGBA или v для градаций серого. Если присутствуют целочисленные столбцы x и y, они размещают каждую строку на холсте. В противном случае строки заполняют пиксели в порядке развертки. А если присутствует столбец t, результат превращается в анимированный PNG с одним кадром для каждого значения t. Кадр длится до следующего значения t, а параметры output_format_image_time_multiplier_seconds и output_format_image_time_divisor_seconds задают единицу измерения для t. Здесь она равна 2/25 секунды, поэтому каждый 5-минутный кадр воспроизводится 80 мс, а весь день занимает 23 секунды.

Когда две строки попадают в один и тот же пиксель, побеждает последняя (алгоритм художника). Таким образом, изображение строится слоями, отсортированными с помощью ORDER BY layer:

  • Призрак. Трафик всего дня, просуммированный по пикселям в логарифмическом масштабе и отрисованный темно-серым цветом в каждом кадре. Это позволяет сохранять контур страны видимым, когда небо пустеет. Это 405 000 пикселей, скопированных в 288 кадров с помощью ARRAY JOIN range(frames).
  • Самолеты. Воздушные суда текущего кадра, раскрашенные в соответствии с высотой и скоростью.
  • Временная шкала. Количество позиций в каждом кадре в виде гистограммы под картой, причем текущий кадр выделен, а прошлое отображается более светлым седым цветом, чем будущее.
  • Текст. Каждая строка разбивается на символы, каждый символ — на 15 бит своего глифа, а каждый зажженный бит преобразуется в квадрат пикселей размером scale × scale. Четыре операции ARRAY JOIN, идущие друг за другом, создают декартово произведение. Часы формируются с помощью обычной функции formatDateTime для часовых поясов America/New_York и UTC.

Полный запрос (render.sql):

Запрос выдает около 130 миллионов строк пикселей: 117 миллионов для «призрака», 9 миллионов для самолетов, а остальное — для временной шкалы и текста. Он записывает все 288 кадров за 31 секунду на одной машине.

:

  • Значения пикселей ограничиваются, а числа с плавающей точкой масштабируются. Целочисленный канал ограничивается диапазоном [0, 255], а канал с плавающей точкой ограничивается диапазоном [0, 1] и затем умножается на 255. Вычисления цветов здесь выдают числа с плавающей точкой в диапазоне [0, 255], поэтому внешний SELECT преобразует их с помощью toUInt8(round(...)). В противном случае каждый подсвеченный пиксель получался бы чисто белым.
  • Кадры независимы друг от друга. Каждый кадр начинается с черного холста, поэтому «призрака» приходится повторять в каждом кадре, а не рисовать всего один раз. Взамен значения t могут поступать в любом порядке. Строки одного кадра должны быть упорядочены только между собой — по слою.
  • Память против потоковой передачи. По умолчанию формат удерживает каждый кадр в памяти до окончания запроса: 288 × 1456 × 930 × 3 байта, то есть около 1,2 ГБ в данном случае. При установке output_format_image_streaming_animation = 1 он записывает каждый кадр сразу же после изменения t и хранит в памяти только один кадр. Для этого требуется указать ORDER BY t, layer. Кроме того, количество кадров в заголовке в таком случае будет представлять собой лишь верхнюю границу: браузеры воспроизводят такие файлы, но некоторые декодеры жалуются.

FORMAT PNG создает кадры в полноцветном режиме, и 288 кадров занимают 150 МБ. Изображение преимущественно черное, поэтому одна 256-цветная палитра, созданная по нескольким выборочным кадрам, теряет очень мало. Преобразование в эту палитру уменьшает размер APNG до 25 МБ. GIF и MP4 получены из того же файла с помощью ffmpeg:

В MP4 используется профиль H.264 High в yuv420p, поэтому он воспроизводится в QuickTime, проигрывателях Windows, VLC, браузерах и мессенджерах. Он имеет наибольший размер из трех, так как тысячи тонких однопиксельных полос сложны для видеосжатия.

Публичный пользователь веб-сайта adsb.exposed имеет доступ только для чтения, поэтому он не может изменить размер изображения. Но холст по умолчанию имеет размер 1024 × 1024, и для неподвижного изображения этого достаточно. Этот запрос помещает две панели друг над другом, сохраняя пропорции карты. Он выполняется на сервере и возвращает PNG в HTTP-ответе (before-after.sql):

Это занимает 10 секунд, и никакой код не выполняется за пределами ClickHouse.

Все находится в этом каталоге: make.sh выполняет три шага. Вам нужны clickhouse (любая свежая версия с FORMAT PNG; это было сделано на версии 26.10), ffmpeg и Python с Pillow для финального преобразования палитры.

Данные: © adsb.lol (ODbL v1.0), © airplanes.live, © adsbexchange.com.

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
Google Analytics не хватает многих функций, чтобы стать полноценной заменой Plausible
Plausible

Google Analytics не хватает многих функций, чтобы стать полноценной заменой Plausible

Становится ли ваш конвейер наблюдаемости узким местом?
Confluent

Становится ли ваш конвейер наблюдаемости узким местом?

Больше нагрузки — выше скорость: настройка реплик чтения в Postgres
ClickHouse

Больше нагрузки — выше скорость: настройка реплик чтения в Postgres

Победители программы Google Cloud Partner All-stars 2026 года
Looker

Победители программы Google Cloud Partner All-stars 2026 года

Как оценивать ИИ-агентов перед предоставлением им прав на запись
Redpanda

Как оценивать ИИ-агентов перед предоставлением им прав на запись

Слой знаний для корпоративного ИИ: предметная онтология
Neo4j

Слой знаний для корпоративного ИИ: предметная онтология

Ещё от ClickHouse

Больше нагрузки — выше скорость: настройка реплик чтения в Postgres
ClickHouse

Больше нагрузки — выше скорость: настройка реплик чтения в Postgres

Интеграция вашей организации на платформе Claude с ClickHouse Cloud с помощью связанного биллинга
ClickHouse

Интеграция вашей организации на платформе Claude с ClickHouse Cloud с помощью связанного биллинга

Прогнозирование и обнаружение аномалий в ClickHouse с помощью фундаментальных моделей временных рядов
ClickHouse

Прогнозирование и обнаружение аномалий в ClickHouse с помощью фундаментальных моделей временных рядов

JSONBench возвращается, и ClickHouse всё ещё лидирует
ClickHouse

JSONBench возвращается, и ClickHouse всё ещё лидирует

Представляем Loom: память для агентов, которая не отстает от вашего кода
ClickHouse

Представляем Loom: память для агентов, которая не отстает от вашего кода

SET allow_preview_features = 1: предварительный просмотр функций своими силами в ClickHouse Cloud
ClickHouse

SET allow_preview_features = 1: предварительный просмотр функций своими силами в ClickHouse Cloud