В пятницу, 13 ноября 2026 года, сбой в системе FAA привел к прекращению воздушного движения по всей территории США. В этом посте показан весь день над 48 смежными штатами, по одному кадру каждые пять минут, на основе данных ADS-B на adsb.exposed.
Анимация рендерится самой ClickHouse. Здесь нет библиотек для построения графиков и нет скриптов обработки изображений. SQL-запрос возвращает одну строку на пиксель, а встроенный формат вывода PNG преобразует эти строки в анимированный PNG. Карта, заголовок, часы и временная шкала внизу — все это строки одного и того же результирующего набора. Даже буквы создаются с помощью SQL: растровый шрифт 3×5, сохраненный в виде литерала словаря.
Эту же анимацию можно посмотреть в форматах animated PNG, GIF и MP4.
В анимации каждое воздушное судно отображается в виде короткого следа: расстояния, которое оно преодолело за пять минут. Цвета соответствуют палитре по умолчанию на adsb.exposed:
- Красный цвет угасает с высотой.
- Зеленый цвет нарастает на первых 5000 футах, поэтому набор высоты и снижение вокруг аэропортов выглядят желтыми и оранжевыми.
- Синий цвет показывает путевую скорость, поэтому крейсерский трафик на большой высоте окрашен в синий цвет.
Утро выглядит как любая пятница. Сеть заполняется с Восточного побережья на запад, и к 13:00–14:00 по восточному времени почти 15 000 самолетов находятся в воздухе в кадре за любой отдельно взятый час. Около 15:40 по восточному времени количество позиций начинает падать и продолжает снижаться до конца второй половины дня. Высотные следы редеют первыми, а аэропорты темнеют один за другим. К 20:00 по восточному времени остаются лишь разрозненные полеты на малых высотах и несколько пролетов по краям кадра.
Почасовые показатели для кадра (уникальные воздушные судна по адресу ICAO и те, что замечены выше 18 000 футов):
В 20:00 по восточному времени количество самолетов на крейсерской высоте составляет менее десятой части от уровня первой половины дня. Для сравнения, в самый тихий час предыдущей ночи (03:00 по восточному времени) все еще насчитывалось 818 самолетов. После 21:00 по восточному времени высотный трафик начинает возвращаться.
Вот статичное изображение двух 10-минутных окон: 14:00 по восточному времени (вверху) и 20:00 по восточному времени (внизу). Оно было отрисовано с помощью единственного запроса к публичному серверу adsb.exposed (см. ниже):
Вы можете исследовать те же дни в интерактивном режиме: adsb.exposed, Nov 11–16.
adsb.exposed сохраняет каждый отчет о положении от adsb.lol, airplanes.live и ADSB Exchange в таблице ClickHouse planes_mercator. В ней содержится 380 миллиардов строк, и каждая строка содержит время, координаты, высоту, скорость и информацию о воздушном судне. Координаты также хранятся в проекции Web Mercator и предварительно вычислены в виде двух столбцов UInt32:
Весь мир представляет собой квадрат 2³² × 2³². Таблица отсортирована по функции mortonEncode(mercator_x, mercator_y), использующей Z-кривую Мортона. Монадный тайл или любой прямоугольник на карте представляет собой диапазон mercator_x и mercator_y, а первичный ключ делает чтение такого диапазона быстрым и дешевым. Преобразование координаты в пиксель занимает один сдвиг бита: mercator_x >> 19 делит мир на 2¹³ = 8192 пикселя, что соответствует 5-му уровню масштабирования на веб-сайте. В этом масштабе прямоугольник от 128° з. д. до 64° з. д. и от 22° с. ш. до 51° с. ш. имеет размер 1456 × 840 пикселей.
Для каждого кадра и каждого пикселя сервер подсчитывает количество позиций и вычисляет средние значения высоты и скорости (pixels.sql):
День отсчитывается по восточному времени: полночь по восточному времени — это 05:00 UTC. Запрос считывает 42,5 миллиона позиций и возвращает 9 миллионов строк — по одной для каждого пикселя, где был зафиксирован хотя бы один самолет в одном из 288 кадров. В среднем это около 31 000 подсвеченных пикселей на кадр из 1,2 миллиона.
Публичная точка доступа adsb.exposed ограничивает результат примерно одним миллионом строк. Поэтому запрос принимает час в качестве параметра {h:UInt32} и выполняется 24 раза. clickhouse-local делает это в один оператор: функция таблицы url разворачивает {0..23} в URL в 24 URL, причем подстановка подставляется прямо в параметр запроса:
Обратите внимание на параметр default_format=RowBinary. Функция url указывает клиенту, какой формат нужно разобрать, но не говорит серверу, какой формат отправлять. Для пользователей сайта по умолчанию используется TSV, и попытка разобрать TSV как RowBinary приводит к запутанной ошибке "Cannot read all data".
В результате получается файл размером 160 МБ с предварительно агрегированными пикселями, и все дальнейшие этапы выполняются локально.
В ClickHouse есть формат вывода, который отображает результат запроса в виде изображения. Цветовой режим определяется именами столбцов: r, g, b для RGB, r, g, b, a для RGBA или v для градаций серого. Если присутствуют целочисленные столбцы x и y, они размещают каждую строку на холсте. В противном случае строки заполняют пиксели в порядке развертки. А если присутствует столбец t, результат превращается в анимированный PNG с одним кадром для каждого значения t. Кадр длится до следующего значения t, а параметры output_format_image_time_multiplier_seconds и output_format_image_time_divisor_seconds задают единицу измерения для t. Здесь она равна 2/25 секунды, поэтому каждый 5-минутный кадр воспроизводится 80 мс, а весь день занимает 23 секунды.
Когда две строки попадают в один и тот же пиксель, побеждает последняя (алгоритм художника). Таким образом, изображение строится слоями, отсортированными с помощью ORDER BY layer:
- Призрак. Трафик всего дня, просуммированный по пикселям в логарифмическом масштабе и отрисованный темно-серым цветом в каждом кадре. Это позволяет сохранять контур страны видимым, когда небо пустеет. Это 405 000 пикселей, скопированных в 288 кадров с помощью ARRAY JOIN range(frames).
- Самолеты. Воздушные суда текущего кадра, раскрашенные в соответствии с высотой и скоростью.
- Временная шкала. Количество позиций в каждом кадре в виде гистограммы под картой, причем текущий кадр выделен, а прошлое отображается более светлым седым цветом, чем будущее.
- Текст. Каждая строка разбивается на символы, каждый символ — на 15 бит своего глифа, а каждый зажженный бит преобразуется в квадрат пикселей размером scale × scale. Четыре операции ARRAY JOIN, идущие друг за другом, создают декартово произведение. Часы формируются с помощью обычной функции formatDateTime для часовых поясов America/New_York и UTC.
Полный запрос (render.sql):
Запрос выдает около 130 миллионов строк пикселей: 117 миллионов для «призрака», 9 миллионов для самолетов, а остальное — для временной шкалы и текста. Он записывает все 288 кадров за 31 секунду на одной машине.
:
- Значения пикселей ограничиваются, а числа с плавающей точкой масштабируются. Целочисленный канал ограничивается диапазоном [0, 255], а канал с плавающей точкой ограничивается диапазоном [0, 1] и затем умножается на 255. Вычисления цветов здесь выдают числа с плавающей точкой в диапазоне [0, 255], поэтому внешний SELECT преобразует их с помощью toUInt8(round(...)). В противном случае каждый подсвеченный пиксель получался бы чисто белым.
- Кадры независимы друг от друга. Каждый кадр начинается с черного холста, поэтому «призрака» приходится повторять в каждом кадре, а не рисовать всего один раз. Взамен значения t могут поступать в любом порядке. Строки одного кадра должны быть упорядочены только между собой — по слою.
- Память против потоковой передачи. По умолчанию формат удерживает каждый кадр в памяти до окончания запроса: 288 × 1456 × 930 × 3 байта, то есть около 1,2 ГБ в данном случае. При установке output_format_image_streaming_animation = 1 он записывает каждый кадр сразу же после изменения t и хранит в памяти только один кадр. Для этого требуется указать ORDER BY t, layer. Кроме того, количество кадров в заголовке в таком случае будет представлять собой лишь верхнюю границу: браузеры воспроизводят такие файлы, но некоторые декодеры жалуются.
FORMAT PNG создает кадры в полноцветном режиме, и 288 кадров занимают 150 МБ. Изображение преимущественно черное, поэтому одна 256-цветная палитра, созданная по нескольким выборочным кадрам, теряет очень мало. Преобразование в эту палитру уменьшает размер APNG до 25 МБ. GIF и MP4 получены из того же файла с помощью ffmpeg:
В MP4 используется профиль H.264 High в yuv420p, поэтому он воспроизводится в QuickTime, проигрывателях Windows, VLC, браузерах и мессенджерах. Он имеет наибольший размер из трех, так как тысячи тонких однопиксельных полос сложны для видеосжатия.
Публичный пользователь веб-сайта adsb.exposed имеет доступ только для чтения, поэтому он не может изменить размер изображения. Но холст по умолчанию имеет размер 1024 × 1024, и для неподвижного изображения этого достаточно. Этот запрос помещает две панели друг над другом, сохраняя пропорции карты. Он выполняется на сервере и возвращает PNG в HTTP-ответе (before-after.sql):
Это занимает 10 секунд, и никакой код не выполняется за пределами ClickHouse.
Все находится в этом каталоге: make.sh выполняет три шага. Вам нужны clickhouse (любая свежая версия с FORMAT PNG; это было сделано на версии 26.10), ffmpeg и Python с Pillow для финального преобразования палитры.
Данные: © adsb.lol (ODbL v1.0), © airplanes.live, © adsbexchange.com.











