Apache Iceberg привносит надежность, производительность и возможности управления хранилищ данных в озера данных. Это достигается за счет архитектуры, ориентированной на метаданные, которая меняет способ взаимодействия аналитических движков с данными.
Метаданные как ключевая инновация
Открытые форматы таблиц улучшают устаревшие подходы, добавляя слой метаданных поверх необработанных файлов. Iceberg выделяется тем, как он структурирует эти метаданные и какие возможности предоставляет.
Apache Iceberg организует каждую таблицу в три слоя: каталог, который служит точкой входа для всех операций с таблицей, слой метаданных, отслеживающий каждый файл и каждое изменение, и сами файлы данных. Каталог указывает на текущие метаданные, гарантируя, что любой совместимый движок сможет найти ту же таблицу и безопасно работать с ней без сторонней координации.
Каждая таблица Iceberg поддерживает три слоя метаданных:
- Файлы метаданных фиксируют полное состояние таблицы в определенный момент времени, включая схему, структуру партиционирования, порядок сортировки и полную историю снапшотов.
- Списки манифестов ссылаются на группы файлов манифеста и записывают изменения, внесенные каждой операцией записи.
- Файлы манифеста содержат подробную информацию об отдельных файлах данных, включая их местоположение, количество строк, значения партиций и статистику на уровне столбцов, такую как минимальные и максимальные значения.
Когда пользователь отправляет запрос, Iceberg сначала оценивает метаданные манифеста. Он считывает сводки партиций на уровне манифеста и статистику на уровне столбцов для каждого файла в манифесте, чтобы определить, какие файлы данных содержат релевантные записи, и открывает только эти файлы. Это означает, что движок полностью пропускает нерелевантные файлы, сканируя только необходимые данные. В облачных средах, где стоимость связана с объемом сканируемых данных, это напрямую снижает затраты и ускоряет время отклика.
Узнайте, как Amazon Ads удалось сократить время обработки на 22%, снизить затраты на вычисления на 20% и сэкономить 32% на хранении данных благодаря оптимизации макета файлов Iceberg на Amazon S3.
ACID-транзакции
Транзакции, обеспечивающие атомарность, согласованность, изолированность и надежность (ACID), делают озера данных пригодными для рабочих нагрузок, для которых ранее требовалось хранилище данных. Каждая операция записи в Iceberg создает новый неизменяемый снапшот, отражающий состояние таблицы в данный момент. Читатели всегда видят согласованное состояние таблицы и никогда не сталкиваются с частичными записями, даже если несколько процессов выполняют запись одновременно. При возникновении конфликтов Iceberg обнаруживает их и завершает работу с ошибкой без повреждения данных.
Time travel
Поскольку каждая запись создает неизменяемый снапшот, Iceberg естественным образом сохраняет полную историю состояний таблицы. Это означает, что вы можете запрашивать точное состояние таблицы на любой момент времени, что обеспечивает аудиторский след, исторический анализ и воспроизводимую аналитику. Если ошибочная запись повреждает таблицу, вы можете откатиться к предыдущему состоянию за секунды, вместо того чтобы пересоздавать ее с нуля.
Со временем в таблицах накапливаются снапшоты. Хотя эта история обеспечивает широкие возможности, она требует активного управления (например, удаления устаревших снапшотов и осиротевших файлов) для поддержания работоспособности таблицы и контроля расходов на хранение.
Эволюция схем и партиционирования
Структуры данных редко остаются статичными. Iceberg был разработан для безопасного, согласованного и обратно совместимого изменения схем за счет управления изменениями схем и партиционирования через метаданные, а не перезаписи данных. Столбцы можно добавлять, удалять, переименовывать или изменять их тип без повторной обработки существующих файлов. Стратегии партиционирования могут меняться при сохранении полной совместимости с историческими данными, что позволяет вашей архитектуре данных развиваться вместе с бизнесом.
Скрытое партиционирование
Традиционные озера данных требуют от пользователей знания схемы партиционирования для написания эффективных запросов, то есть вам необходимо явно фильтровать данные по этим производным столбцам. Iceberg устраняет это требование, используя преобразования партиций для автоматического вычисления значений партиционирования из исходных столбцов и отсечения ненужных данных на основе значений в самом запросе. Пользователи пишут обычные фильтры для исходных столбцов, а Iceberg берет остальное на себя.
Операции обновления и удаления на уровне строк
Iceberg поддерживает операции MERGE INTO, UPDATE и DELETE непосредственно в таблицах озер данных без полной перезаписи таблиц. Это обеспечивает работу потоковых конвейеров, выполнение нормативных запросов на удаление данных и внесение исправлений в любых масштабах.
Открытость на каждом слое
Apache Iceberg — это проект с открытым исходным кодом под управлением сообщества, а не какого-то одного вендора. Его открытость проявляется на каждом слое архитектуры: данные хранятся в открытых форматах файлов (Parquet, ORC, Avro), Iceberg REST Catalog предоставляет стандартизированный API для обнаружения таблиц, а любой совместимый движок может работать с теми же таблицами без переформатирования или дублирования. Организации могут свободно строить собственные архитектуры данных, не опасаясь привязки к поставщику (vendor lock-in) или использования какого-либо одного проприетарного формата.
