Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Ograzhdenie i transformatsiya chto novogo v redpanda streaming 263
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Ограждение и трансформация: что нового в Redpanda Streaming 26.3

Источник: Redpanda•21 ноября 2026 г. в 00:09

Ограждение и трансформация: что нового в Redpanda Streaming 26.3

Redpanda Streaming 26.3 представляет функции Fencing и Shapeshifting: аварийное восстановление, которое можно репетировать, и кластер, адаптирующийся без простоев и пересборки.

Redpanda Streaming 26.3 полностью ориентирована на адаптируемость без ущерба для доступности. Функция Shapeshifting позволяет изменять конфигурацию кластера в соответствии с текущими потребностями. Когда требуется перенести рабочие нагрузки на другие развертывания, Fencing поддерживает повторное развертывание без координации с клиентами, ограничивая доступ во время обслуживания или операций аварийного переключения.

  • Fencing обеспечивает целостность и устойчивость данных. Эта функция гарантирует, что данные будут доставлены по нужному адресу и не потеряются из-за сбоя. Она расширяет возможности Shadowing в Redpanda для еще более эффективного управления потоком данных.
  • Shapeshifting отвечает за адаптируемость: это кластер брокеров, способный менять способ своей работы, место хранения данных и метод управления без простоя или перепроектирования.

Опираясь на эти два направления, версия 26.3 предлагает более быстрое восстановление клиентов, плавную перебалансировку потребителей, усиленное управление и безопасность, а также солидный набор улучшений в Redpanda Connect. Вот что нового.

Ограждение и аварийное переключение: нулевая потеря данных

Shadowing предоставляет непрерывно обновляемую реплику вашего кластера в другом регионе или облаке с сохранением смещений. В версии 26.3 мы добавили возможности, которые делают аварийное переключение бесшовным во время реального инцидента.

Повышение и ограждение. Повышение теневого кластера до статуса первичного — это лишь полдела. Вторая половина заключается в том, чтобы старый первичный кластер не продолжал принимать записи, если он вернется в строй. Благодаря функциям повышения и ограждения Redpanda повышает теневой кластер и ограждает бывший первичный, поэтому вы никогда не столкнетесь с ситуацией, когда два кластера считают себя главными. Никакого «разделения мозга» (split-brain) и расхождений в данных, которые потом нужно согласовывать.

Аварийное переключение на основе связей. Вместо того чтобы переключать операции теневого копирования по отдельности, вы переключаете всю теневую связь за одну операцию. Топики, группы потребителей и другие конфигурации, охватываемые этой связью, перемещаются вместе. Во время сбоя это означает одно решение и одну команду вместо инструкции с десятками шагов.

В совокупности эти функции превращают аварийное восстановление из плана, на который вы просто надеетесь, в учения, которые можно проводить во вторник днем. Проверьте это, замерьте время и узнайте время восстановления до того, как оно вам реально понадобится.

Shapeshifting: кластер, который адаптируется без пересборки

Многоуровневое хранилище v2 (TSv2). С многоуровневым хранилищем актуальные данные остаются на быстрых локальных дисках, а более старые автоматически перемещаются в объектное хранилище. Это позволяет хранить гораздо больший объем истории за малую часть стоимости и оптимизировать размеры кластеров под пропускную способность, а не под глубину хранения. Redpanda Streaming 26.3 упрощает изменение рабочих нагрузок «на лету». Теперь пользователи могут выполнять миграцию существующих топиков на месте в наш движок хранения нового поколения, который поддерживает как облачные топики (Cloud Topics) на базе объектного хранилища, так и традиционное многоуровневое хранилище. С помощью TSv2 вы можете бесшовно переносить топики между многоуровневым хранилищем и облачными топиками, адаптируясь к меняющимся требованиям к рабочим нагрузкам, балансирующим стоимость и производительность (задержку).

Полная поддержка компактизации для облачных топиков. Мы также добавили полную поддержку компактизации для топиков, хранящихся в объектном хранилище: она сохраняет только последнее значение для каждого ключа по всему разделу и удаляет записи-томбстоуны по истечении желаемого периода хранения. Хотя объектное хранилище дешево, оно не бесплатно. Многоуровневое хранилище v2 помогает сократить расходы на облачное хранение.

Облачные топики без лидеров. Облачные топики записывают данные напрямую в объектное хранилище, а архитектура без лидеров позволяет брокеру в любой зоне доступности (AZ) принимать записи для топика. Для чувствительных к затратам высокопроизводительных рабочих нагрузок это означает отсутствие затрат на входящий облачный трафик, меньше межзонных переходов и более простое масштабирование.

Более легкий на подъем: ускоренная перебалансировка и восстановление

Два обновления помогают клиентам восстанавливаться быстрее, когда структура кластера меняется у них под ногами.

Перебалансировка групп потребителей на базе брокера (KIP-848). Redpanda теперь поддерживает протокол групп потребителей нового поколения, в котором брокер координирует перебалансировку групп вместо клиентов. Потребители больше не останавливают всю систему каждый раз, когда участник присоединяется или уходит, либо когда добавляются топики или разделы. Перебалансировка стала инкрементальной, более быстрой и гораздо менее разрушительной для больших групп, что обеспечивает более высокий масштаб и минимизирует задержку потребителей. Современные клиенты Kafka, использующие новый протокол, работают с Redpanda автоматически при включении этой функции на уровне кластера.

Более быстрое обнаружение лидеров (KIP-951). Когда лидерство раздела перемещается, Redpanda сообщает продюсерам и потребителям, кто стал новым лидером, прямо в ответах на запросы записи и чтения. Клиенты пропускают дополнительный обмен метаданными и быстрее возвращаются к работе. Результатом является более низкая хвостовая задержка во время смены лидеров, обновлений, плановых перезагрузок и аварийных переключений.

Обе функции соответствуют стандартам KIP, подтверждая приверженность Redpanda совместимости с протоколом Kafka.

Идентификация схем и безопасность, подходящие под ваш стек

GUID схем и сетевой формат на основе заголовков. Продюсеры теперь могут идентифицировать схему записи с помощью глобально уникального идентификатора (GUID) в заголовке записи, а не целочисленного ID в начале полезной нагрузки. Redpanda обрабатывает такие записи от начала до конца: Реестр схем (Schema Registry) разрешает GUID, топики Iceberg преобразуют записи в таблицы, а проверка ID схемы на стороне сервера проверяет их на брокере. Продюсеры, которые все еще используют целочисленный ID, продолжают работать со всеми тремя компонентами, поэтому вы можете переводить их по одному без необходимости скоординированного перехода.

Расширенные алгоритмы подписи для OAuth/OIDC. Аутентификация в API Kafka с помощью OAuth и OpenID Connect (OIDC) теперь поддерживает более широкий набор алгоритмов подписи токенов. Это упрощает интеграцию Redpanda в ваш существующий поставщик идентификационных данных и соблюдение более строгих политик безопасности без обходных путей. Ранее мы поддерживали RS256. В версии 26.3 мы добавляем RS384 и RS512, а также алгоритмы ECDSA: ES256, ES384 и ES512.

Redpanda Connect: большие снимки, лучшие инструменты

Redpanda Connect получает порцию обновлений для команд, работающих с большими объемами данных и создающих собственные компоненты.

  • Параллельные фрагментированные снимки для очень больших таблиц. Снимки CDC (изменение данных в реальном времени) теперь могут разбивать одну огромную таблицу на фрагменты и читать их параллельно. Первичная загрузка таблиц с миллиардами строк завершается за малую долю времени вместо медленного чтения через один поток.
  • Уровни логирования для отдельных компонентов. Увеличьте детализацию логов для конкретного входа или процессора, который вы отлаживаете, не затапливая логи сообщениями от всех остальных элементов конвейера.
  • Поддержка плагинов для команд проверки (lint), тестирования и пробного запуска (dry-run). Флаг --rpc-plugins теперь работает с командами lint, test и dry-run. Пользовательские плагины получают такую же быструю обратную связь, как и встроенные компоненты.
  • Явно указанные обязательные поля в схемах компонентов. Схемы компонентов теперь отмечают, какие поля являются обязательными, поэтому редакторы, валидаторы и сгенерированная документация могут сигнализировать об отсутствующей конфигурации еще до запуска конвейера.

Под капотом расширенное тестовое покрытие коннекторов означает большую уверенность в каждом развертываемом коннекторе.

Улучшения оператора Kubernetes

Конвейеры Redpanda Connect теперь доступны в рамках общей доступности (GA). Пользовательский ресурс Pipeline, представленный в статусе бета-версии в 26.3, готов к работе в производственной среде. Он запускает конвейеры Redpanda Connect как декларативные рабочие нагрузки Kubernetes, дружественные к GitOps. Вы включаете его с помощью одной настройки Helm в существующем операторе, поэтому отдельный оператор устанавливать не нужно. Оператор проверяет каждую конфигурацию перед запуском, перезапускает конвейер при изменении его конфигурации или учетных данных, а также внедряет адреса брокеров, материалы TLS и учетные данные SASL из ссылочного кластера. Конвейеры также поддерживают kubectl scale, HPA или KEDA, что позволяет настраивать автоматическое масштабирование по отставанию группы потребителей.

Внешний доступ через Gateway API теперь доступен в рамках общей доступности (GA). Внешний доступ на основе TLSRoute позволяет клиентам обращаться к кластеру через единую точку входа Gateway API вместо использования балансировщиков нагрузки (LoadBalancers) или портов узлов (NodePorts) для каждого брокера. Шлюз направляет каждое соединение к нужному брокеру по имени хоста SNI, а вы можете выбрать проброс (passthrough) или завершение (termination) TLS. Прослушиватели подключаются по одному с помощью параметра type: tlsroute, что позволяет постепенно мигрировать с существующих сервисов без единого момента отключения.

От StatefulSets к ресурсам Broker (бета-версия). Оператор Redpanda отказывается от StatefulSets в Kubernetes в пользу выделенного пользовательского ресурса Broker. Каждый брокер становится объектом первого класса, которым оператор управляет напрямую. Это дает вам более точный контроль над отдельными брокерами, более безопасные последовательные обновления, а также более предсказуемое масштабирование и замену узлов без необходимости бороться с универсальными правилами упорядочивания StatefulSet. Эта функция доступна как бета-версия в v26.3.x. Поделитесь своими отзывами о пользовательском ресурсе Broker на redpanda-data/community в GitHub.

Административные улучшения

Обновления с пропуском версий. Переходите со старого релиза Redpanda сразу на самый свежий, не проходя через каждую промежуточную версию. Более короткие окна обслуживания, меньше хлопот при обновлении. Эта функция, теперь доступная в версии 26.3, позволяет выполнять обновления с пропуском уровней для кластеров, работающих на релизе 26.2 и выше. Обратите внимание, что пользователям по-прежнему необходимо будет выполнить пошаговые обновления до версии 26.2, прежде чем вы сможете воспользоваться этой функцией.

Хотите ознакомиться с полным списком изменений? Перейдите к нашим примечаниям к выпуску или посмотрите, что нового в документации.

Готовы к новому раунду

Изоляция (fencing) означает, что вы уже отрепетировали сложные моменты. Изменение формы (shapeshifting) означает, что ваша платформа может меняться вместе с вами, а не сдерживать вас. Redpanda Streaming 26.3 обеспечивает и то, и другое, а также более плановые окна обслуживания, улучшенное управление схемами, большую приспособленность к GitOps и усовершенствованный Redpanda Connect.

Хотите увидеть это в действии? Запишитесь на демонстрацию ниже, и мы проведем для вас учебную тревогу по отказоустойчивости.

← Все статьи

О чём эта статья

Ещё в разделе «Данные и аналитика»

Все →
7 лучших инструментов SaaS-мониторинга для инженерных команд в 2026 году
New Relic

7 лучших инструментов SaaS-мониторинга для инженерных команд в 2026 году

8 лучших инструментов мониторинга SNMP для ИТ- и DevOps-команд в 2026 году
New Relic

8 лучших инструментов мониторинга SNMP для ИТ- и DevOps-команд в 2026 году

От ИИ-агентов до дашбордов для рыбалки: свежие материалы из Unprompted, инженерного блога Grafana Labs
Grafana Labs

От ИИ-агентов до дашбордов для рыбалки: свежие материалы из Unprompted, инженерного блога Grafana Labs

Ambient networking для GKE: сервис-меш без сайдкаров
Looker

Ambient networking для GKE: сервис-меш без сайдкаров

Два инцидента в цепочке поставок ИИ: пакеты Python и модели ставят под угрозу ваши системы ИИ
Anaconda

Два инцидента в цепочке поставок ИИ: пакеты Python и модели ставят под угрозу ваши системы ИИ

Устранение уязвимостей в Python без сбоев в продакшене
Anaconda

Устранение уязвимостей в Python без сбоев в продакшене

Ещё от Redpanda

Как оценивать ИИ-агентов перед предоставлением им прав на запись
Redpanda

Как оценивать ИИ-агентов перед предоставлением им прав на запись

Кто несет ответственность, когда ИИ-агенты совершают ошибки?
Redpanda

Кто несет ответственность, когда ИИ-агенты совершают ошибки?

Знакомьтесь с R2: новым движком Redpanda
Redpanda

Знакомьтесь с R2: новым движком Redpanda

Контроль доступа для нескольких команд в Redpanda Agentic Data Plane
Redpanda

Контроль доступа для нескольких команд в Redpanda Agentic Data Plane

Выбираете платформу для управления ИИ? Задайте эти 6 вопросов
Redpanda

Выбираете платформу для управления ИИ? Задайте эти 6 вопросов

Как мы создали ИИ-ассистента техподдержки для корпоративной службы Service Desk
Redpanda

Как мы создали ИИ-ассистента техподдержки для корпоративной службы Service Desk