Проще, надежнее и безопаснее.
Вышла версия 6 коннектора Neo4j для Apache Kafka и Confluent. Его проще настраивать, он стал надежнее и безопаснее для событийно-ориентированных систем графов знаний, построенных на базе Neo4j. В этом блоге рассказывается о том, что изменилось и что нужно проверить перед обновлением; вы также можете присоединиться к нам на конференции NODES 2026 для просмотра демонстрации.
Почему Kafka и Neo4j
Kafka и Confluent — это первоклассный путь интеграции для Neo4j, и в версии 6 улучшены три аспекта, для которых большинство команд используют этот инструмент.
Потоковая передача изменений в реальном времени. Функция Change Data Capture (CDC) доступна в Aura Virtual Dedicated Cloud, Business Critical и Neo4j Enterprise. Стратегия CDC коннектора публикует события изменений в топики Kafka без внесения изменений в вашу модель данных. Это делает Neo4j надежным источником достоверных данных для событийно-ориентированных архитектур, таких как синхронизация прав доступа, оповещения о соответствии требованиям и разрешение сущностей. А благодаря единой унифицированной схеме в версии 6, работа потребителей данных также упрощается.
Change data capture and Neo4j Connector for Confluent and Apache Kafka Go GA – Neo4j Graph Intelligence Platform
Confluent Cloud. Управляемый коннектор Neo4j Sink поддерживает частные конечные точки в AWS, Azure и Google Cloud. Вы получаете полностью управляемый и безопасный конвейер (включая обновления) между Confluent Cloud и Aura. Нужен исходный коннектор (source connector) или вы работаете на платформе Confluent? Коннектор доступен на маркетплейсе Confluent.
Neo4j sink connector for Confluent available as a managed connector on Confluent Cloud – Neo4j Graph Intelligence Platform
Миграция в Aura без простоя. Руководство по миграции использует CDC и коннектор для поддержания синхронизации Aura с работающей базой данных, управляемой пользователем. Восстановите резервную копию, воспроизведите все изменения в хронологическом порядке с семантикой «ровно один раз» (exactly-once), а затем временно приостановите запись для переключения. Чтение при этом не прерывается. Более строгая обработка семантики «ровно один раз» в версии 6 делает этот способ безопасным и надежным для переноса производственных баз данных.
Zero downtime migration to Aura – Neo4j Connector for Kafka
Что нового в версии 6
Полный список изменений представлен в примечаниях к выпуску 6.0.0. Основные моменты:
Единая схема для событий CDC. События изменения узлов и связей теперь используют общую схему. Независимо от того, отправляете ли вы события в другую базу данных Neo4j, передаете их в потоковый процессор или сохраняете в хранилище, теперь вы работаете с одним форматом сообщений вместо двух. Большинство конвейеров CDC выиграют от этого изменения.
Аутентификация OIDC. Коннектор теперь может проходить аутентификацию через вашего поставщика идентификационных данных, а не полагаться исключительно на статические учетные данные. Если вы используете SSO и краткосрочные токены, это решение для вас.
Семантика «ровно один раз», принудительная и автоматическая. Версия 6 принудительно и автоматически создает ограничение, от которого зависит доставка «ровно один раз», поэтому вам не нужно управлять этим вручную. Руководство по миграции в Aura без простоя основано на том же принципе.
Улучшенная работа с картами и UUID. Новое свойство neo4j.query.map-encoding заменяет neo4j.query.force-maps-as-struct и дает вам контроль над тем, как кодируются значения карт. Теперь также поддерживаются значения UUID, поэтому вам больше не нужно преобразовывать их в строки.
Современная основа. Коннектор построен на новейшем драйвере Neo4j Java (6.x), Kafka Connect 4.3.1 и Confluent Platform 8.3 или более поздней версии. Повседневные операции выигрывают от простых улучшений: обновления теперь принимают нулевые (null) значения свойств, коллекции с разными ключами теперь объединяются, а в очередь недоставленных сообщений (dead letter queue) попадают только некорректные записи.
Критические изменения
Три вещи, которые нужно проверить перед обновлением с версии 5.x:
- Новые минимальные версии платформы. Для версии 6 требуются Java 17, Apache Kafka Connect 4.3 и Confluent Platform 8.3 или более поздней версии.
- Коннекторы Sink при запуске проверяют ограничение смещения «ровно один раз». Убедитесь, что ограничение установлено, или используйте новый режим автоматического создания ограничения, чтобы коннектор справился с этим самостоятельно.
- События CDC для узлов и связей используют одну схему. Если ваш потребитель данных анализирует старые раздельные форматы, обновите его для чтения унифицированной схемы.
Обратите внимание: свойство neo4j.query.force-maps-as-struct заменено на neo4j.query.map-encoding, поэтому обновите конфигурацию, если вы его используете.
Обновление и начало работы
Ознакомьтесь с критическими изменениями и изучите примечания к выпуску 6.0.0 для получения подробной информации обо всех функциях, исправлениях и изменениях в поведении. Документация по коннектору охватывает установку, настройку и краткое руководство по Confluent Cloud. В документацию также были внесены существенные изменения, включая добавление кратких руководств, которые помогут вам выбрать правильные стратегии для sink и source. В версии 5.3 мы представили некоторые улучшения мониторинга; убедитесь, что вы также используете их.
Присоединяйтесь к нам на NODES 2026
Хотите увидеть версию 6 в действии? Присоединяйтесь к Флорану Бивиллю и Васифу Абдулгамидову, разработчикам Neo4j, на сессии «Neo4j Kafka Connector 6: A Major Step Forward» на конференции NODES 2026.
Neo4j Kafka Connector 6: A Major Step Forward
Когда: 12 ноября, с 8:30 до 8:45 по Гринвичу
Флоран и Васиф расскажут о том, что изменилось «под капотом» и почему это важно для создания, эксплуатации и наблюдения за конвейерами Kafka с использованием Neo4j. Зарегистрируйтесь на NODES 2026 и добавьте эту сессию в свою программу.
Neo4j Connector for Apache Kafka and Confluent v6 была первоначально опубликована в Neo4j Developer Blog на Medium, где люди продолжают обсуждение, отвечая на эту историю.
