Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Eyler vstrechaet kodda
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Эйлер встречает Кодда

Источник: Neo4j Graph Intelligence Platform•16 ноября 2026 г. в 16:56

Эйлер встречает Кодда

Neo4j Virtual Graph позволяет запрашивать реляционные данные в Databricks, Snowflake, BigQuery и аналогичных платформах с помощью Cypher/GQL, используя полный набор графовых инструментов Neo4j.

Запрос реляционных данных с помощью графовых запросов

Рассвет темный и туманный, тускло освещенный масляными лампами, когда Леонард Эйлер ступает по булыжной мостовой прусского города Кёнигсберг. Осенний ветер заставляет дождь жалить лицо, и здесь значительно холоднее, чем он помнит по Риэну в Швейцарии, где он вырос. На дворе 1737 год, прошел год с тех пор, как он решил знаменитую задачу этого города. Он пришел сюда, чтобы самому пройтись по семи мостам. Как только он ступает на первый мост, к нему подходит странно одетый человек, и они оба останавливаются.

«Вы Леонард Эйлер», — говорит незнакомец. — «Один из величайших математиков всех времен».

«Что ж, благодарю вас», — отвечает Эйлер с поклоном. — «А вы кто будете?»

«Я Эдгар Кодд, и я из будущего. Вы только что изобрели теорию графов, и вы не можете себе представить, какое влияние она окажет на мир, из которого я пришел, более чем два столетия спустя. Надеюсь, что изобретение, которое я недавно сделал, окажет такое же влияние».

Порыв ветра дует с холодных вод реки Преголи, заставляя их обоих плотнее запахнуть пальто. Эйлер с любопытством смотрит на Кодда, ожидая, что тот продолжит.

«Я изобрел реляционную модель», — продолжает Кодд, — «идеальный способ хранения больших объемов данных в структурированном виде. Ваше изобретение — идеальный способ запускать алгоритмы и находить ответы в больших наборах данных, в то время как мое изобретение — идеальный способ хранения этих данных».

Внезапно в тени за спиной Кодда на мосту появляется третья фигура. Он кладет руку на плечо Кодда и говорит с очень, очень легким шведским акцентом: «Ну, вообще-то…»

Реляционная модель данных и графовая модель данных функционально эквивалентны; то, что можно смоделировать в одной, можно смоделировать и в другой. Разница лишь в том, в чем они хороши и с какими типами задач они справляются эффективно.

Графовые сценарии использования не обязательно должны быть математически сложными. Часто преимущество заключается в том, насколько взаимосвязаны данные и как эти связи необходимо запрашивать. Если между элементами данных существует множество связей и вам нужно обходить их при выполнении запросов, может быть преимуществом хранить данные как граф, а не как таблицу. Возможность легко запускать графовые алгоритмы поверх этих данных — дополнительный бонус.

Существует три основные причины, по которым графовая база данных лучше подходит для запросов по сильно связанным данным: две более мягкие причины и одна жесткая:

  • Графовые языки запросов лучше выражают такие типы запросов
  • Визуальный граф лучше подходит для отображения и моделирования такого типа данных
  • Он быстрее обходит эти связи из-за того, как данные хранятся (так называемая без-индексная смежность)

Однако большая часть данных в мире хранится не в виде графа, а в традиционной реляционной базе данных. И реляционная модель идеальна для многих сценариев использования, но это не единственная причина ее широкого распространения. Реляционные базы данных широко внедрялись десятилетиями, и крупные хранилища данных, такие как BigQuery, Snowflake и Databricks, основаны на этой традиционной модели.

К счастью, мы можем привнести первые два преимущества и в реляционные данные, даже если мы не получим производительность обхода, характерную для нативного графа.

Виртуальный граф

После предварительного выпуска этим летом, Neo4j Virtual Graphs стали общедоступными в Aura в ноябре (2026 г.). Запуск принес ряд новых функций, включая поддержку Quantified Path Patterns (шаблонов переменной длины), которые мы будем использовать здесь.

Virtual Graphs позволяют создать виртуальный экземпляр Neo4j, который действует как обертка над реляционным хранилищем данных, таким как Databricks, Snowflake или BigQuery, и позволяет выполнять запросы Cypher, использовать Aura Graph Analytics и исследовать данные как граф с помощью инструментов Neo4j. И это делается без ETL; данные остаются в реляционном хранилище.

Это для тех, у кого много данных в таком хранилище и кто хочет запускать графовую аналитику, не копируя все эти петабайты данных в Neo4j. Это позволяет вам воспользоваться преимуществами графовых запросов, графовых алгоритмов и графовых визуализаций, но вы не получите производительности нативного графа. Но во многих случаях это может и не потребоваться, по крайней мере, для первоначальных экспериментов.

Давайте рассмотрим типичный сценарий использования графов — обнаружение мошенничества — и то, как это будет работать с Virtual Graphs. Наш пример относительно небольшой, всего 10 000 счетов и около 100 000 транзакций, но он покажет концепцию.

Модель данных и сценарий использования

Мы будем использовать классический пример обнаружения мошенничества, где мы пытаемся найти кольца мошеннических транзакций. У меня есть одни и те же данные, смоделированные как граф в Neo4j и как реляционные данные в Databricks.

Кольца мошеннических транзакций — это потенциальные схемы отмывания денег, где кто-то переводит деньги на другой счет, который, в свою очередь, пересылает деньги на третий счет (удерживая часть в качестве комиссии) и так далее в течение нескольких переходов, пока отмытые деньги не вернутся на исходный счет.

Поэтому мы хотим найти любой шаблон, где деньги пересылаются и возвращаются на исходный счет (т.е. «кольцо»), но только там, где транзакции происходят в хронологическом порядке и где каждая последующая транзакция имеет меньшую сумму (в пределах лимита), чем предыдущая.

Вот пример мошеннического кольца, начатого Иезекиилем и проведенного через Бинки и Вивианну.

Нативное обнаружение мошенничества в Neo4j

Давайте начнем с выполнения этого на нативном экземпляре Neo4j. Типичный запрос на обнаружение мошеннического кольца выглядит так:

Он находит кольцо транзакций от одного счета обратно к тому же счету, посещая как минимум один другой счет, где последовательные транзакции происходят позже по времени, имеют меньшую сумму и составляют более 80% от предыдущей суммы.

Одна вещь, которую этот запрос не ищет, — это уникальность узлов, т.е. посещаем ли мы один и тот же счет несколько раз. Существует режим пути под названием ACYCLIC, который гарантирует уникальность узлов, но он нам не подходит, так как нам нужно вернуться к начальному узлу. Режим пути под названием SIMPLE, который сделал бы именно это, обсуждался, но пока не запланирован. Есть и другие способы решить эту задачу, но мы оставим запрос простым. Единственный минус в том, что мы можем получить повторение одних и тех же колец транзакций. Если у нас есть два кольца, которые пересекаются (задействован один и тот же счет) и пересечения совпадают по времени, мы получим их оба как отдельные кольца и как одно большое кольцо в форме восьмерки.

Это результат выполнения вышеуказанного запроса на описанном ранее наборе данных. Выполнение заняло около 4 секунд на моем нативном графе.

Как видите, есть 8 маленьких колец и одно действительно огромное кольцо (проходящее через 100 разных банковских счетов). Такие неограниченные запросы переменной длины в настоящее время не поддерживаются для виртуальных графов, только для нативных, поэтому нам нужно установить верхнюю границу для нашего запроса. На данный момент давайте установим верхнюю границу на 10 (что означает, что шаблон в скобках может повторяться до 10 раз, т.е. давать до 11 транзакций):

На этот запрос уходит 1.5 секунды, и он возвращает только 8 небольших колец:

Мы также можем визуализировать результат следующим образом, что отлично подходит для выявления групп мошенников:

Обнаружение мошенничества с помощью Virtual Graph

Как упоминалось ранее, мы можем использовать Virtual Graph для выполнения последнего Cypher-запроса и получения визуализации графа поверх Databricks. Давайте настроим экземпляр Virtual Graph и подключим его к упомянутому выше экземпляру Databricks.

Начните со входа в свою учетную запись Aura (вы можете зарегистрировать аккаунт бесплатно here, но Virtual Graph является платной функцией, для которой потребуется указать кредитную карту). Затем перейдите в раздел Instances, нажмите + New и выберите Virtual graph.

Придумайте имя для вашего Virtual Graph, выберите облачного провайдера, регион и объем памяти. Объем памяти имеет значение в зависимости от того, какой объем обработки должен происходить на стороне Neo4j. По возможности все вычисления будут перенаправляться в удаленную базу данных, так что результирующие строки будут просто передаваться обратно через Neo4j (не требуя большого объема памяти), однако в случае необходимости выполнения сложной агрегации на стороне Neo4j может потребоваться больше оперативной памяти. Очень сложно дать совет о том, в каких именно случаях это происходит, поэтому я рекомендую начать с наименьшего экземпляра и при необходимости увеличить его. Данный пример отлично работает на самом маленьком экземпляре.

Нажмите Add new data source и выберите Databricks в качестве провайдера в появившемся диалоговом окне. После этого откроется форма для ввода данных подключения. Вам понадобится токен доступа с правами SQL-доступа, созданный через вашу учетную запись Databricks. Заполните форму следующим образом и нажмите Next:

Если у вашего провайдера и базы данных уже настроен источник данных, вы, конечно, можете выбрать его вместо создания нового.

Убедившись, что подключение к источнику данных установлено и найдены необходимые таблицы, вы вернетесь в диалоговое окно Virtual Graph. Нажмите Next.

На следующем экране выберите создание новой модели (если у вас еще нет настроенных моделей для этого источника данных), после чего вы сможете выбрать: определить ее вручную с нуля, сгенерировать на основе схемы или с помощью ИИ. Давайте начнем с генерации на основе схемы, а затем изменим ее под наши нужды.

Теперь система предлагает схему (то есть сопоставление) из реляционной базы данных в граф на основе таблиц в нашем источнике данных. Это похоже на то, что нам нужно, но не совсем:

Тот граф, который мы использовали для нашего нативного графа, выглядел вот так, если вы помните:

Первое, что нужно изменить — это метки узлов. В реляционных базах данных таблицам обычно дают имена во множественном числе, в то время как метки графа записываются в единственном числе. Чтобы следовать стандартам именования Neo4j, мы сделаем первую букву заглавной. Просто дважды щелкните по узлам, чтобы изменить имя.

Теперь нам нужно изменить тип связи на TO или FROM, но на какой именно? Если мы нажмем на нее, то увидим, что с этой связью сопоставлен столбец to_id, поэтому давайте назовем ее TO.

Но нам также нужна и обратная связь, то есть FROM. Чтобы создать ее, наведите курсор на край узла Transaction, нажмите и перетащите мышь для создания связи, и, отпустив ее на узле Account, соедините их (вместо создания нового узла).

Назовите ее FROM и выберите таблицу transactions, а также столбцы id и from_id в выпадающих списках.

И теперь у нас есть схема, которая выглядит точно так же, как та, что была выше. Имена столбцов совпадают со свойствами наших узлов в схеме нативного графа, так что их не нужно менять (хотя мы могли бы это сделать при желании).

Теперь мы можем нажать Create Virtual Graph, чтобы запустить наш экземпляр. После запуска нового экземпляра его можно использовать в консоли Aura точно так же, как и любой другой экземпляр, за исключением того, что он находится в разделе VIRTUAL, а не AURA или SELF-MANAGED. Мы можем подключаться с помощью Query, Bloom, Dashboards и т. д., как и в случае с другими экземплярами. Итак, давайте подключимся с помощью Query и выполним тот же запрос, который мы запускали на нашем нативном графе.

И вот оно работает: мы получаем те же группы мошенников, которые обнаружили с помощью ограниченного запроса на нативном графе. Это заняло 25 секунд по сравнению с 1.5 секундами на нативном графе, но для такого аналитического сценария использования мгновенный ответ не требуется. Время отклика имело бы гораздо большее значение, если бы вы, например, отображали степень вашего знакомства с кем-то в LinkedIn, но обнаружение мошенничества в большом наборе данных может выполняться некоторое время.

Следует отметить, что это не научный бенчмарк. Сложно точно определить, сколько вычислительных ресурсов (количество ядер ЦП и объем ОЗУ) Databricks использовала для выполнения запроса, но тесты нативного Neo4j проводились на минимально возможном экземпляре Aura всего с 1 ЦП и 1 ГБ ОЗУ.

Можно сказать следующее: из трех преимуществ графов, определенных в начале этой статьи, нативный граф по-прежнему значительно быстрее справляется с графовыми запросами, но с виртуальными графами мы получаем преимущества в виде лучшей визуализации/моделирования и более удобного управления запросами. Не верите мне насчет запросов? Что ж, вот вариант SQL, который Virtual Graph сгенерировал для этого Cypher-запроса:

Заключение

При наличии миллионов транзакций вместо ста тысяч это, конечно, займет намного больше времени, но такой аналитический запрос может выполняться за ночь, и на следующее утро вы получите результат.

А когда вам потребуется более высокая производительность и вы будете готовы к следующему шагу, просто разверните экземпляр нативного графа и импортируйте данные. И знаете что? Virtual Graph и Data Importer используют одни и те же источники данных и графовые модели. Чтобы выполнить полный импорт, просто перейдите в Import, выберите определенные ранее источник данных и модель и запустите импорт в ваш новый экземпляр. Вы можете продолжать использовать свой Virtual Graph во время выполнения импорта.

Euler meets Codd was originally published in Neo4j Developer Blog on Medium, where people are continuing the conversation by storytelling.

← Все статьи

О чём эта статья

Ещё в разделе «Разработка ПО»

Все →
Ansys LS-DYNA работает быстрее на процессоре NVIDIA Vera
Ansys

Ansys LS-DYNA работает быстрее на процессоре NVIDIA Vera

SC26: IBM демонстрирует прогресс в объединении квантовых и высокопроизводительных вычислений
IBM

SC26: IBM демонстрирует прогресс в объединении квантовых и высокопроизводительных вычислений

IBM и AMD продвигают масштабируемую коррекцию квантовых ошибок
IBM

IBM и AMD продвигают масштабируемую коррекцию квантовых ошибок

Модуль переводов теперь доступен всем
Medusajs

Модуль переводов теперь доступен всем

Прогноз рынка морских перевозок на 2027 год
Freightos

Прогноз рынка морских перевозок на 2027 год

Данные студентов и ИИ в Turnitin: факты о том, как мы используем ваши данные
Turnitin

Данные студентов и ИИ в Turnitin: факты о том, как мы используем ваши данные

Ещё от Neo4j

Использование Neo4j Change Data Capture для оркестрации агентов
Neo4j

Использование Neo4j Change Data Capture для оркестрации агентов

Анонс хакатона Relate by Neo4j 2026: Создавайте ИИ-агентов на базе встроенной графовой базы данных
Neo4j

Анонс хакатона Relate by Neo4j 2026: Создавайте ИИ-агентов на базе встроенной графовой базы данных

Знакомьтесь с Relate by Neo4j: встроенная база данных для ИИ-агентов
Neo4j

Знакомьтесь с Relate by Neo4j: встроенная база данных для ИИ-агентов

Agentic GraphRAG и проводник для вашего стека
Neo4j

Agentic GraphRAG и проводник для вашего стека

Спецификация графа онтологий Neo4j: прагматичный, открытый подход, ориентированный на ИИ
Neo4j

Спецификация графа онтологий Neo4j: прагматичный, открытый подход, ориентированный на ИИ

Коннектор Neo4j для Apache Kafka и Confluent v6
Neo4j

Коннектор Neo4j для Apache Kafka и Confluent v6