Предприятия уже два года пытаются понять, как заставить ИИ производить больше. Теперь возник более сложный вопрос: как узнать, что именно он произвел правильно?
Модели теперь генерируют код быстрее, чем рецензенты успевают его прочитать, а ИИ-агенты выдают аналитику, резюме и рекомендации с такой же скоростью. Ручная проверка результатов перестает быть масштабируемой, как только генерация начинает опережать человеческое внимание. Команды, создающие «фабрики программного обеспечения», ответили на это автоматизацией проверки. Компания StrongDM, соучредителем которой является Джастин Маккарти, заменила проверку кода человеком на валидацию сценариев, выполняемую агентами.¹
Этот сдвиг влечет за собой последствия для руководителей в сфере данных: проверка эффективна лишь настолько, насколько надежны эталонные данные, с которыми она сверяется. Плохие данные приводят к плохому тестированию, а ИИ-модели будут использовать слабые места в тестах. Согласно закону Линуса, известному в сообществе open-source, при достаточном количестве глаз все ошибки становятся мелкими.² Джастин Маккарти, основатель Diffusion,³ предлагает версию для эпохи ИИ: «при достаточном количестве токенов все ошибки становятся мелкими».⁴ Токены легко купить оптом. Доверенные данные — нет.
В недавнем эпизоде подкаста AI Radicals ведущий Сатьен Сангани встретился с Маккарти и Джеймсом Чамом, партнером Bloomberg Beta,⁵ чтобы обсудить концепцию фабрики программного обеспечения. Маккарти описывает ее как «циклическую систему, которая выдает надежные результаты» на основе ненадежных выводов ИИ-моделей, без участия человека в чтении кода.⁴ Чам, который модерировал дискуссии о «темных фабриках» ПО,⁵ присоединился к беседе, чтобы объяснить, почему это работает. В этой статье мы используем их инженерные уроки, чтобы понять, что они означают для тех, кто сегодня владеет корпоративными данными.
Проверка должна стоить в 100 раз дороже, чем генерация
Большинство команд, внедряющих агентов для написания кода, оставляют человека в конце процесса для чтения результатов и проведения традиционного контроля качества (QA). Маккарти выступает за другой процесс: прежде чем человек увидит хоть что-то, команда должна потратить как минимум на порядок, а лучше на два, больше токенов на валидацию работы, чем на ее генерацию. Его пример: если модель работает минуту, чтобы написать функцию, он хочет получить 100 минут анализа. Этот анализ должен исходить как от других моделей, так и от той, что написала код, и никакой из них — от людей.⁴
Чам называет это лучшим рычагом для использования больших языковых моделей. Большая часть индустрии гонится за эффективностью и снижением затрат, что он называет локальными выгодами. Как только команда принимает идею о том, что «проверка должна быть в 100 раз более трудоемкой и в 100 раз более автоматизированной», надежность, которой можно достичь, качественно меняется. Чам добавляет, что современные инструменты и среды разработки не спроектированы с учетом такого подхода.⁴
Маккарти сравнивает структуру хорошей валидации с уровнями кэша в процессоре:⁴
- Внутренний слой — это быстрые тесты, выполняемые за миллисекунды или секунды, которые агенты используют в процессе работы. Он призывает относиться к этому слою скептически, поскольку его написали сами агенты.
Внутренний слой — это быстрые тесты, выполняемые за миллисекунды или секунды, которые агенты используют в процессе работы. Он призывает относиться к этому слою скептически, поскольку его написали сами агенты.
- Следующее кольцо — это определение готовности, написанное на языке, близком к пользовательскому опыту работы с ПО, которое любой сотрудник компании может прочитать и понять, например, как должен работать расчет налога в конкретной юрисдикции.
Следующее кольцо — это определение готовности, написанное на языке, близком к пользовательскому опыту работы с ПО, которое любой сотрудник компании может прочитать и понять, например, как должен работать расчет налога в конкретной юрисдикции.
- Внешний цикл исследует программное обеспечение так, как это делал бы пользователь, расширяет и курирует общий корпус кейсов, а затем компилирует полученные знания обратно в быстрые тесты.
Внешний цикл исследует программное обеспечение так, как это делал бы пользователь, расширяет и курирует общий корпус кейсов, а затем компилирует полученные знания обратно в быстрые тесты.
Руководители в области данных и ИИ узнают этот многоуровневый дизайн в оценках ИИ-агентов. Собственные рекомендации Alation указывают на то же самое: команды, которые никогда не выпустили бы код без модульных тестов, часто позволяют генеративному ИИ попадать в продакшн после простой «проверки на интуицию».⁶ Фабрика программного обеспечения поднимает планку еще выше, поскольку проверки выполняются непрерывно и в масштабе, с которым не сравнится ни одно совещание по рецензированию. Для предприятий эта дисциплина должна быть частью программы управления ИИ, где результаты оценки становятся условием выпуска, а не запоздалой мыслью.
Модели будут обманывать тесты, которые вы им даете
Почему бюджет на проверку должен быть таким большим? Потому что объект проверки будет пытаться схитрить. Маккарти объясняет, что модели пытаются «выиграть» задачу, чтобы объявить о победе. «У вас здесь есть состязательная сущность в лице моделей, которые пытаются жульничать», — говорит он. Задача проектирования состоит в том, чтобы создать среду, где самый простой путь для модели — это правильный ответ. Учебника для этого не существует, поэтому Маккарти называет это чрезвычайно творческим начинанием.⁴
В обзоре исследований NIST отмечается, что оценщики видели, как модели повышали свои баллы, изменяя тесты или код оценки, и что на заведомо невыполнимых тестах некоторые ведущие модели жульничали в большинстве случаев.⁷ Команда Маккарти столкнулась с этим на раннем этапе: в их отчете описываются агенты, которые «возвращают true», чтобы пройти узко написанные тесты.¹
Чам перечисляет спектр доступных инструментов: статические оценки, синтетические данные, симуляции других систем и инструменты для измерения этих симуляций. Он считает сложность этапа проверки неисследованной границей всего подхода. Маккарти добавляет, что правильный инструментарий зависит от предметной области. Некоторые области количественные, со столбцами и строками, где все цифры сходятся. Другие связаны с видео или обработкой сигналов, и каждая требует своего способа замыкания цикла.⁴
Здесь аргументация переходит к корпоративным данным. Когда агент отвечает на вопросы о выручке, клиентах или рисках, область является преимущественно количественной. Чтобы получить правильный ответ, агент должен пройти через данные: сертифицированные определения, доверенные таблицы и проверенные результаты. Если они неоднозначны, устарели или не управляются, самым простым путем может стать правдоподобный, но неверный ответ. Это практический аргумент в пользу каталога данных и агентивного слоя знаний, который снабжает агентов контекстом, а также сертифицированных, управляемых продуктов данных, которые дают проверке твердую почву под ногами.
Проверка — это проблема данных
Сангани настаивал именно на этом моменте. Он заметил, что правило вроде «мы никогда не возвращаем клиенту больше, чем он нам заплатил» можно сформулировать компактно, поэтому команде не следует тратить миллион токенов на его переоткрытие каждый раз. Он отметил, что сейчас люди говорят об онтологиях, и сформулировал вопрос проектирования так: «Когда что-то является правилом? Когда что-то является данными?»⁴
Маккарти ответил идеей из проектирования баз данных — проталкиванием предиката (pushing down a predicate). Движок запросов направляет часть запроса в колоночное хранилище, наиболее подходящее для его выполнения. Система верификации должна поступать так же с правилами, которые никогда не должны нарушаться, выполняя их детерминированно как максимально быстрый тест этих ограничений. Генеративные, исследовательские проверки затем работают вокруг этого фиксированного ядра. Маккарти также отмечает, что верификация требует больших объемов традиционных вычислений. «Вам нужно выполнять запросы к большим базам данных как средство верификации», — говорит он, чтобы подтвердить, что цифры сходятся, и модели могут помочь командам делать это масштабно.⁴
Маккарти описывает два метода: фаззинг конвейера извлечения, загрузки и преобразования (ETL) путем дополнения его записей синтетическими данными и добавления вариативности, а также репликацию или переписывание существующих (brownfield) систем, которые он считает хорошо подходящими для этого подхода, поскольку работающий процесс уже определяет, что должна делать его замена.⁴
Оба метода зависят от основ данных. Во-первых, правилам нужны общие определения. Ограничение на возврат средств работает только в том случае, если «возврат» и «оплачено» означают одно и то же в каждой системе, что является задачей управления данными (data governance) и управления критически важными элементами данных. Во-вторых, переписывание существующей (brownfield) системы требует знания того, что и откуда поступает, что является задачей отслеживания происхождения данных (data lineage). В-третьих, синтетические данные и фаззинг помогают только тогда, когда у команды есть базовый уровень качества для сравнения. Именно здесь находит свое место агентское управление качеством данных: агенты, предлагающие правила качества на основе метаданных каталога, происхождения и паттернов использования⁸, помогают командам выстраивать детерминированное ядро, от которого зависят циклы верификации.
Эра агентов вознаграждает за лучшую «наземную истину» (ground truth)
Разговор о «фабрике программного обеспечения» идет о коде, но этот урок применим во всех областях. Агенты будут производить огромное количество результатов. Маккарти четко обозначает предел: «Просто создавать что-то — это не то же самое, что качество».⁴ Вперед вырвутся те организации, которые смогут проверять работу агентов автоматически, непрерывно и на основе данных, которым они доверяют, оставляя за людьми право принимать сложные решения.
Это лежит в основе Alation AIOS⁹, которая объединяет данные, контекст и агентов в одной среде, и Alation Agents¹⁰, работу которых можно ограничивать результатами оценки перед их выводом в эксплуатацию.
Хотите узнать, как Alation может поддержать вашу стратегию использования агентов? Запишитесь на демо сегодня.
Источники и примечания
Каждое внешнее утверждение на этой странице может быть проверено независимо. Публичные источники перечислены здесь.
- Фабрика ПО StrongDM заменяет ручную проверку кода валидацией сценариев с помощью агентов, и ее авторы описывают агентов, которые возвращают значение true для прохождения узко сформулированных тестов. — Justin McCarthy, «Software Factories And The Agentic Moment», StrongDM AI, 6 февраля 2026 г. ↗ https://factory.strongdm.ai/
Фабрика ПО StrongDM заменяет ручную проверку кода валидацией сценариев с помощью агентов, и ее авторы описывают агентов, которые возвращают значение true для прохождения узко сформулированных тестов. — Justin McCarthy, «Software Factories And The Agentic Moment», StrongDM AI, 6 февраля 2026 г. ↗ https://factory.strongdm.ai/
- Закон Линуса, сформулированный Эриком С. Реймондом в книге «Собор и Базар». — Eric S. Raymond ↗ https://www.catb.org/~esr/writings/cathedral-bazaar/cathedral-bazaar/ar01s04.html
Закон Линуса, сформулированный Эриком С. Реймондом в
«Собор и Базар». — Eric S. Raymond ↗ https://www.catb.org/~esr/writings/cathedral-bazaar/cathedral-bazaar/ar01s04.html
- Маккарти — основатель и генеральный директор Diffusion. — Биография спикера, Enterprise AI Summit, Charlotte 2026 ↗ https://eaischarlotte2026.sched.com/speaker/justin_mccarthy.29xiwcti
Маккарти — основатель и генеральный директор Diffusion. — Биография спикера, Enterprise AI Summit, Charlotte 2026 ↗ https://eaischarlotte2026.sched.com/speaker/justin_mccarthy.29xiwcti
- Фабрика ПО: не проверяйте код, верифицируйте его с Джастином Маккарти и Джеймсом Чэмом — подкаст AI Radicals. 11 ноября 2026 г. ↗ https://www.alation.com/podcast/episodeswhat-is-software-factory-ai-code-justin-mccarthy-james-cham
Фабрика ПО: не проверяйте код, верифицируйте его с Джастином Маккарти и Джеймсом Чэмом — подкаст AI Radicals. 11 ноября 2026 г.
↗ https://www.alation.com/podcast/episodeswhat-is-software-factory-ai-code-justin-mccarthy-james-cham
- Джеймс Чэм из Bloomberg Beta модерировал сессию вопросов и ответов Commoncog о «темных фабриках» ПО (1 июня 2026 г.). — Commoncog ↗ https://commoncog.com/software-dark-factory-q-a/
Джеймс Чэм из Bloomberg Beta модерировал сессию вопросов и ответов Commoncog о «темных фабриках» ПО (1 июня 2026 г.). — Commoncog ↗ https://commoncog.com/software-dark-factory-q-a/
- Руководство Alation по оценке в сравнении с «проверкой на вайб» (vibe-checking) генеративного ИИ (10 марта 2026 г.; собственная публикация Alation). — Alation ↗ https://www.alation.com/blog/ai-agent-evaluations/
Руководство Alation по оценке в сравнении с «проверкой на вайб» (vibe-checking) генеративного ИИ (10 марта 2026 г.; собственная публикация Alation). — Alation ↗ https://www.alation.com/blog/ai-agent-evaluations/
- Оценщики заметили, что модели модифицируют тесты или код оценки для повышения баллов и жульничают в большинстве случаев на намеренно невыполнимых бенчмарках. — NIST, «Background: AI models can cheat on evaluations», 28 ноября 2025 г. ↗ https://www.nist.gov/caissi/1-background-ai-models-can-cheat-evaluations
Оценщики заметили, что модели модифицируют тесты или код оценки для повышения баллов и жульничают в большинстве случаев на намеренно невыполнимых бенчмарках. — NIST, «Background: AI models can cheat on evaluations», 28 ноября 2025 г. ↗ https://www.nist.gov/caissi/1-background-ai-models-can-cheat-evaluations
- Агенты Alation Data Quality предлагают правила качества, основанные на метаданных каталога, происхождении и паттернах использования (собственная страница Alation). — Alation ↗ https://www.alation.com/aios/data-quality/
Агенты Alation Data Quality предлагают правила качества, основанные на метаданных каталога, происхождении и паттернах использования (собственная страница Alation). — Alation ↗ https://www.alation.com/aios/data-quality/
- AIOS запускает агентов, контекст, данные и управление как единую систему (собственная страница Alation). — Alation ↗ https://www.alation.com/aios/
AIOS запускает агентов, контекст, данные и управление как единую систему (собственная страница Alation). — Alation ↗ https://www.alation.com/aios/
- Alation Agents поддерживают ограничение на основе результатов оценки перед выводом в эксплуатацию (собственная страница Alation). — Alation ↗ https://www.alation.com/aios/agents/
Alation Agents поддерживают ограничение на основе результатов оценки перед выводом в эксплуатацию (собственная страница Alation). — Alation ↗ https://www.alation.com/aios/agents/
