Dev48
ЯЗЫК
  • О нас
  • Услуги
  • Индустрии
  • Технологии
  • Статьи
  • Контакты
Забронировать звонок
    Главная/Статьи/Kak ponyat chto vash ai navyk rabotaet
Dev48
info@dev48.org+375 29 320-40-96WhatsApp@isky_by

© 2026 · Все права защищены.

Как понять, что ваш AI-навык работает?

Фото: Ling App (Unsplash) — https://unsplash.com/photos/the-word-wow-spelled-with-scrabble-letters-on-a-wooden-surface-8VTvtf04jx4?utm_source=dev48&utm_medium=referral

Источник: Commercetools•17 ноября 2026 г. в 11:27

Как понять, что ваш AI-навык работает?

Узнайте, как тестировать AI-навыки, проверять их выбор, оценивать качество ответов и повышать надежность с помощью автоматизированных проверок и реальных механизмов защиты.

Навык может не сработать без ошибки

В наших собственных сборках на commercetools for Builders два навыка, названия которых соответствовали задаче, так и не были загружены. Вместо них всю тяжелую работу выполнили два неожиданных. Ничего не сломалось, и ответы выглядели нормально. (Мы рассказываем об этом в статье «Создание с помощью AI: лучшие практики для механизмов защиты».)

Это вызвало два вопроса, по одному для каждой стороны.

  • Для вас, разработчика: как вы гарантируете, что в вашем рабочем пространстве используется правильный навык?
  • Для нас, тех, кто пишет навыки: достаточно ли ясны наши описания, чтобы их выбирали, и действительно ли наши инструкции улучшают ответ?

Статья о механизмах защиты отвечает на первый вопрос. Эта статья отвечает на второй.

Создавайте с помощью AI

commercetools for Builders

Опишите, что вам нужно, простым языком, и позвольте AI-навыкам взять на себя основы коммерции.

Почему навыкам нужны тесты

AI-агент для написания кода делает две вещи с навыком. Во-первых, он выбирает один из них на основе краткого описания цели каждого навыка. Затем он следует инструкциям навыка.

Мы поставляем навыки для агентов, которыми не управляем, поэтому оба шага происходят вне нашей видимости. Линтеры и проверки ссылок могут сказать нам, что навык правильно сформирован. Они не могут сказать, выберет ли его агент или последует ли ему.

Это оставляет два типа «тихих» сбоев:

  • Выбирается не тот навык. Перефразирование описания может «украсть» запросы у соседнего навыка или вообще помешать выбору навыка. Чем больше существует навыков, тем чаще это происходит.
  • Правильный навык дает плохой ответ. Агент изобретает собственный коннектор, когда уже существует сертифицированный. Или он выбирает настройку, которую нельзя отменить, не спросив предварительно.

И то, и другое стоит денег. Ненужный кастомный коннектор — это работа, за которую кто-то заплатит позже. Молчаливо выбранная настройка — это риск, на который клиент никогда не соглашался.

Код тестируется автоматически при каждом изменении, поэтому небольшая правка не может незаметно что-то сломать. Мы хотели того же для наших навыков, поэтому создали две автоматизированные проверки.

Проверка №1: Выбран ли правильный навык?

Вопрос: Достаточно ли ясны описания наших навыков, чтобы выбирался правильный?

Как это работает:

  • Тестовый агент видит только заголовок каждого навыка: его название, описание и несколько других полей. Он не получает никаких файлов проекта, никаких дополнительных инструментов и никаких других навыков.
  • Скрипт, а не другая AI-модель, содержит ожидаемые ответы и отмечает каждый выбор. Агент видит только промпт, поэтому ключ ответов не может «утечь» в выбор.

Почему мы оставляем всё так минималистично: когда всё остальное удалено, неправильный выбор может быть вызван только нашей формулировкой. Это означает, что у каждой повторяющейся ошибки есть четкое решение.

Что может сказать тест-кейс:

  • «Этот запрос должен выбрать эти навыки». Подключение платежного провайдера, такого как Stripe, требует совместной работы двух наших навыков, поэтому один кейс ожидает оба.
  • «Этот запрос не должен выбирать этот навык». Именование запрещенных навыков напрямую проверяет пересечения между соседними навыками.

Что это стоит: очень мало. Проверка запускается только тогда, когда меняется заголовок навыка, а полный прогон намного дешевле, чем Проверка №2. Вот почему она запускается первой.

Проверка №2: Является ли ответ таким, каким его ожидал бы рецензент?

Вопрос: После того как навык выбран, улучшает ли он ответ?

Как это работает:

1. Один агент отвечает на каждый тест-кейс с загруженным навыком.

2. Второй агент отмечает каждое ожидание как пройденное или проваленное.

3. Кейс считается пройденным, если он соответствует 80% своих ожиданий.

Почему мы повторяем провальные тесты: результаты колеблются. Один и тот же кейс набирал от 50% до 100% в идентичных прогонах, поэтому один прогон мало что говорит. Теперь кейс, который не проходит что-либо, перезапускается дважды, и он считается проваленным, только если два из трех его прогонов провалены.

Окупает ли себя навык? Мы сравниваем каждый кейс с базовым уровнем — тем же тестом, запущенным без навыка. В нашем навыке миграции каталога средний показатель прохождения вырос с 38% до 87%. Один кейс набрал 100% как с навыком, так и без него, поэтому в этом случае навык только добавил затрат. Это полезно знать, потому что позволяет нам задаться вопросом, стоит ли запускать навык, и получить реальный ответ.

Как интерпретировать прирост: он показывает, насколько точно ответы следуют правилам навыка, а не насколько хорош ответ в целом. Чтобы тест оставался честным, маркирующий агент никогда не видит текст навыка.

Один нюанс: если маркирующий агент — это та же AI-модель, что и агенты, которых он оценивает, он может отдавать предпочтение ответам, написанным в его собственном стиле. Строгие, конкретные критерии оценки уменьшают это, как и использование другой модели.

Обе проверки пока носят рекомендательный характер. Они не блокируют работу, пока не накопят стабильную историю результатов.

Чего наши проверки не могут вам сказать

Проверка №1 — это контролируемый тест, поэтому сбой точно говорит нам, что исправить. Успех — это более слабое доказательство.

Реальные рабочие пространства переполнены заметками к проектам, инструментами компании и навыками других поставщиков. В этой толпе инструмент кодирования может вообще не показывать агенту описания наших навыков. Лучшая формулировка не может это исправить, потому что выбор делает инструмент. Ваши собственные навыки также конкурируют с нашими, и мы не контролируем их.

Мы намеренно не тестируем переполненное рабочее пространство. Каждое рабочее пространство загромождено по-разному, поэтому, когда тест там не проходит, мы не можем сказать, какая часть это вызвала, и не можем исправить то, что не можем объяснить.

Вывод: мы следим за тем, чтобы наши описания были ясными и четкими. То, что происходит в вашем рабочем пространстве, — это то, где вступают в дело ваши механизмы защиты.

Где вступают в дело ваши механизмы защиты

Наши проверки и пять механизмов защиты из нашей статьи о лучших практиках охватывают противоположные половины одной и той же проблемы.

Паттерн одинаков с обеих сторон. Не просите модель оценивать саму себя и не доверяйте сообщению об успехе. Проверяйте результат чем-то независимым.

Прежде чем полагаться на навык

Что делаем мы:

1. Тестируем, что выбирается правильный навык, всякий раз, когда меняется описание навыка.

2. Тестируем, что ответ лучше с навыком, чем без него.

3. Перезапускаем провальные тесты перед тем, как объявить о сбое, и сообщаем вам, что каждая проверка оставляет открытым.

Что мы предлагаем сделать вам:

1. Сопоставьте каждую задачу с навыком, который должен ее выполнять, прежде чем приступать к созданию.

2. Проверяйте результаты через путь, независимый от того, который их написал.

3. Ведите файл исправлений для каждого навыка.

Настройка занимает немного больше времени. Но каждый шаг дешевле сделать сначала, чем добавлять после того, как что-то незаметно пошло не так.

Изучите документацию commercetools for Builders — и начните создавать за считанные дни. Включено в нашу 60-дневную бесплатную пробную версию.

Создавайте с помощью AI

commercetools for Builders

Опишите, что вам нужно, простым языком, и позвольте AI-навыкам взять на себя основы коммерции.

← Все статьи

О чём эта статья

Ещё в разделе «Ретейл и e-commerce»

Все →
Как сводить кассовый ящик как профессионал
Lightspeed

Как сводить кассовый ящик как профессионал

Подготовьте свой маркетинг к праздникам с помощью Campaign Autopilot (2026)
Shopify

Подготовьте свой маркетинг к праздникам с помощью Campaign Autopilot (2026)

Как написать бизнес-план для открытия кафе
Lightspeed

Как написать бизнес-план для открытия кафе

Почему SEO-заголовки важны не меньше, чем содержимое страницы
Squarespace Commerce

Почему SEO-заголовки важны не меньше, чем содержимое страницы

8 типов рекламных акций для увеличения праздничной выручки [2026]
Lightspeed

8 типов рекламных акций для увеличения праздничной выручки [2026]

Модуль переводов теперь доступен всем
Medusajs

Модуль переводов теперь доступен всем

Ещё от Commercetools

Google Universal Cart: как это работает и как ритейлерам начать работу
Commercetools

Google Universal Cart: как это работает и как ритейлерам начать работу

Понимание MCP, ACP и UCP в агентной коммерции: Руководство для мерчантов
Commercetools

Понимание MCP, ACP и UCP в агентной коммерции: Руководство для мерчантов

Приготовьтесь к агентской коммерции: руководство для продавцов по Универсальному протоколу коммерции (UCP) от Google
Commercetools

Приготовьтесь к агентской коммерции: руководство для продавцов по Универсальному протоколу коммерции (UCP) от Google

Представляем commercetools Labs: место, где эксперименты стимулируют инновации
Commercetools

Представляем commercetools Labs: место, где эксперименты стимулируют инновации

B2B, B2C, D2C и B2B2C: объяснение концепций. Может ли одна коммерческая платформа поддерживать их все?
Commercetools

B2B, B2C, D2C и B2B2C: объяснение концепций. Может ли одна коммерческая платформа поддерживать их все?

Как выбрать первый сценарий использования автономной коммерции
Commercetools

Как выбрать первый сценарий использования автономной коммерции