ИИ в образовании не может работать «время от времени».

TL;DR

Для ИИ в образовании надежнее быть стабильным, чем просто впечатляющим

Ранняя разработка ИИ, опирающаяся на интуицию («ощущения»), не масштабируется для критически важных сценариев использования

Learnosity рассматривает оценку как ключевую инфраструктуру

Структурированная среда (наборы данных, метрики, конвейеры, мониторинг) — это то, как мы достигаем стабильной производительности

Непрерывная оценка после запуска предотвращает отклонения и укрепляет доверие

Валидация — это реальный фактор дифференциации, делающий ИИ надежным в масштабе

Туалеты с ИИ? Tinder для коров? Зубные щетки с ИИ?

Первоначальный энтузиазм вокруг ИИ привел к волне экспериментов и плохих идей.

Но по крайней мере в образовании ИИ больше не эксперимент. Он кардинально меняет оценивание. Учитывая, что здесь высоки ставки, ИИ в образовании не может работать «время от времени».

Поэтому по мере дальнейшего развития ИИ возникает вопрос: откуда мы знаем, что системы ИИ достаточно надежны для реальных условий обучения?

Именно этот вопрос привел к фундаментальному сдвигу в том, как Learnosity использует ИИ для разработки продуктов оценивания. Мы перешли от основанных на интуиции экспериментов — назовем их «ощущениями» — к строгому, повторяемому фреймворку оценки, предназначенному для продакшн-использования в образовании.

От экспериментов к доказательствам

На ранних этапах работы с большими языковыми моделями (LLM) мы часто добивались прогресса, настраивая промпты на основе глубокого опыта или методом проб и ошибок. Результаты могли выглядеть впечатляюще, но «хорошо» в конечном итоге было субъективным понятием. Без последовательных измерений было сложно предсказать, как поведет себя ИИ-функция в граничных случаях или в критически важных контекстах.

Для потребительских сценариев такая неопределенность может быть допустима. В оценивании — нет. Когда ИИ задействован в выставлении оценок, обратной связи или принятии решений по контенту, надежность является абсолютной основой доверия.

Оценка как инфраструктура

Именно поэтому теперь мы рассматриваем оценку как базовую инфраструктуру, а не просто как финальный этап валидации. Каждая разрабатываемая нами ИИ-функция является результатом структурированного фреймворка оценки, который ставит во главу угла качество, согласованность, прозрачность и масштабируемость.

"Каждая разрабатываемая нами ИИ-функция является результатом структурированного фреймворка оценки, который ставит во главу угла качество, согласованность, прозрачность и масштабируемость."

Проще говоря, этот фреймворк представляет собой повторяемый цикл: Исследование → Планирование → Проектирование набора данных → Конвейер оценки → Отчетность → Мониторинг.

Мы начинаем процесс с попытки определить, что на самом деле означает «хорошо» для конкретной образовательной задачи. Например, для Feedback Aide, нашего движка выставления оценок на базе ИИ, мы сопоставляем метрики соответствия с показателями качества и эффективности обратной связи. Для выставления баллов мы отслеживаем совпадение с оценками людей-экзаменаторов с помощью квадратично взвешенного каппа-коэффициента (QWK) и порогов точного совпадения, а также учитываем использование токенов для понимания производительности и стоимости в масштабе.

Но одной оценки недостаточно.

Мы также оцениваем саму обратную связь с помощью структурированных критериев «LLM в роли судьи», чтобы убедиться, что ответы соответствуют критериям оценивания, конкретны, опираются на текст студента, не содержат галлюцинаций и имеют подходящий тон и уровень.

В совокупности эти метрики дают нам многомерное представление о производительности, гарантируя, что результаты работы ИИ являются точными, полезными и заслуживающими доверия в реальных учебных контекстах.

Проектирование для реального мира

Одна из самых сложных задач в сфере ИИ для образования — это данные.

Высококачественные, репрезентативные наборы данных встречаются редко, а ограничения конфиденциальности ограничивают возможности использования реальных данных учащихся.

Чтобы решить эту проблему, мы полагаемся на сочетание эталонных публичных наборов данных и проверенных частных данных, а также на тщательно разработанные синтетические данные для дополнения и тестирования граничных случаев, которые редко встречаются в выборках, но имеют глубокое значение на практике.

Этот подход позволяет нашим командам проводить стресс-тестирование систем ИИ еще до того, как они дойдут до учащихся, и делать это регулярно даже при изменении моделей, промптов или требований.

Операционализация доверия

Однако оценка эффективна только тогда, когда она масштабируема. Learnosity внедряет оценку с помощью автоматизированных конвейеров, которые запускают эксперименты для различных конфигураций, оценивают результаты с использованием предопределенных метрик и применяют независимые модели-«судьи» для проверки качества.

Каждый эксперимент сохраняется, версионируется и воспроизводится, поэтому принимаемые нами решения всегда поддаются проверке.

Что не менее важно, оценка не прекращается после запуска. Мониторинг после развертывания отслеживает результаты в реальном времени, дает нам возможность получать обратную связь от людей и поддерживает наши усилия по постоянному совершенствованию. Это гарантирует, что системы ИИ не будут незаметно отклоняться с течением времени по мере изменения контекста или паттернов использования.

Настоящий фактор дифференциации — не внедрение ИИ, а его надежность

Поскольку ИИ все глубже интегрируется в продукты для обучения, отличаться будет не тот, кто быстрее всех внедряет ИИ, а тот, кто применяет его наиболее ответственно. Любой может вызвать LLM. Гораздо меньше команд инвестируют в дисциплину оценки, необходимую для того, чтобы сделать ИИ надежным в масштабе.

"Поскольку ИИ все глубже интегрируется в продукты для обучения, отличаться будет не тот, кто быстрее всех внедряет ИИ, а тот, кто применяет его наиболее ответственно."

Для Learnosity переход от «ощущений» к валидируемой производительности означает обеспечение устойчивости инноваций. Наши специалисты по работе с данными применяют строгий фреймворк оценки, чтобы гарантировать разработку ИИ, который приносит реальную пользу в образовании и отлично работает в наиболее важных средах.