У руководителей школьных округов сейчас больше выбора образовательных технологий (edtech), чем когда-либо, и каждый продукт сопровождается заявлениями о том, какую пользу он принесет учащимся.
Мы считаем, что главный вопрос должен звучать так: улучшает ли это обучение?
При оценке вариантов edtech руководителям округов помогут четыре критерия, позволяющие отделить многообещающие заявления от значимых доказательств. Ищите продукт, который:
- Проходит строгую оценку независимыми сторонними исследователями
- Предоставляет практические рекомендации по внедрению, основанные на реальном опыте в классах
- Четко определяет свои возможности и ограничения
- Постоянно совершенствуется на основе данных об успехах учащихся и отзывах педагогов
Эти приоритеты также соответствуют направлениям, выделенным в недавнем письме Министерства образования «Уважаемые коллеги» (Dear Colleague) об оценке образовательных технологий.
Это полезные вопросы, которые стоит задать любому продукту, включая наш. Вот как выглядит Khan Academy по этим критериям и в чем мы продолжаем учиться.
1. Строгая оценка независимыми сторонними исследователями
Руководители округов должны иметь возможность ознакомиться с доказательствами эффективности edtech-продукта. Именно поэтому мы ссылаемся на независимые сторонние исследования Khan Academy (а также публикуем собственные исследования эффективности). Четыре рандомизированных контролируемых исследования (РКИ), проведенные независимыми исследователями, которые не были наняты и не получали оплату от Khan Academy, проверяли влияние Khan Academy на успеваемость по математике. В качестве ориентира для интерпретации последующих результатов: медианный эффект по 747 РКИ образовательных программ составляет 0,10 стандартного отклонения (СО) (Kraft, 2020).
Визуализация на основе ориентиров Kraft (2020) для причинно-следственных исследований успеваемости в классах preK–12
Три РКИ выявили положительные результаты. В округе Гамильтон, штат Теннесси, около 6900 учащихся средних классов с уровнем подготовки ниже требуемого, которые использовали Khan Academy во время ежедневных дополнительных занятий, показали результат на 0,06 СО выше через два года, а на второй год показатель вырос до 0,08 СО. В независимом школьном округе Арлингтон, штат Техас, учащиеся с 3 по 6 класс показали прирост в 0,12 СО. В 7 и 8 классах, где среднее время практики составляло около 4 минут в неделю, эффекта не наблюдалось. В Сальвадоре учащиеся с 3 по 6 класс показали прирост от 0,09 до 0,11 СО. Четвертое РКИ, охватившее 157 школ в Brazil, не выявило влияния на успеваемость по математике, но исследование проводилось в условиях массовых перебоев с интернетом и проблем с устройствами.
Три исследования, показавшие положительные результаты, имели одну общую черту: качественное внедрение. В каждом из них было выделено время для практики и обеспечена поддержка. На этой закономерности основаны наши рекомендации по внедрению, приведенные ниже.
Доступ к эффективному edtech-инструменту — это не то же самое, что эффективное внедрение.
В качестве практического ориентира мы рекомендуем стремиться к тому, чтобы учащиеся достигали уровня «Профи» или «Мастер» примерно по двум навыкам в Khan Academy каждую неделю, или около 60 навыков в течение учебного года. Недавние исследования связи практики с обучением подтверждают эти цели. Исследование более 200 000 учащихся, проведенное исследователями Khan Academy и трех университетов, показало, что практика улучшает обучение: примерно на 0,0031 СО за каждый навык в Khan Academy, доведенный до уровня «Профи», или примерно на 0,18 СО за 60 навыков.
В округах, где Khan Academy работает успешно, мы обычно наблюдаем несколько общих черт: четкая учебная цель, регулярная практика, профессиональное развитие учителей, четкое распределение ответственности и постоянный анализ данных об использовании и результатах обучения.
У нас также есть причинно-следственные доказательства того, что эта поддержка важна. В рандомизированном исследовании в штате Уттар-Прадеш, Индия, 74 школы получили доступ к Khan Academy. Только в 24 школах были случайным образом назначены координаторы, которые посещали их дважды в неделю, чтобы обеспечить время для практики, устранять неполадки и отслеживать прогресс. Учащиеся в этих школах практиковались около 47 минут в неделю и через семь месяцев показали результаты по математике на 0,44–0,47 СО выше.
Мы видим аналогичную картину в округах, которые уделяют первостепенное внимание поддержке внедрения: более 20% учащихся достигают наших рекомендуемых целей по сравнению с примерно 10% в среднем. Подробнее об этих закономерностях мы рассказываем в статье «Секреты успеха в наших школьных округах с самым высоким уровнем использования».
Команды округов также могут использовать ресурсы по внедрению, обучение педагогов и тематические исследования округов, чтобы понять не только то, что использовать, но и как использовать это эффективно.
3. Ясность в отношении того, что edtech-продукт может и чего не может
Khan Academy создана для того, чтобы помочь учащимся учиться посредством практики, основанной на мастерстве. Она помогает определить готовность к материалу уровня класса, рекомендует, над чем работать дальше, предоставляет инструкции и обратную связь, а также делает прогресс наглядным для учащихся, учителей и руководителей округов. Эта практика основана на учебном контенте, созданном и проверенном экспертами нашей команды.
Наш директор по обучению писал о том, почему округам следует начинать с образовательной проблемы, а не с технологий.
Мы также четко осознаем, чего Khan Academy не может сделать самостоятельно. Просто предоставить доступ к продукту недостаточно. Более высокие результаты достигаются, когда округа связывают его с четкой учебной целью, дают учащимся постоянное время для практики и поддерживают учителей в эффективном использовании инструмента.
Мы применяем те же стандарты к нашим ИИ-инструментам. Для учащихся Khanmigo разработан как тьютор, а не просто источник готовых ответов. Для учителей ИИ может помочь в планировании, создании материалов и адаптации обучения, при этом педагоги сохраняют контроль над тем, что получает учащийся и как это используется.
Мы также открыто говорим об ограничениях ИИ. Он может ошибаться, вводить в заблуждение или быть неуместным. Мы документировали проблемы с точностью математических вычислений Khanmigo в прошлом и шаги, которые мы предприняли для их улучшения (пост о математике). Мы также открыто говорили о том, в чем Khanmigo не оправдал наших ожиданий в плане вовлечения учащихся, и о работе, которую мы проделали для улучшения.
Что касается safety и данных учащихся, мы публикуем конкретную информацию. Мы не продаем личную информацию и не разрешаем стороннюю рекламу. Провайдерам больших языковых моделей запрещено обучаться на данных учащихся или учителей, а имена учащихся не передаются провайдерам ЛЛМ, когда учителя запрашивают аналитику по классу.
Для округов, оценивающих ИИ-инструменты, такая ясность должна быть обязательным требованием.
4. Постоянное совершенствование на основе данных от учащихся и педагогов
Иногда улучшение edtech-продукта означает признание того, что он работает недостаточно хорошо.
В 2025 году мы работали с примерно 5100 учащимися в пяти округах США, чтобы переосмыслить Khan Academy и Khanmigo для работы в классах. То, что мы узнали, изменило продукт.
Например, Khanmigo изначально был разработан так, чтобы не давать учащемуся готовый ответ. Данные из классов и отзывы учителей показали нам, что это правило было слишком жестким. Теперь Khanmigo по-прежнему поощряет учащихся сначала попробовать самим, но после неверной попытки он может стать более прямым и помочь учащимся понять, в чем была ошибка.
Прежде чем сделать изменения общедоступными, мы смотрим, помогают ли они учащимся учиться и сохранять вовлеченность. Некоторые изменения помогли. Другие не показали измеримого эффекта.
Мы делимся результатами тестирования продукта, включая то, что сработало, а что нет, чтобы округа могли видеть, как доказательства формируют продукт.
Это стандарт, которому мы стремимся соответствовать: тестирование в реальных классах, измерение того, что действительно важно, обучение на основе результатов и постоянное совершенствование ради учеников и педагогов, которые их поддерживают.
Так как же мы оцениваем себя?
Мы гордимся растущим объемом доказательств эффективности Khan Academy, но нам предстоит провести еще немало исследований. Мы многое узнали об эффективном внедрении и продолжим делать наши рекомендации более доступными для использования в округах. Мы также понимаем, что прозрачность означает четкое понимание того, что Khan Academy и ИИ могут делать, чего они делать не могут и в чем нам еще предстоит совершенствоваться.
Как может выглядеть более эффективное обучение в вашем округе?
Узнайте, как Khan Academy Districts объединяет обучение на основе мастерства, аналитику успеваемости учащихся и поддержку внедрения, чтобы помочь вашим школам применять доказательные методы на практике.
