EdTech может работать. Лица, принимающие решения, должны сначала проверить доказательства.

Автор Сал Хан, основатель и генеральный директор Khan Academy

Почти каждый поставщик EdTech утверждает, что его исследования показывают работоспособность продукта. Некоторые из этих исследований надежны. Многие — нет. Лицам, принимающим решения, необходимо знать разницу, поскольку инструмент, не прошедший реальную проверку доказательствами, не должен получать государственное финансирование или время на уроках.

Недавно я участвовал в дискуссии, где скептик заявил, что нет никаких доказательств эффективности EdTech. Это неправда. Существует значительный массив строгих независимых доказательств того, что некоторые образовательные технологии при правильном использовании улучшают обучение. Проблема в том, что доказательства неоднородны, а самые громкие заявления часто являются самыми слабыми.

Начнем с причинно-следственной связи. Во многих исследованиях EdTech сравниваются учащиеся, которые активно использовали продукт, и те, кто этого не делал. Наиболее вовлеченные учащиеся, как правило, демонстрируют наибольший рост, поэтому корреляция реальна, но мало что говорит о самом инструменте. Рандомизированное контролируемое исследование напрямую решает эту проблему. Учащиеся или школы распределяются случайным образом, и сравнение проводится между группами в целом, включая тех учеников, которые едва использовали продукт. Это отвечает на вопрос «что произойдет, если школа примет это?», а не «что произойдет с учащимися, которым это понравилось?».

Даже корреляционные данные можно интерпретировать внимательно. Предположим, исследование обнаруживает, что учащиеся, достигшие рекомендованного уровня использования, добились больших успехов, чем те, кто этого не сделал. Один из сценариев заключается в том, что только самые мотивированные 20 процентов учащихся в каждом классе достигли этого уровня, и именно мотивация обусловила прирост. Если это так, инструмент может не работать для большинства учащихся. Но другой сценарий заключается в том, что 20 процентов классов достигли рекомендованного использования, и в этих классах почти каждый ученик сделал это. Тогда паттерн указывает на работу учителя, а не на то, какие ученики переступили порог класса. Это более полезный сигнал. И все же это не доказательство. Учителя, которые хорошо внедряют один инструмент, могут быть теми же учителями, которые хорошо справляются с другими задачами, и именно эти другие факторы могут обеспечивать прирост. Паттерн на уровне класса — это подсказка, заслуживающая внимания, но причинно-следственную связь может установить только рандомизированное исследование.

Независимость имеет такое же значение, как и рандомизация. Исследование, которое контролируется поставщиком и публикуется только тогда, когда результаты хорошие, — это маркетинг. Независимые исследователи, в идеале с предварительной регистрацией, публикуют результаты независимо от того, хорошие они или плохие. Спросите, кто разработал исследование, кто анализировал данные и кто решал, что публиковать.

Что я обнаружил в ходе обзора независимых доказательств.

Я искал независимые рандомизированные контролируемые исследования на основных платформах по математике для K-12 и в ряде известных академических вмешательств. Возможно, я упустил какие-то исследования, поэтому, пожалуйста, не верьте мне на слово. Ищите сами. Вот что мне удалось выяснить:

Khan Academy — 6 независимых РКИ. Уттар-Прадеш, Индия: 0,44–0,47 стандартного отклонения при поддержке выделенного персонала. Арлингтон, Техас: 0,12 стандартного отклонения, и репетиторство в Торонто: 0,06 стандартного отклонения. Сальвадор: 0,11–0,25 стандартного отклонения по сравнению с традиционным обучением в школах с недостаточно квалифицированными учителями. Летняя программа в Силиконовой долине: 0,7 стандартного отклонения по готовности к алгебре (хотя большинство учеников все равно были не готовы к алгебре после этого). Округ Гамильтон, Теннесси: около 0,06–0,08 стандартного отклонения за два года, 0,14 стандартного отклонения в подгруппе. Бразилия (Ферман, Финамор и Лима, учебный год 2017 г.): общего значимого эффекта не обнаружено; учащиеся делили устройства между собой без индивидуальных практических занятий, а более поздний анализ участвующих округов выявил 0,08 стандартного отклонения для учащихся с регулярной индивидуальной практикой.

ASSISTments — 2 независимых РКИ. Исследование SRI International в штате Мэн выявило рост на 0,18 стандартного отклонения (p = 0,007), что примерно на 60% превышает рост по математике, которого в противном случае можно было бы ожидать от семиклассника за год, причем наибольший прирост наблюдался среди учеников, которые изначально отставали. Репликация WestEd в 63 школах Северной Каролины выявила меньший, но все же значимый эффект в 0,10 стандартного отклонения (p = 0,01), измеренный спустя ровно год после окончания программы, — это одно из немногих исследований EdTech, показавших сохраняющийся эффект после прекращения вмешательства.

Mindspark (Индия) — 1 независимое РКИ. Опубликовано в American Economic Review. Внеклассная программа, распределенная с помощью лотереи, дала прирост на 0,37 стандартного отклонения по математике и на 0,23 стандартного отклонения по хинди менее чем за пять месяцев, с экстраполяцией примерно до 0,6 стандартного отклонения и 0,39 стандартного отклонения при полной посещаемости.

Carnegie Learning — от 1 до 2 независимых РКИ. РКИ, финансируемое Министерством образования, охватившее 147 школ в 7 штатах. Размер эффекта для старшей школы составил +0,04 по версии Evidence for ESSA.

DreamBox — около 2 независимых РКИ. Более старые или небольшие исследования. Независимость авторов не подтверждена.

Zearn — 1 независимое РКИ. Исследование RAND в 64 школах Техаса. Положительный, но статистически не значимый результат по государственному тесту.

IXL — 1 независимое РКИ. Исследование CRRE Университета Джонса Хопкинса в Мичигане. Прирост на 10 баллов по Star Math.

i-Ready — не выявлено. Большинство оценок носят квазиэкспериментальный характер или связаны с Curriculum Associates.

Из восьми упомянутых выше платформ Khan Academy, ASSISTments и Mindspark демонстрируют весьма примечательные результаты. Это реальные доказательства в области, где многие считают, что их нет. Это также показывает, к чему следует относиться скептически. Продукт, имеющий только квазиэкспериментальные исследования или исследования, проводимые самим поставщиком, еще не продемонстрировал причинно-следственного влияния, даже если маркетинг утверждает обратное.

Краткое примечание о размерах эффекта.

Такие цифры, как 0,08 или 0,20 стандартного отклонения, вне контекста могут показаться незначительными. В образовании это не так. Исследователь Мэтью Крафт проанализировал почти 2000 эффектов из 747 рандомизированных исследований и обнаружил средний эффект около 0,10 стандартного отклонения. Он предполагает, что для реальных образовательных вмешательств эффекты ниже 0,05 можно считать малыми, 0,05–0,20 — средними, а 0,20+ — большими.

Также полезно сравнить эти цифры с некоторыми из наиболее мощных методов вмешательства, которые у нас есть вне сферы EdTech. Интенсивное репетиторство, являющееся одним из самых мощных доступных методов, часто дает эффекты в диапазоне 0,15–0,35 стандартного отклонения, а иногда и выше. Знаковый эксперимент Теннесси по рандомизированному сокращению размеров классов, который предоставлял учащимся значительно больше внимания со стороны учителей в течение всего учебного дня, принес значительный прирост, как правило, в диапазоне 0,15–0,35 стандартного отклонения. А масштабные рандомизированные сравнения различных учебных программ по математике выявили различия порядка 0,1–0,17 стандартного отклонения.

Это ценные вмешательства, и я не предлагаю заменять их технологиями. Меньшие по размеру классы могут дать учителям больше возможностей узнать своих учеников и индивидуализировать обучение. Отличное репетиторство может преобразить процесс. А сильная базовая учебная программа имеет фундаментальное значение.

Но такое сравнение обеспечивает важный контекст. Мы должны думать не только о размере эффекта, но и о размере эффекта на единицу дефицитного образовательного ресурса.

Интенсивное репетиторство может требовать нескольких часов дополнительного обучения с участием человека каждую неделю и стоить тысячи долларов на ученика в год. Значительное сокращение размеров классов требует найма значительно большего числа учителей и меняет учебный процесс практически в течение всего дня. Замена базовой учебной программы затрагивает сотни часов обучения и может потребовать значительных расходов, профессионального развития, материалов и организационных изменений.

Образовательные технологии тоже не лишены проблем. Учителям требуется обучение, технология должна работать, продукт должен соответствовать учебному плану, а школы должны выработать правила, гарантирующие, что ученики действительно им пользуются. Более того, исследования, о которых я рассказываю ниже, показывают, что внедрение может быть одним из важнейших факторов, определяющих, работают ли эдтех-решения.

Но подумайте о масштабе дополнительных инвестиций. Некоторые из наиболее впечатляющих результатов применения образовательных технологий, упомянутых выше, получены благодаря дополнительным занятиям, занимающим примерно 30–60 минут в неделю на ученика, причем стоимость программного обеспечения обычно исчисляется десятками долларов на ученика в год, а не тысячами. Тем не менее при качественном внедрении мы наблюдаем результаты рандомизированных контрольных исследований в диапазоне 0,1–0,2 стандартного отклонения, а в некоторых исследованиях — значительно выше.

Это не прямые сравнения «один к одному», и мы не должны делать вид, что результат 0,2 из одного исследования напрямую заменяет 0,2 из другого. Выборки, методы оценивания, продолжительность, контрольные группы и условия внедрения различаются. Но когда вмешательство, требующее лишь доли дополнительного времени, персонала и денег, дает результаты в том же широком диапазоне, что и дорогостоящие подходы, стоящие тысячи долларов на ученика и занимающие часы учебного времени каждую неделю, руководители сферы образования должны отнестись к этому со всей серьезностью.

Продолжительность тоже имеет значение. Эффект в 0,20 стандартного отклонения через четыре месяца отличается от эффекта в 0,20 через несколько лет. Короткое вмешательство, дающее существенный прирост, может создать преимущество, которое сохраняется или потенциально увеличивается при продолжении эффективного использования, хотя мы не должны предполагать, что эффекты просто суммируются линейно.

В конечном счете вопрос не в том, должны ли школы выбирать технологии вместо уменьшения классов, отличных учителей, сильных учебных программ или репетиторства. Во многих случаях эти подходы дополняют друг друга. Вопрос заключается в следующем: учитывая ограниченность средств, учебного времени, возможностей учителей и организационного ресурса, какое сочетание проверенных методов обеспечивает максимальный прогресс в обучении учащихся?

Именно поэтому грамотно внедренный вспомогательный инструмент, дающий причинно-следственный эффект хотя бы в 0,10 или 0,15 стандартного отклонения, может иметь огромное значение.

На что следует обратить внимание перед внедрением любого решения:

• Было ли распределение случайным и на каком уровне: ученики, классы или школы?
• Кто разработал исследование, проводил его и принимал решение о публикации?
• Какова была контрольная группа? «Отсутствие технологий» и «существующий метод» отвечают на разные вопросы.
• Включал ли анализ учеников, которые мало пользовались продуктом?
• Насколько активно ученики действительно использовали продукт и какую поддержку оказывала школа?
• Был ли результат воспроизведен в других условиях?
• Готовы ли мой класс, школа или район внедрить решение добросовестно?

Я призываю каждого принимающего решения провести собственный поиск. Khan Academy занимает первое место в этом обзоре, поэтому я открыто рассказываю о том, как я проводил подсчеты.

Образовательные технологии могут помочь учащимся учиться. Правильные вопросы звучат так: для каких учеников, в каких школах, с какой поддержкой и по сравнению с чем? Мы сможем ответить на них только тогда, когда будем требовать проведения экспериментов, публиковать результаты независимо от того, хорошие они или плохие, и внимательно изучать дизайн исследований.

Внимательное изучение результатов Khan Academy.

Если вам интересно, вот несколько дополнительных нюансов о том, как я интерпретирую независимые рандомизированные контролируемые исследования Khan Academy:

• Эффект в Индии относится к поддержке внедрения. Контрольные школы также имели доступ к Khan Academy. Показатель 0,44–0,47 стандартного отклонения отражает ценность специализированного персонала, который следил за регулярной практикой учащихся, а не сравнение Khan Academy с ее полным отсутствием.
• В Сальвадоре Khan Academy тестировалась в сравнении с реалистичной альтернативой, а не с пустотой. Все три группы получили одинаковое дополнительное учебное время. В одной группе занятия по Khan Academy вел учитель, в другой — те же программы с непрофильным супервайзером, а в третьей — традиционные уроки под руководством учителя без программного обеспечения. Khan Academy превзошла традиционное преподавание в обоих вариантах в условиях, когда сами многие учителя обладали слабыми знаниями математического материала. Посещаемость дополнительных занятий составляла всего около 60 процентов, что, вероятно, удержало измеренный эффект ниже того уровня, который дала бы стопроцентная посещаемость.
• Показатель Теннесси в 0,06–0,08 является главным заголовком и измеряет использование Khanmigo внутри платформы Khan Academy, а не только базовые практические инструменты Khan Academy. Исследование, проведенное Филипом Ореопулосом (Университет Торонто) и Ниной Лоу (Charles River Associates), учитывает каждого ученика, назначенного в программу, независимо от того, пользовался он ею или нет. Сравнение проводилось с методами, которые школьный округ уже применял и которые в большинстве школ включали другие эдтех-продукты. Более четверти участников выборки имели статус специального образования, и все ученики отставали от школьной программы в рамках блока ежедневных занятий по математике. Это та категория учащихся, с которой эдтех-продуктам часто трудно добиться прогресса, что делает результат более значимым, а не наоборот.
• Показатель Теннесси в 0,14 — это результат для подгруппы. Он охватывает учеников, которые оставались в программе весь второй год. Около двух из пяти учащихся выбыли из программы досрочно, так как добились достаточных успехов для перехода на следующий уровень, и они все равно учитывались в основном анализе даже после ухода. Ранее я утверждал, что реальный эффект для вовлеченных учеников может быть занижен из-за такого расчета по подгруппам, поскольку выбывшие ученики как раз и демонстрировали наибольший прогресс, и мы не знаем, каких результатов они бы достигли, если бы остались. Это моя собственная интерпретация, а не доказанный данными факт, и я хочу сразу это уточнить.
• Летняя программа в Силиконовой долине показала сильный эффект при узком краткосрочном вмешательстве. 0,7 стандартного отклонения — большая цифра, но она отражает 19 дней интенсивного обучения, а не типичный учебный год. Большинство участников после этого все еще не были готовы к изучению алгебры I.
• Ситуация в Бразилии — это нулевой результат, связанный с конкретным внедрением, а не приговор самому инструменту. Это раннее рандомизированное оценивание, проведенное в течение 2017 учебного года Ферманом, Финамором и Лима, не выявило значимого общего влияния на успеваемость по математике. Вероятная причина: ученики делили устройства между собой без выделенных индивидуальных занятий. Школы с более качественным внедрением продемонстрировали рост; школы с худшим внедрением зафиксировали спад. Более поздний анализ участвовавших округов выявил измеримый эффект (0,08 стандартного отклонения) для учащихся с регулярной индивидуальной практикой. Урок заключается не в том, что «Khan Academy не сработала в Бразилии», а в том, что внедрения с совместным использованием устройств и низкой долей индивидуальной практики — это именно то, за чем нужно следить.