Промпт — это то, как вы задаете вопрос, а анализ — это то, что вы получаете в ответ. Однако я бы перевернула это: промпт — это то место, где на самом деле принимается каждое аналитическое решение. ИИ выполняет решения, которые вы уже приняли, независимо от того, осознавали вы это или нет.
Промпт — это то кандидатов вопрос, а анализ — это то, что вы получаете в ответ. Однако я бы перевернула это: промпт — это то место, где на самом деле принимается каждое аналитическое решение. ИИ выполняет решения, которые вы уже приняли, независимо от того, осознавали вы это или нет.
Когда опрос вовлеченности завершается, у HR-команды часто остается несколько сотен комментариев в свободной форме и вопрос о том, к чему все это сводится. Обычный шаг — передать эту пачку ИИ и попросить выделить темы, после чего ИИ выдает набор категорий и количественных показателей, которые выглядят готовыми для демонстрации руководству. Эти показатели часто определяют, кого отправят на коучинг и какие политики будут пересмотрены. То, насколько точно они описывают реальные отзывы сотрудников, во многом зависит от того, как была сформулирована задача.
Вина Фредерик — старший консультант по эффективности в Ochsner Health, где она занимается созданием Центра компетенций по управлению эффективностью, охватывающего управление результативностью, выявление сотрудников с высоким потенциалом и планирование преемственности. До перехода в сферу здравоохранения США Фредерик создавала HR-инфраструктуру на нескольких рынках Карибского бассейна и в трех мультинациональных организациях. В ее послужном списке — сокращение дефицита кадров для преемственности с 35% до 20% по более чем 120 критически важным ролям. Она также руководила тематическим анализом крупномасштабных отзывов сотрудников в свободном формате с использованием ИИ, применив метод, который позволяет проследить каждый вывод до первоисточника.
«Промпт — это то, как вы задаете вопрос, а анализ — это то, что вы получаете в ответ. Однако я бы перевернула это: промпт — это то место, где на самом деле принимается каждое аналитическое решение. ИИ выполняет решения, которые вы уже приняли, независимо от того, осознавали вы это или нет», — говорит Фредерик. Она утверждает, что предварительная проработка промпта дает HR-команде более точное представление о том, о чем на самом деле говорят комментарии. Принятие решений о дальнейших действиях в конечном счете остается за командой.
Дюжина скрытых решений
Кейс, который приводит Фредерик, начинается с опроса, содержащего около 800 комментариев, и инструкции из семи слов: выявить комментарии, вызывающие озабоченность по поводу руководства. Под этим единственным предложением скрывается около дюжины отдельных решений о том, что именно считать поводом для беспокойства по поводу руководства. ИИ разрешит каждое из них самостоятельно и применит полученный ответ к каждому похожему комментарию, выдав в итоге единый показатель. «Это кажется одной инструкцией, хотя на самом деле речь идет примерно о дюжине решений. Вы просто приняли их все, даже не заметив», — отмечает Фредерик.
Фредерик приводит в пример комментарий, в котором выражается недовольство политикой, исполняемой собственным менеджером сотрудника, но не написанной им. Второй комментарий говорит о том, что менеджер справляется хорошо, и критикует процесс, установленный кем-то другим. Человек, читающий все 800 комментариев вручную, остановился бы на обоих случаях и вынес экспертное суждение, зафиксировав его, если работа выполняется должным образом. «ИИ сам решает, считать ли это поводом для беспокойства по поводу руководства. А затем он принимает такое же решение для каждого похожего комментария и никогда не сообщает вам, что вообще сделал это», — объясняет Фредерик.
Непредвиденные закономерности в результатах работы ИИ становятся все более частыми открытиями для HR-команд. Согласно отчетам BambooHRRedesigning Work: AI's Performance Review, 92% HR-специалистов занимаются пилотным внедрением ИИ-агентов или планируют их использование на протяжении всего жизненного цикла сотрудника. Кроме того, 33% заметили, что ИИ демонстрирует склонность к демографической предвзятости, а 36% отметили, что он отдает предпочтение резюме и сопроводительным письмам, составленным той же моделью. В каждом случае ИИ сам устанавливал стандарт, а результат поступал в виде вывода, за который HR приходится нести ответственность.
Сначала напишите кодекс
Фредерик создает «кодекс» (codebook) перед запуском промпта — одностраничный документ, в котором указаны категории для анализа и дано описание каждой из них простым языком. Присвоение комментарию определенной категории называется «кодированием», отсюда и название. Каждое решение в ходе анализа принимается на этой странице, еще до обращения к инструменту. «Кодекс — это, по сути, правило для сортировки комментариев, — говорит Фредерик. — Перед началом работы вы четко прописываете каждую категорию и ее значение, чтобы все комментарии сортировались одинаково».
Каждая категория в кодексе имеет название, определение длиной в одно-два предложения и примечание о том, что она исключает. Фредерик называет это примечание той частью, которую некоторые пропускают и которая выполняет основную работу, так как она не позволяет комментарию попасть в категорию, которой он соответствует лишь отчасти. Ниже добавляются два-three примера комментариев, причем она выбирает их осознанно. «Выбирайте сложный пример, который находится на самой границе, а не очевидный», — добавляет Фредерик.
Для пересекающихся категорий устанавливается отдельное правило, и Фредерик определяет его до начала любой сортировки. На написание всего документа у нее уходит около 20 минут. Отказ от этого документа лишает команду возможности проверить, сохранились ли границы категорий, поскольку определение, живущее только внутри промпта, означает ровно то, в каком смысле его понимает ИИ. «Если комментарий подходит под две темы, учитывается ли он в обеих или только в главной? — спрашивает Фредерик. — Решите это раз и навсегда в самом начале».
Борьба с дрейфом определений
Определение категории может оставаться стабильным в начале анализа, но охватывать чуть больше или меньше к его концу, особенно если речь идет о тысячах комментариев, с которыми работает Фредерик. Текст кодекса остается прежним, но принципы сортировки ИИ смещаются, проявляясь в том, что Фредерик называет «дрейфом определений». Одно из ее собственных определений изменилось три раза в ходе одного анализа, прежде чем она это заметила, а итоговый подсчет все равно выглядел устоявшимся. Она обнаружила это, проверив выборку комментариев вручную.
Чтение комментариев по одному не обязательно выявит изъян, поскольку каждый из них был отсортирован правильно в соответствии с определением на тот момент, когда ИИ до него добрался. Вместо этого Фредерик проверяет саму сортировку, сравнивая действия ИИ с первыми комментариями с тем, как он поступил с последними. Она также запускает второй инструмент ИИ для проверки своих промптов, но окончательное решение остается за ней. «Проверки примеров недостаточно, — отмечает Фредерик. — Вам также необходимо проверять категории, по которым вы распределяете все комментарии, и то, как вы эти категории определяете».
Согласно тому же отчету BambooHR, сотрудники тратят 36 минут в день на устранение ошибок ИИ и доработку промптов. Две привычки Фредерик занимают менее часа на весь анализ: двадцать минут уходит на составление определений и около получаса — на выборочную проверку соответствия результатов местам, куда ИИ их распределил. Она описывает эту предварительную работу как способ извлечь максимум пользы из времени, которое команда и так тратит. Неверный показатель наносит наибольший ущерб небольшой команде. «Это никогда не выбор между осторожностью и скоростью, особенно если у вас небольшая команда или вы работаете в одиночку, — заключает Фредерик. — Ваша репутация — это и есть вся ваша работа».
