Почему наблюдаемость больше не является «приятным дополнением», а служит основой для ответственного использования ИИ в здравоохранении.
Неудобная правда, которую руководители сферы здравоохранения начинают признавать
Зайдите в любую крупную систему здравоохранения сегодня, и вы столкнетесь с одной и той же парадоксальной ситуацией: возможности искусственного интеллекта (ИИ) внедряются в электронные медицинские карты (ЭМК), Microsoft 365, Workday, ServiceNow и растущий список сопутствующих приложений и исследовательских платформ. Тем не менее, практически ни один директор по информационной безопасности не может с уверенностью ответить на три важнейших вопроса:
- Что на самом деле делает каждый агент ИИ на моем предприятии прямо сейчас?
- Могу ли я доказать — регулятору, совету директоров или скорбящей семье — точную причину принятия этого решения?
- Если он начинает отклоняться от нормы, галлюцинировать или незаметно деградировать, как быстро я об этом узнаю?
Если эти вопросы вызывают у вас дискомфорт, так и должно быть. Потому что эпоха «изолированных ИИ-ассистентов» подходит к концу, а эпоха распределенного агентского ИИ, работающего в клинической, административной и исследовательской сферах, уже наступила. Передовые организации начали называть это своими именами: проблема корпоративной панели управления ИИ (Enterprise AI Control Plane). И в центре любой заслуживающей доверия панели управления находится одна возможность, в которую большинство систем здравоохранения инвестировали явно недостаточно, — это наблюдаемость.
Новый характер рисков: от одной модели для пилотных проектов до оркестровки агентов в рабочей среде
Здравоохранение переходит от мира автономных ИИ-ассистентов к более широкой экосистеме платформенных и управляемых на уровне предприятия ИИ-агентов, охватывающих клинические, операционные, административные и исследовательские рабочие процессы. Epic внедряет собственных агентов. Microsoft внедряет Copilots. Workday и ServiceNow стремятся сделать то же самое. Каждый вендор внедряет инновации в рамках собственной изолированной среды, и каждая такая среда принимает решения, которые затрагивают пациентов, претензии по оплате, расписания и защищенную медицинскую информацию (PHI).
Это создает реальный пробел в управлении, который ни один отдельный вендор не может устранить самостоятельно. Без общего уровня наблюдаемости, соединяющего эти изолированные среды, возможности ИИ распространяются независимо друг от друга на разных платформах, что приводит к фрагментации рабочих процессов, несогласованности средств контроля и растущим рискам. Риск в здравоохранении — это не невыполнение квартального плана доходов. Это неправильно направленное направление к специалисту. Пропущенный признак сепсиса. Отказ в страховой выплате, нарушающий законы о паритете. Исследовательский набор данных, загрязненный из-за дрейфа модели. Радиус поражения измеряется человеческими жизнями.
Примечание: В закрытых медицинских платформах видимость может быть ограничена телеметрией, API, записями аудита и событиями, предоставляемыми самой платформой.
Примечание: В закрытых медицинских платформах видимость может быть ограничена телеметрией, API, записями аудита и событиями, предоставляемыми самой платформой.
Наблюдемость обеспечивает управление, но сама по себе им не является
Я хочу быть точен в этом вопросе, так как это различие имеет принципиальное значение. Наблюдемость сама по себе ничего не регулирует. Она предоставляет данные и контекст, от которых зависит управление. Нельзя обеспечить соблюдение политики, которую вы не видите. Вы не можете передать вопрос человеку, если не знаете, отклоняется ли агент от нормы. Вы не можете вывести модель из эксплуатации, если у вас нет телеметрии ее поведения.
Для меня, бывшего директора по информационной безопасности в сфере здравоохранения, эта концепция не является теоретической. Один из наших клиентов из сферы здравоохранения опубликовал стратегическую точку зрения, описывающую девять возможностей корпоративной панели управления ИИ: маршрутизация намерений, координация политик, делегирование идентичности, наблюдаемость, реестр агентов, эскалация на человека, защитные барьеры, управление моделями и устойчивость. Наблюдемость — это то, что делает возможными остальные восемь: она фокусируется на действиях агентов, результатах рабочих процессов, системных изменениях, вмешательствах человека и событиях соответствия требованиям, создавая единый уровень аудита и мониторинга во всем предприятии. Этот уровень подпитывает управление. Он не заменяет его. Управление по-прежнему требует политик, подотчетности и человеческого суждения. Наблюдемость лишь гарантирует, что эти решения принимаются на основе фактов, а не догадок.
Это глубокое переосмысление концепции. Наблюдемость в эпоху ИИ — это не забота DevOps. Это доказательная база, на которой строятся клиническая безопасность, регуляторная защита и доверие совета директоров.
Наблюдемость в течение всего жизненного цикла ИИ: три момента, которые решают все
1. Разработка: обнаружить дрейф до выпуска в производство
Прежде чем агент коснется рабочего процесса пациента, ваша команда должна обладать достоверной видимостью того, как он ведет себя под нагрузкой, на репрезентативных данных и для разных версий моделей. Это означает отслеживание каждого промпта, каждого вызова модели, каждого токена, каждой зависимости — а не только точности на основе бенчмарков. В здравоохранении фраза «это работает в демо-версии» является самой опасной фразой в организации.
2. Развертывание: сквозная видимость от агента до ЭМК
Именно здесь многие системы здравоохранения теряют видимость. Размещение Dynatrace OneAgent для приема логов из Epic может вызвать FHIR API, который обращается к интерфейсу HL7, который запускает нисходящий ETL, который записывает данные в SIEM. На скорости работы агента ни один человек не сможет уследить за происходящим, и в этом вся суть. Как можно работать без наблюдаемости?
Если какое-то звено в этой цепи ломается — или, что еще хуже, незаметно деградирует, — страдают как пациентский опыт, так и контрольный след (аудит).
Способна ли ваша текущая среда принимать телеметрию ЭМК, SIEM/журналы аудита, клиническую активность, ответы FHIR/Interconnect API, активность MyChart и статус заданий ETL, а также сопоставлять их с сетью, уровнем доставки и 200–400 приложениями, подключенными к Epic?
Любая стратегия наблюдаемости, включающая взаимодействие с пациентами, также должна соответствовать требованиям HIPAA, политикам конфиденциальности организации, соглашениям с бизнес-партнерами (BAA) и принципам минимально необходимого доступа.
При правильной реализации это дает единое представление об объеме логов в реальном времени по SIEM, клиническим данным, FHIR, HL7, MyChart и рабочим процессам ETL; распределении конечных точек FHIR; событиях безопасности, таких как попытки экстренного доступа (break-the-glass); а также задержках по каждому запросу на назначение лекарств (Medication Request) и диагностическому отчету (Diagnostic Report). Это обеспечивает критически важную оперативную видимость систем, окружающих рабочие процессы на базе ИИ. Сама по себе она не объясняет логику модели, поведение промптов или дрейф, но предоставляет инфраструктурный контекст, необходимый для исследования и управления поведением ИИ.
3. Непрерывное управление: аудируемость, привязка к результатам, готовность для совета директоров
Управление — это не документ с политиками. И это не заседание комитета раз в месяц. Это живая, доступная для запросов система записей. Данные наблюдаемости могут связать активность ИИ — токены, выбор модели, действия агентов — с бизнес-контекстом, затратами на токенами и измеримыми результатами, делая развертывания проверяемыми, помогая командам сравнивать эффективность моделей и демонстрировать, что инициативы в области ИИ приносят реальную пользу бизнесу. Это мост от ИТ-телеметрии к подотчетности руководства, отвечающий ожиданиям директора по информационной безопасности.
Этот мост будет иметь все большее, а не меньшее значение. Юристы и специалисты по комплаенсу все чаще указывают на документирование и поддержку принятия решений с использованием ИИ как на потенциальные зоны риска по Закону о ложных исках (FCA), особенно в тех случаях, когда организации не могут объяснить или подтвердить вклад ИИ в формирование претензии. Министерство юстиции США (DOJ) продолжает уделять первоочередное внимание борьбе с мошенничеством в сфере здравоохранения в рамках Закона о ложных исках, в то время как эксперты по правовым и регуляторным вопросам все чаще называют создаваемую ИИ документацию, кодирование, управление использованием ресурсов и рабочие процессы поддержки принятия решений потенциальными областями проверок в тех случаях, когда организации не могут объяснить или подтвердить, как принимались решения. ¹ ²
В то же время в декабре 2024 года Управление по гражданским правам Министерства здравоохранения и социальных служб США (HHS) предложило существенные обновления Правила безопасности HIPAA. Предлагаемое правило ужесточит требования, касающиеся инвентаризации технологических активов, анализа рисков, мониторинга системной активности, документации и средств кибербезопасности для регулируемых организаций здравоохранения. ³ ⁴
Штаты также действуют независимо. Несколько штатов приняли законы, ограничивающие использование ИИ в качестве единственного основания для принятия решений о медицинском покрытии или экспертизе целесообразности медицинской помощи, и требующие реального контроля со стороны человека, проверки врачом, прозрачности или раскрытия информации, когда ИИ влияет на решение об уходе за пациентом или покрытии расходов. ⁵ ⁶
Системы здравоохранения, способные предоставлять доказательства по первому требованию — не презентации, а защитимые доказательства, — окажутся в наилучшем положении для удовлетворения требований регуляторов, аудиторов, советов директоров, клиницистов и пациентов.
Стратегический поворот: от наблюдения за инфраструктурой к наблюдению за намерениями
Вот сдвиг, который должен осознать каждый директор по информационным технологиям в здравоохранении. Традиционная наблюдаемость заключалась в том, исправна ли система. Наблюдаемость в эпоху ИИ заключается в том, является ли решение обоснованным. Это означает соотнесение четырех уровней в реальном времени.
Если эти четыре уровня образуют замкнутый контур, где телеметрия в реальном времени управляет автоматизированным устранением неполадок и непрерывной оптимизацией, вы получаете управление ИИ. Если нет, вы получаете надежду на ИИ.
Вызов моим коллегам — лидерам в области медицинских технологий
Если вы являетесь ИТ-директором, техническим директором или директором по искусственному интеллекту в системе здравоохранения прямо сейчас, я бы задал себе эти три вопроса перед следующим рулевым комитетом по ИИ:
- Могу ли я предоставить полный аудиторский след с временными метками для каждого решения агента ИИ, принятого на уровне предприятия за последние 24 часа? Если нет, то чем именно вы управляете?
- Когда встроенный в ЭМК агент общается с корпоративным вторым пилотом (copilot), который общается с агентом ServiceNow — кто несет ответственность за сбой? Если ответ «мы разберемся», у вас нет плоскости управления — у вас есть совпадение.
- Является ли ваша стратегия наблюдаемости строкой бюджета в разделе «DevOps» или это подотчетная совету директоров возможность в разделе «Риски и комплаенс ИИ»? Этот единственный вопрос об организационной структуре говорит мне о том, переживет ли ваша программа ИИ свой первый серьезный инцидент.
- Можете ли вы доказать, что ваши системы ИИ приносят измеримую пользу пациентам, клиницистам, исследователям или операционным командам? Если нет, вы измеряете активность, а не результаты.
Суть дела
Медицинские организации, которые выиграют следующее десятилетие, будут не теми, у кого больше всего агентов ИИ. Это будут те, кто может видеть, контролировать и защищать каждое решение, принимаемое этими агентами. У этой категории есть название — Корпоративная плоскость управления ИИ (Enterprise AI Control Plane), и наблюдаемость — это фундамент, на котором она построена, а не второстепенная мысль, добавленная позже.
Я знаю, на какую сторону этой ставки встану я.
FAQ: Когда в отделении интенсивной терапии у алгоритма случаются галлюцинации, кто за этим следит? В1. Разве наблюдаемость (observability) — это не просто другое название управления ИИ (AI governance)? Нет — Наблюемость предоставляет доказательства и контекст, от которых зависит управление. Она не принуждает к соблюдению политик, не назначает ответственность и не принимает решения самостоятельно. Наблюемость является одной из девяти возможностей корпоративной панели управления ИИ Enterprise AI Control Plane (наряду с маршрутизацией намерений, координацией политик, делегированием идентификации, реестром агентов, эскалацией на человека, защитными барьерами, управлением моделями и отказоустойчивостью) — и именно она делает остальные восемь возможностей осуществимыми, создавая единый уровень аудита и мониторинга для действий агентов, результатов рабочих процессов, системных изменений, вмешательств человека и событий соответствия требованиям. Управление по-прежнему требует политик, ответственности и человеческого суждения; наблюдаемость лишь гарантирует, что эти решения принимаются на основе фактов, а не догадок. В2. Что должна фиксировать наблюдаемость эпохи ИИ в системе здравоохранения? Она должна выходить далеко за рамки отдельного агента или модели. В рабочей среде агент может вызывать API FHIR, который обращается к интерфейсу HL7, что запускает нисходящий ETL-процесс, который выполняет запись в SIEM — и любой незаметный сбой в этой цепочке влияет как на опыт пациента, так и на контрольный журнал (audit trail). При правильной реализации наблюдаемость соотносит сигналы телеметрии ЭМК (EHR), журналы аудита, клинические рабочие процессы, активность API, ориентированные на пациента системы и интеграционные службы. В условиях здравоохранения эта прозрачность должна быть сбалансирована с требованиями конфиденциальности, безопасности и минимально необходимого доступа, регулирующими защищенную медицинскую информацию. В3. В публикации говорится о четырех уровнях — «Намерение», «Модель», «Инфраструктура», «Результат». Почему эта концепция важна? Традиционная наблюдаемость задавала вопрос, здорова ли система. Наблюемость эпохи ИИ задает вопрос, является ли решение обоснованным, а для этого требуется соотнесение всех четырех уровней в реальном времени, а не только инфраструктурных метрик. Намерение: Понял ли агент, о чем его на самом деле просят (промпт пользователя или системы, контекст рабочего процесса)? Модель: Используется ли правильная модель и происходит ли ее дрейф (использование токенов, версия модели, промпт/ответ, задержка)? Инфраструктура: Достаточно ли надежна инфраструктура для клинического рабочего процесса (вычислительные ресурсы, сеть, зависимости, конечные точки FHIR/HL7)? Результат: Помог ли агент, навредил ли он или его решение было отменено (бизнес-результат, показатель отмен, событие соответствия)? Если эти четыре уровня питают замкнутый контур, где телеметрия в реальном времени управляет автоматизированным устранением неполадок и непрерывной оптимизацией, организация получает полноценное управление ИИ. В4. Почему это становится вопросом регулирования, а не только ИТ или клинической безопасности? Поскольку требования к доказательствам «задним числом» растут одновременно по трем направлениям. Federal enforcement agencies have flagged that AI use in healthcare creates new False Claims Act exposure для документирования, обработки претензий и решений по уходу, которые невозможно объяснить задним числом. Ожидается, что давно готовящаяся модернизация правила безопасности HIPAA (HIPAA Security Rule) от HHS превратит описи активов, анализ рисков с учетом ИИ и ведение журналов аудита в четкие требования, а не в «рекомендуемые к рассмотрению» предложения. И в-третьих, все большее число штатов (и стран) не ждут действий от федерального (национального) правительства. Некоторые штаты теперь требуют наличия лицензированного человека в контуре принятия решений и обязательного раскрытия информации всякий раз, когда ИИ затрагивает вопросы покрытия или ухода. Системы здравоохранения, способные предоставлять доказательства по первому требованию, смогут успешно преодолеть все три барьера. В5. Какие вопросы следует задать медицинскому директору по информационной безопасности (CIO), техническому директору (CTO) или директору по искусственному интеллекту (Chief AI Officer) перед следующим заседанием руководящего комитета по ИИ? В публикации сформулированы три диагностических вопроса, которые одновременно служат исходным контрольным списком для любой организации, оценивающей собственную готовность: Можете ли вы предоставить полный журнал аудита с временными метками для каждого решения ИИ-агента, принятого на уровне предприятия за последние 24 часа? Если нет, то чем именно вы управляете? Когда агент, встроенный в ЭМК, взаимодействует с корпоративным вторым пилотом (copilot), который общается с агентом ServiceNow, кто несет ответственность за режим отказа? Фраза «Мы разберемся с этим позже» означает, что у вас есть случайное стечение обстоятельств, а не панель управления. Является ли ваша стратегия наблюдаемости строкой бюджета в разделе «DevOps» или это подотчетная совету директоров возможность в категории «Риски и соответствие ИИ»? Этот единственный вопрос из организационной схемы показывает, переживет ли ваша ИИ-программа свой первый серьезный инцидент.
В1. Разве наблюдаемость (observability) — это не просто другое название управления ИИ (AI governance)?
Нет — Наблюемость предоставляет доказательства и контекст, от которых зависит управление. Она не принуждает к соблюдению политик, не назначает ответственность и не принимает решения самостоятельно. Наблюемость является одной из девяти возможностей корпоративной панели управления ИИ Enterprise AI Control Plane (наряду с маршрутизацией намерений, координацией политик, делегированием идентификации, реестром агентов, эскалацией на человека, защитными барьерами, управлением моделями и отказоустойчивостью) — и именно она делает остальные восемь возможностей осуществимыми, создавая единый уровень аудита и мониторинга для действий агентов, результатов рабочих процессов, системных изменений, вмешательств человека и событий соответствия требованиям. Управление по-прежнему требует политик, ответственности и человеческого суждения; наблюдаемость лишь гарантирует, что эти решения принимаются на основе фактов, а не догадок.
В2. Что должна фиксировать наблюдаемость эпохи ИИ в системе здравоохранения?
Она должна выходить далеко за рамки отдельного агента или модели. В рабочей среде агент может вызывать API FHIR, который обращается к интерфейсу HL7, что запускает нисходящий ETL-процесс, который выполняет запись в SIEM — и любой незаметный сбой в этой цепочке влияет как на опыт пациента, так и на контрольный журнал (audit trail). При правильной реализации наблюдаемость соотносит сигналы телеметрии ЭМК (EHR), журналы аудита, клинические рабочие процессы, активность API, ориентированные на пациента системы и интеграционные службы. В условиях здравоохранения эта прозрачность должна быть сбалансирована с требованиями конфиденциальности, безопасности и минимально необходимого доступа, регулирующими защищенную медицинскую информацию.
В3. В публикации говорится о четырех уровнях — «Намерение», «Модель», «Инфраструктура», «Результат». Почему эта концепция важна?
Традиционная наблюдаемость задавала вопрос, здорова ли система. Наблюемость эпохи ИИ задает вопрос, является ли решение обоснованным, а для этого требуется соотнесение всех четырех уровней в реальном времени, а не только инфраструктурных метрик.
- Намерение: Понял ли агент, о чем его на самом деле просят (промпт пользователя или системы, контекст рабочего процесса)?
- Модель: Используется ли правильная модель и происходит ли ее дрейф (использование токенов, версия модели, промпт/ответ, задержка)?
- Инфраструктура: Достаточно ли надежна инфраструктура для клинического рабочего процесса (вычислительные ресурсы, сеть, зависимости, конечные точки FHIR/HL7)?
- Результат: Помог ли агент, навредил ли он или его решение было отменено (бизнес-результат, показатель отмен, событие соответствия)?
Если эти четыре уровня питают замкнутый контур, где телеметрия в реальном времени управляет автоматизированным устранением неполадок и непрерывной оптимизацией, организация получает полноценное управление ИИ.
В4. Почему это становится вопросом регулирования, а не только ИТ или клинической безопасности?
Поскольку планка требований «докажи постфактум» повышается сразу по трем направлениям. для документирования, обработки претензий и решений по уходу, которые невозможно объяснить задним числом. Ожидается, что давно готовящаяся модернизация Правила безопасности HIPAA (HIPAA Security Rule) от HHS превратит инвентаризацию активов, анализ рисков с учетом ИИ и ведение журналов аудита в прямые требования, а не в «рекомендации с возможностью выполнения». В-третьих, все больше штатов (и стран) не ждут действий от федерального (национального) правительства. Некоторые штаты теперь требуют участия лицензированного человека и обязательного раскрытия информации всякий раз, когда ИИ затрагивает решение о покрытии расходов или медицинском обслуживании. Системы здравоохранения, способные предоставлять доказательства по первому требованию, смогут преодолеть все три препятствия.
Q5. Какие вопросы должны задавать ИТ-директор (CIO), технический директор (CTO) или директор по искусственному интеллекту (Chief AI Officer) здравоохранения перед следующим заседанием руководящего комитета по ИИ?
- В публикации сформулированы три диагностических вопроса, которые одновременно служат базовым контрольным списком для любой организации, оценивающей собственную готовность:
- Можете ли вы предоставить полный, с отметками времени аудиторский след каждого решения ИИ-агента, принятого на уровне предприятия за последние 24 часа? Если нет, то чем именно вы управляете?
- Когда агент, встроенный в EHR, общается с корпоративным вторым пилотом (copilot), который в свою очередь общается с агентом ServiceNow — кто несет ответственность за сбой? Ответ «мы разберемся» означает, что у вас есть стечение обстоятельств, а не система контроля.
- Является ли ваша стратегия наблюдаемости (observability) строкой бюджета в графе «DevOps» или же это отчитывающаяся перед советом директоров возможность в графе «Риски и комплаенс ИИ»? Этот единственный вопрос об организационной структуре сигнализирует о том, переживет ли ваша ИИ-программа свой первый серьезный инцидент.
1. Министерство юстиции США. Судебные иски и мировые соглашения по Закону о ложных исках (False Claims Act) превысили 2,9 млрд долларов в 2024 финансовом году (15 января 2025 г.). [justice.gov]
2. Mintz. Искусственный интеллект и правоприменение по Закону о ложных исках (февраль 2024 г.). Анализ надзора за ИИ в здравоохранении, обработки претензий, кодирования и рисков проверки человеком в рамках существующих нормативных баз FCA. [mintz.com]
3. Министерство здравоохранения и социальных служб США (HHS), Управление по гражданским правам. Уведомление о предлагаемом нормотворчестве в отношении Правила безопасности HIPAA (27 декабря 2024 г.). [hhs.gov], [federalregister.gov]
4. Резюме предлагаемого правила HHS OCR. Требования включают инвентаризацию технологических активов, анализ рисков, документацию по безопасности и расширенные элементы контроля мониторинга. [assets.ctfassets.net], [coephi.org]
