Аудит выявил, что AI Scribe в Онтарио системно искажают записи и пропускают важные детали

Аудит Office of the Auditor General of Ontario показал, что из 20 проверенных одобренных решений 60% вставляли неверную информацию о препаратах; в целом системы регулярно добавляли ложные сведения и упускали ключевые симптомы.

Office of the Auditor General of Ontario установил, что одобренные для использования в провинциальной программе системы «AI Scribe» регулярно вставляют неверные данные, «галлюцинируют» факты и пропускают важные клинические детали — риск, который становится критичным при участии в программе более 5 000 врачей Онтарио. Это может привести к попаданию ошибок ИИ в рабочую медицинскую документацию без формального механизма ответственности. Аудит охватил 20 поставщиков, выбранных в рамках закупочной процедуры, запущенной Ontario Ministry of Health для врачей, медсестёр‑практиков и других специалистов здравоохранения. Оценка проводилась через смоделированные врач — пациент беседы: эксперты проигрывали аудиозаписи, после чего медицинские профессионалы сверяли оригинальные записи с заметками, сгенерированными ИИ; в процессе участвовала организация OntarioMD, помогающая клиникам при внедрении технологий.

Числовые итоги аудита показывают масштаб проблем: 9 из 20 систем «фиктивировали» сведения и предлагали варианты лечения, не обсуждавшиеся в записях; 12 из 20 (60%) вставляли неверную информацию о назначаемых препаратах; 17 из 20 упускали ключевые детали, связанные с психическими проблемами пациентов, причём в шести системах такие проблемы были пропущены полностью или частично. В отчёте приведены примеры опасных ошибок — например, заявление о «необнаруженных массах» или о «тревожности пациента», которых не было в исходных беседах.

Аудиторы также критически оценили методику ранжирования поставщиков при закупке: за наличие местного представительства в Онтарио давалось 30% итогового балла, тогда как точность медицинских заметок учитывалась лишь на 4%. Контроли смещения оценивались в 2%, оценка угроз, рисков и конфиденциальности — в 2%, а наличие соответствия SOC 2 Type 2 добавляло ещё 4 процентных пункта. Аудиторы предупреждают, что такие «неадекватные весовые коэффициенты» могут привести к выбору решений, которые генерируют неточные либо предвзятые записи или недостаточно защищают личные данные.

Практические выводы отчёта просты и тревожны: OntarioMD рекомендует врачам вручную сверять заметки, но ни одна из одобренных систем не содержит обязательной функции подтверждения (attestation) точности записей. Представитель Министерства здравоохранения сообщил СМИ, что в программе AI Scribe участвуют более 5 000 врачей Онтарио и на текущий момент не зафиксировано сообщений о вреде пациентам; запрос по замечаниям аудита в министерство не получил немедленного ответа.