Согласно недавнему исследованию, опубликованному в журнале Nature Medicine, около 43% всех медицинских устройств с искусственным интеллектом (ИИ), одобренных Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), не имеют клинической валидации.
Исследователи из Школы медицины Университета Северной Каролины проанализировали 521 устройство с искусственным интеллектом, одобренное FDA с 1995 по 2022 год, и обнаружили, что 226 из них не содержат данных о тестировании на реальных данных пациентов.
Основная часть этих устройств была одобрена через упрощённый процесс 510(k), который не требует столь же строгих доказательств эффективности, как другие регуляторные пути. Однако исследователи считают, что отсутствие данных о клинической валидации может замедлить внедрение этих технологий. Автор исследования, Сэмми Чуффани Эль-Фасси, отметил, что даже небольшие изменения в алгоритме устройства могут существенно повлиять на его результаты после внедрения, что подчеркивает важность клинических испытаний.
Важность клинической валидации
Из 292 устройств, для которых были доступны данные о валидации, 144 устройства были протестированы ретроспективно, то есть до их клинического использования или на основе данных, собранных до исследования. Оставшиеся 148 устройств прошли проспективную валидацию — их тестировали в реальных клинических условиях. Из них только 22 устройства были протестированы с помощью рандомизированных контролируемых испытаний, что считается «золотым стандартом» для оценки медицинских технологий.
Чуффани Эль-Фасси отметил, что проспективные исследования позволяют лучше понять, как устройство работает в реальной клинической практике. Такие испытания помогают выявить необходимость доработки устройства, например, улучшения интерфейса пользователя для повышения его эффективности.
По мнению исследователей, проспективные исследования не всегда требуют значительных ресурсов. Например, врач может использовать устройство с ИИ в реальной практике и оценить его полезность для диагностики пациентов, что также будет считаться проспективным исследованием. Такие исследования играют ключевую роль в проверке безопасности и эффективности устройств с ИИ и позволяют лучше предсказать их результаты в реальных условиях.
