Исследователи из Icahn School of Medicine при Mount Sinai (США) опубликовали в Nature Medicine результаты крупнейшего на сегодня анализа работы генеративного ИИ в медицине. Работа показала, что большие языковые модели (LLM) склонны к социально-демографическим перекосам в рекомендациях, даже если клинические симптомы пациентов идентичны.
Анализ охватил поведение девяти популярных ИИ-моделей на базе 1 000 клинических сценариев из отделений неотложной помощи. Каждый кейс был представлен в 32 вариантах — с разными комбинациями расы, пола, возраста, дохода, страхового статуса и других характеристик. В итоге исследователи проанализировали более 1,7 млн сгенерированных рекомендаций.
Искусственная предвзятость
Авторы выявили статистически значимые расхождения в подходах к лечению. Пациентам с более высоким доходом ИИ чаще рекомендовал дорогостоящие обследования (КТ, МРТ), тогда как людям с низким доходом предлагались более ограниченные опции или отказ от дополнительных исследований. Перекосы также отмечались в рекомендациях по психиатрическим консультациям, где выбор ИИ зависел от пола и расы пациента, а не от клинической картины.
Нарушения были выявлены в ключевых зонах клинического принятия решений:
- приоритизация пациентов;
- назначение диагностических тестов;
- выбор схем лечения;
- оценка психического здоровья.
По словам доктора Эйяла Кланга, руководителя отдела генеративного ИИ в Mount Sinai, результаты подчеркивают необходимость внедрения чётких методик верификации ИИ в здравоохранении. Исследование создаёт основу для систематического выявления и устранения алгоритмической предвзятости в клинической практике.
Курс на прозрачность и справедливость
Следующим шагом команда Mount Sinai называет разработку подходов к AI Assurance — стандартизированной системе оценки надежности и справедливости ИИ в медицине. В фокусе — стресс-тестирование моделей на разнообразных профилях пациентов, разработка клинических верификационных протоколов и участие в формировании глобальных этических стандартов.
Доктор Гириш Надкарни, глава департамента ИИ и цифрового здравоохранения в Mount Sinai, подчёркивает: ИИ может трансформировать здравоохранение, но только при условии, что его алгоритмы проходят строгий контроль качества и соответствуют принципам медицинской справедливости.
ИИ-системы всё активнее внедряются в диагностику, принятие решений и распределение ресурсов в медицине. Но без должного тестирования они могут неосознанно усиливать социальное неравенство. Работа Mount Sinai подчеркивает необходимость разработки этических и регуляторных рамок для медицинского ИИ, а также создания независимых структур оценки рисков и качества таких технологий.
