Фундаментальные модели искусственного интеллекта, способные обрабатывать и генерировать мультимодальные данные, становятся неотъемлемой частью современной медицины. Однако новое исследование, опубликованное на платформе medRxiv, выявило одно из самых серьёзных ограничений таких систем — склонность к так называемым «галлюцинациям», когда ИИ генерирует неточную или вымышленную информацию. Такие ошибки могут повлиять на клинические решения и поставить под угрозу безопасность пациентов.
Что такое «медицинская галлюцинация»?
Исследователи определили медицинскую галлюцинацию как любой случай, когда модель выдаёт вводящее в заблуждение медицинское содержание. Целью работы стало изучение природы, причин и последствий подобных ошибок, особенно в контексте реальных клинических сценариев.
Авторы предложили таксономию медицинских галлюцинаций, протестировали большие языковые модели (LLM) на специально собранном датасете, а также провели аннотированный врачами анализ ответов ИИ на реальные кейсы. Дополнительно был организован международный опрос среди клиницистов, чтобы выяснить, как часто и в каком виде специалисты сталкиваются с подобными ошибками на практике.
Результаты показали, что использование таких методов, как цепочка размышлений (chain-of-thought) и усиленная генерация с использованием поисковых механизмов (search-augmented generation), может снижать частоту галлюцинаций, но полностью устранить их не удаётся.
Этические и практические вызовы
Авторы подчёркивают, что проблема медицинских галлюцинаций выходит за рамки сугубо технической. Она требует срочной выработки стратегий по обнаружению и снижению риска, а также создания чётких регуляторных рамок, ориентированных на безопасность пациентов и сохранение клинической надёжности.
Клиницисты, участвовавшие в исследовании, настаивают на важности не только технологического прогресса, но и внедрения этических и правовых норм. По их мнению, безопасная и ответственная интеграция ИИ в здравоохранение возможна лишь при наличии понятных правил и механизмов контроля.
Исследователи заключили, что для надёжного применения ИИ в медицине необходимы междисциплинарное сотрудничество, устойчивые и воспроизводимые системы валидации, а также приоритет прозрачности алгоритмов. Только так ИИ сможет стать реальным союзником врача в улучшении качества медицинской помощи.
Практические решения и индустриальные инициативы
На конференции HIMSS TV генеральный директор Medicomp Systems Дэвид Ларо отметил, что, по их данным, лишь 8–10% информации, собранной ИИ в сложных клинических взаимодействиях, можно считать корректной. Он подчеркнул необходимость создания систем, которые автоматически помечают сомнительные фрагменты для последующей проверки врачом.
Лишь 8–10% информации, собранной ИИ в сложных клинических взаимодействиях, можно считать корректной
В этом контексте интерес представляет партнёрство Американского онкологического общества (ACS) с AI-компанией Layer Health. Их совместная платформа будет извлекать клинические данные из тысяч медицинских карт участников масштабного исследования Cancer Prevention Study-3. При этом особое внимание уделяется прозрачности и доказательности: система разработана специально для применения в здравоохранении и построена таким образом, чтобы минимизировать риск генерации недостоверных данных.
Потенциал ИИ в медицине огромен, но его реализация требует не только технологических достижений, но и ответственного подхода. Проблема галлюцинаций указывает на необходимость чётких рамок, постоянной валидации и контроля качества. Пока искусственный интеллект не способен заменить клиническое мышление человека, но может стать его ценным помощником — при условии прозрачности, надёжности и совместной работы специалистов из разных областей.
