В Москве представили научно обоснованный подход к оценке точности медицинских алгоритмов на базе искусственного интеллекта. Разработанная Центром диагностики и телемедицины Департамента здравоохранения Москвы методика позволяет объективно и оперативно тестировать ИИ-системы, применяемые в здравоохранении, и уже показала свою эффективность в области лучевой диагностики, сообщает портал Mos.ru.
Как отмечается, подход может быть адаптирован и для других задач, где ИИ работает по принципу бинарной классификации — например, при выявлении патологий по принципу «обнаружено/не обнаружено».
Суть методики заключается в расчетном определении минимального объема выборки для тестирования ИИ-моделей. Как показали результаты анализа более двух миллионов вариантов тестов и 25 тысяч медицинских изображений, для получения стабильных и достоверных результатов достаточно выборки из 400 исследований, при этом не менее 10% должны составлять случаи с выявленной патологией. Дальнейшее расширение выборки не приводит к увеличению точности оценки, что позволяет существенно сократить ресурсы на тестирование и ускорить адаптацию новых решений.
Методика была представлена главным внештатным специалистом-рентгенологом Москвы Юрием Васильевым, который подчеркнул, что Москва сохраняет лидерство в сфере применения ИИ в медицине. По его словам, новые научные данные позволят сократить путь от лабораторных разработок до практического внедрения цифровых решений, обеспечив их клиническую надежность и безопасность.
Исследование стало победителем конкурса AI Journey и уже получило положительную рецензию Российской академии наук. Универсальность предложенного подхода делает его применимым как для разработчиков ИИ-сервисов, так и для врачей, планирующих использовать новые инструменты в повседневной практике.
Методика соответствует задачам цифровизации столичного здравоохранения, обозначенным в стратегии развития медицины Москвы до 2030 года, и дополняет ранее созданные протоколы комплексной оценки зрелости и качества ИИ-алгоритмов, разрабатываемые Центром с 2020 года в рамках крупнейшего в мире проспективного исследования в области медицинского компьютерного зрения.
