В Новгородском государственном университете имени Ярослава Мудрого разработали нейросетевые модели, способные распознавать рамки лица и ключевые биометрические точки на изображениях. Эти технологии станут частью перспективного устройства — айтрекера, которое позволит управлять компьютером с помощью взгляда. Разработка ориентирована на пользователей с ограниченными возможностями здоровья, сообщили в пресс-службе вуза.
Первая модель определяет границы лица, вторая — его ключевые точки, включая глаза, брови, нос и рот. Вместе они формируют связную систему, которая автоматически извлекает фрагмент с лицом с фотографии и анализирует его биометрию. Обучение велось на открытых датасетах, доработанных и дополненных вручную. Затем модели протестировали на закрытой выборке — точность рамки лица составила 87%, а отклонение при распознавании ключевых точек оказалось менее двух пикселей при размере изображения 96×96.
Разработкой занимаются специалисты университета Артём Алексеев и Валентин Баранов. В ближайшее время они приступят к созданию третьей модели, которая сможет предсказывать направление взгляда пользователя на экране. Готовый прототип программного обеспечения для айтрекера планируют представить в начале 2026 года.
По словам команды, в финальной системе будет использоваться три модели машинного обучения: для поиска лица, распознавания ключевых точек и анализа взгляда. Последнюю предстоит обучать на собственном датасете — подходящих открытых данных в настоящий момент не существует.
Разработка идёт в рамках более широкой инициативы: под руководством Игоря Кулакова в университете ранее уже создан прототип системы распознавания жестов рук и разрабатывается модуль для обработки голосовых команд. Все эти компоненты в будущем могут быть интегрированы в единое устройство, расширяющее возможности пользователей с ОВЗ.
Разработчики отмечают, что в области айтрекинга существует немало технических ограничений, и нынешние решения зачастую недостаточно точны. Однако, учитывая доступность современных инструментов машинного обучения, команда убеждена, что может добиться лучших результатов.
