Исследователи Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) и СПбГУ обучили нейросеть автоматически выявлять функциональные состояния (бодрость/утомление) по стратегии движений глаз человека. Созданное решение найдёт применение в системах контроля действий операторов транспорта, тяжёлой техники, а также объектов промышленной и критической инфраструктуры. Результаты исследования опубликованы в научном журнале Sensors.

Сегодня большое количество объектов транспортной, промышленной и оборонной инфраструктуры контролируется и функционирует при помощи операторов, водителей или единых информационных центров с целой командой специалистов. Для обеспечения безопасности на объектах требуется отслеживать их психофизиологическое состояние.

«Для решения этой задачи мы обучили нейросеть по движению глаз человека определять состояние оператора транспорта и любой другой техники — бодр он или утомлён. Данные для обучения нейростети были собраны при помощи айтрекера — устройства, которое определяет направление взгляда человека. В перспективе наше решение может быть интегрировано в системы, которые контролируют действия операторов различной техники и критической инфраструктуры», — рассказал старший научный сотрудник лаборатории интегрированных систем автоматизации СПб ФИЦ РАН Алексей Кашевник.

Нейросети обучались по показателям стратегий глазных движений, характерных для состояний отсутствия и наличия утомления. Выбор показателей был основан на результатах собственных исследований научной команды восприятия и анализа информации при различных функциональных состояниях.

В рамках работы над проектом исследовательская группа создала обширную базу данных, включающую стратегии глазных движений операторов компьютера, которые выполняли различные задачи (читали, писали, работали за компьютером) в течение рабочего дня. Положения глаз фиксировались при помощи закреплённого на голове айтрекера.

«Важно отметить, что для обучения нейронной сети использованы наборы данных, полученных при выполнении широкого круга задач: чтение, зрительный поиск, обнаружение, слежение за объектом», — отмечает профессор Санкт-Петербургского государственного университета Ирина Шошина.

Разработанная библиотека с открытым исходным кодом системы доступна для всех пользователей и разработчиков программного обеспечения по ссылке. Исследование поддержано грантом Фонда содействия инновациям.

Источник: пресс-служба СПб ФИЦ РАН.