Исследователи университета «Иннополис», Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» и Джадавпурского университета (Индия) разработали гибридную нейросетевую архитектуру для анализа электроэнцефалограмм (ЭЭГ). Система определяет эмоциональные состояния — спокойствие, стресс, радость, а также негативное, нейтральное и положительное настроение. Результаты экспериментов опубликованы в научном журнале Scientific Reports, входящем в портфель Nature.
Новая модель протестирована на трех общедоступных эталонных наборах данных ЭЭГ. Максимальную точность — 99,99% — она показала на двух наборах: при определении спокойствия, стресса или радости (три ошибки на 27 130 образцов) и при идентификации эмоциональных состояний в условиях стресса (одна ошибка на 78 328 образцов). На наборе, где требовалось выявить негативное, нейтральное и положительное настроения, точность составила 96,49% (15 ошибок на 427 случаев), что превзошло предыдущий лучший результат в 95,99%.
| Набор данных ЭЭГ | Количество образцов | Число ошибок | Точность модели |
|---|---|---|---|
| Спокойствие, стресс, радость | 27 130 | 3 | 99,99% |
| Эмоции в условиях стресса | 78 328 | 1 | 99,99% |
| Негативное, нейтральное, положительное | 427 | 15 | 96,49% |
Архитектура объединяет две параллельные ветви. Временная ветвь использует сеть долгой краткосрочной памяти (LSTM) для обработки сырых сигналов ЭЭГ и улавливания временных изменений, связанных с эмоциями. Спектральная ветвь с помощью сверточной нейросети извлекает частотные признаки. Результаты объединяются, а итоговую классификацию выполняет компактная нейросеть. Ключевое новшество — механизм кросс-модального улучшения, позволяющий ветвям обмениваться информацией и обогащать друг друга признаками, что повышает точность прогноза.
На наборе данных с состояниями спокойствия, стресса и радости точность достигла 99,99% — всего одна ошибка на 78 328 образцов.
По словам Дмитрия Каплуна, ведущего программиста-математика Исследовательского центра ИИ университета «Иннополис», существующие методы распознавания эмоций по ЭЭГ требуют ручного выбора признаков, плохо обобщаются на разные данные и вычислительно сложны. Новая архитектура снимает эти ограничения: результат достигается быстрее, точнее и с меньшими вычислительными затратами.
В перспективе ученые планируют адаптировать модель для онлайн-распознавания эмоций по потоковым данным ЭЭГ, а также интегрировать её с другими психофизиологическими методами — электрокардиограммами, фотоплетизмограммами и показателями электродермальной активности. Разработка может найти применение в системах мониторинга психического здоровья, ранней диагностики депрессии и тревожности, а также в адаптивных интерфейсах человек–компьютер.
