Классификация и распознавание эмоций по ЭЭГ

Распознавание эмоций человека это задача, которая входит в сферу аффективных вычислений¹. Аффективные вычисления связаны с процессом человеко-машинного взаимодействия, который, в свою очередь, предполагает распознавание и реакцию машины на эмоциональное состояние человека, поэтому машине важно научиться точно понимать и классифицировать текущие эмоции оператора (человека), для успешного взаимодействия.

Модель эмоций человека может характеризоваться двумя основными измерениями, называемыми валентностью и возбуждением².

Валентность — это степень притяжения или отвращения, которое человек испытает к определённому объекту или событию. Она варьируется от негативной к позитивной. Возбуждение — это физиологическое и психологическое состояние бодрствования или реакции на раздражители, оно характеризуется от пассивного до активного. Пространственная модель валентности возбуждения представленная на рисунке 1 часто используется в научных исследованиях ³⁴

Эмоции человека выражаются различными способами: мимикой, позой, двигательными реакциями, голосом и вегетативными реакциями (частота сердечных сокращений, артериальное давление, частота дыхания). Эмоции выраженные мимикой, голосом либо двигательными реакциями могут быть неточными или фальшивыми ⁵, в связи с этим, для их распознавания, принято решение использовать данные об эмоциональном состоянии человека, собранные с помощью электроэнцефалографии (ЭЭГ).

Оценка эмоционального состояния по ЭЭГ

Электроэнцефалография — это неинвазивный метод измерения нейронной активности связанной с эмоциональными реакциями человека ⁶ . Сигналы ЭЭГ получают путем измерения электрической активности в точках приложения электродов к скальпу.

Мозговая волна человека состоит из пяти основных частотных диапазонов (ритмов), называемых дельта (1–3 Гц), тета (4–7 Гц), альфа (8–13 Гц), бета (14–30 Гц) и гамма (31–50 Гц), как показано на рисунке 2. Характеристики каждого из ритмов могут быть использованы для оценки когнитивных и эмоциональных состояний человека.

При анализе сигналов ЭЭГ основной трудностью является формирование набора признаков, который с хорошей достоверностью описывал бы определенное эмоциональное состояние. Сигналы сильно различаются от человека к человеку, поэтому определение достаточного набора признаков является сложной задачей.

Методы классификации ЭЭГ

Зачастую, данные, полученные при помощи ЭЭГ, интерпретируют как временные ряды, поэтому для их обработки используют такие методы, как преобразование Фурье, оконное преобразование Фурье, непрерывное и дискретное вейвлет-преобразование.

Petrantonakis et. al.⁷ в качестве характеристики эмоционального состояния использовали статистические свойства сигнала ЭЭГ, мощности полос частот, параметры Хъорта, фрактальные размерности. С помощью метода mRMR (Minimum Redundancy Maximum Relevance) ими были выбраны наиболее значимые признаки. Для классификации использовался метод опорных векторов (SVM).

Zhuang et. al. ⁸ в своем исследовании с помощью метода опорных векторов (LIBSVM) сравнивали самоиндуцированные эмоции, то есть эмоции, вызванные человеком у самого себя и эмоции, вызванные у человека просмотром кинофильма. Как выяснилось, самоиндуцированные эмоции почти полностью совпадают с эмоциями, вызванными просмотром фильма. Для шести отдельных эмоций они получили точность классификации 54.52% для самоиндуцированных эмоций, и 55.65% для эмоций вызванных фильмом. При классификации только положительных и отрицательных эмоций ситуация была аналогичная, точность классификации составила 87.36% и 87.20% для самоиндуцированных и эмоций и эмоций вызванных просмотром фильма соответственно.

Распознавание эмоций по ЭЭГ с помощью нейронных сетей

Процесс распознавания эмоций на основе сигналов ЭЭГ состоит из нескольких этапов. На первом этапе собираются данные ЭЭГ. В качестве исходных данных для обучения классификатора используется база данных DEAP⁹. Это мультимодальная база данных, которая содержит записи ЭЭГ 32 человек. Участники просмотрели 1-минутное видео и оценили его по шкале валентности, возбуждения, симпатии/антипатии и доминирования. Эмоции были смоделированы по шкале валентности-возбуждения по Расселу ¹⁰ и оценены с помощью методики SAM (Self-Assessment Manikin) ¹¹. Данные были собраны с помощью электродной шапки, с размещением электродов по международной системе «10-20»¹². Всего 40 электродов использовалось для записи данных, среди которых 32 электрода записывали ЭЭГ, а остальные — другие периферийные физиологические сигналы.

Всего в базе данных содержится 40 видеофрагментов, каждому их которых соответствуют показания 40 электродов, а каждое показание электрода содержит в себе 8064 значений напряжения на этом электроде, таким образом каждому субъекту соответствует 40 × 40 × 8064 показаний.

Из данных предварительно были удалены помехи, шумы и другие аномальные выбросы, поэтому этап очистки данных пропущен. В связи с тем, что данные имеют довольно внушительный размер и содержат в себе большое количество признаков, чтобы избежать переобучения модели и ускорить сам процесс ее обучения — нужно отобрать наиболее важные признаки, которые больше всего могут повлиять на решение классификатора.

Следующим этапом является создание и обучение классификатора эмоций.

Классификатор ЭЭГ

Система распознавания эмоций на основе данных ЭЭГ представляет собой нейронную сеть, состоящую из двух автоэнкодеров ¹³ и двух softmax- слоев ¹⁴ для отдельной классификации валентных и возбуждённых состояний. Схематично архитектура модели изображена на рисунке 3.

Процесс обучения нейронной сети состоит из нескольких этапов. Вначале весам модели присваиваются случайные значения. Далее первая порция исходных данных подается на вход нейросети, где к ней применяются функции активации нейронов, в нашем случае в качестве функции активации используется Rectified Linear Unit (ReLU) ¹⁵ (1), последние слои используют функцию активации Softmax ¹⁶ (2).

Рассчитанные нейросетью значения сравниваются с эталонными значениями, метрикой различия между ними служит функция потерь, в данной работе будет использоваться функция перекрёстной энтропии (3).

После расчета дельты между предсказанными и эталонными значениями, начинается обратный проход. С помощью стохастического градиентного спуска ¹⁷ рассчитывается отрицательный градиент функции потерь для её минимизации. На значение рассчитанного градиента обновляются параметры модели, и цикл обучения продолжается до тех пор, пока мы не достигнем желаемого качества модели.

После завершения обучения, модель становится черным ящиком, на вход которому подаются данные, обработав которые, на выходе получаем вероятность принадлежности эмоции к тому или иному классу.

Вывод

В данной работе предлагается метод распознавания и классификации эмоций с помощью глубокой нейронной сети. В качестве данных для анализа и обучения используется публичная база данных записей ЭЭГ, содержащая данные 32 субъектов. В дальнейшем работа может быть улучшена путем реализации рекуррентной нейронной сети (RNN) ¹⁸ в качестве архитектуры модели классификатора, так как такая архитектура показывает себя заметно лучше при анализе временных рядов ¹⁹ .

1. Zhou Q. Multi-layer affective computing model based on emotional psychology //Electronic Commerce Research. – 2018. – Т. 18. – №. 1. – С. 109-124.
2. Russell J. A. A circumplex model of affect //Journal of personality and social psychology. – 1980. – Т. 39. – №. 6. – С. 1161
3. Zhou Q. Multi-layer affective computing model based on emotional psychology //Electronic Commerce Research. – 2018. – Т. 18. – №. 1. – С. 109-124.
4. Sutton T. M., Lutz C. Attentional capture for emotional words and images: The importance of valence and arousal //Canadian Journal of Experimental Psychology/Revue canadienne de psychologie expérimentale. – 2018.
5. Saxen F., Werner P., Al-Hamadi A. Real vs. Fake Emotion Challenge: Learning to Rank Authenticity From Facial Activity Descriptors //Proceedings of the IEEE International Conference on Computer Vision. – 2017. – С. 3073-3078.
6. Zhao G. et al. Emotion analysis for personality inference from EEG signals //IEEE Transactions on Affective Computing. – 2018. – Т. 9. – №. 3. – С. 362-371.
7. Petrantonakis P. C., Hadjileontiadis L. J. Emotion recognition from EEG using higher order crossings //IEEE Transactions on Information Technology in Biomedicine. – 2010. – Т. 14. – №. 2. – С. 186-197.
8. Zhuang N. et al. Investigating patterns for self-induced emotion recognition from EEG signals //Sensors. – 2018. – Т. 18. – №. 3. – С. 841.
9. Koelstra S. et al. Deap: A database for emotion analysis; using physiological signals //IEEE transactions on affective computing. – 2012. – Т. 3. – №. 1. – С. 18-31.
10. Russell J. A. A circumplex model of affect //Journal of personality and social psychology. – 1980. – Т. 39. – №. 6. – С. 1161.
11. Bradley M. M., Lang P. J. Measuring emotion: the self-assessment manikin and the semantic differential //Journal of behavior therapy and experimental psychiatry. – 1994. – Т. 25. – №. 1. – С. 49-59
12. Jasper H. H. The ten-twenty electrode system of the International Federation //Electroencephalogr. Clin. Neurophysiol. – 1958. – Т. 10. – С. 370-375.
13. Vincent P. et al. Extracting and composing robust features with denoising autoencoders //Proceedings of the 25th international conference on Machine learning. – ACM, 2008. – С. 1096-1103.
14. Duan K. et al. Multi-category classification by soft-max combination of binary classifiers //International Workshop on Multiple Classifier Systems. – Springer, Berlin, Heidelberg, 2003. – С. 125-134.
15. Nair V., Hinton G. E. Rectified linear units improve restricted boltzmann machines //Proceedings of the 27th international conference on machine learning (ICML-10). – 2010. – С. 807-814.
16. Duan K. et al. Multi-category classification by soft-max combination of binary classifiers //International Workshop on Multiple Classifier Systems. – Springer, Berlin, Heidelberg, 2003. – С. 125-134.
17. Bottou L. Large-scale machine learning with stochastic gradient descent //Proceedings of COMPSTAT’2010. – Physica-Verlag HD, 2010. – С. 177-186.
18. Mikolov T. et al. Recurrent neural network based language model //Eleventh annual conference of the international speech communication association. – 2010.
19. Connor J. T., Martin R. D., Atlas L. E. Recurrent neural networks and robust time series prediction //IEEE transactions on neural networks. – 1994. – T. 5. – N2. 2. -C. 240-254.