Методы классификации сигналов ЭЭГ

Для ранней диагностики различных заболеваний важно не только получать и регистрировать сигналы мозга, но и извлекать информацию, содержащуюся в ЭЭГ. Одним из этапов компьютерной обработки сигнала является классификация (англ. сlassification) – то есть, отнесение его к определенной группе на основе анализа его характеристик. Этот процесс позволяет определить, действительно ли обнаруженный паттерн свидетельствует о наличии патологии. Так же возможно соотнесение зарегистрированного сигнала с той или иной эмоцией, визуальным или мысленным образом.

Введение

Точность классификации совокупности данных ЭЭГ зависит от входного сигнала и от типа используемого классификатора (является он линейным или нелинейным). В данном случае, линейный классификатор – это классификаторы, которые используют плоскости, описываемые одним уравнением. Нелинейные используют систему уравнений, то есть представляют собой совокупность линейных классификаторов.

Для этого используют так называемые фильтры, наиболее распространенными из которых являются адаптивные. В целом, фильтры – это математические уравнения, которые описывают такой график, наложение которого на график ЭЭГ позволяет удалить из последнего шум. Адаптивные фильтры отличаются тем, что способны к адаптации, т.е. изменяются в процессе работы в зависимости от параметров сигнала. Это позволяет им лучше остальных выделять необходимые составляющие сигнала без потерь. Например, для того чтобы подавить сетевую помеху, которая вносит значительные искажения в ЭЭГ-сигнал, применяют разновидность адаптивного фильтра – КИХ-фильтр (фильтр с конечной импульсной характеристикой).¹ В данном случае импульсная характеристика – это реакция фильтра на минимальный воспринимаемый им сигнал. Термин «конечная» обозначает, что ответ фильтра будет иметь ограниченную во времени продолжительность.

После очистки сигнала от помех начинается этап классификации полученных данных, то есть их отнесение к одной из заранее заданных групп с целью их распознавания. Наиболее перспективными методами классификации являются методы машинного обучения.

Математические методы

Support vector machine – метод опорных векторов

Один из подходов к классификации сигналов (своего рода золотой стандарт) – метод SVM (метод опорных векторов от англ. support vector machine). Предложен В. Вапником и А. Червоненкисом². Чтобы понять основной его принцип, начнем с простого примера: относительно ЭЭГ мы можем выделить четыре размерности – длина (а), ширина (b), высота (h) и время (t), получая четырехмерное пространство. Убирая один из параметров (обычно время), можно получить трехмерное пространство, как показано на рисунке 1.

В данном случае изначальное четырехмерное пространство будет обозначаться термином «реальное пространство», а получившееся трехмерное – «гиперплоскость». Таким образом,  гиперплоскость – это пространство с размерностью на единицу меньше, чем у изначального пространства. А размерность – это то количество параметров, которое необходимо задать, чтобы однозначно описать состояние объекта.

Теперь вернемся к сущности метода SVM. Она заключается в математическом поиске  гиперплоскости, которая разделит данные на классы.³ Для того чтобы это получилось, нужны опорные векторы (самые близкие к границе между возможными классами точки). Расстояние между опорными векторами и гиперплоскостью – зазор, именно его старается сделать максимальным алгоритм для того, чтобы снизить вероятность ошибки классификатора⁴.

Так же возможно использование метода SVM для классификации различных эмоций.⁵ Первоначально сигнал ЭЭГ, как уже было сказано раннее, обрабатывается посредством КИХ-фильтра. Затем частотные характеристики его диапазона были вычислены с помощью вейвлетов Добеши. После этого полученные характеристики (амплитуда колебаний, относительная энергия и др.) передаются в классификатор SVM, который относит этот сигнал к группе «злость». Также стоит отметить такие важные преимущества SVM, как возможность классифицировать разреженные данные большой размерности (т.е. данные, разнесенные по большой площади на координатной плоскости с большим количеством осей) с высокой скоростью и уменьшать размер набора данных в пространстве признаков.⁶

Наивный байесовский классификатор

Скажем несколько слов о наивном байесовском классификаторе, основа которого – теорема Байеса. Этот классификатор основан на применении теории вероятностей в статистическом анализе. В основе его лежит предположение, что все данные описываются некоторым количеством независимых друг от друга параметров.

Формула Байеса вытекает из определения условной вероятности. Условная вероятность – это шанс наступления события А при наступлении события В. Для вычисления этой величины используется формула:

,

где P(A) – предполагаемая вероятность события A, определяемая до эксперимента; P(A|B) – вероятность события A при наступлении B; P(B|A) – вероятность наступления В при истинности А; P(B) – полная вероятность события B.

Байесовский классификатор основан на вычислении вероятности того, что анализируемый объект относится к одному из заданных классов. По результатам работы классификатора объект будет отнесен к тому классу, вероятность принадлежности к которому больше всего.

Данный процесс осуществляется с помощью EM-алгоритма, позволяющего увеличить показатель математического ожидания (среднее по выборке значение) и использующийся для нахождения модели, которая лучшим образом описывает выборку с неизвестным распределением (то есть, с неизвестной вероятностью проявления результатов).⁷

Данный алгоритм состоит из двух этапов: E-шаг, когда вычисляется вероятность принадлежности каждой точки данных к той или иной выборке (классу), и М-шаг, характеризующийся обновлением параметров уравнения, которое описывает характеристики классифицируемого объекта, в соответствии с распределением выборки, проведенным на шаге E. Повторяются этапы до тех пор, пока параметры объекта и распределение выборки не начнут описываться одним и тем же уравнением, что будет свидетельствовать о принадлежности объекта к выборке (классу).

Преимущества ЕМ-алгоритма перед SVM и ANN (описан далее) состоит в том, что его легко сделать устойчивым к шуму, он быстро приходит к конечному результату и автоматически строит структурное описание каждого класса в виде кластеров.⁸ Кроме того, важное преимущество этого классификатора – малое количество данных для обучения, оценки параметров и классификации.⁹ Но при этом стоит учитывать, что в большинстве реальных задач данный тип классификатора будет показывать невысокое качество работы.

Нейронные сети и машинное обучение

Artificial neural networks – искусственная нейронная сеть

ANN (artificial neural networks – искусственная нейронная сеть)  – система взаимодействующих между собой несложных (по сравнению с персональным компьютером) искусственных нейронов, которые соединены друг с другом через такие же искусственные синапсы.

Принцип работы ANN заключается в следующем: сенсорные элементы воспринимают некий сигнал и активируются, передавая сигнал на ассоциативные элементы. В свою очередь А-элементы суммируют и обрабатывают все поступившие сигналы в соответствии с их значениями и весом (то есть, их влиянием) входов, по которым они поступают. Обработка происходит в соответствии с заданным заранее уравнением по общей формуле:

,

где x – это значение сигнала, w – вес входа, по которому он поступил.

При этом значение сигнала находится в пределах от 0 до 1 и может быть, как дискретным (то есть либо 0, либо 1), так и непрерывным. Вес входа, в свою очередь, может принимать значения от -1 до 1. Положительное значение в данном случае приведет к передаче сигнала дальше, а отрицательное – к его торможению.

Таким образом, последовательная передача сигнала от одного искусственного нейрона к другому приведет к активации определенного реагирующего элемента и, соответственно, претворению в жизнь той или иной реакции.

Belakhdar et al. использовали¹⁰ оба классификатора для изучения сонливости. Производилось сравнение ANN и SVM посредством кривых точности и рабочих характеристик приемника (ROC). ROC – это график, который показывает соотношение между TPR (true positive rate) и FPR (false positive rate), где TPR и FPR – доля объектов, верно и неверно классифицированных как содержащие в себе признак, соответственно. Признаки извлекаются с помощью быстрого преобразования Фурье (БПФ), а затем эти признаки передаются в оба классификатора. ANN получила точность классификации 86,5%, а классификатор SVM – 79%.

Этот результат доказал, что классификатор ANN для обнаружения сонливости больше подходит, чем классификатор SVM.

При обработке ЭЭГ-сигналов воображаемых движений также было обнаружено, что точность распознавания и последующей классификации с помощью ANN в среднем существенно выше, чем при использовании SVM.  Но при небольшом объеме данных у ANN точность классификации оказывается ниже. Это, скорее всего, связано с взаимным влиянием нейронов, которые отвечают за мелкую моторику, и нейронов, соответствующих движениям более крупных частей тела, а также с наличием связей между каналами ЭЭГ.¹¹

Spiking neural networks – спайковая нейронная сеть

SNN (Spiking neural networks – спайковая нейронная сеть) – наиболее приближенная к реальности модель ANN. В SNN происходит обмен короткими импульсами одинаковой амплитуды с помощью искусственных нейронов, которые функционально схожи с биологическими¹². Эти модели по сравнению с ANN также недостаточно точны, но у SNN есть и свои плюсы: они требуют гораздо меньшего количества операций и являются лучшими в обработке пространственно-временных данных.¹³

Эта модель нейронной сети наиболее близка к естественной. Кроме того, что обмен информацией между нейронами происходит с помощью калиброванных импульсов пренебрежимо малой длины, данная нейросеть не образует строго упорядоченных структур.

Каждый элемент сети – нейрон – имеет некоторое значение. Если приходящие к нему импульсы увеличивают это значение до надпорогового, нейрон активируется и посылает одиночный импульс, после чего его значение снижается до уровня ниже среднего, что имитирует рефрактерный период биологических нервных клеток.

Также различие между SNN и ANN лежит в области кодирования информации. В ANN информация представляется в виде цифровых значений, в то время как SNN может использовать для кодирования частоту генерации импульсов (то есть количество импульсов, сгенерированных той или иной группой нейронов), пространственное положение активированного нейрона или точное время генерации спайка.

Каждый из способов кодирования имитирует тот или иной физиологический механизм. Так, первый из них подобен активации мышечных клеток, второй – процессу восприятия звука, третий – ритмической активности головного мозга.

Соответственно, процесс обучения сети также сходен с биологическим и основан на эффекте пластичности (spike-timing-dependent plasticity). Суть этого явления заключается в усилении связи по тому синапсу, который передал нейрону сигнал и активировал его. Если же сигнал по синапсу пришел после генерации сигнала самим нейроном, то эта связь ослабляется.

В приложении к анализу ЭЭГ, SNN позволяют устанавливать связь между определёнными паттернами сигнала и той или иной патологией. Так, например, в работе¹⁴ данный метод был применен для анализа ЭЭГ, снятой у наркозависимых пациентов на разных стадиях лечения. Созданная на архитектуре NeuCube спайковая нейронная сеть использовалась для классификации данных ЭЭГ и добилась точности в 90,91%, что почти в 2 раза превосходит точность традиционных методов.

Похожим образом SNN была использована в работе,¹⁵ где проводилось исследование характеристик ЭЭГ мозга при депрессивных состояниях. Был осуществлен комплексный анализ сигнала, снятого в состоянии покоя до проведения терапии и после нее. Затем с помощью SNN был проведен анализ изменений ЭЭГ. Это позволило локализовать активность нейронов, отвечающих за улучшение состояния пациентов, и предсказывать результативность терапии в процессе ее проведения.

Convolutional neural network – сверточная нейронная сеть

CNN (Convolutional neural network – сверточная нейронная сеть или СНС) – одна из моделей нейронных сетей, подобная по своей структуре и своему назначению зрительной коре головного мозга.¹⁶

В начале работы СНС переводит изображение в его математическое представление. Выглядит это представление, как таблица, которая содержит множество значений, полученных в результате математической обработки характеристик отдельных пикселей. После ее формирования, на нее накладывается «фильтр» – таблица схожей конфигурации с заранее заданными значениями в предварительно определенных ячейках. Чем выше степень совпадения – как «качественного» (в обеих ячейках есть число), так и «количественного» (величины в ячейках близки друг к другу) – тем больше вероятность того, что на изображении имеется искомый объект.

Проиллюстрируем работу фильтра на примере. Пускай задача нашего фильтра (математическое представление – на изображении слева) состоит в нахождении на изображении кривых (на иллюстрации справа) (см. рис. 8).

Для программы фрагмент изображения, находящийся под фильтром, выглядит как таблица чисел, описывающих характеристики пикселей. Эти значения умножаются на математическое представление фильтра и суммируются. Полученное число описывает степень сходства между фрагментом изображения и фильтром. Чем оно выше – тем больше похожи изображения.

Сместим фильтр и проведем ту же операцию – создадим таблицу, описывающую характеристики пикселей изображения, наложим на нее фильтр, умножим и просуммируем значения.

Конечный результат в данном случае равен 0, то есть на исследуемом фрагменте отсутствуют искомые кривые.

Необходимо отметить, что данные значения говорят в первую очередь о вероятности нахождения в исследуемой области искомого элемента. Кроме того, стоит обратить внимание на то, что описанный выше пример упрощен для понимания, в то время как на практике используются более сложные и глубокие фильтры.

В процессе анализа изображение последовательно проходит через несколько подобных фильтров, определяемые которыми свойства все время усложняются. Развивая использованный выше пример, фильтр первого уровня искал на изображении кривые с изгибом вправо. Фильтр второго уровня будет искать уже параболы или полукольца и так далее.

Применительно к ЭЭГ CNN применяются для следующих целей:

1. Определение уровня сознания пациента при анестезии];¹⁷
2. Диагностика депрессии;¹⁸
3. Выявление на ЭЭГ эпилептических припадков.¹⁹
4. Прогнозирование эффекта лекарственных средств.²⁰

1. Chakole, Ashlesha & Barekar, Praful & Ambulkar, Rajeshree & Kamble, Shailesh. (2019). Review of EEG Signal Classification: Proceedings of ICTIS 2018, Volume 2. doi: 10.1007/978-981-13-1747-7_11.
2. V. N. Vapnik, “An overview of statistical learning theory,” in IEEE Transactions on Neural Networks, vol. 10, no. 5, pp. 988-999, Sept. 1999, doi: 10.1109/72.788640.
3. Cortes, Corinna; Vapnik, Vladimir N. (1995). “Support-vector networks” (PDF). Machine Learning. 20 (3): 273–297. doi: 10.1007/BF00994018.
4. L. Shaw and A. Routray, “A critical comparison between SVM and k-SVM in the classification of Kriya Yoga meditation state-allied EEG,” 2016 IEEE International WIE Conference on Electrical and Computer Engineering (WIECON-ECE), Pune, 2016, pp. 134-138, doi: 10.1109/WIECON-ECE.2016.8009103.
5. M. K. Bashar, F. Reza, Z. Idris and H. Yoshida, “Epileptic seizure classification from intracranial EEG signals: A comparative study EEG-based seizure classification,” 2016 IEEE EMBS Conference on Biomedical Engineering and Sciences (IECBES), Kuala Lumpur, 2016, pp. 96-101, doi: 10.1109/IECBES.2016.7843422.
6. B. Yan, Y. Wang, Y. Li, Y. Gong, L. Guan and S. Yu, “An EEG signal classification method based on sparse auto-encoders and support vector machine,” 2016 IEEE/CIC International Conference on Communications in China (ICCC), Chengdu, 2016, pp. 1-6, doi: 10.1109/ICCChina.2016.7636897.
7. Литтл Р. Дж.А., Рубин Д.Б.
   Статистический анализ данных с пропусками/Пер. с англ. — М.: Финансы и статистика, 1990. — 336 с.: ил.—(Математико-статистические методы за рубежом).
8. Статистические (байесовские) методы классификации, К. В. Воронцов [Интернет ресурс](дата обращения: 26.09.2020)
9. N. R. Tambe and A. Khachane, “Mood based E-learning using EEG,” 2016 International Conference on Computing Communication Control and automation (ICCUBEA), Pune, 2016, pp. 1-4, doi: 10.1109/ICCUBEA.2016.7860018.
10. I. Belakhdar, W. Kaaniche, R. Djmel and B. Ouni, “A comparison between ANN and SVM classifier for drowsiness detection based on single EEG channel,” 2016 2nd International Conference on Advanced Technologies for Signal and Image Processing (ATSIP), Monastir, 2016, pp. 443-446, doi: 10.1109/ATSIP.2016.7523132.
11. Ахмедов Р. Э. Применение нейронных сетей в задачах классификации ЭЭГ-сигналов и проблемы оптимизации //Интеллектуальные технологии и средства реабилитации и абилитации людей с ограниченными возможностями (ИТСР-2017). – 2018. – С. 45-47.
12. Michael Pfeiffer and Thomas Pfeil. Deep Learning With Spiking Neurons: Opportunities and Challenges. 25 октября, 2018
13. Amirhossein Tavanaei, Masoud Ghodrati, Saeed Reza Kheradpisheh, Timothée Masquelier, Anthony Maida. Deep learning in spiking neural networks. Neural Networks, Volume 111, 2019, Pages 47-63, ISSN 0893-6080, doi: 10.1016/j.neunet.2018.12.002.
14. M. G. Doborjeh, G. Y. Wang, N. K. Kasabov, R. Kydd and B. Russell, “A Spiking Neural Network Methodology and System for Learning and Comparative Analysis of EEG Data From Healthy Versus Addiction Treated Versus Addiction Not Treated Subjects,” in IEEE Transactions on Biomedical Engineering, vol. 63, no. 9, pp. 1830-1841, Sept. 2016, doi: 10.1109/TBME.2015.2503400.
15. Doborjeh, Z., Doborjeh, M., Taylor, T. et al. Spiking Neural Network Modelling Approach Reveals How Mindfulness Training Rewires the Brain. Sci Rep 9, 6367 (2019). doi: 10.1038/s41598-019-42863-x
16. Matsugu M, Mori K, Mitari Y, Kaneda Y. Subject independent facial expression recognition with robust face detection using a convolutional neural network. Neural Netw. 2003 Jun-Jul;16(5-6):555-9. doi: 10.1016/S0893-6080(03)00115-1
17. Q. Liu et al., “Spectrum Analysis of EEG Signals Using CNN to Model Patient’s Consciousness Level Based on Anesthesiologists’ Experience,” in IEEE Access, vol. 7, pp. 53731-53742, 2019, doi: 10.1109/ACCESS.2019.2912273.
18. P. Sandheep, S. Vineeth, M. Poulose and D. P. Subha, “Performance analysis of deep learning CNN in classification of depression EEG signals,” TENCON 2019 – 2019 IEEE Region 10 Conference (TENCON), Kochi, India, 2019, pp. 1339-1344, doi: 10.1109/TENCON.2019.8929254.
19. Emami A, Kunii N, Matsuo T, Shinozaki T, Kawai K, Takahashi H. Seizure detection by convolutional neural network-based analysis of scalp electroencephalography plot images. Neuroimage Clin. 2019;22:101684. doi: 10.1016/j.nicl.2019.101684.
20. Kalitin Konstantin, Nevzorov Alexey, Spasov Alexander, Sotnikov Petr. (2020). Deep Learning-Based i-EEG Classification with Convolutional Neural Networks for Drug-Target Interaction Prediction. doi: 10.13140/RG.2.2.36210.73923/1.