5 курс / ОЗИЗО Общественное здоровье и здравоохранение / Проектирование_мультимодальных_интерфейсов_мозг_компьютер

Глава 4. Извлечение значений признаков для различных типов ИМК

Целью ИМК является обнаружение и количественная оценка характеристик сигналов мозга, которые указывают на намерения человека либо пользователя (рис. 29).

X1

X2

X3

…

Xn

Получение и	Извлечение признаков	Классификация	Определение намерения
обработка	Например, анализритмовв	Например, метод	Движениерукойилиногой
сигналов	моторной зонекоры	линейного
	полушарий	дискриминантногоанализа
		LDA

Рис. 29. Схема распознавания намерения

Извлечение признаков—поиск информативных характеристик сигнала. Под информативностью понимается возможность интерпретировать данные человеком или компьютером. При этом всегда, когда говорим про возможность интерпретации, имеем в виду конкретный нейрофизиологический феномен или парадигму либо паттерн, например, вызванные потенциалы (ERP) и сенсомоторные ритмы.

Источниками очень слабых магнитных полей и электрических потенциалов на поверхности головы являются электрические диполи, образованные группами нейронов. Параметры синхронизации нейронов (временные, амплитуда сигнала, частотные характеристики, про-

59

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

странственная ориентация) зависят от воздействия на человека и рассматриваемого нейрофизиологического феномена.

Таким образом, информативное признаковое пространство может быть сформировано на основе [55]:

‒непосредственно самого сигнала (например, значение электрических потенциалов или величина магнитного поля в моменты времени до и после воздействия на человека);

‒линейных или нелинейных операций, статистических параметров или других преобразований, параметров случайных процессов.

Наиболее часто при формировании признакового пространства рассматриваются пространственные, временные и спектральные характеристики сигналов и отношения между ними. Таким образом, в сформированном признаковом пространстве исходным данным ЭЭГ или МЭГ ставится в соответствие набор признаков, который называют вектором признаков, а сам процесс получения вектора признаков — процессом извлечения признаков.

ИМК на базе сенсомоторных ритмов

Рассмотрим пользовательский сценарий использования функциональной электростимуляции для восстановления полностью утраченной функции через замещение. Для большей наглядности и доступности приведем пример пользовательской истории [56].

Анна Ивановна—39 летний инженер-­строитель. Два года назад она работала на стройке, и деревянная балка попала ей прямо в шею. Вертолет санитарной авиации быстро доставил ее в травмпункт областного центра, где врачи диагностировали полную травму спинного мозга шестого позвонка. Через год Анну Ивановну выписывают из реабилитационного центра, и она возвращается домой. Она не может двигать ногами, и у нее полная потеря функции руки, необходимой для захвата предметов (рис. 30).

Галина Андреевна — 57 летний учитель из с. Бутки Свердловской обл. У нее случился инсульт правой половины мозга. Через 3 месяца после события она может ходить с тростью, но у нее проблемы с левой рукой и кистью, что серьезно затрудняет продолжение ее работы.

В рамках стандартной программы реабилитации Галина Андреевна на домуиспользуетИМКдлятренировок:системасостоитиз гарнитуры

60

ИМК на базе сенсомоторных ритмов

с датчиками ЭЭГ и рукава для левой руки с электродами для функциональной электростимуляции. Галина Андреевна наблюдается у врачей удаленно, с использованием облачных сервисов телемедицины.

Рис. 30. Сценарий использования ИМК — замещение [56]

Некоторые датчики на внутренней стороне рукава регистрируют мышечную активность. На другие электроды можно подавать электрические импульсы к мышцам рук (рис. 31). Программы тренировок и параметры датчиков записываются в индивидуальном профиле национального облачного сервиса.

Рис. 31. Сценарий использования ИМК — восстановление [56]

61

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

Рассмотрим далее нейрофизиологический феномен, который лежит в основе описанных пользовательских сценариев, и методы обработки и анализа сигналов.

Mu-ритм — это периодические колебания биопотенциалов в сенсомоторной области коры головного мозга на частоте 8–13 Гц (чаще всего 9–12 Гц), наиболее выражен в состоянии физического покоя. В отличие от альфа-ритма, который возникает на аналогичной частоте в задней части головы, над зрительной корой, в состоянии покоя, mu-ритм локализован над моторной корой (рис. 32).

Рис. 32. Расположение моторной и сенсорной областей коры головного мозга

Несколько фактов указывает на то, что активность mu-ритма может использоваться ИМК, например, движение или подготовка к движению обычно сопровождается уменьшением активности mu-ритма над сенсомоторной корой.

На рис. 32, в центре, расположена проекция человеческого мозга (вид сверху). В верхней части рисунка изображено вертикальное поперечное сечение головного мозга, разделенное на моторную (двигательную) и сенсорную кору. Моторная (двигательная) часть используется для работы конечностей и мышц лица правой стороны тела, сенсорная область нужна для обработки сенсорной информации определенными частям левой стороны тела. Центральная борозда коры головного мозга отделяет двигательную область коры (предцентральная извилина) от сенсорной зоны коры (постцентральная извилина).

Mu-ритм исходит из области, например, «руки» моторной коры. Кроме того, существует аналогичный ритм, происходящий из области «ноги», которая расположена между полушариями, [57].

62

ИМК на базе сенсомоторных ритмов

Рис. 33. Центральная извилина и борозды коры головного мозга

Поскольку поверхность коры покрыта складками — извилинами, постольку рассмотрим, как расположение источника тока на поверхности влияет на распределение потенциалов на поверхности головы (см. рис. 33).

Источник потенциалов mu-ритма — это диполь, а дипольный момент направлен перпендикулярно к складчатой поверхности коры. Таким образом, ориентация дипольного момента определяется по расположению диполя. Что касается головы, направление диполя в извилине будет иметь радиальную ориентировку, а местоположение в борозде приведет к его ориентации, которая является тангенциальной к голове. В последнем случае дипольный момент будет перпендикулярен центральной борозде, которая также перпендикулярна голове, (рис. 34).

аб

Рис. 34. Типичное распределение потенциалов mu-ритма головы [57]

Распределение (см. рис. 34, а) иллюстрирует топографию, связанную с радиально ориентированным диполем источника 1, расположенным на правой полусферической моторной извилине. Распределение

63

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

(см. рис. 34, б) связано с тангенциально ориентированным диполем источника, расположенным в центральной борозде 2.

Ориентация диполя, промежуточного между направлениями 1 и 2, будет линейной комбинацией радиальных и тангенциальных ориентаций. На голове такая ориентация приводит к линейной комбинации связанных распределений потенциала головы 1 и 2. Подобное расположение источников токов внутри головы позволяет производить регистрацию mu-ритма в окрестности электрода C3 для движений правой руки, C4 для движений левой руки, Cz для движений ногами. Расположение соответствующей моторной зоны ног между полушариями приводит к существенным трудностям раздельной регистрации движений правой и левой ног (рис. 35).

Рис. 35. Расположение электродов

В основе ИМК на базе сенсомоторных ритмов лежит феномен синхронизации и десинхронизации [58].

На рис. 36 представлен пример анализа для двух эпох: «on trigger» — воображаемое или совершаемое движение; «off trigger» — фоновое состояние. Заштрихованный прямоугольник — интервал для расчета среднего значения сигнала, который используется для получения относительного изменения энергии сигнала. Видно, что на эпохах, построенных для ЭЭГ для частот 8–11 Гц «on trigger», энергия сигнала уменьшается, для эпох «off trigger», полученных для 26–30 Гц, увеличивается энергия сигнала ЭЭГ.

Хотя основные свойства­ mu-ритма одинаковы для всех людей, его пространственная структура и точная частота уникальны для каждого человека и зависят от его текущего состояния. Для проведения анализа активности mu-ритма, надо определить, как свой­ства изменяются в различных функциональных состояниях. Для достижения наилуч-

64

ИМК на базе сенсомоторных ритмов

ших результатов стоит найти состояния, которые дают наибольшую значимую разницу.

Рис. 36. Феномен синхронизации (ERS) и десинхронизации (ERD) [58]

Для получения признакового пространства необходимо учесть особенности пространственного распределения потенциалов на поверхности головы конкретного человека и найти специфичные интервалы частот, для которых наиболее сильно выражен феномен синхронизации либо десинхронизации [59].

Учет пространственного распределения потенциалов на поверхности головы производится с использованием пространственной фильтрации. Так, в окрестностях интересующих нас электродов C3, C4, Cz ищется линейная комбинация электродов, для которых явление синхронизации, десинхронизации наиболее выражено. В общем виде задача пространственной фильтрации формулируется следующим образом [55]:

65

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

y11 y12	y1P		w11 w12	w1N		x11 x12	x1P
y21 y22			w21 w22			x21 x22			,
yM1		yMP	wM1		wMN	xN1		xNP

— или в эквивалентной матричной форме

Y = WX,

где каждая строка матрицы X содержит P последовательных по времени отсчетов сигнала каждого из N электродов, каждая строка W содержит N весов для исходных электродов; после перемножения матриц W и X получаем M каналов для P отсчетов.

Обратите внимание на то, что каждый полученный фильтрацией канал Y — линейная комбинация исходных каналов для N электродов. Существует несколько наиболее часто применяемых подходов к получению матрицы W, которые можно разделить на две группы: независимые и зависимые от данных.

Фиксированные геометрические отношения обычно используются независимыми от данных пространственными фильтрами для определения весов пространственного фильтра, и поэтому они не зависят от фильтруемых данных. Эти фильтры имеют определенные локальные или глобальные характеристики, которые могут быть чрезвычайно эффективными во многих приложениях.

Пространственный фильтр «общее среднее» (CAR или AVE) реализуется путем записи всех каналов с общим референтным электродом, вычисления в каждый момент времени общего среднего значения всех оцифрованных каналов, а затем вычитания этого среднего из каждого отдельного канала. Такой подход позволяет уменьшать влияние артефактов, амплитуда которых одинакова для всех каналов в момент времени (например, помехи от сети 50 Гц).

Пространственный фильтр Лапласа основан на вычислении второй пространственной производной, применяется также для цифровой обработки изображений, повышения их резкости, получения краев изображения [60; 61]. Если каналы были записаны с общим референтным электродом, это вычисление эквивалентно взятию центрального интересующего канала и вычитанию среднего значения всех каналов на некотором фиксированном расстояние от этого центрального ка-

66

ИМК на базе сенсомоторных ритмов

нала. Следует учитывать, что соседние каналы сильно коррелированы, так как они имеют сходное положение относительно многих источников мозга. Устраняя такую коррелированную активность, фильтр Лапласа подчеркивает сильно локализованную активность. Фиксированное расстояние от центра фильтра к периферийным электродам определяется спецификой процессов.

Приведем пример вычисления фильтра Лапласа для каналов C3, C4 (рис. 37)

C3' = 4 · C3 – FC3 – C5 – C1 – CP3;

C4' = 4 · C4 – FC4 – C6 – C2 – CP4.

Рис. 37. Фильтр Лапласа для каналов C3 и C4

Если у нас есть эпохи для разных функциональных состояний, например, движения кистями рук (класс 1) и покоя (класс 2), то можно применить зависимые от данных пространственные фильтры.

РазработаемпримерфильтраCommonSpatialPatterns(CSP)с использованием библиотек MNE-Python и sklearn. Рассмотрим выражение (2) для двух классов X1 и X2 и найдем такой пространственный фильтр w, для которого дисперсия в одном из классов максимальна, а в другом— минимальна. Формально это задача нахождения экстремума функции J(w)

J(w) =wX1X1T wT / wX2 X2T wT ,

(2)

где w — искомый пространственный фильтр; Xi XiT — ковариационная матрица i-го класса.

Отметим, что, найдя w, мы получаем Xicsp = wXi, где каждая строка — так называемый CSP-компонент.

67

Рекомендовано к покупке и изучению сайтом МедУнивер - https://meduniver.com/

Глава 4. Извлечение значений признаков для различных типов ИМК

Рассмотрим код для построения фильтра CSP для данных EEGBCI, (URL: https://physionet.org/content/eegmmidb/1.0.0/). Подробное описание протокола можно найти на страничке проекта в PhysioNet или в практикуме [62]. За основу нашего примера возьмем код, доступный на странице проекта MNE-Python “Motor imagery decoding from EEG data using the Common Spatial Pattern (CSP)”.

Проведем анализ эпох, в которых было движение правой и левой рукой, а также был функциональный покой. Для этого выбираем записи (runs) c номерами 3, 4, 7, 8, 11, 12.

import numpy as np

import matplotlib.pyplot as plt

from sklearn.pipeline import Pipeline from sklearn.discriminant_analysis import

LinearDiscriminantAnalysis

from sklearn.model_selection import ShuffleSplit, cross_ val_score

from mne import Epochs, pick_types, events_from_ annotations

from mne.channels import make_standard_montage from mne.io import concatenate_raws, read_raw_edf from mne.datasets import eegbci

from mne.decoding import CSP print(__doc__)

# Установка параметров и загрузка данных tmin, tmax = –1., 4.

event_id = dict(rest=1, hand=3) subject = 1

runs = [3, 4, 7, 8, 11, 12] # motor imagery: правая или левая рука и покой

raw_fnames = eegbci.load_data(subject, runs)

raw = concatenate_raws([read_raw_edf(f, preload=True) for f in raw_fnames])

eegbci.standardize(raw) # set channel names montage = make_standard_montage('standard_1005') raw.set_montage(montage)

# Полосовой фильтр

raw.filter(7., 30., fir_design='firwin', skip_by_ annotation='edge')

events, _ = events_from_annotations(raw, event_ id=dict(T0=1, T2=3))

#events, _ = events_from_annotations(raw)

68