5 курс / ОЗИЗО Общественное здоровье и здравоохранение / Проектирование_мультимодальных_интерфейсов_мозг_компьютер

Функциональная модель ИМК

в этот стандарт. Однако в современной литературе отсутствует всеобъемлющий словарь для ИМК. Такой словарь-­справочник облегчил бы исследовательские усилия, а также работу практикующих клиницистов. Имея общую терминологию, исследователям и клиницистам проще обмениваться данными.

Были и другие попытки создать общий глоссарий ИМК. Еще в 2003 году Мейсон и Берч опубликовали общую основу для проектирования ИМК [25]. Эта работа, безусловно, была важным шагом в верном направлении, но авторы признали, что требуется дополнительная работа. В дальнейшем были предприняты усилия по установлению общности в бенчмаркинге [28], отчетности [29] и протоколах передачи биосигналов [30].

Каждое из представленных выше исследований действительно внесло значительный вклад в создание общей основы для проектирования и разработки ИМК. К сожалению, каждое было ориентировано на довольно узкое практическое приложение. Ни один из этих подходов не предоставил общеприменимую модель. Кроме того, модель, являющаяся частью стандарта IEEE, с большей вероятностью получит широкое распространение в рамках дальнейшей деятельности международных рабочих групп под эгидой ассоциации IEEE.

Функциональная модель ИМК

Важность разработки комплексной функциональной модели, которая может применяться практически в проектировании ИМК, заключается в том, что одна и та же терминология, одно и то же описание и один и тот же язык могут использоваться, даже если обсуждаются разные парадигмы и приложения. В таком случае будет легче предложить стандартные процедуры, как, например, системы сравнительного анализа. Общий обзор функциональной модели, разработанной рабочей группой IEEE 2731, [31], представлен на рис. 5.

Модель сначала обращается к процессу ИМК, определяя большие категории, такие как преобразователь, интерфейс управления, физиология и психология; затем они подразделяются. Связав лексикографию с этой функциональной моделью, результирующий глоссарий станет более эффективным для исследователей. В следующих подразделах подробно описаны основные блоки, формирующие модель ИМК.

19

20

Интерфейс управления

		Преобразователь			Дешифратор
	Сигналы		Обработка сигналов		логический	семантический
Устройства	мозга		Пред-
				Классификация
приема
	ЭЭГ	фМРТ	обработка
				Выбор
	ЭКоГ	МЭГ	Удаление
			артефактов	параме-	Обратная
	Другие			тров
			Фильтрация		связь
	ЭКГ	ЭМГ		Регрессия	Дисплей
	ЭДГ	GSR
					Связь

Контроль

Оператор,

Облачная алгоритм инфраструктура

Пользователь

Психологические факторы (мотивация, стресси т. п. )

∑

Физиологические факторы (Р300, амплитуда, и задержка, и т. п.)

∑

Осознанное движение мышц	Неосознанное движение мышц
(движение глаз, рук, ноги т. п )	(сердце, дыхание и т. п )

Рис. 5. Функциональная модель проектирования и разработки ИМК по стандарту IEEE 2731 [31]

ИМК проектирования Шаблоны .2 Глава

Модуль «Преобразователь»

Модуль «Преобразователь»

На рис. 6 показана часть преобразователя функциональной модели, которая в основном состоит из трех основных этапов:

‒обработки сигналов, на котором предварительно обрабатываются записанные данные;

‒выделения признаков, на котором из записанных данных извлекается значимая нейронная информация;

‒классификации, на котором намерение пользователя декодируется из нейронных данных.

		Преобразователь
	Сигналы		Обработка сигналов
Устройства	мозга		Пред-	Классификация
приема
	ЭЭГ	фМРТ	обработка
				Выбор
	ЭКоГ	МЭГ	Удаление
			артефактов	параме-
	Другие			тров
			Фильтрация
	ЭКГ	ЭМГ
				Регрессия
	ЭДГ	GSR

Рис. 6. Преобразователь

Размещение устройств сбора данных внутри корпуса преобразователя означает,чтосборданныхотправляетданныена преобразователь,а не то, что устройство сбора фактически является частью преобразователя.

Представленные на типы биомедицинских сигналов разной модальности (рис. 7) включают электроэнцефалографию (EEG), функциональную магнитно-­резонансную томографию (fMRI), позитронно-­ эмиссионную томографию (PET), электрокортикографию (ECoG), магнитоэнцефалографию (MEG) и функциональную спектроскопию в ближней инфракрасной области (fMRI). Понимание различных механизмов получения таких сигналов приводит к описанию множества связанных терминов. Например, в модель сбора сигналов может быть включена однофотонная эмиссионная компьютерная томография (SPECT) и запись интракортикальных нейронов (INR) [11].

21

Глава 2. Шаблоны проектирования ИМК

Сложность аппаратного Пространственное Прямые методы Косвенные методы обеспечения

разрешение

Высокая (и цена)

10 мм

1 мм

0,1 мм

											Низкая
					ссекс					Временное
0,001	ссек			1				1 мин
										разрешение

Рис. 7. Отличия неинвазивных (овальных) и инвазивных (прямоугольных) методов записи для использования в ИМК

с точки зрения временного и пространственного разрешения [32]

Выход датчика представляет собой логический символ (LS), который соответствует метке классификатора и является идентификацией структуры мозга. Набор LS, который может быть выведен преобразователем, называется логическим алфавитом. Примером его может быть строка, или столбец P3Speller, или обнаруженная частота в методе SSVEP (устойчивом состоянии визуально вызванного потенциала), а кроме того, идентификация умственной задачи, такой как воображение движения руки. Важно подчеркнуть, что преобразователь— это модуль, отвечающий за обработку сигналов мозга и обнаружение паттернов, специфичных для парадигмы.

Стадия получения сигналов

В ИМК используются различные методы нейровизуализации для получения сигналов мозга, часто классифицируемых по их инвазивности, пространственному, либо временному разрешению, прямыми либо косвенными методами измерений и различной технической сложностью либо ценой (см. рис. 7). Каждый метод записи имеет свои сильные и слабые стороны и особенности использования, которые помогают исследователям ИМК решить, какой метод лучше всего подходит для их исследовательской цели.

22

Модуль «Преобразователь»

Неинвазивные методы записи представляют собой методы нейровизуализации, при которых датчики (например, влажные или сухие электроды) размещаются на коже головы. Широко используется два типа неинвазивных методов регистрации:

‒прямые измерения, которые обнаруживают электрическую (например, электроэнцефалография EEG) или магнитную активность головного мозга (например, магнитоэнцефалография MEG);

‒косвенные измерения функций мозга, отражающие метаболизм головного мозга или гемодинамику головного мозга, такие как функциональная магнитно-­резонансная томография (fMRI), функциональная спектроскопия в ближней инфракрасной области (fNIRS) и позитронно-­эмиссионная томография (PET).

Кроме того, подходы прямого мониторинга мозга обычно представляют подробную информацию с высоким временны́м разрешением, но им обычно не хватает пространственного охвата; косвенные измерения показывают более высокое пространственное разрешение, чем измерения направления.

В отличие от неинвазивных методов записи, инвазивные подходы требуют хирургического вмешательства, машинной имплантации или введения иглы для непосредственного получения нейронной активности [33]. Два типа инвазивных методов записи получили широкое распространение в сообществе ИМК — электрокортикография (ECoG) и запись интракортикальных нейронов (INR).

Этап обработки сигнала

Необработанные сигналы, записанные мозгом на этапе получения сигнала, часто содержат информацию, известную как «зашумление сигнала», или «артефакты», которые добавляются внешними (например, линиями электропередач) и физиологическими источниками (осознанными и неосознанными движениями мышц) (см. рис. 5). Эти посторонние данные снижают производительность ИМК, поэтому важно удалить шум из записанного сигнала.

Чтобы повысить чувствительность к определенным источникам мозга и улучшить локализацию источника, исследователи ИМК обычно используют методы пространственной фильтрации, например общий пространственный фильтр Common Spatial Pattern (CSP). Для фильтрации ЭЭГ от артефактов применяют ряд различных методов: на основе

23

Глава 2. Шаблоны проектирования ИМК

регрессионного анализа, преобразования Грамма — Шмидта, поверхностного фильтра Лапласа, а также методы главных компонент (PCA) и независимых компонент (ICA) [34].

Этап извлечения признаков

Извлечение признаков обычно является частью блока обработки сигналов. Извлечение признаков — это процесс выделения и идентификации соответствующих характеристик сигнала из необработанных данных разной модальности [35]. Примерами использования извлечения признаков являются, например, методы оценки потенциала, связанного с событием (ERP), устойчивый визуально вызванный потенциал (SSVEP), соматосенсорный вызванный потенциал (SSEP) и сенсомоторный ритм (SMR) [36].

Основная цель выделения признаков — упростить выявление закономерностей и повысить точность ИМК с использованием контролируемых или неконтролируемых методов. Другая связанная с этим цель— уменьшение размерности данных. Основные типы методов выделения признаков включают временны́е и (или) частотные методы, методы пространственной фильтрации и методы уменьшения размеров. Некоторые методы извлечения признаков, такие как метод главных компонент (PCA) или метод на основе вейвлет-­преобразования, относятся к неконтролируемым, поскольку они не используют размеченные данные. Другие методы, такие как общий пространственный фильтр (CSP) или метод адаптивных авторегрессионных параметров (AARP), наоборот, относятся к контролируемым, для чего требуется набор ранее размеченных данных для извлечения конкретных паттернов.

Стадия классификации

Следующим этапом проектирования и разработки ИМК на основе функциональной модели (см. рис. 5) является декодирование намерений пользователя ИМК путем классификации данных, извлеченных на предыдущем этапе. Для этого используется множество различных методов классификации, таких как линейные классификаторы (линейный дискриминантный анализ, LDA, метод опорных векторов, SVM), а также классификаторы на основе искусственных нейронных сетей (ANN) или на основе скрытой марковской модели (HMM).

24

Интерфейс управления

Модуль обработки сигналов включает в себя компоненты для преобразования данных разной модальности в выходные данные ИМК. Во-первых, разработчики должны решить, будет ИМК работать онлайн (в режиме реального времени) либо в автономном режиме. Подмодуль предварительной обработки включает в себя применение методов обработки сигналов для увеличения отношения сигнал – шум (SNR) данных различной модальности за счет исключения артефактов и выполнения пространственно-­временной фильтрации. Методы, используемые на данном этапе, включают коррекцию электроокулограммы (ЭОГ), которая убирает из анализа ЭЭГ компоненты движения глаз. Другие методы включают полосовые и режекторные фильтры для исключения синфазных и высокочастотных полос, которые, вероятно, содержат больше шума, чем реальный сигнал.

На следующем шаге отфильтрованные сигналы обрабатываются для извлечения и выбора функций. К ним относится общий пространственный паттерн (CSP) [37], анализ главных компонент (PCA) либо методы на основе римановой геометрии [38]. В итоге эти функции передаются в подмодуль классификации, который включает в себя модель машинного обучения, преобразующую такие функции в выходные данные ИМК.

Интерфейс управления

Интерфейс управления отвечает за сбор последовательностей LS от преобразователя и за их кодирование в семантические символы (SS), используемые конкретным приложением. Например, в P3Speller два LS, строка и столбец, объединяются для выбора символа для написания (SS). Никакие мозговые сигналы не обрабатываются непосредственно в интерфейсе управления.

Логический алфавит представляет собой интерфейс между преобразователем и интерфейсом управления, так что различные преобразователи и интерфейсы управления можно смешивать и сопоставлять при условии, что их логические алфавиты совместимы. Оценивание системы ИМК на выходе интерфейса управления сочетает в себе точность классификации и способность интерфейса управления предотвращать или исправлять ошибки.

25

Глава 2. Шаблоны проектирования ИМК

Две оценки, полученные от преобразователя и интерфейса управления, должны передаваться отдельно (рис. 8). Это позволит различать производительность между способностью обнаруживать мозговые паттерны и оптимизацией кодирования логических алфавитов в семантические. Некоторые из важных аспектов проектирования интерфейса управления включают в себя скорость передачи информации (битрейт), пространственно-­временное разрешение, калибровку чувствительности электродов, физиологическую задержку, необходимость обучения, потребность во внимании и так далее.

Интерфейс управления

Дешифратор

логический семантический

Обратная связь

Дисплей

Связь

Контроль

Рис. 8. Интерфейс управления (часть функциональной модели проектирования и разработки ИМК)

С тех пор как термин «интерфейс мозг-компьютер» был впервые введен Видалем в 1973 году, было разработано много интересных систем ИМК для самых разных приложений. ИМК можно классифицировать по следующим параметрам [39]:

‒паттерну сигнала мозга (например, устойчивый соматосенсорный вызванный потенциал (SS_EP), P300, ERD/ERS, медленный корковый потенциал (SCP));

‒модальности стимула (например, визуальная, слуховая, тактильная, саморегулируемая);

26

Аспекты применения ИМК

‒режиму работы (например, избирательное внимание, когнитивные усилия);

‒стратегии работы (например, синхронная или асинхронная);

‒методу записи (например, неинвазивный или инвазивный). Обратная связь является частью интерфейса управления (см. рис. 8).

Как правило, ИМК также включает обратную связь с пользователем. Это центральная часть функционирования любого ИМК. Без обратной связи с пользователем полноценное использование ИМК во многих приложениях проблематично, если не невозможно.

Аспекты применения ИМК

Физиологические аспекты

По своей природе ИМК должны взаимодействовать не просто с нейрофизиологией ЦНС, но с конкретными областями мозга. Различные факторы влияют на то, правильно ли работают системы ИМК у конкретного человека. Во многих исследованиях не учитываются результаты тех испытуемых субъектов, которые не могут взаимодействовать с датчиком. Классификация субъектов, стабильных при работе с ИМК, и разработка моделей взаимодействия с ними необходимы для широкого распространения ИМК.

Наличие специальной терминологии для конкретных диапазонов частот имеет решающее значение для написания отчетности и понимания исследований. Значительные успехи были достигнуты исследователями в классификации ритмов ЭЭГ [38; 39] и в понимании того, как они взаимодействуют для создания физиологически значимых сигналов.

Психоэмоциональные аспекты

Физиологические сигналы могут варьироваться из-за изменений психоэмоционального состояния субъекта, такого как мотивация, депрессия, апатия и других. Кроме того, в исследованиях и в медицинской практике ИМК часто применяется в ответ на проблемы субъектов, которые имеют психологические коннотации, в ответ на лечение когнитивных нарушений, а также нарушений двигательной функции [40]. Умственные стратегии, такие как воображение движений, релак-

27

Глава 2. Шаблоны проектирования ИМК

сация или словесные ассоциации, часто используются для повышения эффективности преобразователя, и можно ожидать, что явные методы субъективного контроля будут дополнительно классифицированы и использованы для улучшения машинного обучения в будущих системах. На отзывы субъектов также влияют психологические проблемы. Использование биологической обратной связи повлияет на классификацию, а также на функциональность ИМК.

Особенности хранения  и совместного использования данных

В интернете можно найти ресурсы свободно распространяемых данных (базы данных биомедицинских сигналов, программные инструменты, исходный код и другое). Однако часто такие ресурсы данных несовместимы друг с другом, порой из-за того, что используются разные форматы файлов. Следствием этого является необходимость написания специального программного обеспечения для обработки каждого набора данных. Это препятствует выпуску программных инструментов, которые можно было бы использовать для анализа данных из разных наборов данных или которые могут автоматизировать определенные процедуры. Последствия такой ситуации заключаются в том, что несмотря на большую доступность наборов данных, только часть этих наборов данных может быть объединена для оценки, что снижает статистическую мощность анализа.

Системы ИМК используют широкий спектр различных управляющих сигналов, записанных в различных модальностях (например, ЭЭГ, ЭМГ, ЭКоГ, LFP и так далее), которые хранятся в разнородных форматах файлов, с разной организацией данных и метаданных.

Чтобы улучшить исследования ИМК, данными следует обмениваться таким образом, чтобы облегчить их понимание другими исследователями. В дополнение к общему формату должны быть включены конкретные данные. В частности, следует сообщать следующую информацию: количество участников, сведения об устройстве сбора сигналов, условиях эксперимента, о конвейере обработки сигналов и параметрах. Данные должны быть анонимными, и участники должны дать согласие на передачу своих данных.

28