5 курс / ОЗИЗО Общественное здоровье и здравоохранение / Проектирование_мультимодальных_интерфейсов_мозг_компьютер
.pdfКлассификация ИМК
рубцовых тканей). Со временем это приводит к ухудшению сигнала и снижению функциональных качеств и работоспособности ИМК.
Инвазивные ИМК различаются по глубине погружения электрода или электродов в головной мозг, так, электрокортикография (ЭКоГ) использует электроды, размещенные на открытой поверхности мозга, для регистрации биоэлектрической активности головного мозга.
Регистрация может проводиться на различной площади: регистрация активности одиночного нейрона (англ. singleunit recording, SUR); регистрация локального поля — потенциалы локального поля (англ. local field potentials, LFP); регистрация активности популяции нейронов — мультиюнитная активность (англ. multiunit recording, MUR) [3].
Инвазивные ИМК, в силу их высокой стоимости и возможных рисков при имплантации, используются только в экспериментальных целях, например, у пациентов с утраченными моторными функциями, для которых данная технология становится единственным шансом снова обрести утраченные способности, [4].
Неинвазивные ИМК не требуют хирургического вмешательства и, следовательно, наиболее безопасны в эксплуатации; они, как правило, дешевле в использовании. Такие устройства более мобильны и доступны исследователям.
Неинвазивные методы исследования биоэлектрической активности головного мозга:
‒электроэнцефалография (ЭЭГ),
‒магнитоэнцефалография (МЭГ),
‒позитронно-эмиссионная томография (ПЭТ),
‒функциональная магнитно-резонансная томография (фМРТ),
‒fNIRS — спектроскопия в ближнем инфракрасном диапазоне. Данные методы посредством косвенной (как фМРТ, которая опре-
деляет оксигенированный гемоглобин в крови и таким образом может свидетельствовать о наиболее энергозатратных участках головного мозга) или прямой (как ЭЭГ, которая путем помещения датчиков на волосистую часть головы регистрирует биоэлектрическую активность мозга) информации о работе мозга позволяют осуществлять связь с компьютером и другими устройствами.
Однако неинвазивные ИМК, из-за естественной преграды для любого сигнала в виде костей черепа, мышц и кожи, регистрируют меньше информации и, следовательно, являются менее точными для ежедневной эксплуатации.
9
Глава 1. Цели применения и классификация ИМК
Наиболее широко представленным неинвазивным ИМК является электроэнцефалография. Именно поэтому нейроинтерфейсы на основе ЭЭГ или гибридные технологии, ее включающие, наиболее широко изучены и имеют самую масштабную научную библиотеку.
Гибридные ИМК обычно сочетают в себе несколько типов нейроинтерфейсов, соединенных последовательно или параллельно, [5]. Такой вид интерфейсов повышает качество считывания сигналов, однако технически он более сложен и является дорогостоящим, требует больше вычислительных мощностей для обработки данных.
В зависимостиот методаобработкиисходныхданныхможновыделить два подхода при проектировании ИМК: синхронный и асинхронный.
Синхронный ИМК интерфейсов при помощи ЭЭГ анализирует вызванные потенциалы мозга. Такой тип обрабатывает данные в заранее установленные временные интервалы. При синхронной обработке данных испытуемый выполняет заранее обговоренные действия при включении триггера — визуального, звукового или тактильного стимула. В такой системе происходит обработка только той мозговой активности, которая является ответом на проводимую стимуляцию, в последующем трансформируясь в ряд определенных исследованием команд. Для взаимодействия с синхронным нейроинтерфейсом требуется предварительное обучение пользователя.
Асинхронный ИМК воспринимает произвольную мозговую активность пользователя, которая непрерывно анализируется на протяжении всего времени подключения. Одновременно с этим отслеживается текущее психофизиологическое состояние испытуемого. Кроме того, асинхронный ИМК способен оценивать временные интервалы, связанные с двигательной активностью, что может впоследствии быть распознано и переведено в команду. Анализ двигательной активности требует длительных тренировок [6]. Асинхронные ИМК более сложны в исполнении и требуют больше вычислительных мощностей.
Существует предложенная Торстеном Зандером классификация по принципу связи мозга с электронным устройством:
‒активный нейроинтерфейс — команда пользователя инициируется безусловно;
‒реактивный — команда инициируется пользователем в ответ на воздействие системы;
‒пассивный нейроинтерфейс —система выполняет команды, основываясь на анализе данных состояния пользователя.
10
Вопросы к главе 1
Большинство современных реабилитационных нейроинтерфейсов основывается на электроэнцефалографии, а также на использовании принципа нейропластичности человеческого мозга.
Основными преимуществами, приводящими к выбору электроэнцефалографии в качестве основного метода для технологии нейроинтерфейс, являются простота использования системы и ее мобильность. Электроэнцефалографы имеют широкий функционал возможностей для записи и обработки сигналов. Современные электроэнцефалографы имеют множество модификаций, а также возможность подобрать необходимую конфигурацию под определенную задачу или специфику исследований. Они дешевле других методов регистрации биоэлектрической активности головного мозга (БЭА ГМ).
Однако использование электроэнцефалографов для нейроинтерфейсов не лишено недостатков: дискомфорт для испытуемого (необходимость нанесения специального геля на голову, неподвижное положение в течение продолжительного периода времени); длительная настройка оборудования (калибровка сигнала, ожидание фоновой активности); широкая вариабельность индивидуальных особенностей БЭА ГМ.
Вопросы к главе 1
1.Что такое нейрокомпьютерные интерфейсы?
2.Какие принципы положены в основу классификаций ИМК?
3.В чем состоит отличие мультимодальных ИМК от тех, что используют одну модальность?
4.Какие существуют варианты регистрации нейронной активности в зависимости от площади используемого электрода?
5.Каковы преимущества неинвазивных ИМК?
6.В чем отличие синхронных от асинхронных ИМК?
7.Какие методы исследования используются для получения биологических сигналов в ИМК?
8.Каковы преимущества применения электроэнцефалографии для построения ИМК?
11
Глава 2. Шаблоны проектирования ИМК
Мультимодальный интерфейс
Слово «интерфейс» часто упоминают, когда говорят о программном обеспечении и различных способах обмена информацией и взаимодействия этого программного обеспечения с какими либо устройствами, другими программами или пользователем.
Организация интерфейса взаимодействия с пользователем программного обеспечения и самим программным обеспечением включает в себя различные способы обмена информацией между программой и человеком, использующие органы чувств, двигательную активность человека, данные биомедицинских сигналов различной физической природы. Многообразие организации способов взаимодействия между человеком и программным обеспечением с использованием различных модальностей рассматривается в стандарте Multimodal Architecture and Interfaces [7]. На рис. 2 представлены элементы архитектуры мультимодального интерфейса в среде времени выполнения. Элементы рассматриваются в рамках парадигмы MVC (модель — представление — контроллер).
Менеджер взаимодействия объединяет и координирует различные модальности. Компонент данных содержит требования к модели данных и протоколам работы с ними, например REST API. Компонент модальности отражает представление способа взаимодействия с пользователем. Среда исполнения представляет весь набор инструментов для работы и взаимодействия всех компонентов.
Рассмотрим реализацию архитектуры мультимодального интерфейса на примере ИМК Emotiv Epoc+ (рис. 3). Данные гироскопа, акселерометра и ЭЭГ регистрируются 14 канальной гарнитурой на голове человека. Данные с использованием протокола беспроводной связи
12
Мультимодальный интерфейс
BLE поступают на компьютер или мобильное устройство, на котором выполняется системный процесс Cortex.
Среда времени исполнения
Компонент
данных
Менеджер
взаимодействия
Транспортный уровень
Компонент
модальности
Рис. 2. Архитектура мультимодального интерфейса
Системный процесс Cortex позволяет через JSON-RPC API сторонним приложениям получать доступ к профилям пользователя, а также к следующим данным:
‒ментальным командам для определения намерения пользователя, например вращение фигур;
‒метрикам производительности и выражению лица;
‒энергии ЭЭГ для ритмов и данным с гироскопа и акселеро-
метра;
‒неизмененным данным ЭЭГ (сырые данные).
Профили пользователя используются приложениями для доступа к данным обучающих сессий и соответственно к обученным моделям. Таким образом, приложения могут реализовывать различные сценарии: замещение; восстановление; реабилитацию; производительность.
Данные биомедицинских сигналов, которые модулируются функциональными процессами внутри организма человека, несут в себе информацию о психофизическом состоянии человека и могут быть использованы при реализации интеллектуальных мультимодальных интерфейсов.
13
14
Компонент данных |
|
Менеджер |
Компонент |
|
|
взаимодействия |
модальностей |
Облачная |
|
|
|
инфраструктура |
|
|
Данные ЭЭГ, данные |
Emotiv |
|
|
|
|
|
акселерометра, данные |
|
|
|
|
|
|
|
|
гироскопа. Управление |
|
|
|
гарнитурой |
Данные |
TCP-IP, JSON-RPC |
Системный |
Получениесигналов |
|
процессCortex |
BLE |
Профили |
|
JSON-RPC API: |
|
|
|
|
|||
|
Ментальные команды. Метрики |
|
|
||||||
пользователей |
|
|
|
||||||
|
производительности. ЭнергияЭЭГ для |
|
|
||||||
|
|
|
|
|
|||||
|
|
|
ритмов. Выражение лица. Данные о |
|
|
||||
|
|
|
движении. Сырые данные ЭЭГ |
|
|
||||
|
|
|
|
|
|
||||
|
|
|
Приложения. Возможныесценарии |
|
|
|
|||
|
|
|
использования |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Замещение |
|
Восстановление |
|
|
Реабилитация |
|
Производительность |
|
|
|
|
|
|
|
|
|
|
|
Рис. 3. Пример архитектуры мультимодального ИМК
ИМК проектирования Шаблоны .2 Глава
Биомедицинские сигналы различных модальностей и методы их регистрации
Доступ к сырым данным ЭЭГ, акселерометра и гироскопа может использоваться приложениями для обучения собственных моделей распознавания намерения пользователя и работы с артефактами, определения метрик производительности.
Данные акселерометра и гироскопа могут быть использованы для решения следующих задач:
‒работы с артефактами ЭМГ, связанными как с движением головой, челюстью, так и с поддержанием позы, [8];
‒определения функционального состояния человека и вычисления мультимодальной метрики для оценки параметров производительности при выполнении когнитивных задач [9].
Рассмотренный на рис. 3 пример ИМК Emotiv Epoc+ показывает, как требования стандарта «Multimodal Architecture and Interfaces» осуществляются на практике при реализации мультимодального интерфейса. Созданные в соответствии со стандартом каркасы программного обеспечения ИМК позволяют снизить затраты на разработку и сопровождение программного обеспечения ИМК, в том числе при взаимодействии с решениями сторонних разработчиков.
Биомедицинские сигналы различных модальностей и методы их регистрации
Датчики для записи биомедицинских сигналов могут отслеживать такие физиологические характеристики, как активность мускулатуры всего тела, периферическая температура, дыхание, объем пульса крови, электродермальная активность, сердечно-сосудистая и корковая активность и многие другие [10].
Сенсоры позволяют проводить количественные измерения физиологических и физических параметров человека и в целом характеризуются в соответствии со следующими критериями [11]:
‒с надежностью, то есть гарантии устойчивой передачи данных;
‒точностью — параметры точности данных должны быть достаточно высокими, чтобы представить реальное событие;
‒оперативностью гибкость к быстрым изменениям и возможность обратной связи в режиме реального времени;
‒помехоустойчивостью или минимальным влиянием инструментальных шумов и погрешностей измерения;
15
Глава 2. Шаблоны проектирования ИМК
‒с линейностью компенсацией нелинейных эффектов;
‒неинвазивностью отсутствием физического воздействия датчика на пользователя.
Наиболее распространенные методы регистрации биомедицинских сигналов различных модальностей и дальнейшего проектирования на их основе систем для использования эффекта биологической обратной связи показаны в табл. 1 (адаптировано из [12]). Обсуждение и сравнение характеристик датчиков, из-за их огромного разнообразия, выходит за рамки данного учебного пособия.
|
|
Таблица 1 |
Методы регистрации сигналов разной модальности |
||
|
|
|
Название |
|
|
биомедицинских |
Аббревиатура |
Описание |
сигналов |
|
|
|
|
|
Электрокардиография |
ЭКГ |
Ощущение электрической ак- |
|
|
тивности поверхности тела, |
|
|
генерируемой сердцем, обыч- |
|
|
но в виде сигнала вариа- |
|
|
бельности сердечного ритма |
|
|
(ВСР) |
Электроэнцефалография |
ЭЭГ |
Измерение электрической ак- |
|
|
тивности мозга на поверхно- |
|
|
сти головы |
Электромиография |
ЭМГ |
Ощущение электрической ак- |
|
|
тивности, производимой мы- |
|
|
шечными волокнами |
Пневмография |
— |
Оценка частоты дыхания |
Электродермография |
ЭДГ |
Измерение электриче- |
|
|
ской активности кожи |
|
|
по проводимости кожи, |
|
|
потенциалу кожи или |
|
|
кожно-гальваническому со- |
|
|
противлению (КГР) |
Акселерометрия |
— |
Ощущение бокового и враща- |
|
|
тельного движения тела или |
|
|
определенных частей тела |
Фотоплетизмография |
ФПГ |
Оптическое определение от- |
|
|
носительного кровотока |
16
Биомедицинские сигналы различных модальностей и методы их регистрации
|
|
Окончание табл. 1 |
|
|
|
Название |
|
|
биомедицинских |
Аббревиатура |
Описание |
сигналов |
|
|
|
|
|
Термальный |
— |
Обнаружение изменения тем- |
|
|
пературы кожи |
Окулография |
ОКТ |
Запись ориентации и движе- |
|
|
ния глаз, как правило, с по- |
|
|
мощью методов компьютер- |
|
|
ного зрения |
В современной практике регистрации сигналов разной модальности особое внимание уделяется использованию носимых и смарт-устройств (смартфонов [13–15], смарт-часов [16] и фитнес-трекеров [17], планшетов [18] и смарт-очков [19; 20]), различных гарнитур [21], микроэлектромеханических систем (MEMS) [22] и беспроводных нательных сетей (WBAN) [23]). Популярные потребительские носимые устройства, их размещение и способы записи показаны на рис. 4.
Рис. 4. Потребительские носимые устройства и их датчики
17
Глава 2. Шаблоны проектирования ИМК
Различие между медицинскими устройствами и потребительскими носимыми устройствами для здоровья становится размытым [24]: теперь одно носимое устройство способно отслеживать широкий спектр медицинских факторов риска.
Стоит отметить, что большинство перечисленных выше носимых устройств может обеспечивать обратную связь в виде звуковых, визуальных и вибротактильных сигналов [24], что, наряду с невысокой ценой и доступностью, делает их одним из наиболее перспективных сенсорных модальностей для построения систем биологической обратной связи.
Однако клинические варианты использования потребительских носимых устройств остаются крайне ограниченными [17]. Возможные приложения для носимых устройств всё еще находятся в зачаточном состоянии, не имеют разрешения на использование в медицинских целях и до сих пор изучались в основном в научных кругах, а не в контексте реального мира.
Единый стандарт IEEE для ИМК
Под эгидой ассоциации IEEE работает международная рабочая группа IEEE P2731 над стандартами терминологии ИМК. Для того чтобы терминология имела практическую пользу для исследователей, такая терминология должна быть связана с определенной структурой [25]. Рабочая группа P2731 использовала подход одновременной разработки функциональной модели и словаря терминологии ИМК. Результаты, полученные рабочей группы, можно разделить на три основных направления:
‒создание глоссария ИМК, включающего сотни терминов, каждый из них имеет ссылки и определения. Более того, для понимания одного и того же термина может быть предоставлено несколько определений в соответствии с опытом каждой заинтересованной стороны ИМК (например, пользователь, инженер или невролог);
‒определение стандартной функциональной модели ИМК, которая может учитывать все соответствующие аспекты ИМК;
‒идентификацию информации, которая должна храниться в файлах данных, чтобы обеспечить простой обмен ресурсами (данными и инструментами).
Руководства и принципы создания ИМК [26; 27] используются при разработке стандарта IEEE P2731, и многие из их терминов включены
18