ИНТЕГРАЛЬНЫЙ АЛГОРИТМ РАСПОЗНАВАНИЯ КОМПОНЕНТЫ Р300 В ЭЭГ-СИГНАЛЕ ДЛЯ ПРИМЕНЕНИЯ В НЕЙРОКОМПЬЮТЕРНОМ ИНТЕРФЕЙСЕ

Полный текст

ВВЕДЕНИЕ В настоящее время в нейрокомпьютерных интерфейсах (НКИ) в качестве управляющего сигнала используются вызванная реакция синхронизации/ десинхронизации (ERS/ERD) сенсомоторных ритмов при воображении движения (motor imagery) [1, 2], медленные корковые потенциалы (SCP, slow cortical potential) [3], устойчивые зрительные вызванные потенциалы (SSVEP, steady state visually evoked potential) [4], компонента P300 вызванных потенциалов (P300 component of ERP, event-related potential) [5]. Вызванные потенциалы (ERP, или ERP-отклик) генерируются в коре головного мозга при предъявлении стимула и имеют несколько компонент. Компонента P300 волны ERP проявляется при выполнении испытуемым различных задач, связанных с вниманием. Один из самых простых экспериментов по выявлению реакции мозга на целевой визуальный стимул использует парадигму«оёё-Ъа11» и заключается в предъявлении испытуемому двух типов стимулов - целевого и нецелевого. Соотношение частоты предъявлений целевого и нецелевого стимулов составляет примерно 20% и 80% соответственно. При предъявлении целевого стимула компонента P300 проявляется в ЭЭГ наиболее сильно. Рисунок 1. Беспроводной электроэнцефалограф Emotiv Insight с «сухими» электродами: а) внешний вид; б) схема локализации ЭЭГ-электродов на голове. Для выявления ERP-отклика применяются различные техники, начиная с усреднения эпох ЭЭГ, заканчивая методами машинного обучения [6]. Современные алгоритмы обнаружения значимых сигналов в НКИ достаточно сложны и включают несколько этапов обработки сигналов [7]. Относительно недавно для регистрации ЭЭГ стали использовать простые, удобные и недорогие электроэнцефалографы, среди которых беспроводной 5-канальный прибор Emotiv Insight с «сухими» электродами (США, http://emotiv.com/insight) (рис. 1). Простота использования подобной конструкции ЭЭГ-приборов делает возможным их внедрение в технологию НКИ. Однако возникает необходимость разработки алгоритмов и программных решений с учётом специфики таких устройств, а именно: высокий уровень шумов в ЭЭГ-сигнале, низкая чувствительность и низкая частота дискретизации сигнала. ■ ЦЕЛЬ Разработка интегрального алгоритма распознавания вызванного потенциала (ERP-отклика) на целевой визуальный стимул и проверка работоспособности предложенного алгоритма на беспроводном 5-канальном электроэнцефалографе Emotiv Insight с «сухими» электродами. Ячейки подсвечивались в случайной последователь- Рисунок 2. ПО «eSpeller» для визуализации стимулов на дисплее компьютера: а) последовательность концентрации внимания испытуемого на ячейках в течение экспериментальной сессии; б) вид окна визуализации, в представленном примере ячейки 1-4 и 6-9 не подсвечены, ячейка 5 показана в момент её подсветки. ■ МАТЕРИАЛЫ И МЕТОДЫ Исследование проводилось с 23 мая по 20 июня 2016 года и соответствовало этическим стандартам Хельсинской декларации Всемирной медицинской ассоциации (в редакции 2013 г.). В исследовании приняли участие 5 мужчин в возрасте от 29 до 44 лет (35,8+7,2), давшие информированное согласие на участие в работе. В работе испытуемые обозначены как subjA, subjB, subjK, subjP, subjS. Регистрация ЭЭГ производилась в офисном помещении при дневном освещении с помощью беспроводного ЭЭГ-устройства Emotiv Insight с «сухими» электродами. Электроды располагались на голове испытуемых согласно международной системе «10-20» (рис. 1). Данные записывались с частотой дискретизации 128 сек-1. Испытуемые находились в положении сидя перед дисплеем компьютера, расположенного на расстоянии 50-70 см от глаз. Визуальная стимуляция. Для отображения стимулов на дисплее компьютера использовалось самостоятельно разработанное программное обеспечение (ПО) «eSpeller» (платформа Java 1.8 и выше, ОС Windows 7 и выше). ПО работало в соответствии с парадигмой «демонстрация одного символа» (single character paradigm) [8]. На дисплее компьютера испытуемому демонстрировался квадрат со стороной 250 мм с девятью ячейками. В каждой ячейке на чёрном фоне в качестве визуальных стимулов использовалась круги серого и красного цветов (рис. 2). Ячейки в случайном порядке подсвечивались - происходило увеличение размера диаметра круга в 1,5 раза (с 33 мм до 50 мм) и изменялся цвет круга с тёмного на яркий (палитра RGB 179,179,179 на 255,0,0). Каждая из девяти ячеек за один цикл подсвечивалась один раз. Продолжительность подсветки ячейки составляла 120 мс, паузы между подсветками - 180 мс, интервал между стимулами (ISI, inter stimulus interval) - 300 мс. ности. Количество циклов подсветки ячеек в течение одной сессии составляло 20. Перерыв между сессиями составлял 10 сек. В течение одной сессии испытуемый должен был последовательно концентрировать своё внимание на ячейках с 1 по 9. Одновременно с визуализацией стимулов производилась запись ЭЭГ-сигнала в файл с фиксацией идентифицирующих ячейку меток и временных меток предъявления стимулов. В результате одного эксперимента записывалось 9 файлов с ЭЭГ-сигналами - по числу ячеек, на которых концентрировал внимание испытуемый. С каждым испытуемым было проведено 3 экспериментальных сессии. Таким образом, было получено 135 ЭЭГ-записей. Последовательность обработки данных. Производилась конвертация файлов ЭЭГ-записей из формата CSV в матричную форму. При этом выделялись временные и идентифицирующие ячейку метки стимулов. Для анализа ЭЭГ-сигнала из пяти имеющихся отведений ЭЭГ-устройства Emotiv Insight было выбрано отведение PZ, где характерный ERP-отклик наиболее выражен, что согласуется с литературными данными [5]. Нами применялся частотный фильтр Баттерворта 4-го порядка, тип lowpass до 30 Гц. Сигнал ЭЭГ разбивался на эпохи длительностью 1 сек от начала предъявления визуального стимула. В каждой ЭЭГ-записи было выделено 180 эпох (по количеству визуальных стимулов в одной сессии - 9 ячеек х 20 циклов), из которых 20 эпох соответствовали предъявлению целевого стимула (целевые эпохи) и 160 эпох соответствовали предъявлению нецелевого стимула (нецелевые эпохи). Для удаления наклонного линейного тренда осуществлялось выравнивание значений амплитуд в каждой полученной эпохе. Суммирование и усреднение значений амплитуд отдельно в целевых и нецелевых эпохах позволило усилить значимый сигнал и компенсировать случайный шум. Target and non-target epochs grand average subject: all 5 subjects, session: all 15 sessions, channel: 3 (PZ), lowpass filter: 30Hz Время после начала предъявления стимула, мс Рисунок 3. Гоафик усреднения целевых и нецелевых эпох ЭЭГ: (1) график нецелевых эпох; (2) график целевых эпох;(3) максимальное положительное значение нецелевых эпох; (4) время окончания отображения на дисплее визуального стимула 120 мс. В точках пересечения максимального положительного значения нецелевых эпох (3) с графиком целевых эпох (2) указаны значения времени, которые были приняты в качестве временных границ окна анализа ЭЭГ-сигнала. Вычисление размеров временного окна анализа внутри эпохи. Компонента P300 волны ERP имеет достаточно выраженную временную локализацию. Для получения генерализации временных границ ERP-волны проводилось усреднение эпох по всем сессиям, и получились значения границ временной локализации ERP-волны. Усреднение производилось по 2700 целевым и 21600 нецелевым эпохам (рис. 3). Временные границы окна анализа составляли 322 и 591 мс от времени начала предъявления визуального стимула. Найденные значения границ были использованы в дальнейшем анализе. Классификация эпох. Для дифференциации целевых и нецелевых эпох производилось сложение значений амплитуд ЭЭГ-сигнала в окне анализа после завершения каждого цикла подсветки ячеек. Максимальное значение суммы амплитуд в какой-либо эпохе из цикла интерпретировалось как целевая эпоха. При проведении анализа ЭЭГ были использованы программные средства MathWork® MATLAB версии R2015a (www.mathworks.com). ■ РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ Анализ дифференциации (точности распознавания) целевых и нецелевых стимулов при использовании интегрального алгоритма распознавания компоненты P300 в ERP-отклике выявил существенный разброс уровня достоверности даже у одного испытуемого в разных сессиях (табл. 1). Например, у испытуемого subjB разброс достоверности в трёх сессиях составил от 68,5% до 94,0% (диапазон разброса 25,5%). С другой стороны, у испытуемого subjS разброс достоверности составил от 87,7% до 93,9% (диапазон разброса 6,2%). Такая неоднородность значений разброса достоверности могла возникнуть из-за нестабильного прилегания контактов к коже головы испытуемого в течение записи сессии. Также она может быть связана с разным уровнем внимания испытуемых и исходно недостаточно устойчивой связью между собственно волевыми усилиями человека и их проявлениями в ЭЭГ Анализ полученных данных показал существенный разброс уровня достоверности дифференциации Сессии, сгруппированные по испытуемым Среднее значение достоверsubjA subjB subjK subjP subjS ности по эпохе использовавшихся для усреднения ЭЭГ-сигнала 39,2 60,2 60,7 64,8 76,2 42,9 79,3 72,7 41,9 65,8 78,5 76,0 66,0 70,1 76,0 64,7 2 45,4 55,2 62,5 65,1 83,4 64,7 85,1 71,2 46,8 63,3 74,7 81,2 74,4 72,9 83,8 68,6 3 46,0 61,0 67,0 48,3 93,3 69,5 83,2 74,9 49,1 71,9 71,7 78,8 73,5 83,8||82,3 70,3 4 53,7 62,5 70,0 50,0 94,3 71,4 79,2 85,7 48,3 77,6 64,8 91,8 80,8||87,4 75,9 72,9 5 54,1 63,0 65,4 56,7 90,9 81,5 75,2 79,8 47,3 74,4 66,3 92,0 80,8 92,7 78,3 73,2 6 58,0 60,8 65,4 58,5 90,0 80,3||81,7||83,6 49,5 78,1 69,4 91,8 91,1||91,1 78,2 75,2 7 58,3 67,9 60,3 62,6 94,3 75,8 79,1 79,9 53,6 79,4 69,7 90,7 96,4||95,3||83,6 76,5 8 65,5 67,9 62,2 65,8 95,3 73,3 85,6 84,0 56,5 77,2 72,3 91,6 97,5 97,4 85,6 78,5 9 67,9 71,8 62,8 62,4 93,7 76,0 81,9||86,8 59,0 75,7 69,0 90,7 98,2||99,2||87,1 78,8 10 65,9 78,0 71,4 65,8 92,0 80,3 81,3 86,1 62,0 80,5 76,2 90,9 99,0 97,1 90,0 81,1 11 74,2 74,9 72,5 66,0 93,7||85,2 77,9 92,8 65,8 81,7 76,9 90,6 96,9 I 98,5 I 88,2 82,4 12 72,1 77,4 75,5 70,9 95,4||83,8||80,2 90,6 67,7 83,2 78,9 91,2 97,4 99,4 84,9 83,2 13 72,1 79,2 83,4 73,0 96,2 I 82,4 79,6 92,1 67,3 82,2 I 85,5 91,5 96,0 | 99,7 | 87,9 84,5 X 0 с о 0 со н о о У S с 0 14 74,7 77,9 84,2 75,7 99,0 86,1 76,1 92,0 67,7 85,8 85,2 91,7 94,9 98,6 92,2 85,5 15 77,4 86,7 I 84,5 74,3 99,0 89,6 76,3 94,8 68,6 84,4 | 86,2 90,7 95,9||98,3||95,0 86,8 16 78,2 86,4 | 84,1 79,0 98,7 | 89,8 76,1 95,0 71,6 78,6 89,7||88,5 93,6 98,6 94,6 86,8 17 83,8 89,6 85,4 82,0 98,9 87,7 78,3 95,5 75,2 79,5 86,1 90,5 95,1 99,2 95,9 88,2 ■18 | 82,2||86,0||85,9||83,0||98,0||86,1 79,1 96,1 73,3 78,9 87,3 90,8 94,7 99,3||96,4 87,8 19 82,5 85,4 87,6 83,9 98,7 87,5 75.9 76.9 97,6 72,6 75,4 78,1 88,5 93,4 91,4 99,7 98,7 88,1 20 | 82,4 | 86,9 | 89,8 | 81,6 | 98,6 | 86,4 96,2 78,8 91,1 97,5 91,9 99,7 | 99,4 88,8 Среднее значение достоверности по сессии 66,7 73,9 74,0 68,5 94,0 79,0 79,4 87,4 61,0 77,8 78,4 89,6 90,3 93,9 87,7 80,1 Среднее значение достоверности по испытуемому 71,5±4,2 80,5±12,8 75,9±13,5 81,9±6,7 90,6±3,1 80,1±7,2 Таблица 1. Достоверность распознавания целевых визуальных стимулов, %. Значения достоверности распознавания выше 80%. Значения достоверности распознавания выше 90%. Значения достоверности распознавания выше 95%. *0“subjA sub|В “X-subjK slibj!’ “CHsub]S 100 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Рисунок 4. График достоверности распознавания целевого визуального стимула в зависимости от количества предъявлений стимула. целевого и нецелевого визуального стимула у разных испытуемых. Например, у испытуемого subjA средний уровень достоверности составил 71,5%, в то время как у испытуемого subjS этот уровень составил 90,6%. Такой разброс может объясняться индивидуальными особенностями испытуемых. Отмечено также увеличение значений уровня достоверности дифференциации целевого и нецелевого визуальных стимулов в зависимости от количества предъявлений стимула (рис. 4). После 14-17 предъявлений целевого стимула все испытуемые вышли на некий собственный «предел достоверности», после которого уже не наблюдается рост уровня достоверности распознавания. Анализ темпа роста достоверности распознавания показал, что предъявление целевых стимулов в количестве от 2 до 10 даёт достаточно большое приращение достоверности распознавания - в среднем от 2% до 4% с каждым новым предъявлением стимула (рис. 5). Рисунок 5. График темпа роста достоверности распознавания в зависимости от количества предъявлений целевого визуального стимула:столбцами показано приращение уровня достоверности к предыдущему значению уровня достоверности; пунктирной линией показан полиномиальный тренд 3-го порядка. Дальнейшее увеличение количества предъявлений целевого стимула с 11 до 17 приводит к незначительному росту достоверности распознавания (не более 1,5% при каждом новом предъявлении стимула) и к ещё меньшему (менее 1%) при предъявлении целевого стимула в количестве от 18 до 20. Интересно отметить, что после 18-го предъявления целевого стимула происходит даже отрицательное изменение приращения достоверности распознавания. Это может объясняться как случайным отклонением, так и возрастанием утомления у испытуемых. ■ ЗАКЛЮЧЕНИЕ Разработанный нами интегральный алгоритм распознавания ERP-отклика на целевой визуальный стимул показывает хорошие результаты и может применяться на практике. Уровень достоверности дифференциации целевого и нецелевого визуального стимула у разных испытуемых составил от 71,5% до 90,6%, среднее значение 80,1+7,2%. Следует отметить, что у каждого испытуемого была зафиксирована 100-процентная достоверность распознавания задуманной ячейки при любом количестве предъявлений целевого стимула от 1 до 20; количество таких сессий составило 13 из 135, или 9,6%. Представленный интегральный алгоритм показал 100-процентную достоверность распознавания целевого визуального стимула и после единичного предъявления стимула; количество таких сессий составило 31 из 135, или 22,9%. Апробация предложенного алгоритма указывает на возможность применения электроэнцефалографа Emotiv Insight с «сухими» электродами в нейрокомпью-терном интерфейсе. Разработанный нами интегральный алгоритм распознавания не требует дополнительных аппаратных средств, кроме самого ЭЭГ-устройства и компьютера, на котором установлено соответствующее ПО. Также не требуются высокие вычислительные мощности и не используются сложные методы классификации и машинного обучения. В то же время алгоритм требует нескольких циклов подсветки ячеек, что занимает некоторое время на ввод одной управляющей команды в НКИ. Полученные нами результаты требуют дополнительных экспериментальных исследований и дальнейшего усовершенствования интегрального алгоритма распознавания ERP-отклика на целевой визуальный стимул. Возможно проведение исследований по дегенерализации предложенного алгоритма и применению в нём методов адаптивного принятия решения о распознавании целевого стимула. В этом случае интегральный алгоритм может подстраиваться под каждого испытуемого и гибко принимать решение о распознавании целевого стимула. Такой подход позволит уменьшить количество предъявлений целевого стимула для распознавания (до 2-5 раз) с высоким уровнем достоверности (от 90% и выше).

Об авторах

С Н Агапов

ООО «IT Universe» (Самара)

Email: sergeyagapov@it-universe.ru
сотрудник лаборатории математической обработки биологической информации компании IT-Universe. офис 323, ул. Ерошевского, 3, г. Самара, 443086

В А Буланов

ООО «IT Universe» (Самара)

Email: vb@it-universe.ru
руководитель лаборатории математической обработки биологической информации компании IT-Universe.

А В Захаров

ФГБОУ ВО «Самарский государственный медицинский университет» Минздрава России

Email: zakharov1977@mail.ru
к.м.н., доцент кафедры неврологии и нейрохирургии СамГМУ.

М С Сергеева

ФГБОУ ВО «Самарский государственный медицинский университет» Минздрава России

Email: marsergr@yandex.ru
к.б.н., доцент кафедры физиологии с курсом БЖД и медицины катастроф

В Ф Пятин

ФГБОУ ВО «Самарский государственный медицинский университет» Минздрава России

Email: pyatin_vf@list.ru
заведующий кафедрой физиологии с курсом БЖД и медицины катастроф, начальник отдела нейроинтерфейсов и прикладной нейрофизиологии ЦПИ «Информационные технологии в медицине», д.м.н., профессор.

Список литературы

Дополнительные файлы