INTEGRAL ALGORITHM OF P300 RECOGNITION IN EEG FOR BCI APPLICATION

Full Text

ВВЕДЕНИЕ В настоящее время в нейрокомпьютерных интерфейсах (НКИ) в качестве управляющего сигнала используются вызванная реакция синхронизации/ десинхронизации (ERS/ERD) сенсомоторных ритмов при воображении движения (motor imagery) [1, 2], медленные корковые потенциалы (SCP, slow cortical potential) [3], устойчивые зрительные вызванные потенциалы (SSVEP, steady state visually evoked potential) [4], компонента P300 вызванных потенциалов (P300 component of ERP, event-related potential) [5]. Вызванные потенциалы (ERP, или ERP-отклик) генерируются в коре головного мозга при предъявлении стимула и имеют несколько компонент. Компонента P300 волны ERP проявляется при выполнении испытуемым различных задач, связанных с вниманием. Один из самых простых экспериментов по выявлению реакции мозга на целевой визуальный стимул использует парадигму«оёё-Ъа11» и заключается в предъявлении испытуемому двух типов стимулов - целевого и нецелевого. Соотношение частоты предъявлений целевого и нецелевого стимулов составляет примерно 20% и 80% соответственно. При предъявлении целевого стимула компонента P300 проявляется в ЭЭГ наиболее сильно. Рисунок 1. Беспроводной электроэнцефалограф Emotiv Insight с «сухими» электродами: а) внешний вид; б) схема локализации ЭЭГ-электродов на голове. Для выявления ERP-отклика применяются различные техники, начиная с усреднения эпох ЭЭГ, заканчивая методами машинного обучения [6]. Современные алгоритмы обнаружения значимых сигналов в НКИ достаточно сложны и включают несколько этапов обработки сигналов [7]. Относительно недавно для регистрации ЭЭГ стали использовать простые, удобные и недорогие электроэнцефалографы, среди которых беспроводной 5-канальный прибор Emotiv Insight с «сухими» электродами (США, http://emotiv.com/insight) (рис. 1). Простота использования подобной конструкции ЭЭГ-приборов делает возможным их внедрение в технологию НКИ. Однако возникает необходимость разработки алгоритмов и программных решений с учётом специфики таких устройств, а именно: высокий уровень шумов в ЭЭГ-сигнале, низкая чувствительность и низкая частота дискретизации сигнала. ■ ЦЕЛЬ Разработка интегрального алгоритма распознавания вызванного потенциала (ERP-отклика) на целевой визуальный стимул и проверка работоспособности предложенного алгоритма на беспроводном 5-канальном электроэнцефалографе Emotiv Insight с «сухими» электродами. Ячейки подсвечивались в случайной последователь- Рисунок 2. ПО «eSpeller» для визуализации стимулов на дисплее компьютера: а) последовательность концентрации внимания испытуемого на ячейках в течение экспериментальной сессии; б) вид окна визуализации, в представленном примере ячейки 1-4 и 6-9 не подсвечены, ячейка 5 показана в момент её подсветки. ■ МАТЕРИАЛЫ И МЕТОДЫ Исследование проводилось с 23 мая по 20 июня 2016 года и соответствовало этическим стандартам Хельсинской декларации Всемирной медицинской ассоциации (в редакции 2013 г.). В исследовании приняли участие 5 мужчин в возрасте от 29 до 44 лет (35,8+7,2), давшие информированное согласие на участие в работе. В работе испытуемые обозначены как subjA, subjB, subjK, subjP, subjS. Регистрация ЭЭГ производилась в офисном помещении при дневном освещении с помощью беспроводного ЭЭГ-устройства Emotiv Insight с «сухими» электродами. Электроды располагались на голове испытуемых согласно международной системе «10-20» (рис. 1). Данные записывались с частотой дискретизации 128 сек-1. Испытуемые находились в положении сидя перед дисплеем компьютера, расположенного на расстоянии 50-70 см от глаз. Визуальная стимуляция. Для отображения стимулов на дисплее компьютера использовалось самостоятельно разработанное программное обеспечение (ПО) «eSpeller» (платформа Java 1.8 и выше, ОС Windows 7 и выше). ПО работало в соответствии с парадигмой «демонстрация одного символа» (single character paradigm) [8]. На дисплее компьютера испытуемому демонстрировался квадрат со стороной 250 мм с девятью ячейками. В каждой ячейке на чёрном фоне в качестве визуальных стимулов использовалась круги серого и красного цветов (рис. 2). Ячейки в случайном порядке подсвечивались - происходило увеличение размера диаметра круга в 1,5 раза (с 33 мм до 50 мм) и изменялся цвет круга с тёмного на яркий (палитра RGB 179,179,179 на 255,0,0). Каждая из девяти ячеек за один цикл подсвечивалась один раз. Продолжительность подсветки ячейки составляла 120 мс, паузы между подсветками - 180 мс, интервал между стимулами (ISI, inter stimulus interval) - 300 мс. ности. Количество циклов подсветки ячеек в течение одной сессии составляло 20. Перерыв между сессиями составлял 10 сек. В течение одной сессии испытуемый должен был последовательно концентрировать своё внимание на ячейках с 1 по 9. Одновременно с визуализацией стимулов производилась запись ЭЭГ-сигнала в файл с фиксацией идентифицирующих ячейку меток и временных меток предъявления стимулов. В результате одного эксперимента записывалось 9 файлов с ЭЭГ-сигналами - по числу ячеек, на которых концентрировал внимание испытуемый. С каждым испытуемым было проведено 3 экспериментальных сессии. Таким образом, было получено 135 ЭЭГ-записей. Последовательность обработки данных. Производилась конвертация файлов ЭЭГ-записей из формата CSV в матричную форму. При этом выделялись временные и идентифицирующие ячейку метки стимулов. Для анализа ЭЭГ-сигнала из пяти имеющихся отведений ЭЭГ-устройства Emotiv Insight было выбрано отведение PZ, где характерный ERP-отклик наиболее выражен, что согласуется с литературными данными [5]. Нами применялся частотный фильтр Баттерворта 4-го порядка, тип lowpass до 30 Гц. Сигнал ЭЭГ разбивался на эпохи длительностью 1 сек от начала предъявления визуального стимула. В каждой ЭЭГ-записи было выделено 180 эпох (по количеству визуальных стимулов в одной сессии - 9 ячеек х 20 циклов), из которых 20 эпох соответствовали предъявлению целевого стимула (целевые эпохи) и 160 эпох соответствовали предъявлению нецелевого стимула (нецелевые эпохи). Для удаления наклонного линейного тренда осуществлялось выравнивание значений амплитуд в каждой полученной эпохе. Суммирование и усреднение значений амплитуд отдельно в целевых и нецелевых эпохах позволило усилить значимый сигнал и компенсировать случайный шум. Target and non-target epochs grand average subject: all 5 subjects, session: all 15 sessions, channel: 3 (PZ), lowpass filter: 30Hz Время после начала предъявления стимула, мс Рисунок 3. Гоафик усреднения целевых и нецелевых эпох ЭЭГ: (1) график нецелевых эпох; (2) график целевых эпох;(3) максимальное положительное значение нецелевых эпох; (4) время окончания отображения на дисплее визуального стимула 120 мс. В точках пересечения максимального положительного значения нецелевых эпох (3) с графиком целевых эпох (2) указаны значения времени, которые были приняты в качестве временных границ окна анализа ЭЭГ-сигнала. Вычисление размеров временного окна анализа внутри эпохи. Компонента P300 волны ERP имеет достаточно выраженную временную локализацию. Для получения генерализации временных границ ERP-волны проводилось усреднение эпох по всем сессиям, и получились значения границ временной локализации ERP-волны. Усреднение производилось по 2700 целевым и 21600 нецелевым эпохам (рис. 3). Временные границы окна анализа составляли 322 и 591 мс от времени начала предъявления визуального стимула. Найденные значения границ были использованы в дальнейшем анализе. Классификация эпох. Для дифференциации целевых и нецелевых эпох производилось сложение значений амплитуд ЭЭГ-сигнала в окне анализа после завершения каждого цикла подсветки ячеек. Максимальное значение суммы амплитуд в какой-либо эпохе из цикла интерпретировалось как целевая эпоха. При проведении анализа ЭЭГ были использованы программные средства MathWork® MATLAB версии R2015a (www.mathworks.com). ■ РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ Анализ дифференциации (точности распознавания) целевых и нецелевых стимулов при использовании интегрального алгоритма распознавания компоненты P300 в ERP-отклике выявил существенный разброс уровня достоверности даже у одного испытуемого в разных сессиях (табл. 1). Например, у испытуемого subjB разброс достоверности в трёх сессиях составил от 68,5% до 94,0% (диапазон разброса 25,5%). С другой стороны, у испытуемого subjS разброс достоверности составил от 87,7% до 93,9% (диапазон разброса 6,2%). Такая неоднородность значений разброса достоверности могла возникнуть из-за нестабильного прилегания контактов к коже головы испытуемого в течение записи сессии. Также она может быть связана с разным уровнем внимания испытуемых и исходно недостаточно устойчивой связью между собственно волевыми усилиями человека и их проявлениями в ЭЭГ Анализ полученных данных показал существенный разброс уровня достоверности дифференциации Сессии, сгруппированные по испытуемым Среднее значение достоверsubjA subjB subjK subjP subjS ности по эпохе использовавшихся для усреднения ЭЭГ-сигнала 39,2 60,2 60,7 64,8 76,2 42,9 79,3 72,7 41,9 65,8 78,5 76,0 66,0 70,1 76,0 64,7 2 45,4 55,2 62,5 65,1 83,4 64,7 85,1 71,2 46,8 63,3 74,7 81,2 74,4 72,9 83,8 68,6 3 46,0 61,0 67,0 48,3 93,3 69,5 83,2 74,9 49,1 71,9 71,7 78,8 73,5 83,8||82,3 70,3 4 53,7 62,5 70,0 50,0 94,3 71,4 79,2 85,7 48,3 77,6 64,8 91,8 80,8||87,4 75,9 72,9 5 54,1 63,0 65,4 56,7 90,9 81,5 75,2 79,8 47,3 74,4 66,3 92,0 80,8 92,7 78,3 73,2 6 58,0 60,8 65,4 58,5 90,0 80,3||81,7||83,6 49,5 78,1 69,4 91,8 91,1||91,1 78,2 75,2 7 58,3 67,9 60,3 62,6 94,3 75,8 79,1 79,9 53,6 79,4 69,7 90,7 96,4||95,3||83,6 76,5 8 65,5 67,9 62,2 65,8 95,3 73,3 85,6 84,0 56,5 77,2 72,3 91,6 97,5 97,4 85,6 78,5 9 67,9 71,8 62,8 62,4 93,7 76,0 81,9||86,8 59,0 75,7 69,0 90,7 98,2||99,2||87,1 78,8 10 65,9 78,0 71,4 65,8 92,0 80,3 81,3 86,1 62,0 80,5 76,2 90,9 99,0 97,1 90,0 81,1 11 74,2 74,9 72,5 66,0 93,7||85,2 77,9 92,8 65,8 81,7 76,9 90,6 96,9 I 98,5 I 88,2 82,4 12 72,1 77,4 75,5 70,9 95,4||83,8||80,2 90,6 67,7 83,2 78,9 91,2 97,4 99,4 84,9 83,2 13 72,1 79,2 83,4 73,0 96,2 I 82,4 79,6 92,1 67,3 82,2 I 85,5 91,5 96,0 | 99,7 | 87,9 84,5 X 0 с о 0 со н о о У S с 0 14 74,7 77,9 84,2 75,7 99,0 86,1 76,1 92,0 67,7 85,8 85,2 91,7 94,9 98,6 92,2 85,5 15 77,4 86,7 I 84,5 74,3 99,0 89,6 76,3 94,8 68,6 84,4 | 86,2 90,7 95,9||98,3||95,0 86,8 16 78,2 86,4 | 84,1 79,0 98,7 | 89,8 76,1 95,0 71,6 78,6 89,7||88,5 93,6 98,6 94,6 86,8 17 83,8 89,6 85,4 82,0 98,9 87,7 78,3 95,5 75,2 79,5 86,1 90,5 95,1 99,2 95,9 88,2 ■18 | 82,2||86,0||85,9||83,0||98,0||86,1 79,1 96,1 73,3 78,9 87,3 90,8 94,7 99,3||96,4 87,8 19 82,5 85,4 87,6 83,9 98,7 87,5 75.9 76.9 97,6 72,6 75,4 78,1 88,5 93,4 91,4 99,7 98,7 88,1 20 | 82,4 | 86,9 | 89,8 | 81,6 | 98,6 | 86,4 96,2 78,8 91,1 97,5 91,9 99,7 | 99,4 88,8 Среднее значение достоверности по сессии 66,7 73,9 74,0 68,5 94,0 79,0 79,4 87,4 61,0 77,8 78,4 89,6 90,3 93,9 87,7 80,1 Среднее значение достоверности по испытуемому 71,5±4,2 80,5±12,8 75,9±13,5 81,9±6,7 90,6±3,1 80,1±7,2 Таблица 1. Достоверность распознавания целевых визуальных стимулов, %. Значения достоверности распознавания выше 80%. Значения достоверности распознавания выше 90%. Значения достоверности распознавания выше 95%. *0“subjA sub|В “X-subjK slibj!’ “CHsub]S 100 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Рисунок 4. График достоверности распознавания целевого визуального стимула в зависимости от количества предъявлений стимула. целевого и нецелевого визуального стимула у разных испытуемых. Например, у испытуемого subjA средний уровень достоверности составил 71,5%, в то время как у испытуемого subjS этот уровень составил 90,6%. Такой разброс может объясняться индивидуальными особенностями испытуемых. Отмечено также увеличение значений уровня достоверности дифференциации целевого и нецелевого визуальных стимулов в зависимости от количества предъявлений стимула (рис. 4). После 14-17 предъявлений целевого стимула все испытуемые вышли на некий собственный «предел достоверности», после которого уже не наблюдается рост уровня достоверности распознавания. Анализ темпа роста достоверности распознавания показал, что предъявление целевых стимулов в количестве от 2 до 10 даёт достаточно большое приращение достоверности распознавания - в среднем от 2% до 4% с каждым новым предъявлением стимула (рис. 5). Рисунок 5. График темпа роста достоверности распознавания в зависимости от количества предъявлений целевого визуального стимула:столбцами показано приращение уровня достоверности к предыдущему значению уровня достоверности; пунктирной линией показан полиномиальный тренд 3-го порядка. Дальнейшее увеличение количества предъявлений целевого стимула с 11 до 17 приводит к незначительному росту достоверности распознавания (не более 1,5% при каждом новом предъявлении стимула) и к ещё меньшему (менее 1%) при предъявлении целевого стимула в количестве от 18 до 20. Интересно отметить, что после 18-го предъявления целевого стимула происходит даже отрицательное изменение приращения достоверности распознавания. Это может объясняться как случайным отклонением, так и возрастанием утомления у испытуемых. ■ ЗАКЛЮЧЕНИЕ Разработанный нами интегральный алгоритм распознавания ERP-отклика на целевой визуальный стимул показывает хорошие результаты и может применяться на практике. Уровень достоверности дифференциации целевого и нецелевого визуального стимула у разных испытуемых составил от 71,5% до 90,6%, среднее значение 80,1+7,2%. Следует отметить, что у каждого испытуемого была зафиксирована 100-процентная достоверность распознавания задуманной ячейки при любом количестве предъявлений целевого стимула от 1 до 20; количество таких сессий составило 13 из 135, или 9,6%. Представленный интегральный алгоритм показал 100-процентную достоверность распознавания целевого визуального стимула и после единичного предъявления стимула; количество таких сессий составило 31 из 135, или 22,9%. Апробация предложенного алгоритма указывает на возможность применения электроэнцефалографа Emotiv Insight с «сухими» электродами в нейрокомпью-терном интерфейсе. Разработанный нами интегральный алгоритм распознавания не требует дополнительных аппаратных средств, кроме самого ЭЭГ-устройства и компьютера, на котором установлено соответствующее ПО. Также не требуются высокие вычислительные мощности и не используются сложные методы классификации и машинного обучения. В то же время алгоритм требует нескольких циклов подсветки ячеек, что занимает некоторое время на ввод одной управляющей команды в НКИ. Полученные нами результаты требуют дополнительных экспериментальных исследований и дальнейшего усовершенствования интегрального алгоритма распознавания ERP-отклика на целевой визуальный стимул. Возможно проведение исследований по дегенерализации предложенного алгоритма и применению в нём методов адаптивного принятия решения о распознавании целевого стимула. В этом случае интегральный алгоритм может подстраиваться под каждого испытуемого и гибко принимать решение о распознавании целевого стимула. Такой подход позволит уменьшить количество предъявлений целевого стимула для распознавания (до 2-5 раз) с высоким уровнем достоверности (от 90% и выше).

About the authors

S N Agapov

IT-Universe (Samara)

Email: sergeyagapov@it-universe.ru
specialist of the laboratory of mathematical processing of biological information, IT Universe LLC. of. 323, 3 Eroshevsky st., Samara, Russia, 443086

V A Bulanov

IT-Universe (Samara)

Email: vb@it-universe.ru
head of the laboratory of mathematical processing of biological information, IT Universe LLC.

A V Zakharov

Samara State Medical University

Email: zakharov1977@mail.ru
PhD, associate professor of the Department of Neurology and Neurosurgery, head of the Laboratory of Neurointerface of the Centre for breakthrough research «IT in Medicine», SSMU

M S Sergeeva

Samara State Medical University

Email: marsergr@yandex.ru
PhD, associate professor of the Department of Physiology with the course of life safety and medicine of catastrophes, head of the Laboratory of Applied Neurophysiology of the Centre for breakthrough research «IT in Medicine», SSMU.

V F Pyatin

Samara State Medical University

Email: pyatin_vf@list.ru
PhD, professor, head of the Department of Physiology with the course of life safety and medicine of catastrophes, head of the Department of Neurointerface and Applied Neurophysiology of the Centre for breakthrough research «IT in Medicine», SSMU

References

Supplementary files