RECOGNITION OF COGNITIVE POTENTIALS TO THE TARGET STIMULI IN THE BRAIN-COMPUTER INTERFACE ON THE BASIS OF THE ENSEMBLE OF CLASSIFIERS


Cite item

Abstract

Background. A number of studies have been done on detection of human visual attention focus by means of P300 brain-computer interfaces (BCI). However, the performance of interfaces on P300 is still low, since this technique requires the repeated presentation of target and non-target stimuli. There are some indications that it is appropriate to use ensembles of classifiers to improve the accuracy of recognition of multidimensional objects. The goal of the present study was to verify the feasibility of application of ensembles of classifiers to speed up the work of the BCI P300. Methods. The study involved 22 subjects, whose task was to closely monitor the highlights of target objects on the computer screen, presented as 8 triangles located in a circle (angle of 7.7 degrees). Single classifiers and ensembles of classifiers based on linear discriminant of Fisher were used to detect the target responses in the EEG. Results. The use of the ensemble of classifiers provided almost the same accuracy of algorithmic choice of target reactions, EEG in 78-80%, as compared with the use of single classifiers, but with two times smaller number of repetitions of the test stimuli and, therefore, faster detection of the target reactions of the EEG. Conclusions. This work implies that the P300 BCI with the participation of the ensemble of classifiers can be used to build high-speed communication systems for both the stroke patients and healthy people in special circumstances for additional alarm at the inability to use speech.

Full Text

■ ВВЕДЕНИЕ Технология интерфейсов «мозг-компьютер» (ИМК) на основе зрительных вызванных потенциалов позволяет детектировать фокусы внимания человека к нужным ему символам из конечного их набора на экране и транслировать эти события в команды для заранее ассоциированных с каждым символом внешних исполнительных систем, например, для набора букв или для управления устройствами. Детектирование фокуса внимания человека в ИМК производится главным образом по различию компонентов Р300 и N200 в реакциях ЭЭГ на целевые и нецелевые зрительные стимулы-символы. Для этого в предварительной процедуре обучения с использованием выборок реакций ЭЭГ на одни и другие стимулы формируются параметры алгоритмического классификатора этих реакций. В дальнейшем этот обученный классификатор используется в режиме реального времени для обнаружения «целевых» реакций в потоке последовательно предъявляемых целевых и нецелевых символов [1, 2, 3]. В силу высокой вариабельности процессов внимания и самих реакций ЭЭГ на стимулы надежность детектирования «целевых» символов обученным классификатором при их однократном экспонировании оказывается неприемлемо низкой для использования в практических целях [1, 4, 5, 6]. В то же время по мере увеличения тестовых проб путем когерентного накопления реакций ЭЭГ при повторном предъявлении целевых символов уже две-три повторных экспозиции такого символа приводят к увеличению надежности детектирования целевых реакций ЭЭГ до 60-70%, а при числе повторений 6-9 - до 85-95% [4, 7]. Однако вместе с повышением надежности детектирования «целевых» реакций при увеличении числа предъявлений символов закономерно увеличивается и время детектирования фокуса внимания в ИМК. Даже в лучших ИМК при десяти повторениях целевого символа, взятого из набора в 36 символов, это время составляет не менее 5-6 с, что значительно снижает потенциал коммуникативных технологий на основе ИМК. В настоящей работе апробируется ансамблевый подход к построению процедуры классификации реакций ЭЭГ в реальном времени, в котором каждая очередная реакция ЭЭГ проверяется на принадлежность к целевым реакциям не одним, а целой группой однотипных классификаторов с последующим подсчетом результатов голосования «ЗА» и «ПРОТИВ». Таким образом, можно увеличить число тестовых проб целевого символа не путем его повторных предъявлений, что увеличивает время детектирования, а за счет увеличения числа независимых классификаторов, которые одновременно тестируют реакцию ЭЭГ на один стимул. При этом действующие в ансамбле классификаторы, хотя и являются однотипными, но обучаются каждый на своей выборке «целевых» и «нецелевых» стимулов, чтобы в своей совокупности они обладали «чувствительностью» к более широкому спектру характеристических признаков «целевых» реакций ЭЭГ, чем каждый из классификаторов по отдельности. Ансамблевый подход предлагается в общих решениях классификации многомерных объектов [8, 9], так как позволяет принимать более обоснованные и надежные решение относительно принадлежности этих объектов к той или иной категории. Понятно, что для обучения не одного, а целого ансамбля классификаторов, каждого на своей выборке реакций ЭЭГ, будет затрачено больше времени, чем при обучении одного классификатора. Однако существенным для практической работы ИМК является повышение быстродействия не на этапе обучения алгоритма классификации, а в период собственно детектирования событий, где требуется принятие решения по категоризации реакций ЭЭГ практически в реальном времени. Поскольку в ансамбле все классификаторы тестируют очередную реакцию ЭЭГ одновременно, увеличение числа классификаторов не приводит к замедлению процедуры принятия решения о принадлежности этой реакции одному из двух типов. Таким образом, можно полагать, что для ускорения разделения целевых и нецелевых реакций ЭЭГ можно уменьшить число повторных предъявлений символов, но для сохранения надежности детектирования инспектировать каждую очередную реакцию ЭЭГ одновременно целым набором классификаторов. ■ ЦЕЛЬ Целью настоящей работы была проверка гипотезы о том, что применение ансамбля обученных классификаторов приведет к ускорению надежного распознавания целевых реакций ЭЭГ по сравнению с традиционным использованием для этих целей одного и того же классификатора, но на основе многократного экспонирования ему реакций ЭЭГ на последовательное предъявление целевых и нецелевых стимулов. ■ МЕТОДИКА В исследовании, одобренным этической комиссией МГУ им. М.В. Ломоносова, приняли участие 22 испытуемых в возрасте от 18 до 30 лет, каждый из которых на основе предварительного ознакомления с условиями исследования подписывал информированное согласие. Испытуемые располагались в удобном кресле в отсеке лабораторного помещения с относительной свето- и звукоизоляцией. ЭЭГ регистрировалась с помощью электроэнцефалографа NVX 52 (ООО «МКС», Зеленоград) в восьми скальповых позициях (Cz, Р3, Р4, Pz, P5, P6, O1, O2) относительно объединенного ушного электрода и со средней точкой в позиции Fpz. Перед испытуемым располагался компьютерный монитор, на экране которого экспонировалась сти-мульная среда, состоящая из расположенных по кругу (7,7 угловых градуса) основаниями наружу восьми равнобедренных треугольников со стороной 3,2 угловых градуса. Каждый треугольник имел свой номер и в процессе тестирования кратковременно (50 мс) подсвечивался со случайным интервалом, кратным 200 мс, но не большим 200x8=1600 мс. Процесс записи, управления экспериментом и предъявления стимулов производился с помощью специально разработанной и прошедшей нейрофизиологическое тестирование программной реализации интерфейса «мозг-компьютер» SMAIL-S (И. Ганин, Д. Кирьянов). Все записываемые данные подвергались фильтрации Notch фильтром (50 Гц) и фильтром Баттерворта с полосой пропускания 0,1 - 40 Гц. Исследование было разделено на 2 этапа, в рамках которых сначала производилось обучение классификаторов, а затем - тестирование точности их работы в реальном времени. На обоих этапах испытуемые получали стандартную инструкцию, согласно которой им требовалось фокусировать внимание на подсветках треугольника с указанным номером (целевой стимул) до тех пор, пока не завершится цикл подсветок всех треугольников по три раза в обучающей серии, и по 3 и 6 раз в тестовых сериях. Подсветки треугольников регистрировались прикрепленным к экрану фотодатчиком для введения в запись ЭЭГ безынерционных меток, необходимых для когерентного усреднения отрезков ЭЭГ и выделения зрительного вызванного потенциала. Для классификации реакций ЭЭГ на целевые или нецелевые символы был выбран наиболее распространенный для этих целей алгоритм линейного дискриминанта Фишера (классификатор Фишера). Обучение 15 однотипных классификаторов Фишера состояло из 15 сессий, отдельно для каждого классификатора, разделенных перерывами (1-3 мин.) для отдыха испытуемого. Нажатием клавиши испытуемый сам мог запускать следующую сессию после того, как считал себя достаточно отдохнувшим. В каждой сессии испытуемому требовалось фокусировать внимание на подсветках указанного программой «целевого» треугольника, не обращая внимания на подсветки других треугольников. Каждый «целевой» треугольник подсвечивался по 3 раза в случайном чередовании с подсветками других треугольников, после чего программа предлагала пользователю сфокусировать внимание на подсветках нового «целевого» треугольника, и так до завершения одной сессии тестирования с использованием в качестве целевого каждого из 8 треугольников. По результатам тестирования в каждой сессии на основе полученных выборок реакций ЭЭГ на целевые (n=8x3=24) и нецелевые (n=8x7x3= 168) подсветки треугольников строился очередной классификатор Фишера. Таким образом, в результате выполнения 15 сессий получалось 15 классификаторов первого типа, обученных каждый в отдельной сессии на равных, но разных массивах «целевых» и «нецелевых» реакций ЭЭГ. Далее на основе тех же данных формировались 15 классификаторов второго типа: каждый из них обучался на все возрастающем массиве данных последовательных сессий от 1 до 15. Таким образом, классификатор №15 второго типа обучался на том же массиве данных, на 15 равных частях которого обучались 15 классификаторов первого типа. ■ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ Проверка точности ансамблевой работы группы обученных классификаторов первого типа и работы отдельных классификаторов второго типа осуществлялась по результатам двух тестовых серий, состоящих из одной сессии, но включающей не 8, как в обучающих сессиях, а 20 попыток. Каждая попытка состояла в фокусировании внимания испытуемого на трех (1-я тестовая серия для обоих типов способов применения классификаторов) и на шести (2-я тестовая серия для отдельных классификаторов) подсветках треугольников. Как и в обучающей серии, треугольники-стимулы в качестве целевых выбирались на экране случайным образом из расположенных по кругу 8 треугольников, но делалось это не 8, а 20 раз. Анализ реакций ЭЭГ на этапе тестирования обученных классификаторов начинался процедурой когерентного накопления трех или шести (1-я или 2-я серия) отрезков ЭЭГ длительностью 800 мс после начала подсветки каждого из 8 треугольников. Таким образом, по результатам анализа ЭЭГ накапливался массив данных из 20х8=160 усредненных комплектов вызванных потенциалов, среди которых только 20 были ответами на целевые подсветки. Среди усредненных по 3 или 6 подсветкам вызванных реакций в 8-канальной записи ЭЭГ целевые реакции детектировались по максимуму выходных коэффициентов обученного в первой серии алгоритма линейного дискриминанта Фишера (классификатора Фишера). При использовании в принятии решения нескольких классификаторов их выходные весовые коэффициенты относительно каждой реакции ЭЭГ усреднялись и за целевую принималась та реакция, для которой среднее значение весовых коэффициентов, участвовавших в процедуре классификации, было максимальным. В ходе тестирования каждое совпадение решения классификатора с фокусом внимания испытуемого отмечалось на экране в виде изменения цвета соответствующего треугольника, что дополнительно мотивировало испытуемого к успешному выполнению тестового задания. Накопленные таким образом зрительные вызванные потенциалы на подсветки целевых и нецелевых треугольников одновременно классифицировались 15 классификаторами первого типа, обученными каждый на своей выборке, набранной в одной сессии, и классификаторами второго типа, обученными на суммированных массивах данных от 2 до 15 сессий. Статистическое сравнение усредненных оценок точности работы классификаторов для тестируемых условий выполнялось посредством критерия Вилкоксона с поправкой Бон-феррони на число групп сравнения. Точность работы классификаторов определяли по относительному числу правильно детектированных реакций на целевые подсветки из 20 возможных. На рисунке 1 представлены результаты проверки в нейрофизиологическом тестировании точности ансамблевой работы от одного до 15 классификаторов первого типа (кривая 2), обученных каждый на своей выборке при трехкратном предъявлении целевого стимула. Там же показаны оценки точности работы классификаторов второго типа, обученных на суммарных данных из «п» сессий от 1 до 15 и тестировавшихся при 3-кратном и при 6-кратном предъявлении целевого стимула. Как видно из рисунка 1, средняя результативность работы классификаторов первого типа (градация 1 по горизонтали) совпадает с аналогичной оценкой работы классификаторов второго типа, обученных на массиве данных одной сессии, и составляет примерно 50% (случайный уровень 100/8=12,5%), если в обоих случаях при тестировании каждый треугольник подсвечивался 3 раза. Однако при использовании в когерентном накоплении не 3, а 6 реакций ЭЭГ точность работы классификаторов второго типа, обученных даже на данных одной-двух сессий, резко и статистически значимо (p<0.01) возрастала до 80% (рис. 1, градация 1 кривая 1). Как видно, при 6 повторных предъявлениях целевого стимула точность работы классификаторов второго типа в гораздо меньшей степени зависела от того, на каком массиве данных от 1 до 15, обучался классификатор, достигая точности работы 90-93% лишь при обучении на массиве данных 12-15 сессий (рис. 1-1). Таким образом, повышение точности работы классификаторов второго типа, обученных даже на больших выборках, в большей мере связано с увеличением в 2 раза числа предъявлений стимулов в тестовой процедуре. Это означает, что для сохранения высокой точности классификации одинарными классификаторами время принятия соответствующего решения увеличивается минимум в два раза, что в случае выбора из 8 символов добавляет более 3с. В то же время при использовании ансамбля классификаторов (рис. 1-2) достигается практически такая же точность детектирования целевых реакций ЭЭГ, что и при работе классификаторов второго типа (78-80%), но при меньшем в два раза числе предъявлений тестовых стимулов, всего 3 предъявления, т.е. с ускоренным примерно в два раза принятием решений. Причем для значительного ускорения надежного детектирования целевых реакций ЭЭГ, сравнимого с точностью работы в два раза более медленных классификаторов второго типа, достаточно применения ансамблей всего из 5-6 классификаторов (рис. 1). Очевидно, что прибавка в скорости срабатывания интерфейсов «мозг-компьютер» на основе Р300 при использовании ансамблей классификаторов окажется существенной при построении нейрокоммуникаторов для пациентов, страдающих тяжелыми нарушениями речи и двигательной системы [5]. Рисунок 1. Усредненные для 22 испытуемых значения точности алгоритмического выбора целевой реакции ЭЭГ в процентах от 20 попыток (по вертикали) на основе работы классификаторов второго типа, обученных на суммарных выборках от 1 до 15 (по горизонтали) в стандартных сессиях тестирования при 6-кратном (кривая 1 ) и 3-кратном (кривая 3 -•- ) предъявлении целевого стимула; а также на основе ансамблевой работы от одного до 15 классификаторов (по горизонтали) при трехкратном предъявлении целевого стимула (кривая 2 ) первого типа, обученных каждый на своей выборке. Символами «**» и «*» обозначены статистически значимые различия между оценками точности выбора для условий 1 и 2 с р<0.01 и р<0.05 соответственно. Символами «#» обозначены статистически значимые различия между оценками точности выбора для условий 2 и 3 с р<0.05. ■ ВЫВОДЫ 1. Применение ансамбля классификаторов в интерфейсах «мозг-компьютер» на основе Р300 обеспечивает в два раза более быстрое детектирование целевых реакций ЭЭГ из 8 вариантов практически с той же точностью, что и посредством обученных на больших выборках одинарных классификаторов. 2. Для увеличения быстродействия ИМК Р300 примерно в два раза без снижения надежности детектирования целевых реакций ЭЭГ вместо одинарных классификаторов, обученных на одной большой, достаточно использовать ансамбли из 5-6 классификаторов, обученных на раздельных малых выборках. W
×

About the authors

D A Kirjanov

Lomonosov Moscow State University; Lobachevsky State University of Nizhnij Novgorod

Email: daniel.kirjanov@gmail.com
postgraduate student at the Department of Biology, Lomonosov Moscow State University.

A Y Kaplan

Lomonosov Moscow State University; Lobachevsky State University of Nizhnij Novgorod

Email: akaplan@mail.ru
PhD, professor, Head of the Laboratory for Neurophysiology and Neuro-Computer Interfaces, Lomonosov Moscow State University.

References

  1. Basyul I.A., Kaplan A.Y. Changes in the N200 and P300 Components of Event-Related Potentials on Variations in the Conditions of Attention in a Brain-Computer Interface System. Neuroscience and Behavioral Physiology. 2015. 45(9): 10381042
  2. Fazel-Rezai R., Allison B.Z., Guger Ch., et al. P300 brain computer interface: current challenges and emerging trends Front Neuroeng. 2012; V.5: P.1-14
  3. Kaplan AY, Shishkin SL, Ganin IP et al. Adapting the P300-based brain-computer interface for gaming: a review. IEEE Transactions on Computational Intelligence and AI in Games (Special Issue on Brain/Neuronal-Computer Games Interfaces and Interaction). 2013. 5(2): 141-149
  4. Ганин И.П., Каплан А.Я. Интерфейс «мозг-компьютер» на основе волны P300: предъявление комплексных стимулов "подсветка + движение". Журнал высшей нервной деятельности им. И. П. Павлова. 2014. 64(1): 32-40
  5. Каплан А.Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в нейрологической реабилитации. Физиология человека. 2016. 42 (1): 118-127
  6. Мокиенко О.А., Черникова Л.А., Фролов А.А., Бобров П.Д. Воображение движения и его практическое применение. Журнал высшей нервной деятельности им. И.П. Павлова. 2013. 63(2): 195
  7. Ganin IP, Shishkin SL, Kaplan AY. A P300-based brain-computer interface with stimuli on moving objects: four-session single-trial and triple-trial tests with a game-like task design. PLOS ONE. 2013. 8(10): e77755
  8. Rahman A, Tasnim S. Ensemble Classifiers and Their Applications: A Review International Journal of Computer Trends and Technology (IJCTT). 2014. 10(1), P.31-35
  9. Rokach L. Ensemble Methods in Supervised Learning Data Chapter 50 in: Mining and Knowledge Discovery Handbook Oded Maimon • Lior Rokach Editors Second Edition Springer New York Dordrecht Heidelberg London. 2010.P.959-980

Copyright (c) 2016 Kirjanov D.A., Kaplan A.Y.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies