RECOGNITION OF COGNITIVE POTENTIALS TO THE TARGET STIMULI IN THE BRAIN-COMPUTER INTERFACE ON THE BASIS OF THE ENSEMBLE OF CLASSIFIERS

Full Text

■ ВВЕДЕНИЕ Технология интерфейсов «мозг-компьютер» (ИМК) на основе зрительных вызванных потенциалов позволяет детектировать фокусы внимания человека к нужным ему символам из конечного их набора на экране и транслировать эти события в команды для заранее ассоциированных с каждым символом внешних исполнительных систем, например, для набора букв или для управления устройствами. Детектирование фокуса внимания человека в ИМК производится главным образом по различию компонентов Р300 и N200 в реакциях ЭЭГ на целевые и нецелевые зрительные стимулы-символы. Для этого в предварительной процедуре обучения с использованием выборок реакций ЭЭГ на одни и другие стимулы формируются параметры алгоритмического классификатора этих реакций. В дальнейшем этот обученный классификатор используется в режиме реального времени для обнаружения «целевых» реакций в потоке последовательно предъявляемых целевых и нецелевых символов [1, 2, 3]. В силу высокой вариабельности процессов внимания и самих реакций ЭЭГ на стимулы надежность детектирования «целевых» символов обученным классификатором при их однократном экспонировании оказывается неприемлемо низкой для использования в практических целях [1, 4, 5, 6]. В то же время по мере увеличения тестовых проб путем когерентного накопления реакций ЭЭГ при повторном предъявлении целевых символов уже две-три повторных экспозиции такого символа приводят к увеличению надежности детектирования целевых реакций ЭЭГ до 60-70%, а при числе повторений 6-9 - до 85-95% [4, 7]. Однако вместе с повышением надежности детектирования «целевых» реакций при увеличении числа предъявлений символов закономерно увеличивается и время детектирования фокуса внимания в ИМК. Даже в лучших ИМК при десяти повторениях целевого символа, взятого из набора в 36 символов, это время составляет не менее 5-6 с, что значительно снижает потенциал коммуникативных технологий на основе ИМК. В настоящей работе апробируется ансамблевый подход к построению процедуры классификации реакций ЭЭГ в реальном времени, в котором каждая очередная реакция ЭЭГ проверяется на принадлежность к целевым реакциям не одним, а целой группой однотипных классификаторов с последующим подсчетом результатов голосования «ЗА» и «ПРОТИВ». Таким образом, можно увеличить число тестовых проб целевого символа не путем его повторных предъявлений, что увеличивает время детектирования, а за счет увеличения числа независимых классификаторов, которые одновременно тестируют реакцию ЭЭГ на один стимул. При этом действующие в ансамбле классификаторы, хотя и являются однотипными, но обучаются каждый на своей выборке «целевых» и «нецелевых» стимулов, чтобы в своей совокупности они обладали «чувствительностью» к более широкому спектру характеристических признаков «целевых» реакций ЭЭГ, чем каждый из классификаторов по отдельности. Ансамблевый подход предлагается в общих решениях классификации многомерных объектов [8, 9], так как позволяет принимать более обоснованные и надежные решение относительно принадлежности этих объектов к той или иной категории. Понятно, что для обучения не одного, а целого ансамбля классификаторов, каждого на своей выборке реакций ЭЭГ, будет затрачено больше времени, чем при обучении одного классификатора. Однако существенным для практической работы ИМК является повышение быстродействия не на этапе обучения алгоритма классификации, а в период собственно детектирования событий, где требуется принятие решения по категоризации реакций ЭЭГ практически в реальном времени. Поскольку в ансамбле все классификаторы тестируют очередную реакцию ЭЭГ одновременно, увеличение числа классификаторов не приводит к замедлению процедуры принятия решения о принадлежности этой реакции одному из двух типов. Таким образом, можно полагать, что для ускорения разделения целевых и нецелевых реакций ЭЭГ можно уменьшить число повторных предъявлений символов, но для сохранения надежности детектирования инспектировать каждую очередную реакцию ЭЭГ одновременно целым набором классификаторов. ■ ЦЕЛЬ Целью настоящей работы была проверка гипотезы о том, что применение ансамбля обученных классификаторов приведет к ускорению надежного распознавания целевых реакций ЭЭГ по сравнению с традиционным использованием для этих целей одного и того же классификатора, но на основе многократного экспонирования ему реакций ЭЭГ на последовательное предъявление целевых и нецелевых стимулов. ■ МЕТОДИКА В исследовании, одобренным этической комиссией МГУ им. М.В. Ломоносова, приняли участие 22 испытуемых в возрасте от 18 до 30 лет, каждый из которых на основе предварительного ознакомления с условиями исследования подписывал информированное согласие. Испытуемые располагались в удобном кресле в отсеке лабораторного помещения с относительной свето- и звукоизоляцией. ЭЭГ регистрировалась с помощью электроэнцефалографа NVX 52 (ООО «МКС», Зеленоград) в восьми скальповых позициях (Cz, Р3, Р4, Pz, P5, P6, O1, O2) относительно объединенного ушного электрода и со средней точкой в позиции Fpz. Перед испытуемым располагался компьютерный монитор, на экране которого экспонировалась сти-мульная среда, состоящая из расположенных по кругу (7,7 угловых градуса) основаниями наружу восьми равнобедренных треугольников со стороной 3,2 угловых градуса. Каждый треугольник имел свой номер и в процессе тестирования кратковременно (50 мс) подсвечивался со случайным интервалом, кратным 200 мс, но не большим 200x8=1600 мс. Процесс записи, управления экспериментом и предъявления стимулов производился с помощью специально разработанной и прошедшей нейрофизиологическое тестирование программной реализации интерфейса «мозг-компьютер» SMAIL-S (И. Ганин, Д. Кирьянов). Все записываемые данные подвергались фильтрации Notch фильтром (50 Гц) и фильтром Баттерворта с полосой пропускания 0,1 - 40 Гц. Исследование было разделено на 2 этапа, в рамках которых сначала производилось обучение классификаторов, а затем - тестирование точности их работы в реальном времени. На обоих этапах испытуемые получали стандартную инструкцию, согласно которой им требовалось фокусировать внимание на подсветках треугольника с указанным номером (целевой стимул) до тех пор, пока не завершится цикл подсветок всех треугольников по три раза в обучающей серии, и по 3 и 6 раз в тестовых сериях. Подсветки треугольников регистрировались прикрепленным к экрану фотодатчиком для введения в запись ЭЭГ безынерционных меток, необходимых для когерентного усреднения отрезков ЭЭГ и выделения зрительного вызванного потенциала. Для классификации реакций ЭЭГ на целевые или нецелевые символы был выбран наиболее распространенный для этих целей алгоритм линейного дискриминанта Фишера (классификатор Фишера). Обучение 15 однотипных классификаторов Фишера состояло из 15 сессий, отдельно для каждого классификатора, разделенных перерывами (1-3 мин.) для отдыха испытуемого. Нажатием клавиши испытуемый сам мог запускать следующую сессию после того, как считал себя достаточно отдохнувшим. В каждой сессии испытуемому требовалось фокусировать внимание на подсветках указанного программой «целевого» треугольника, не обращая внимания на подсветки других треугольников. Каждый «целевой» треугольник подсвечивался по 3 раза в случайном чередовании с подсветками других треугольников, после чего программа предлагала пользователю сфокусировать внимание на подсветках нового «целевого» треугольника, и так до завершения одной сессии тестирования с использованием в качестве целевого каждого из 8 треугольников. По результатам тестирования в каждой сессии на основе полученных выборок реакций ЭЭГ на целевые (n=8x3=24) и нецелевые (n=8x7x3= 168) подсветки треугольников строился очередной классификатор Фишера. Таким образом, в результате выполнения 15 сессий получалось 15 классификаторов первого типа, обученных каждый в отдельной сессии на равных, но разных массивах «целевых» и «нецелевых» реакций ЭЭГ. Далее на основе тех же данных формировались 15 классификаторов второго типа: каждый из них обучался на все возрастающем массиве данных последовательных сессий от 1 до 15. Таким образом, классификатор №15 второго типа обучался на том же массиве данных, на 15 равных частях которого обучались 15 классификаторов первого типа. ■ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ Проверка точности ансамблевой работы группы обученных классификаторов первого типа и работы отдельных классификаторов второго типа осуществлялась по результатам двух тестовых серий, состоящих из одной сессии, но включающей не 8, как в обучающих сессиях, а 20 попыток. Каждая попытка состояла в фокусировании внимания испытуемого на трех (1-я тестовая серия для обоих типов способов применения классификаторов) и на шести (2-я тестовая серия для отдельных классификаторов) подсветках треугольников. Как и в обучающей серии, треугольники-стимулы в качестве целевых выбирались на экране случайным образом из расположенных по кругу 8 треугольников, но делалось это не 8, а 20 раз. Анализ реакций ЭЭГ на этапе тестирования обученных классификаторов начинался процедурой когерентного накопления трех или шести (1-я или 2-я серия) отрезков ЭЭГ длительностью 800 мс после начала подсветки каждого из 8 треугольников. Таким образом, по результатам анализа ЭЭГ накапливался массив данных из 20х8=160 усредненных комплектов вызванных потенциалов, среди которых только 20 были ответами на целевые подсветки. Среди усредненных по 3 или 6 подсветкам вызванных реакций в 8-канальной записи ЭЭГ целевые реакции детектировались по максимуму выходных коэффициентов обученного в первой серии алгоритма линейного дискриминанта Фишера (классификатора Фишера). При использовании в принятии решения нескольких классификаторов их выходные весовые коэффициенты относительно каждой реакции ЭЭГ усреднялись и за целевую принималась та реакция, для которой среднее значение весовых коэффициентов, участвовавших в процедуре классификации, было максимальным. В ходе тестирования каждое совпадение решения классификатора с фокусом внимания испытуемого отмечалось на экране в виде изменения цвета соответствующего треугольника, что дополнительно мотивировало испытуемого к успешному выполнению тестового задания. Накопленные таким образом зрительные вызванные потенциалы на подсветки целевых и нецелевых треугольников одновременно классифицировались 15 классификаторами первого типа, обученными каждый на своей выборке, набранной в одной сессии, и классификаторами второго типа, обученными на суммированных массивах данных от 2 до 15 сессий. Статистическое сравнение усредненных оценок точности работы классификаторов для тестируемых условий выполнялось посредством критерия Вилкоксона с поправкой Бон-феррони на число групп сравнения. Точность работы классификаторов определяли по относительному числу правильно детектированных реакций на целевые подсветки из 20 возможных. На рисунке 1 представлены результаты проверки в нейрофизиологическом тестировании точности ансамблевой работы от одного до 15 классификаторов первого типа (кривая 2), обученных каждый на своей выборке при трехкратном предъявлении целевого стимула. Там же показаны оценки точности работы классификаторов второго типа, обученных на суммарных данных из «п» сессий от 1 до 15 и тестировавшихся при 3-кратном и при 6-кратном предъявлении целевого стимула. Как видно из рисунка 1, средняя результативность работы классификаторов первого типа (градация 1 по горизонтали) совпадает с аналогичной оценкой работы классификаторов второго типа, обученных на массиве данных одной сессии, и составляет примерно 50% (случайный уровень 100/8=12,5%), если в обоих случаях при тестировании каждый треугольник подсвечивался 3 раза. Однако при использовании в когерентном накоплении не 3, а 6 реакций ЭЭГ точность работы классификаторов второго типа, обученных даже на данных одной-двух сессий, резко и статистически значимо (p<0.01) возрастала до 80% (рис. 1, градация 1 кривая 1). Как видно, при 6 повторных предъявлениях целевого стимула точность работы классификаторов второго типа в гораздо меньшей степени зависела от того, на каком массиве данных от 1 до 15, обучался классификатор, достигая точности работы 90-93% лишь при обучении на массиве данных 12-15 сессий (рис. 1-1). Таким образом, повышение точности работы классификаторов второго типа, обученных даже на больших выборках, в большей мере связано с увеличением в 2 раза числа предъявлений стимулов в тестовой процедуре. Это означает, что для сохранения высокой точности классификации одинарными классификаторами время принятия соответствующего решения увеличивается минимум в два раза, что в случае выбора из 8 символов добавляет более 3с. В то же время при использовании ансамбля классификаторов (рис. 1-2) достигается практически такая же точность детектирования целевых реакций ЭЭГ, что и при работе классификаторов второго типа (78-80%), но при меньшем в два раза числе предъявлений тестовых стимулов, всего 3 предъявления, т.е. с ускоренным примерно в два раза принятием решений. Причем для значительного ускорения надежного детектирования целевых реакций ЭЭГ, сравнимого с точностью работы в два раза более медленных классификаторов второго типа, достаточно применения ансамблей всего из 5-6 классификаторов (рис. 1). Очевидно, что прибавка в скорости срабатывания интерфейсов «мозг-компьютер» на основе Р300 при использовании ансамблей классификаторов окажется существенной при построении нейрокоммуникаторов для пациентов, страдающих тяжелыми нарушениями речи и двигательной системы [5]. Рисунок 1. Усредненные для 22 испытуемых значения точности алгоритмического выбора целевой реакции ЭЭГ в процентах от 20 попыток (по вертикали) на основе работы классификаторов второго типа, обученных на суммарных выборках от 1 до 15 (по горизонтали) в стандартных сессиях тестирования при 6-кратном (кривая 1 ) и 3-кратном (кривая 3 -•- ) предъявлении целевого стимула; а также на основе ансамблевой работы от одного до 15 классификаторов (по горизонтали) при трехкратном предъявлении целевого стимула (кривая 2 ) первого типа, обученных каждый на своей выборке. Символами «**» и «*» обозначены статистически значимые различия между оценками точности выбора для условий 1 и 2 с р<0.01 и р<0.05 соответственно. Символами «#» обозначены статистически значимые различия между оценками точности выбора для условий 2 и 3 с р<0.05. ■ ВЫВОДЫ 1. Применение ансамбля классификаторов в интерфейсах «мозг-компьютер» на основе Р300 обеспечивает в два раза более быстрое детектирование целевых реакций ЭЭГ из 8 вариантов практически с той же точностью, что и посредством обученных на больших выборках одинарных классификаторов. 2. Для увеличения быстродействия ИМК Р300 примерно в два раза без снижения надежности детектирования целевых реакций ЭЭГ вместо одинарных классификаторов, обученных на одной большой, достаточно использовать ансамбли из 5-6 классификаторов, обученных на раздельных малых выборках. W

About the authors

D A Kirjanov

Lomonosov Moscow State University; Lobachevsky State University of Nizhnij Novgorod

Email: daniel.kirjanov@gmail.com
postgraduate student at the Department of Biology, Lomonosov Moscow State University.

A Y Kaplan

Lomonosov Moscow State University; Lobachevsky State University of Nizhnij Novgorod

Email: akaplan@mail.ru
PhD, professor, Head of the Laboratory for Neurophysiology and Neuro-Computer Interfaces, Lomonosov Moscow State University.

References

Supplementary files