DEVELOPMENT OF THE HARDWARE AND SOFTWARE COMPLEX CONTROLLING ROBOTIC DEVICES BY MEANS OF BIOELECTRIC SIGNALS OF THE BRAIN AND MUSCLES

S Yu Gordleeva; Гордлеева С Ю; S A Lobov; Лобов С А; V I Mironov; Миронов В И; I A Kastalskiy; Кастальский И А; M V Lukoyanov; Лукоянов М В; N P Krilova; Крылова Н П; I V Mukhina; Мухина И В; A Ya Kaplan; Каплан А Я; V B Kazantsev; Казанцев В Б

doi:10.35693/2500-1388-2016-0-3-77-82

DEVELOPMENT OF THE HARDWARE AND SOFTWARE COMPLEX CONTROLLING ROBOTIC DEVICES BY MEANS OF BIOELECTRIC SIGNALS OF THE BRAIN AND MUSCLES

Authors: Gordleeva SY.¹, Lobov SA¹, Mironov VI¹, Kastalskiy IA¹, Lukoyanov MV¹, Krilova NP¹, Mukhina IV¹, Kaplan AY.¹, Kazantsev VB¹
Affiliations:
1. National Research Lobachevsky State University of Nizhnii Novgorod
Issue: Vol 1, No 3 (2016)
Pages: 77-82
Section: Articles
URL: https://innoscience.ru/2500-1388/article/view/21553
DOI: https://doi.org/10.35693/2500-1388-2016-0-3-77-82
ID: 21553

Cite item

Full Text

Abstract
Full Text
About the authors
References
Supplementary files
Statistics

Abstract

Aim - to develop a hardware-software complex with combined command-proportional control of robotic devices based on electromyography (EMG) and electroencephalography (EEG) signals. Materials and methods. EMG and EEG signals are recorded using our original units. The system also supports a number of commercial EEG and EMG recording systems, such as NVX52 (MCS ltd, Russia), DELSYS Trigno (Delsys Inc, USA), MYO Thalmic (Thalmic Labs, Canada). Raw signals undergo preprocessing and feature extraction. Then features are fed to classifiers. The interpretation unit controls robotic devices on the base of classified EEG- and EMG-patterns and muscle effort estimation. The number of controlled devices includes mobile robot LEGO NXT Mindstorms (LEGO, Denmark), humanoid robot NAO (Aldebaran, France) and exoskeleton Ilia Muromets (UNN, Russia). Results. We have developed and tested an interface combining command and proportional control based on EMG signals. We have determined the parameters providing optimal characteristics of classification accuracy of EMG patterns, as well as the speed and accuracy of proportional control. Also we have developed and tested a BCI interface based on motor imagined patterns. Both EMG and EEG interfaces are included into hardware and software system. The system combines outputs of the interfaces and sends commands to a robotic device. Conclusion. We have developed and approved the hardware-software system on the basis of the combined command-proportional EMG and EEG control of external robotic devices.

Keywords

BCI, EMG, EEG, machine learning, proportional control, robot, exoskeleton

Full Text

■ ВВЕДЕНИЕ В последнее десятилетие существенно вырос интерес исследователей к разработкам в области гибридных технологий. Одним из наиболее перспективных междисциплинарных направлений является адаптивное управление внешними роботизированными устройствами с помощью биоэлектрических сигналов мозга и мышц человека. Данная задача находит применение в фундаментальных областях (неврология, нейробиология, нейротехнологии) [1-11], прикладных биомедицинских приложениях (устройства для реабилитации, локоматы, экзоскелеты, экзопротезы и др. [12-17]) и игровых устройствах [17-21]. Существует два основных типа прикладных разработок, различающихся по своему назначению: 1) устройства и приложения биомедицинского профиля для функциональной диагностики неврологических нарушений и задач клинической реабилитации пациентов на основе электромиографических (ЭМГ) [1, 5, 12-15] и электроэнцефалографических (ЭЭГ) сигналов [6-10]; 2) мозгомашинные и мозгокомпьютерные интерфейсы для широкого круга пользователей. Управление программно-аппаратными платформами здесь осуществляется по схожему принципу, но необходимость достижения реабилитационного эффекта отсутствует [17-21]. Одним из самых прогрессивных типов устройств являются экзоскелетонные комплексы, сочетающие в себе последние достижения теории управления и нейроинтерфейсов. «Мозговой центр» системы управления подобного устройства представляет собой интерпретатор поступающей сенсорной информации с выработкой управляющего воздействия. Реализация алгоритмов обработки и классификации многоканальных биометрических сигналов является нетривиальной задачей, допускающей различные частные решения [2-4, 18, 19]. В данной работе мы предлагаем комплексный алгоритм для реализации системы управления роботизированными устройствами с помощью мультимодальных сигналов ЭМГ и ЭЭГ Существует несколько стратегий решения задачи управления внешними («аддитивными») устройствами с помощью сигналов мышц (ЭМГ). Это может быть триггерное управление на основе порогового детектирования сигнала или пропорциональное в случае непрерывного мониторинга какого-либо признака, выделенного из ЭМГ сигнала. Стоит отметить, что многоканальная регистрация существенно расширяет возможности управления благодаря использованию принципиально новых способов обработки сигналов на подобии многоканальной регрессии и метода главных компонент [2, 18, 19]. Метод классификации ЭЭГ и ЭМГ паттернов идеально сочетается с командным управлением и может быть использован в случае, когда управляемое устройство снабжено автономной, локальной управляющей системой, способной отрабатывать макрокоманды. В свою очередь пропорциональное управление по сигналам ЭМГ востребовано во всех нетривиальных случаях и при необходимости обеспечения определенной точности выполняемого движения. В нашей работе была поставлена задача совместить командно-пропорциональный способ управления роботизированным устройством на основе характеристик ЭМГ сигналов с управлением с помощью ЭЭГ сигналов мозга. ■ ЦЕЛЬ РАБОТЫ Целью работы является разработка комплекса научно-технических решений совмещенного команднопропорционального ЭМГ и командного ЭЭГ управления внешними исполнительными устройствами. ■ МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ Для записи ЭЭГ использовалась 20 отведений (FCz,1,2,3,4,5,6; Cz,1,2,3,4,5,6; CPz,1,2,3,4). Классификатор, построенный на основе линейного дискриминантного анализа, классифицирует десинхронизацию сенсомоторных ритмов в моторной зоне контралатерального моторному акту большого полушария головного мозга. Программирование стимулов и классификатора осуществлялось в среде Python (www.python.org). Регистрация ЭЭГ производилась с помощью разработанного усилителя, кроме того, комплекс поддерживает коммерческий усилитель ЭЭГ NVX52 (ООО «МКС», Россия). В ходе обучения классификатора перед оператором ставилась задача - концентрироваться на представлении движения правой или левой рукой при появлении на мониторе изображения «стрелка влево/вправо» и концентрироваться на дыхании при появлении на мониторе изображения «крестик». Количество предъявлений для каждой команды составило 10, длительность предъявления - 5 сек. Между предъявлениями стимулов пауза составляла 3 сек. Стимулы предъявлялись в случайном порядке. Длительность тренировки классификатора, таким образом, составляла 6 минут. После обучения классификатора оператор мог приступать к управлению внешним устройством. Оператору для управления предлагалось по своему усмотрению последовательно выбирать одну из трех команд (представление движения левой и правой рук и покой). Каждые 4,5 секунды классификатор анализировал запись ЭЭГ, делал заключение и передавал команду, которую выбрал оператор, на внешнее устройство. Регистрацию ЭМГ-сигналов проводили с помощью разработанного 8-канального блока регистрации. Также в описываемом аппаратно-программном комплексе можно использовать коммерческие электромиографи-ческие системы, такие как DELSYS Trigno (Delsys Inc, США) либо MYO Thalmic (Thalmic Labs, Канада). Для классификации ЭМГ-паттернов каждые 50 мс производили вычисление таких характеристик, как средний квадрат сигнала (RMS), 4-х первых коэффициентов авторегрессии. Кроме того, для выделения характерных признаков ЭМГ-сигнала в системе имеется возможность использования импульсных модельных нейронов. Пропорциональное управление осуществляли с помощью вычисления среднего абсолютного значения (MAV) ЭМГ-сигнала и установки пропорциональной этому значению скорости выполнения команды устройством. Для определения факторов, лимитирующих производительность ЭМГ-интерфейса с помощью анализатора OMRON BF306 (OMRON, Япония), оценивалось процентное содержание жира в организме (BF), а также рассчитывался коэффициент эффективности работы мышц (CSA) как отношение средних значений RMS мышц-синергистов к антагонистам. Описываемый комплекс может подключаться к целому ряду исполнительных устройств. В частности, он тестировался в условиях управления мобильным роботом LEGO NXT Mindstorms (LEGO, Дания), гуманоидным роботом NAO (Aldebaran, Франция), экзоскелетонным комплексом «Илья Муромец». Также в качестве управляемого устройства может выступать персональный компьютер под управлением ОС Windows, при этом интерфейс на основе биоэлектрических сигналов мозга и мышц заменяет стандартные устройства ввода информации, такие как клавиатура и мышь. ■ РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ Для управления внешними исполнительными устройствами посредством ЭЭГ нами был разработан так называемый независимый моторно-воображаемый ИМК. Принцип работы независимого ИМК заключается в том, что детектируемые в качестве команд для управления изменения ритмов ЭЭГ вызываются произвольными усилиями человека-оператора вне какой-либо их связи с внешней сенсорной стимуляцией. Стабильность и воспроизводимость ментальных образов может быть высокой за счет того, что оператор представляет себе образы естественных моторных актов, таких как сжатие кисти, перебор пальцами руки и т.д. По результатам работы испытуемого рассчитывалась средняя точность его управления с помощью данного ИМК как отношение общего числа правильно введенных команд к общему числу попыток. Средняя точность управления в разработанном моторно-воображаемом ИМК для трех команд составляет 70-85%. Этот показатель варьируется между операторами, но даже в случае изначально низкой средней точности с помощью тренировок она может быть значительно повышена. Исследования с миографическими каналами системы включали в себя поиск методов предварительной обработки сигнала, оптимального набора характерных признаков ЭМГ-сигналов, типа классификатора и его параметров, способа комбинирования командного и пропорционального контроля, а также определение факторов, лимитирующих использование ЭМГ-интерфейса. Нами было предложено использование сети импульсных нейронов для извлечения характеристики ЭМГ-сигналов [2]. Так, было показано, что применение взаимного торможения в этой сети позволяет контрастировать сигнал с разных электродов и уменьшать ошибку классификации. Средняя точность классификации при использовании разных подходов варьировала в довольно узком интервале (73-92% при распознавании 9 ЭМГ-паттернов), в то время как у отдельных пользователей могла достигать очень существенного разброса (32-98% также при распознавании 9 паттернов). В связи с этим было проведено исследование для определения индивидуальных факторов, влияющих на точность классификации паттернов и в конечном итоге на производительность ЭМГ-интерфейса. В частности, было выявлено значительное влияние на точность классификации эффективности работы мышц (CSA) и содержания жировой ткани (BF, рис. 1). При R2 = 0.379 Рисунок 1. Зависимость ошибки классификации (ln(E/Em), где E - значение ошибки классификации, Em - медиана) от содержания жировой ткани в организме (BF) и эффективности работы мышц (CSA). 0.2 0 -02 -04 -0 6 -0 8 Рисунок 2. Схематичное представление структуры программного обеспечения разрабатываемого комплекса. этом значительной корреляции между CSA и BF не выявлено, что указывает на их независимое влияние. При многодневной тренировке всех испытуемых наблюдалось снижение уровня ошибки и увеличение производительности интерфейса. У части пользователей при этом увеличивалась эффективность работы мышц. Разработанный программно-аппаратный комплекс позволяет реализовывать как командный принцип управления внешним устройством на основе классификации паттернов, так и пропорциональное управление на основе оценки степени напряжения мышц. Предложены и протестированы несколько способов комбинирования этих двух принципов [18, 19]. В частности, паттерны могут применяться для выбора направления движения, а усилие мышц может использоваться для задания его скорости. Результаты классификации паттернов активности мозга и мышц человека поступают на информационновычислительную систему комплекса, где осуществляется формирование команд управления для исполнительного устройства. Для достижения универсальности работы разрабатываемого в системе предусмотрены механизмы динамического задания и замены действующего алгоритма трансляции сигналов биоуправления в команды исполнителя. Рисунок 3. (А) Интерфейс конфигуратора программно-аппаратного комплекса и (Б) управление роботом NAO с помощью биоэлектрических сигналов с мозга и мышц. Для этого программное обеспечение комплекса организовано в виде модульной структуры, в которой алгоритм преобразования входной информации (состояние оператора) реализован в виде отдельной библиотеки. Схематичное представление структуры ПО комплекса приведено на рисунке 2. Программное обеспечение конфигурирования работы блока формирования управляющих команд для исполнительных устройств позволяет динамически строить алгоритм обработки сигналов биоэлектрической активности. Программа конфигурирования выполняется на внешнем персональном компьютере. Пользователь, оперируя графическими объектами, формирует последовательность преобразования входных данных. По окончании редактирования конфигуратор анализирует графический алгоритм и выполняет автоматическое построение программного кода. Для интуитивно понятного способа представления алгоритма применялись потоковые диаграммы, которые представляет собой граф, в котором узлы (блоки) соответствуют преобразованиям входных данных, а ребра определяют направление передачи результата. Вид подобной диаграммы представлен на рисунке 3 А. Таким образом, алгоритм представляется в виде цепочки из функциональных блоков, каждый из которых может выступать в роли некоторого табличного преобразования входных сигналов в выходные, или функциональной зависимости выходных сигналов от значений, поступающих на вход блока (рис. 3А). В части исследования возможностей управления комплекса реальными объектами также получены существенные результаты. Была реализована схема коммуникации роботом LEGO [2, 18], NAO, экзоскелет нижних конечностей [12]. Согласно полученным результатам, удалось добиться корректного управления роботизированной платформой посредством сигналов биоэлектрической активности человека, интерпретируемых программно-аппаратным комплексом в команды робота. ■ ВЫВОДЫ 1. Разработан и протестирован команднопропорциональный ЭМГ интерфейс управления с эф- фективном алгоритмом декодирования, построенном на основе оценки степени напряжения мышц. 2. Разработан и протестирован ИМК командного управления исполнительными устройствами с классификатором команд на основе моторно-воображаемых паттернов. 3. Представлен совмещенный аппаратно-программный комплекс, интегрирующий команднопропорциональное ЭМГ управление и независимый моторно-воображаемый ИМК.