DEVELOPMENT OF THE HARDWARE AND SOFTWARE COMPLEX CONTROLLING ROBOTIC DEVICES BY MEANS OF BIOELECTRIC SIGNALS OF THE BRAIN AND MUSCLES

Abstract

Aim - to develop a hardware-software complex with combined command-proportional control of robotic devices based on electromyography (EMG) and electroencephalography (EEG) signals. Materials and methods. EMG and EEG signals are recorded using our original units. The system also supports a number of commercial EEG and EMG recording systems, such as NVX52 (MCS ltd, Russia), DELSYS Trigno (Delsys Inc, USA), MYO Thalmic (Thalmic Labs, Canada). Raw signals undergo preprocessing and feature extraction. Then features are fed to classifiers. The interpretation unit controls robotic devices on the base of classified EEG- and EMG-patterns and muscle effort estimation. The number of controlled devices includes mobile robot LEGO NXT Mindstorms (LEGO, Denmark), humanoid robot NAO (Aldebaran, France) and exoskeleton Ilia Muromets (UNN, Russia). Results. We have developed and tested an interface combining command and proportional control based on EMG signals. We have determined the parameters providing optimal characteristics of classification accuracy of EMG patterns, as well as the speed and accuracy of proportional control. Also we have developed and tested a BCI interface based on motor imagined patterns. Both EMG and EEG interfaces are included into hardware and software system. The system combines outputs of the interfaces and sends commands to a robotic device. Conclusion. We have developed and approved the hardware-software system on the basis of the combined command-proportional EMG and EEG control of external robotic devices.

Full Text

■ ВВЕДЕНИЕ В последнее десятилетие существенно вырос интерес исследователей к разработкам в области гибридных технологий. Одним из наиболее перспективных междисциплинарных направлений является адаптивное управление внешними роботизированными устройствами с помощью биоэлектрических сигналов мозга и мышц человека. Данная задача находит применение в фундаментальных областях (неврология, нейробиология, нейротехнологии) [1-11], прикладных биомедицинских приложениях (устройства для реабилитации, локоматы, экзоскелеты, экзопротезы и др. [12-17]) и игровых устройствах [17-21]. Существует два основных типа прикладных разработок, различающихся по своему назначению: 1) устройства и приложения биомедицинского профиля для функциональной диагностики неврологических нарушений и задач клинической реабилитации пациентов на основе электромиографических (ЭМГ) [1, 5, 12-15] и электроэнцефалографических (ЭЭГ) сигналов [6-10]; 2) мозгомашинные и мозгокомпьютерные интерфейсы для широкого круга пользователей. Управление программно-аппаратными платформами здесь осуществляется по схожему принципу, но необходимость достижения реабилитационного эффекта отсутствует [17-21]. Одним из самых прогрессивных типов устройств являются экзоскелетонные комплексы, сочетающие в себе последние достижения теории управления и нейроинтерфейсов. «Мозговой центр» системы управления подобного устройства представляет собой интерпретатор поступающей сенсорной информации с выработкой управляющего воздействия. Реализация алгоритмов обработки и классификации многоканальных биометрических сигналов является нетривиальной задачей, допускающей различные частные решения [2-4, 18, 19]. В данной работе мы предлагаем комплексный алгоритм для реализации системы управления роботизированными устройствами с помощью мультимодальных сигналов ЭМГ и ЭЭГ Существует несколько стратегий решения задачи управления внешними («аддитивными») устройствами с помощью сигналов мышц (ЭМГ). Это может быть триггерное управление на основе порогового детектирования сигнала или пропорциональное в случае непрерывного мониторинга какого-либо признака, выделенного из ЭМГ сигнала. Стоит отметить, что многоканальная регистрация существенно расширяет возможности управления благодаря использованию принципиально новых способов обработки сигналов на подобии многоканальной регрессии и метода главных компонент [2, 18, 19]. Метод классификации ЭЭГ и ЭМГ паттернов идеально сочетается с командным управлением и может быть использован в случае, когда управляемое устройство снабжено автономной, локальной управляющей системой, способной отрабатывать макрокоманды. В свою очередь пропорциональное управление по сигналам ЭМГ востребовано во всех нетривиальных случаях и при необходимости обеспечения определенной точности выполняемого движения. В нашей работе была поставлена задача совместить командно-пропорциональный способ управления роботизированным устройством на основе характеристик ЭМГ сигналов с управлением с помощью ЭЭГ сигналов мозга. ■ ЦЕЛЬ РАБОТЫ Целью работы является разработка комплекса научно-технических решений совмещенного команднопропорционального ЭМГ и командного ЭЭГ управления внешними исполнительными устройствами. ■ МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ Для записи ЭЭГ использовалась 20 отведений (FCz,1,2,3,4,5,6; Cz,1,2,3,4,5,6; CPz,1,2,3,4). Классификатор, построенный на основе линейного дискриминантного анализа, классифицирует десинхронизацию сенсомоторных ритмов в моторной зоне контралатерального моторному акту большого полушария головного мозга. Программирование стимулов и классификатора осуществлялось в среде Python (www.python.org). Регистрация ЭЭГ производилась с помощью разработанного усилителя, кроме того, комплекс поддерживает коммерческий усилитель ЭЭГ NVX52 (ООО «МКС», Россия). В ходе обучения классификатора перед оператором ставилась задача - концентрироваться на представлении движения правой или левой рукой при появлении на мониторе изображения «стрелка влево/вправо» и концентрироваться на дыхании при появлении на мониторе изображения «крестик». Количество предъявлений для каждой команды составило 10, длительность предъявления - 5 сек. Между предъявлениями стимулов пауза составляла 3 сек. Стимулы предъявлялись в случайном порядке. Длительность тренировки классификатора, таким образом, составляла 6 минут. После обучения классификатора оператор мог приступать к управлению внешним устройством. Оператору для управления предлагалось по своему усмотрению последовательно выбирать одну из трех команд (представление движения левой и правой рук и покой). Каждые 4,5 секунды классификатор анализировал запись ЭЭГ, делал заключение и передавал команду, которую выбрал оператор, на внешнее устройство. Регистрацию ЭМГ-сигналов проводили с помощью разработанного 8-канального блока регистрации. Также в описываемом аппаратно-программном комплексе можно использовать коммерческие электромиографи-ческие системы, такие как DELSYS Trigno (Delsys Inc, США) либо MYO Thalmic (Thalmic Labs, Канада). Для классификации ЭМГ-паттернов каждые 50 мс производили вычисление таких характеристик, как средний квадрат сигнала (RMS), 4-х первых коэффициентов авторегрессии. Кроме того, для выделения характерных признаков ЭМГ-сигнала в системе имеется возможность использования импульсных модельных нейронов. Пропорциональное управление осуществляли с помощью вычисления среднего абсолютного значения (MAV) ЭМГ-сигнала и установки пропорциональной этому значению скорости выполнения команды устройством. Для определения факторов, лимитирующих производительность ЭМГ-интерфейса с помощью анализатора OMRON BF306 (OMRON, Япония), оценивалось процентное содержание жира в организме (BF), а также рассчитывался коэффициент эффективности работы мышц (CSA) как отношение средних значений RMS мышц-синергистов к антагонистам. Описываемый комплекс может подключаться к целому ряду исполнительных устройств. В частности, он тестировался в условиях управления мобильным роботом LEGO NXT Mindstorms (LEGO, Дания), гуманоидным роботом NAO (Aldebaran, Франция), экзоскелетонным комплексом «Илья Муромец». Также в качестве управляемого устройства может выступать персональный компьютер под управлением ОС Windows, при этом интерфейс на основе биоэлектрических сигналов мозга и мышц заменяет стандартные устройства ввода информации, такие как клавиатура и мышь. ■ РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ Для управления внешними исполнительными устройствами посредством ЭЭГ нами был разработан так называемый независимый моторно-воображаемый ИМК. Принцип работы независимого ИМК заключается в том, что детектируемые в качестве команд для управления изменения ритмов ЭЭГ вызываются произвольными усилиями человека-оператора вне какой-либо их связи с внешней сенсорной стимуляцией. Стабильность и воспроизводимость ментальных образов может быть высокой за счет того, что оператор представляет себе образы естественных моторных актов, таких как сжатие кисти, перебор пальцами руки и т.д. По результатам работы испытуемого рассчитывалась средняя точность его управления с помощью данного ИМК как отношение общего числа правильно введенных команд к общему числу попыток. Средняя точность управления в разработанном моторно-воображаемом ИМК для трех команд составляет 70-85%. Этот показатель варьируется между операторами, но даже в случае изначально низкой средней точности с помощью тренировок она может быть значительно повышена. Исследования с миографическими каналами системы включали в себя поиск методов предварительной обработки сигнала, оптимального набора характерных признаков ЭМГ-сигналов, типа классификатора и его параметров, способа комбинирования командного и пропорционального контроля, а также определение факторов, лимитирующих использование ЭМГ-интерфейса. Нами было предложено использование сети импульсных нейронов для извлечения характеристики ЭМГ-сигналов [2]. Так, было показано, что применение взаимного торможения в этой сети позволяет контрастировать сигнал с разных электродов и уменьшать ошибку классификации. Средняя точность классификации при использовании разных подходов варьировала в довольно узком интервале (73-92% при распознавании 9 ЭМГ-паттернов), в то время как у отдельных пользователей могла достигать очень существенного разброса (32-98% также при распознавании 9 паттернов). В связи с этим было проведено исследование для определения индивидуальных факторов, влияющих на точность классификации паттернов и в конечном итоге на производительность ЭМГ-интерфейса. В частности, было выявлено значительное влияние на точность классификации эффективности работы мышц (CSA) и содержания жировой ткани (BF, рис. 1). При R2 = 0.379 Рисунок 1. Зависимость ошибки классификации (ln(E/Em), где E - значение ошибки классификации, Em - медиана) от содержания жировой ткани в организме (BF) и эффективности работы мышц (CSA). 0.2 0 -02 -04 -0 6 -0 8 Рисунок 2. Схематичное представление структуры программного обеспечения разрабатываемого комплекса. этом значительной корреляции между CSA и BF не выявлено, что указывает на их независимое влияние. При многодневной тренировке всех испытуемых наблюдалось снижение уровня ошибки и увеличение производительности интерфейса. У части пользователей при этом увеличивалась эффективность работы мышц. Разработанный программно-аппаратный комплекс позволяет реализовывать как командный принцип управления внешним устройством на основе классификации паттернов, так и пропорциональное управление на основе оценки степени напряжения мышц. Предложены и протестированы несколько способов комбинирования этих двух принципов [18, 19]. В частности, паттерны могут применяться для выбора направления движения, а усилие мышц может использоваться для задания его скорости. Результаты классификации паттернов активности мозга и мышц человека поступают на информационновычислительную систему комплекса, где осуществляется формирование команд управления для исполнительного устройства. Для достижения универсальности работы разрабатываемого в системе предусмотрены механизмы динамического задания и замены действующего алгоритма трансляции сигналов биоуправления в команды исполнителя. Рисунок 3. (А) Интерфейс конфигуратора программно-аппаратного комплекса и (Б) управление роботом NAO с помощью биоэлектрических сигналов с мозга и мышц. Для этого программное обеспечение комплекса организовано в виде модульной структуры, в которой алгоритм преобразования входной информации (состояние оператора) реализован в виде отдельной библиотеки. Схематичное представление структуры ПО комплекса приведено на рисунке 2. Программное обеспечение конфигурирования работы блока формирования управляющих команд для исполнительных устройств позволяет динамически строить алгоритм обработки сигналов биоэлектрической активности. Программа конфигурирования выполняется на внешнем персональном компьютере. Пользователь, оперируя графическими объектами, формирует последовательность преобразования входных данных. По окончании редактирования конфигуратор анализирует графический алгоритм и выполняет автоматическое построение программного кода. Для интуитивно понятного способа представления алгоритма применялись потоковые диаграммы, которые представляет собой граф, в котором узлы (блоки) соответствуют преобразованиям входных данных, а ребра определяют направление передачи результата. Вид подобной диаграммы представлен на рисунке 3 А. Таким образом, алгоритм представляется в виде цепочки из функциональных блоков, каждый из которых может выступать в роли некоторого табличного преобразования входных сигналов в выходные, или функциональной зависимости выходных сигналов от значений, поступающих на вход блока (рис. 3А). В части исследования возможностей управления комплекса реальными объектами также получены существенные результаты. Была реализована схема коммуникации роботом LEGO [2, 18], NAO, экзоскелет нижних конечностей [12]. Согласно полученным результатам, удалось добиться корректного управления роботизированной платформой посредством сигналов биоэлектрической активности человека, интерпретируемых программно-аппаратным комплексом в команды робота. ■ ВЫВОДЫ 1. Разработан и протестирован команднопропорциональный ЭМГ интерфейс управления с эф- фективном алгоритмом декодирования, построенном на основе оценки степени напряжения мышц. 2. Разработан и протестирован ИМК командного управления исполнительными устройствами с классификатором команд на основе моторно-воображаемых паттернов. 3. Представлен совмещенный аппаратно-программный комплекс, интегрирующий команднопропорциональное ЭМГ управление и независимый моторно-воображаемый ИМК.
×

About the authors

S Yu Gordleeva

National Research Lobachevsky State University of Nizhnii Novgorod

Email: gordleeva@neuro.nnov.ru
PhD, researcher of the Laboratory of computational neuroscience, Center for translational technology UNN.

S A Lobov

National Research Lobachevsky State University of Nizhnii Novgorod

Email: lobov@neuro.nnov.ru
PhD, researcher of the Neural Network Laboratory, Center for translational technology UNN. 23b prosp. Gagarina, Nizhnii Novgorod Russia, 603950.

V I Mironov

National Research Lobachevsky State University of Nizhnii Novgorod

Email: mironov@neuro.nnov.ru
researcher and deputy head of the Laboratory for development of intelligent biomechatronic technology, Center for translational technology UNN.

I A Kastalskiy

National Research Lobachevsky State University of Nizhnii Novgorod

Email: kastalskiy@neuro.nnov.ru
researcher of the Laboratory for development of intelligent biomechatronic technology, Center for translational technology UNN.

M V Lukoyanov

National Research Lobachevsky State University of Nizhnii Novgorod

Email: sviter33@gmail.com
junior researcher of the Laboratory for development of brain-machine interfaces, Center for translational technology UNN.

N P Krilova

National Research Lobachevsky State University of Nizhnii Novgorod

PhD, professor, Head of the Central Research Laboratory of Nizhny Novgorod State Medical Academy; Head of the Center for translational technology UNN.

I V Mukhina

National Research Lobachevsky State University of Nizhnii Novgorod

Email: mukhinaiv@mail.ru

A Ya Kaplan

National Research Lobachevsky State University of Nizhnii Novgorod

Email: akaplan@mail.ru
PhD, professor, Head of the Laboratory for Neurophysiology and Neuro-Computer Interfaces, Faculty of Biology M.V. Lomonosov Moscow State University; Head of the Laboratory for development of brain-machine interfaces, Center for translational technology UNN.

V B Kazantsev

National Research Lobachevsky State University of Nizhnii Novgorod

PhD, Vice-Rector for Research and Innovation, Head of the Department of Neurotechnology, Institute of Biology and Biomedicine.

References

  1. Delsys® Trigno™ Wireless Systems and Smart Sensors. URL: http://www.delsys.com/products/wireless-emg/
  2. Lobov S, Mironov V, Kastalskiy I, Kazantsev V. A Spiking Neural Network in sEMG Feature Extraction. Sensors. 2015;15(11):27894-27904. doi: 10.3390/s151127894.
  3. Chowdhury RH, Reaz MB, Ali MABM, Bakar AA, Chellappan K, Chang TG. Surface electromyography signal processing and classification techniques. Sensors 2013; 13(9): 12431-12466, doi: 10.3390/s130912431
  4. Lyons KR, Joshi SS. A case study on classification of foot gestures via surface electromyography. Proceedings of the RESNA Annual Conference; 2015 June 10-14; Denver, USA; 2015
  5. Aszmann OC, Roche AD, Salminger S, Paternostro-Sluga T, Herceg M, Sturma A, Christian H, Farina D. Bionic reconstruction to restore hand function after brachial plexus injury: a case series of three patients. Lancet 2015; 385(9983): 2183-2189, doi: 10.1016/S0140-6736(14)61776-1
  6. Nicolelis M.A. Brain-machine interfaces to restore motor function and probe neural circuits. Nat Rev Neurosci 2003; 4(5): 417-422
  7. Kaplan AYa, Lim JJ, Jin KS, Park BW, Byeon JG, Tarasova SU. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Int J Neurosci 2005; 115: 781-802
  8. Kleih SC, Kaufmann T, Zickler C, Halder S, Leotta F, Cincotti F, Aloise F, Riccio A, Herbert C, Mattia D, Kubler A. Out of the frying pan into the fire the P300 based BCI faces real world challenges. Prog Brain Res 2011; 194: 27-46
  9. Do AH, Wang PT, King CE, Schombs A, Cramer SC, Nenadic Z. Brain-computer interface controlled functional electrical stimulation device for foot drop due to stroke. Conf Proc IEEE Eng Med Biol Soc 2012: 6414-6417
  10. Sellers EW, Vaughan TM, Wolpaw JR. A brain-computer interface for long-term independent home use. Amyotroph Lateral Scler 2010; 11: 449-455
  11. Wolpaw JR, Birbaumer N, McFarland DJ, Pfurtscheller G, Vaughan TM. Brain-computer interfaces for communication and control. Clin Neurophysiol 2002; 113: 767-791
  12. Mironov V, Lobov S, Kastalskiy I, Kazantsev V. Myoelectric Control System of Lower Limb Exoskeleton for Re-training Motion Deficiencies. Neural Information Processing. 2015:428435. doi: 10.1007/978-3-319-26561-2_51
  13. Bortole M, Venkatakrishnan A, Zhu F, Moreno JC, Francisco GE, Pons JL, Contreras-Vidal JL. The H2 robotic exoskeleton for gait rehabilitation after stroke: early findings from a clinical study. J Neuroeng Rehabil 2015; 12: 54, doi: 10.1186/s12984-015-0048-y
  14. Singh RM, Chatterji S, Kumar A. Trends and Challenges in EMG Based Control Scheme of Exoskeleton Robots - A Review. International Journal of Scienctific and Engineering Research 2012, 3(8): 1-8
  15. Roche AD, Rehbaum H, Farina D, Aszmann OC. Prosthetic Myoelectric Control Strategies: A Clinical Perspective. Curr Surg Rep 2014; 2: 44, doi: 10.1007/s40137-013-0044-8
  16. Ison M, Artemiadis P. Proportional myoelectric control of robots: muscle synergy development drives performance enhancement, retainment, and generalization. IEEE TRobot 2015; 31(2): 259-268, doi: 10.1109/TRO.2015.2395731
  17. Myo™ Gesture Control Armband - Wearable Technology by Thalmic Labs. URL: https://www.myo.com/
  18. Лобов С.А., Миронов В.И., Кастальский И.А., Казанцев В.Б. Совместное использование командного и пропорционального управления внешними робототехническими устройствами на основе электромиографических сигналов. Современные технологии в медицине. 2015;7(4):30-38. doi:10.17691/ stm2015.7.4.04
  19. Lobov SA, Krilova NP, Kastalskiy IA, Kazantsev VB, Makarov VA. A human-computer interface based on electromyography command-proportional control. Proceedings of the 4th International Congress on Neurotechnology, Electronics and Informatics. 2016
  20. Kaplan AYa., Shishkin SL, Ganin IP, Basyul IA, Zhigalov AY. Adapting the P300-based brain-computer interface for gaming: a review. IEEE Trans on Comput Intelligence and AI in Games. 2013; 5(2): 141-149
  21. Blankertz B, Tangermann M, Vidaurre C, Fazli S, Sannelli C, Haufe S, Maeder C, Ramsey L, Sturm I, Curio G, Muller KR. The Berlin brain-computer interface: Non-medical uses of BCI technology. Front Neurosci 2010; 4: 198

Statistics

Views

Abstract: 303

PDF (Russian): 145

Dimensions

Article Metrics

Metrics Loading ...

PlumX

Refbacks

  • There are currently no refbacks.

Copyright (c) 2016 Gordleeva S.Y., Lobov S.A., Mironov V.I., Kastalskiy I.A., Lukoyanov M.V., Krilova N.P., Mukhina I.V., Kaplan A.Y., Kazantsev V.B.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies