Science and Innovations in MedicineScience and Innovations in MedicineНаука и инновации в медицине2500-13882618-754XFSBEI of Higher Education SamSMU of Ministry of Health of the Russian Federation2155310.35693/2500-1388-2016-0-3-77-82ArticlesСтатьиResearch ArticleDEVELOPMENT OF THE HARDWARE AND SOFTWARE COMPLEX CONTROLLING ROBOTIC DEVICES BY MEANS OF BIOELECTRIC SIGNALS OF THE BRAIN AND MUSCLESРАЗРАБОТКА АППАРАТНО-ПРОГРАММНОГО КОМПЛЕКСА ПО УПРАВЛЕНИЮ РОБОТИЗИРОВАННЫМИ УСТРОЙСТВАМИ ПОСРЕДСТВОМ БИОЭЛЕКТРИЧЕСКИХ СИГНАЛОВ МОЗГА И МЫШЦGordleevaS YuГордлееваС Ю

PhD, researcher of the Laboratory of computational neuroscience, Center for translational technology UNN.

к.ф.-м.н., научный сотрудник лаборатории математического моделирования в нейронауках Центра Трансляционных Технологий ННГУ.

gordleeva@neuro.nnov.ruLobovS AЛобовС А

PhD, researcher of the Neural Network Laboratory, Center for translational technology UNN.

к.б.н., научный сотрудник лаборатории нейросетевых технологий Центра Трансляционных Технологий ННГУ.

lobov@neuro.nnov.ruMironovV IМироновВ И

researcher and deputy head of the Laboratory for development of intelligent biomechatronic technology, Center for translational technology UNN.

научный сотрудник, зам. руководителя лаборатории разработки интеллектуальных биомехатронных технологий Центра Трансляционных Технологий ННГУ.

mironov@neuro.nnov.ruKastalskiyI AКастальскийИ А

researcher of the Laboratory for development of intelligent biomechatronic technology, Center for translational technology UNN.

научный сотрудник лаборатории разработки интеллектуальных биомехатронных технологий Центра Трансляционных Технологий ННГУ

kastalskiy@neuro.nnov.ruLukoyanovM VЛукояновМ В

junior researcher of the Laboratory for development of brain-machine interfaces, Center for translational technology UNN.

младший научный сотрудник лаборатории разработки мозго-машинных интерфейсов Центра Трансляционных Технологий ННГУ.

sviter33@gmail.comKrilovaN PКрыловаН П

PhD, professor, Head of the Central Research Laboratory of Nizhny Novgorod State Medical Academy; Head of the Center for translational technology UNN.

младший научный сотрудник лаборатории нейросетевых технологий Центра Трансляционных Технологий ННГУ.

MukhinaI VМухинаИ В

д.б.н., профессор, зав. ЦНИЛ; зав. кафедрой нормальной физиологии им. Н.Ю. Беленкова НижГМА; руководитель Центра Трансляционных Технологий ННГУ.

mukhinaiv@mail.ruKaplanA YaКапланА Я

PhD, professor, Head of the Laboratory for Neurophysiology and Neuro-Computer Interfaces, Faculty of Biology M.V. Lomonosov Moscow State University; Head of the Laboratory for development of brain-machine interfaces, Center for translational technology UNN.

д.б.н., профессор, зав. лаб. нейрофизиологии и нейрокомпьютерных интерфейсов биологического факультета МГУ им. М.В. Ломоносова; зав. лаб. разработки мозгомашинных интерфейсов Центра Трансляционных Технологий ННГУ.

akaplan@mail.ruKazantsevV BКазанцевВ Б

PhD, Vice-Rector for Research and Innovation, Head of the Department of Neurotechnology, Institute of Biology and Biomedicine.

ф-м.н., зав. кафедрой нейротехнологий Института биологии и биомедицины, проректор по научной работе.

National Research Lobachevsky State University of Nizhnii NovgorodФедеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского»1509201613NO3 (2016)№3 (2016)778210032020Copyright ©; 2016, Gordleeva S.Y., Lobov S.A., Mironov V.I., Kastalskiy I.A., Lukoyanov M.V., Krilova N.P., Mukhina I.V., Kaplan A.Y., Kazantsev V.B.Copyright ©; 2016, Гордлеева С.Ю., Лобов С.А., Миронов В.И., Кастальский И.А., Лукоянов М.В., Крылова Н.П., Мухина И.В., Каплан А.Я., Казанцев В.Б.2016Gordleeva S.Y., Lobov S.A., Mironov V.I., Kastalskiy I.A., Lukoyanov M.V., Krilova N.P., Mukhina I.V., Kaplan A.Y., Kazantsev V.B.Гордлеева С.Ю., Лобов С.А., Миронов В.И., Кастальский И.А., Лукоянов М.В., Крылова Н.П., Мухина И.В., Каплан А.Я., Казанцев В.Б.https://creativecommons.org/licenses/by/4.0https://innoscience.ru/2500-1388/article/view/21553

Aim - to develop a hardware-software complex with combined command-proportional control of robotic devices based on electromyography (EMG) and electroencephalography (EEG) signals. Materials and methods. EMG and EEG signals are recorded using our original units. The system also supports a number of commercial EEG and EMG recording systems, such as NVX52 (MCS ltd, Russia), DELSYS Trigno (Delsys Inc, USA), MYO Thalmic (Thalmic Labs, Canada). Raw signals undergo preprocessing and feature extraction. Then features are fed to classifiers. The interpretation unit controls robotic devices on the base of classified EEG- and EMG-patterns and muscle effort estimation. The number of controlled devices includes mobile robot LEGO NXT Mindstorms (LEGO, Denmark), humanoid robot NAO (Aldebaran, France) and exoskeleton Ilia Muromets (UNN, Russia). Results. We have developed and tested an interface combining command and proportional control based on EMG signals. We have determined the parameters providing optimal characteristics of classification accuracy of EMG patterns, as well as the speed and accuracy of proportional control. Also we have developed and tested a BCI interface based on motor imagined patterns. Both EMG and EEG interfaces are included into hardware and software system. The system combines outputs of the interfaces and sends commands to a robotic device. Conclusion. We have developed and approved the hardware-software system on the basis of the combined command-proportional EMG and EEG control of external robotic devices.

Цель - разработка аппаратно-программного комплекса совмещенного командно-пропорционального ЭМГ и командного ЭЭГ управления внешними исполнительными устройствами. Материалы и методы. Запись ЭЭГ и ЭМГ производится с помощью разработанных регистрирующих модулей. Комплекс также поддерживает ряд коммерческих электроэнцефалографов и электромиографов: NVX52 (ООО «МКС», Россия), DELSYS Trigno (Delsys Inc, США), MYO Thalmic (Thalmic Labs, Канада). Из регистрируемых сигналов после предобработки извлекаются характерные признаки, поступающие на вход классификаторов. На основе распознанных ЭЭГ- и ЭМГ-паттернов и оценки степени усилия мышц в блоке интерпретации и контроля вырабатываются сигналы внешнему исполнительному роботизированному устройству. Комплекс поддерживает управление мобильным роботом ЛЕГО (ЛЕГО, Дания), антропоморфным роботом NAO (Aldebaran, Франция), экзоскелетом «Илья Муромец» (ННГУ, Россия). Результаты. Был разработан и протестирован команднопропорциональный ЭМГ интерфейс управления с эффективным алгоритмом декодирования, построенном на основе оценки степени напряжения мышц. Реализован и протестирован ИМК командного управления исполнитель- ными устройствами с классификатором команд на основе моторно-воображаемых паттернов. Разработанные интерфейсы представлены в аппаратнопрограммном комплексе, интегрирующим команднопропорциональное ЭМГ управление и независимый моторно-воображаемый ИМК. Заключение. Создан и апробирован аппаратнопрограммный комплекс на основе совмещенного команднопропорционального ЭМГ и командного ЭЭГ управления внешними исполнительными устройствами.

BCIEMGEEGmachine learningproportional controlrobotexoskeletonИМКЭМГЭЭГмашинное обучениепропорциональное управлениероботэкзоскелетDelsys® Trigno™ Wireless Systems and Smart Sensors. URL: http://www.delsys.com/products/wireless-emg/Lobov S, Mironov V, Kastalskiy I, Kazantsev V. A Spiking Neural Network in sEMG Feature Extraction. Sensors. 2015;15(11):27894-27904. doi:10.3390/s151127894.Chowdhury RH, Reaz MB, Ali MABM, Bakar AA, Chellappan K, Chang TG. Surface electromyography signal processing and classification techniques. Sensors 2013; 13(9): 12431-12466, DOI:10.3390/s130912431Lyons KR, Joshi SS. A case study on classification of foot gestures via surface electromyography. Proceedings of the RESNA Annual Conference; 2015 June 10-14; Denver, USA; 2015Aszmann OC, Roche AD, Salminger S, Paternostro-Sluga T, Herceg M, Sturma A, Christian H, Farina D. Bionic reconstruction to restore hand function after brachial plexus injury: a case series of three patients. Lancet 2015; 385(9983): 2183-2189, DOI:10.1016/S0140-6736(14)61776-1Nicolelis M.A. Brain-machine interfaces to restore motor function and probe neural circuits. Nat Rev Neurosci 2003; 4(5): 417-422Kaplan AYa, Lim JJ, Jin KS, Park BW, Byeon JG, Tarasova SU. Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Int J Neurosci 2005; 115: 781-802Kleih SC, Kaufmann T, Zickler C, Halder S, Leotta F, Cincotti F, Aloise F, Riccio A, Herbert C, Mattia D, Kubler A. Out of the frying pan into the fire the P300 based BCI faces real world challenges. Prog Brain Res 2011; 194: 27-46Do AH, Wang PT, King CE, Schombs A, Cramer SC, Nenadic Z. Brain-computer interface controlled functional electrical stimulation device for foot drop due to stroke. Conf Proc IEEE Eng Med Biol Soc 2012: 6414-6417Sellers EW, Vaughan TM, Wolpaw JR. A brain-computer interface for long-term independent home use. Amyotroph Lateral Scler 2010; 11: 449-455Wolpaw JR, Birbaumer N, McFarland DJ, Pfurtscheller G, Vaughan TM. Brain-computer interfaces for communication and control. Clin Neurophysiol 2002; 113: 767-791Mironov V, Lobov S, Kastalskiy I, Kazantsev V. Myoelectric Control System of Lower Limb Exoskeleton for Re-training Motion Deficiencies. Neural Information Processing. 2015:428435. doi:10.1007/978-3-319-26561-2_51Bortole M, Venkatakrishnan A, Zhu F, Moreno JC, Francisco GE, Pons JL, Contreras-Vidal JL. The H2 robotic exoskeleton for gait rehabilitation after stroke: early findings from a clinical study. J Neuroeng Rehabil 2015; 12: 54, DOI:10.1186/s12984-015-0048-ySingh RM, Chatterji S, Kumar A. Trends and Challenges in EMG Based Control Scheme of Exoskeleton Robots - A Review. International Journal of Scienctific and Engineering Research 2012, 3(8): 1-8Roche AD, Rehbaum H, Farina D, Aszmann OC. Prosthetic Myoelectric Control Strategies: A Clinical Perspective. Curr Surg Rep 2014; 2: 44, DOI:10.1007/s40137-013-0044-8Ison M, Artemiadis P. Proportional myoelectric control of robots: muscle synergy development drives performance enhancement, retainment, and generalization. IEEE TRobot 2015; 31(2): 259-268, DOI:10.1109/TRO.2015.2395731Myo™ Gesture Control Armband - Wearable Technology by Thalmic Labs. URL: https://www.myo.com/Лобов С.А., Миронов В.И., Кастальский И.А., Казанцев В.Б. Совместное использование командного и пропорционального управления внешними робототехническими устройствами на основе электромиографических сигналов. Современные технологии в медицине. 2015;7(4):30-38. doi:10.17691/ stm2015.7.4.04Lobov SA, Krilova NP, Kastalskiy IA, Kazantsev VB, Makarov VA. A human-computer interface based on electromyography command-proportional control. Proceedings of the 4th International Congress on Neurotechnology, Electronics and Informatics. 2016Kaplan AYa., Shishkin SL, Ganin IP, Basyul IA, Zhigalov AY. Adapting the P300-based brain-computer interface for gaming: a review. IEEE Trans on Comput Intelligence and AI in Games. 2013; 5(2): 141-149Blankertz B, Tangermann M, Vidaurre C, Fazli S, Sannelli C, Haufe S, Maeder C, Ramsey L, Sturm I, Curio G, Muller KR. The Berlin brain-computer interface: Non-medical uses of BCI technology. Front Neurosci 2010; 4: 198