BRAIN-COMPUTER INTERFACE: FUNDAMENTAL AND CLINICAL ASPECTS OF DEVELOPMENT AND IMPLICATION OF THE TECHNOLOGY

Full Text

«дорожная карта» нейронет В Российской Федерации развитие перспективных отраслей, которые призваны сформировать новый технологический уклад и оказать существенное влияние на мировую экономику, отражает и регулирует государственная программа «Национальная технологическая инициатива» (НТИ), которая стартовала в соответствии с поручением Президента России Владимира Путина в 2014 году. Системообразующими документами НТИ стали «дорожные карты», в частности, «дорожная карта» НейроНет (NeuroNet), в которой выделено шесть основных научно-технологических рыночно ориентированных направлений: нейромедтехника, нейрокоммуникации, нейрофарма, нейрообразование, нейроассистенты и нейроразвлечения. ■ конференция самгму как коммуникативная площадка для нейронет-сообщества Возможности нейрокомпьютерного интерфейса (НКИ) в приложении ко всем указанным направлениям многогранны по целевым установкам и разноплановы по техническому исполнению, отсюда и значительное к ним внимание, в частности со стороны медицинской науки и практического здравоохранения, и в геометрической прогрессии возрастающий мировой публикационный поток, отражающий наукоемкие, междисциплинарные исследования и разработки ученых разных стран. При этом традиционной является задача и потребность научного сообщества в прямой дискуссии обсудить полученные результаты, обменяться новыми знаниями, выстроить «систему координат» для дальнейших совместных исследований по созданию НКИ, в том числе на основе сквозных технологий - технологий управления свойствами биологических объектов и нейротехнологий, технологий дополненной и виртуальной реальности. Коммуникативной площадкой для НейроНет-сообщества стала проходящая в г.о. Самара на базе Самарского государственного медицинского университета (СамГМУ) при организационной поддержке Правительства Самарской области, инновационного территориального кластера медицинских и фармацевтических технологий Самарской области, Отраслевого союза «НейроНет» и компании IT Universe (соорганизатор конференции) международная конференция «Нейрокомпьютерный интерфейс: наука и практика (сайт конференции: http://bcisamara.com). Кон ференция ежегодно проходит в СамГМУ с 2015 г. Она является единственной в стране специализированной конференцией по направлению нейрокомпьютерных интерфейсов, входит в план мероприятий Минздрава России и в 2017 году поддержана грантом РФФИ (№ 17-04-20541/17 от 20.08.2017 г.). ■ УЧАСТНИКИ КОНФЕРЕНЦИИ В конференции 2017 года приняли участие российские и зарубежные нейрофизиологи, врачи-неврологи, реабилитологи, специалисты по математическому анализу сложных сигналов, специалисты инновационных компаний, студенты и аспиранты медицинских и технических университетов, все интересующиеся технологиями создания нейро-интерфейсов и нейрореабилитации. Всего конференцию посетили более 400 человек из 12 городов Российской Федерации и шести зарубежных стран. В числе докладчиков - ученые мирового уровня, такие как Слиман Бенсмайа (Университет Чикаго, США), Александр Каплан (МГУ, РФ), Михаил Лебедев (Университет Дьюка, Дарэм, США), Алексей Осадчий (НИУ ВШЭ, Москва, Россия), Мария Санчес-Вивес и Мелвин Слейтер (ICREA- Университет Барселоны, Испания), Сурьо Сокадар (Институт медицинской психологии и поведенческой нейробиологии, Тюбинген, Германия), Дорон Фридман (Междисциплинарный центр, Герцлия, Израиль), Александр Фролов (Институт ВНД иНФ РАН), Сергей Шишкин (НИЦ «Курчатовский институт»). ■ ПРОБЛЕМЫ И ИХ ОБСУЖДЕНИЕ В научном фокусе состоявшейся конференции было обсуждение последних достижений мировой науки в сфере фундаментальных и прикладных аспектов нейронаук в разработке и использовании нейротехнологий. В программу конференции этого года впервые включена тематика, касающаяся возможности применения НКИ в диагностике и коррекции психиатрических расстройств. Доклады пленарного заседания ученые посвятили вопросам нейрофизиологии и нейрокоммуникаций, расшифровки электрической активности головного мозга и математическому моделированию, развитию нейронных сетей, применению технологий нейрореабилитации и нейропротезирования в клинической практике. Также в первый день конференции прошла сессия постерных докладов, посвященных инвазивным и неинвазивным технологиям регистрации электрической активности мозга и других отделов ЦНС, ее математической обработке, реализации обратной связи и передачи головному мозгу информации от внешнего мира, передовым реабилитационным технологиям, использованию виртуальной реальности совместно с НКИ, нейронным сетям и технологиям глубинного обучения, формирующемуся рынку нейротоваров и другим темам. На выставке технологий была продемонстрирована работа реабилитационных устройств на базе НКИ и виртуальной реальности, коммуникационного комплекса «Нейрочат» (МГУ им. М.В. Ломоносова). Состоялись состязания по нейрорестлингу - виду спорта, пока не включенному в олимпийскую программу. Во второй день конференции работа продолжилась по секциям в формате круглых столов: «Опыт и перспективы применения НКИ и виртуальной реальности в медицине, реабилитации, психиатрии и психокоррекции» и «Динамика реализации дорожной карты Ней-роНет Национальной технологической инициативы. Программа "Развитие-НТИ"». Важно отметить, что целый ряд представленных и обсужденных на конференции результатов был представлен НейроНет-сообществу впервые в мире. ■ разработки ведущих зарубежных ученых Профессор университета Чикаго слиман Бенсмайа (США), основной сферой научных интересов которого является создание бионической руки - аналога биологической руки с сохранением полной обратной связи, передающей информацию о выполненном движении, размере, форме и текстуре объекта, представил промежуточные результаты по созданию чувствительной искусственной руки [1]. Методологию разработки ученый описал следующим образом: «В головном мозге есть карта нашей руки - виртуальный образ. Когда человек думает о движении, он активирует те мышцы, которые отвечают за это действие. Обратно в головной мозг поступают сигналы, которые дают информацию о том, насколько движения соответствуют запланированным действиям, таким образом происходит полный цикл передачи информации. Наша лаборатория занимается кодированием и декодированием сигналов, которые возникают в мышцах, также мы работаем с информацией, которая идет от головного мозга к мышцам. Люди, которые потеряли конечность, могут ощущать предмет с помощью создания дополнительной коммуникации между нервом ампутированной руки и робопротезом. Если пациент может производить движения только головой, то в этом случае нужно осуществлять имплантацию коммуникатора в головной мозг. Современные технологии сегодня могут простимулировать максимум 100 нейронов, а задействовано от 10 000 до 50 000, также нужно учитывать, как ведет себя нервная клетка в данный момент времени». Область знаний о представлении человеческого тела в мозге формируется появилась уже давно: поля по Бродману (1909 год), в 1950-ые годы появились карты моторного и сенсорного гомункулюса в коре головного мозга, но последние 15 лет направление развивается особенно активно. Мировой приоритет имеют результаты испанских ученых по исследованию воздействия на виртуальные тела через нейрокомпьютерный интерфейс - об отождествлении человека с виртуальными объектами при помощи НКИ рассказала доктор Института биомедицинских исследований мария виктория санчес-Бивес (Испания). Представленные результаты, полученные с использованием НКИ и разработанных протоколов воображения движения и анализа ответа мозга на определенные действия, существенно расширили понимание происходящих процессов в части пластичности представления тела в мозге (и изменения представления под действием различных факторов) [2]. Доктор М.В. Санчес-Вивес поделилась с аудиторией полученными данными и выводами: «Если происходит совпадение намерения и действия, возникает реальное чувство обладания телом. Иллюзия владения виртуальным телом может легко быть достигнута с помощью визуально-тактильных или сенсомоторных корреляций. Это в определенной мере может возникать, когда виртуальное тело управляется через НКИ для контроля движений виртуальной руки. Когда движения виртуальной руки следуют за моторными образами, возникает иллюзия владения этой рукой, и мышечная активность считывается с показаний электромиограммы в корреляции с движениями виртуальной руки. Однако воспринимаем ли мы, что движение осуществляется нашим виртуальным телом? Физическое воздействие на организм дает нам ощущение контроля и ответственности за наши действия, а это имеет решающее значение для чувства собственных движений. В нашем случае воздействие было описано как результат сопоставления предполагаемой и реальной обратной сенсорной связи планируемого действия, процесса, требующего вовлечения в себя областей моторной коры». Исследования в этой же области проводит и доктор университета ICREA-University of Barcelona Мэлвин Слейтер (Испания), который кроме того является профессором Университетского колледжа Лондона. Свой доклад он посвятил процессу возникновения иллюзорной деятельности в виртуальной реальности, в частности возможности использования чувства восприятия человеком тела робота как своего собственного. В основе подхода - использование погружения в виртуальную среду, что позволяет отождествить (заменить) тело человека на виртуальное или роботизированное, которое пространственно идентично реальному телу, наблюдаемому самим человеком, и движется синхронно с его собственными движениями. Как правило, это приводит к перцептивной иллюзии управления этим виртуальным телом. На этом фоне исследуется влияние действий, осуществляемых виртуальным телом, на то, что участник эксперимента не осуществляет сам [3]. Ученый рассказал: «Мы активно занимаемся виртуальной реальностью и в некоторых случаях используем НКИ и роботизированные устройства, чтобы помочь людям социализироваться. Обсуждаем несколько примеров возникновения иллюзии совершения действия у человека и последующие соответствующие поведенческие реакции на это. Проанализировав полученные значения для НКИ-контроля виртуального или удаленного роботизированного тела, удалось дать людям возможность виртуального воплощения в робота, видеть мир его глазами и взаимодействовать с другими людьми, даже если человек находится в Барселоне, а робот - в Лондоне». Неизменный интерес в научном сообществе вызывают результаты работы старшего научного сотрудника Центра нейроинженерии университета Дьюка Михаила Лебедева (США), который в этом году приехал в Самару третий раз. Ключевая тема его выступления - нейронное кодирование множественных функций: значение для нейропротезирования и нейрореабилитации [4]. В настоящее время нейропротезирование все шире охватывает разные сферы жизни - от медицинской реабилитации до разнообразных приложений для здоровых людей, желающих расширить функции своего мозга. Если на начальном этапе развития речь шла об относительно простых системах, декодирующих из нейрональной активности моторные команды или восполняюших элементарные сенсорные функции посредством нейростимуляции, то теперь ученые и специалисты пытаются создать интерфейсы для более высоких функций мозга, таких как память, внимание, принятие решений и эмоции. В этой связи возникает вопрос: а как, собственно, представлена эта информация в разрядах нейронов? Ученый говорит: «Я расскажу о нескольких экспериментах, проведенных мною и другими исследователями, в которых изучалось нейронное кодирование множественных параметров. Эксперименты проводились на обезьянах, от которых требовалось гибким образом использовать эти нейрональные коды. Например, в одном из экспериментов обезьяна внимательно наблюдала за движениями робота, планируя при этом движение рукой в направлении, отличном от местоположения робота. В другом эксперименте от обезьяны требовалось хранить в памяти положение точки на экране и одновременно отслеживать движение по экрану светящегося кружка. За счет таких манипуляций удалось проанализировать, какие нейроны и как кодируют пространственную память, пространственное внимание и намерение совершить движение. Оказалось, что отдельные нейроны одновременно могут кодировать несколько параметров, а их популяции кодируют информацию распределенным образом. Более того, декодирующие алгоритмы позволяют извлекать всю эту информацию из активности мозга, что является хорошей новостью для разработчиков нейропротезов - они в самом деле с большой вероятностью смогут определить содержание памяти, фокус внимания, потенциальные моторные планы и даже то, о чем думает человек, обрабатывая сигналы большого количества нейронов, записанных одновременно». Закончив эту часть доклада, М. Лебедев остановился на некоторых современных исследованиях в области нейронального кодирования информации при помощи линейной алгебры и на том, что эти результаты означают в свете того, что становится известным о нейрональном кодировании множественных функций. При этом, по словам исследователя, есть другая теория, которая пытается опровергнуть теорию, лежащую в основе проведенных экспериментов, из области динамических систем или нейродинамики. Специалисты, работающие в этой области, считают неважным, что кодируют нейроны; все, происходящее в мозге, понимается как движение в нейрональном пространстве. Согласно голографическому принципу нелокально-сти, который утверждает, что «все отражается во всем», «Все воздействует на все», «целое отражено в каждой части», организация межнейронных связей создает новые свойства мозга, который является живой материей, нащупывающей и закрепляющей в памяти более удачные вариации. О том, как будут взаимодействовать и конкурировать между собой разные теории, ученый обещал рассказать в Самаре на 4-ой международной конференции. Впервые приехал на конференцию доктор Междисциплинарного центра Герцлия Дорон Фридман (Израиль). Он посвятил свое выступление результатам экспериментов по управлению мыслью виртуальных и роботизированных систем. Как ранее отмечалось, одним из важнейших применений НКИ является возможность парализованным пациентам использовать дополнительные пути для коммуникации и контроля. Представленная парадигма международного коллектива ученых нацелена на перевоплощение - замену физического тела на виртуальное или роботизированное, управляемое потоком информации, декодированным прямо из мозга [5]. В ходе доклада доктор Д. Фридман кратко представил ранние исследования коллектива по контролю «аватаров» на базе электроэнцефалографии (ЭЭГ) и подробнее рассмотрел более поздние исследования - использование функциональных магнитнорезонансных изображений (фМРТ). Экспериментатор уверен, что фМРТ позволяет анализировать всю поверхность мозга при высоком пространственном разрешении. В ходе работ было показано, что, несмотря на медленную динамику изменений уровня зависимости «кровь-кислород», сигнал фМРТ может использоваться здоровым человеком и с ампутированной конечностью для контроля «аватаров» и человекоподобных роботов, реализуя таким образом относительно сложные задачи. Рассказывая о сложившейся коллаборации по исследуемой теме, ученый отмечает: «Наша лаборатория изучает виртуальную реальность, НКИ и возможности их взаимодействия. Совместно с Мэлвином Слейтером в Лондоне мы занимались разработкой воображения движения и интеграции его с НКИ. При этом мы получаем комплексный набор информации, используя функциональное МРТ. Мы используем различные фильтры и математические алгоритмы, определяя, какая область мозга нам нужна и работаем над увеличением эффективности наших исследований». Ученый рассказал о проведенном эксперименте, когда человек помещен в магнитно-резонансный томограф и при помощи малоамплитудных движений управляет роботом во Франции и видит мир его глазами. Доктор Института медицинской психологии и поведенческой нейробиологии Сурьо Сокадар (Германия) рассказал об использовании двунаправленных интерфейсов «мозг-машина» для лечения психиатрических расстройств. «Когда мы создаем лечебные методики с использованием нейрокомпьютерных интерфейсов, мы должны четко понимать связь между физиологией и органикой. Корреляция не поможет, нам необходимо найти именно связь между физиологией и поведением - сенсомоторный путь, чтобы провести эффективную стимуляцию», - отмечает доктор С. Со-кадар. Делая ретроспективный обзор возможностей использования НКИ, докладчик обратил внимание аудитории, что НКИ трансформируют электрическую, магнитную или метаболическую активность мозга в командные сигналы для компьютеров, машин или роботов, в то время как клиническое применение НКИ сосредоточено на восстановлении коммуникации или движений пациентов с осложненными параличами, более поздние исследования опираются на то, что повторяющееся использование НКИ способно достичь результатов в восстановлении функциональной и структурной пластичности нервных цепочек. Было обнаружено, что такого рода нейропластичность может способствовать не только выздоровлению после перенесенного инсульта или повреждений спинного мозга, но также корректировать симптоматику различных психических заболеваний, таких как депрессия, шизофрения или зависимость. Однако, чтобы воздействовать на нейропластичность и соответствующие поведенческие эффекты, в настоящее время требуется большое количество экспериментальных исследований. Сочетание НКИ с транскраниальной электрической или магнитной стимуляцией, адаптированной к текущему состоянию мозга, обещает повысить эффективность НКИ [6]. При этом перспективы и проблемы применения такого подхода в лечении психических расстройств требуют продолжения серьезных исследований и обсуждения. Г ■ РАЗРАБОТКИ ВЕДУЩИХ РОССИЙСКИХ НАУЧНЫХ ШКОЛ Российские ученые представили свои фундаментальные и прикладные разработки ведущих отечественных научных школ в области нейрфизиологии и нейрореабилитации. Профессор Института высшей нервной деятельности и нейрофизиологии РАН Александр фролов доложил результаты исследования, выполненного в научной кооперации с коллегами из Российского национального исследовательского медицинского университета им. Н.И. Пирогова и Научного центра неврологии РАН, по изучению гемодинамической и электрофизиологической активности мозга при управлении интерфейсом «мозг-компьютер», основанным на воображении движений. Были рассмотрены особенности пяти паттернов электроэнцефалограммы, наиболее стабильно выделяющихся методом независимых компонент при воображении движений руки у здоровых испытуемых и постинсультных больных во время управления НКИ. Путем решения обратной задачи ЭЭГ с использованием индивидуальной геометрической модели головы для каждого испытуемого было показано, что источники выделенных электрических паттернов находятся в глубине центральных борозд обоих полушарий, пре-моторной коре левого полушария, дополнительной моторной области и в области предклинья. Функциональное значение указанных источников было обсуждено в сравнении с результатами анализа литературных и собственных данных, полученных с помощью функциональной МРТ. Результаты локализации источников совпали для здоровых испытуемых и постинсультных больных с подкорковой локализацией очага, однако имеются значительные различия в частотных характеристиках выделенных паттернов у указанных групп, в частности, в сторону отсутствия у пациентов четко выраженной активности в верхнем альфа-диапазоне и гораздо меньшей степени подавления ритмов в первичных соматосенсорных областях во время воображения движений. Точность управления интерфейсом у пациентов тем не менее оказалась сопоставима с таковой у здоровых испытуемых [7]. Профессор Александр каплан (МГУ им. М.В. Ломоносова) рассказал о проблемах и перспективах осуществления коммуникаций посредством интерфейсов «мозг-компьютер», о последних исследованиях и разработках возглавляемой им лаборатории нейрофизиологии и нейрокомпьютерных интерфейсов, обсудил общемировые тренды в развитии НКИ, имеющиеся достижения, разрабатываемые в настоящее время проекты и перспективы преодоления технологических барьеров на пути к созданию высокопроизводительных нейроинтерфейсов. К числу таких барьеров им отнесены следующие: число кодируемых в канале связи элементарных знаков или команд, время формирования отдельной команды в нейроинтерфейсах, которое сильно зависит от динамики психофизиологических процессов, технология практичного и информационно емкого съема показателей мозговой активности для целей формирования каналов коммуникации [8]. Несомненным успехом возглавляемого ученым коллектива исследователей является создание социальной сети «Нейрочат» (менеджер проекта Наталья Галкина) для коммуникаций людей, утративших способность нормально говорить, двигаться и полноценно общаться. «Нейрочат» демонстрировался делегатам оба дня конференции и вызвал большой интерес у ученых и практикующих врачей. Доклад профессора Алексея Осадчего (НИУ ВШЭ, Москва) был посвящен перспективам развития маг-нитоэнцефалографии как технологии неинвазивного функционального картирования головного мозга человека. Он также проинформировал участников конференции о том, что совместно с Физико-техническим институтом им. А. Ф. Иоффе ученые разрабатывают новый сенсор и уже есть уже первые результаты аналитического характера [9]. Conference Конференция Science & Innovations in Medicine 4(8)/2017 Сотрудник лаборатории математической обработки биологической информации компании IT-Universe Сергей Агапов рассказал о применении машинного обучения в практической работе с нейрокомпьютерными интерфейсами. Доклад посвящен теме применения в НКИ сверточных нейронных сетей (CNN, convolution neural network). Рассмотрена практика применения глубокого машинного обучения (DeepLearning) в НКИ на основе вызванных потенциалов. Было приведено сравнение работы различных нейронных сетей для классификации вызванных потенциалов и воображаемых движений. Показаны возможности сверточных нейронных сетей при работе в режиме реального времени. Рассмотрены методы репрезентации ЭЭГ-записей для оптимизации глубокого машинного обучения и классификации паттернов ЭЭГ. Выступление к.б.н. Сергея Шишкина от исследовательской группы Национального исследовательского центра «Курчатовский Институт» на тему: «Может ли совместное использование сигналов мозга и траектории взгляда обеспечить высокофлуэнтное взаимодействие с машинами?» содержало в себе положительный ответ на вынесенный в название доклада вопрос. И основывается он на значимом достижении коллектива - создании интерфейса для свободного взаимодействия человека с машиной. Оно базируется на анализе сигналов головного мозга, регистрируемых при использовании технологии взаимодействия взглядов, и на применении результатов этого анализа к обнаружению на основе мозговых сигналов поведения взглядов, связанных с намерениями пользователя. Ученый продемонстрировал, что в некоторых случаях задержка взгляда используется для взаимодействия, а самопроизвольная задержка взгляда может быть дифференцирована на основании статистических характеристик, связанных с мозговой активностью так же, как и связанной с ожиданием реакции системы на задержку взгляда. В настоящее время ученые разрабатывают онлайн-версию системы «глаз - мозг - компьютерный интерфейс (EBCI)», и если удастся увеличить скорость взаимодействия хотя бы в некоторых сценариях использования, то она может быть применена для решения ряда задач, особенно творческих, а также для пациентов с двигательными нарушениями, но у которых сохранен произвольный контроль над взглядом. Самарские ученые представили свои последние разработки в сфере применения виртуальной реальности в нейрореабилитации. Доклад был сделан доцентом Александром Захаровым (отдел нейроинтерфейсов и прикладной нейрофизиологии ЦПИ «IT в медицине» СамГМУ) и касался фундаментальных и прикладных аспектов комплексной реабилитации пациентов с нарушениями двигательных функций верхних и нижних конечностей с использованием технологий виртуальной реальности [10]. Были продемонстрированы завершенные за последний год или находящиеся в завершающей стадии проекты, выполненные междисциплинарными инжиниринговыми командами университета (локализуются в ЦПИ «Информационные технологии в медицине и научно-производственном технопарке СамГМУ), ведущими IT-компаниями и некоторыми промышленными предприятиями Самарской области. В числе представленных разработок - проект «Виртуальный вертикализатор» -аппаратно-программный комплекс (АПК) для реабилитации пациентов с двигательными нарушениями нижних конечностей на ранних сроках (с первых 48 часов) после перенесенного инсульта. Разработка обеспечивает мотивацию пациента за счет визуализации процесса ходьбы от первого лица и привыкание к в вертикальному положению, активацию шагательного рефлекса путем формирования тактильных ощущений от ходьбы на стопах пациента. Также живой отклик у аудитории вызвали АПК для развития точной моторики рук у детей и нейрореабилитации детей с нарушениями движений («Виртуальный движок»), позволяющий совместить игровые и реабилитационные методики в игровой форме, OnDoRehab - где трекинг используется для синхронизации движений конечности в экзопротезе и в виртуальной реальности, АПК «Рыбалка» (на основе OculusRift CV1) - технология контроля и средств объективного измерения уровня погружения когнитивной деятельности мозга человека в виртуальную реальность, а также альтернативный коммуникатор для аутистов, карточки Pecs. Более подробно ряд обсужденных в настоящей статье исследований, созданных на их основе технологий и продуктов, а также результатов их клинического внедрения представлены отдельными статьями в сборнике материалов конференции (размещен в системе РИНЦ). ■ ИТОГИ КОНФЕРЕНЦИИ Подводя итоги конференции, ее участники констатировали, что современные нейротехнологии уже в ближайшей перспективе смогут кардинально изменить множество отраслей экономики и сферы здравоохранения, и поэтому состоявшаяся в Самаре конференция имеет стратегическое значение для развития взаимодействия отечественных и зарубежных ученых и специалистов, обладающих самыми передовыми знаниями в области нейротехнологий. Таким образом, третья международная конференция «Нейрокомпьютерный интерфейс: наука и практика. Самара, 2017» стала эффективной коммуникативной и дискуссионной площадкой для представления и обсуждения последних достижениях нейронауки, принятия важных решений отечественным профессиональным сообществом в секторе NeuroNet Национальной технологической инициативы. Четвертая международная конференция «Нейро-компьютерный интерфейс: наука и практика. Самара - 2018» состоится в Самарском государственном медицинском университете 11-12 октября 2018 г. Приглашаем к участию!

About the authors

AV V Kolsanov

Samara State Medical University

Email: avkolsanov@mail.ru
PhD, Professor, director of the Institute of innovative development of Samara State Medical University. office 518, 89 Chapayevskaya st Samara, Russia, 443099

EV V Avdeeva

Samara State Medical University

Email: avdeeva.ev@gmail.com
PhD, Professor, deputy director of the Institute of innovative development of Samara State Medical University.

References

Supplementary files