DEVELOPMENT OF EYE-TRACKING BASED SYSTEMS FOR ALTERNATIVE AND AUGMENTATIVE COMMUNICATION

Full Text

■ ВВЕДЕНИЕ Одним из наиболее инвалидизирующих последствий поражения нервной системы является нарушение коммуникативных способностей. Согласно определению Всемирной организации здравоохранения, коммуникативная неспособность - это не заболевание, болезнь или расстройство, а термин, описывающий такое условие «человеческого существования», которое характеризуется функциональными ограничениями в выражении (экспрессии) своих потребностей, чувств и намерений, а также трудностями участия в обмене информацией и социальных отношениях. В Конвенции о правах инвалидов (ратифицирована Россией в 2012 году) отдельно отмечается «необходимость использования технологий, учитывающих разные формы инвалидности, принятие и содействие использованию жестовых языков, азбуки Брайля, дополнительных и альтернативных способов общения и всех других доступных способов, методов и форматов общения по выбору инвалидов». Альтернативная коммуникация означает, что индивидуум общается лицом к лицу с собеседником без использования речи. Жесты, графические и предметные символы, азбука Морзе, письмо - примеры альтернативных форм коммуникации людей, не обладающих способностью говорить [1]. Дополненная коммуникация означает коммуникацию, дополняющую речь. Слово «дополнительная» подчеркивает тот факт, что обучение альтернативным формам коммуникации имеет двойную цель: поддержать развитие речи и обеспечить альтернативную форму коммуникации в случае, если у индивидуума так и не разовьется способность говорить [1]. Согласно имеющимся оценкам [1, 2], от 0,4% до 1,2% населения земли (порядка 300 млн человек) страдают нарушениями речи, и им необходимы устройства и технологи альтернативной и дополненной коммуникации, чтобы общаться и взаимодействовать с окружающим миром. Учитывая вышеприведенные данные, в России насчитывается от 586 тыс. человек до 1758 тыс. человек, имеющих нарушения коммуникативной функции. По приблизительным оценкам не менее чем 250 тыс. человек в России для коммуникации с внешним миром необходимы высокотехнологичные устройства альтернативной и дополненной коммуникации. Но подобные устройства на российском рынке отсутствуют. Зарубежные компании свои высокотехнологичные устройства альтернативной и дополненной коммуникации на российский рынок не поставляют из-за необходимости проведения работ по русификации и отсутствия инфраструктуры, необходимой для распространения подобных устройств. А отечественные компании высокотехнологичные устройства альтернативной и дополненной коммуникации не производят. ■ МОДЕЛЬ ПОРОЖДЕНИЯ ВЫСКАЗЫВАНИЙ ЛЮДЬМИ С ОГРАНИЧЕННЫМИ КОММУНИКАТИВНЫМИ ВОЗМОЖНОСТЯМИ Возможности и потребности потенциальных пользователей устройств альтернативной и дополненной коммуникации сильно различаются, а в некоторых случаях могут прямо противоречить друг другу. Например, потребность в общении есть как у ребенка, который никогда не владел речью, так и у взрослого, потерявшего речь в силу различных причин. Такая ситуация диктует необходимость в применении обобщенной модели порождения «высказываний» при анализе требований к устройствам альтернативной и дополненной коммуникации. Одной из общепризнанных моделей порождения высказываний является модель, предложенная в 1999 году Levelt, Roelofs & Meyer (рис. 1). Данная модель не отражает процессов, происходящих при формировании высказывания, но она структурирует основные этапы формирования высказываний. Это позволяет определить пути реализации устройств альтернативной и дополненной коммуникации при возникновении нарушений на каждом из этапов порождения высказываний. Наиболее «простым» случаем является нарушение на этапе артикуляции. В данном случае для осуществления коммуникативного акта человек может прибегнуть либо к жестовой коммуникации, либо использовать письменную речь. Людям с такими нарушениями не требуется никаких дополнительных вспомогательных устройств для осуществления коммуникации. В случае, когда кроме проблем с артикуляцией присутствуют серьезные двигательные нарушения, препятствующие продуцированию письменной речи и жестов, возникает необходимость в построении альтернативного канала коммуникации. Такой канал включает в себя две составляющие. Первая - это информационные сигналы, которые человек может продуцировать и, что более важно, осуществлять их волевой контроль. Вторая - это механизм, регистрирующий информационные сигналы, продуцированные человеком, и транслирующий эти информационные сигналы в кон-венциальную форму, доступную для понимания коммуникативным партнером. Рисунок 1. Модель порождения высказываний Левелта (источник: Т. Ушакова. Рождение слова. Проблемы психологии речи и психолингвистики, 2011). В настоящее время в качестве информационных сигналов могут быть использованы остаточные движения, движения глаз и сигналы электрической активности головного мозга. Регистрация остаточных движений может быть осуществлена методом регистрации электрической активности мышц [3] или методом непосредственной регистрации движения. Например, в устройствах альтернативной и дополненной коммуникации часто регистрируются движения головы, указывающие на предметы и символы [4]. Регистрация движения глаз осуществляется, как правило, методом видеоокулографии [5], а регистрация электрической активности головного мозга осуществляется расположенными на поверхности головы электродами [6]. Далее зарегистрированная информация декодируется и соотносится с символами традиционного алфавита или с заранее установленными действиями. Продуцированное текстовое сообщение может быть преобразовано в звуковое сообщение. Такая трансформация формирует канал обратной связи на основе фонетического анализа в соответствии с моделью Левелта. При выборе информационного базиса альтернативного канала коммуникации необходимо учитывать возможную скорость коммуникации и возникающую когнитивную нагрузку. Канал на основе регистрации остаточных движений является наименее когнитивно нагруженным, далее следует канал на основе регистрации движения глаз и наиболее когнитивно затратным является канал на основе регистрации электрической активности головного мозга [7]. Аналогичная ситуация складывается и со скоростными характеристиками каналов [8]. Более сложной ситуацией является случай, когда нарушения продуцирования речи локализуются на этапе грамматического кодирования. Человек теряет возможность символического кодирования своих сообщений, соответственно становятся недоступными каналы коммуникации на основе письменной и устной речи. Как правило, при таких нарушениях сильно затруднена жестовая коммуникация, аналогичная языку глухонемых. Таким образом, в отличие от случая нарушений артикуляции, сочетанных с серьёзными двигательными нарушениями, при котором возникает необходимость в построении альтернативного канала коммуникации, в случае локализации нарушений на уровне грамматического кодирования возникает необходимость в построении альтернативной коммуникативной системы. Альтернативная коммуникативная система базируется на методах коммуникации детей довербального развития. Во-первых, это указательный жест и, во-вторых, изобразительные и конвенциальные жесты [9]. На практике в настоящее время наиболее широко используются альтернативные системы коммуникации на основе картиночных коммуникационных символов (Picture Communication Symbols), на основе пиктограмм, предметных символов и блисс-символов. В случае нарушений, локализованных на этапе грамматического кодирования и сочетанных с серьёзными двигательными нарушениями, альтернативная коммуникативная система дополняется альтернативным коммуникативным каналом. На основании проведенного анализа вариантов локализации нарушений порождения высказываний для целей проектирования устройств альтернативной и дополненной коммуникации модель Левелта может быть преобразована к виду, представленному на рисунке 2. Представленная альтернативная модель порождения высказываний не отражает всей полноты возможных вариантов продуцирования сообщений людьми с ограниченными коммуникативными возможностями, но в то же время, как уже было сказано ранее, дает практическую основу для создания высокотехнологичных устройств альтернативной и дополненной коммуникации. > в звуковой и визуальной модальности Рисунок 2. Альтернативная модель порождения высказываний. ■ АРХИТЕКТУРА ВЫСОКОТЕХНОЛОГИЧНОГО УСТРОЙСТВА АЛЬТЕРНАТИВНОЙ И ДОПОЛНЕННОЙ КОММУНИКАЦИИ В настоящее время в ПАО «ИНЭ-УМ им. И.С. Брука» ведутся работы по созданию высокотехнологичной платформы альтернативной и дополненной коммуникации. В основу разработки положена предложенная альтернативная модель порождения высказываний. Учитывая широту возможных вариантов нарушения коммуникации, создаваемая платформа получила модульную архитектуру, которая позволит в дальнейшем создавать персонифицированные решения, адапти- Рисунок 3. Трехмерная модель высокотехнологичной платформы альтернативной и дополненной коммуникации. рованные под нужды конкретного пользователя. На рисунке 3 представлена трехмерная модель создаваемой платформы. Группа пользователей Успешная калибровка, % Негативные результаты калибровки, % Нормально развивающиеся дети 92-100 0-8 Дети с расстройствами аутического спектра 90-100 0-10 Дети с синдромом Дауна 88 12 Дети с задержками интеллектуального развития неопределенного генеза 83 17 Взрослые с афазиями 91 9 Взрослые с травмами головного мозга 72 18 Таблица 1. Результативность калибровки устройства регистрации движения глаз в III группе больных В качестве основного альтернативного коммуникативного канала выбрана технология видеоокулографии. Такой выбор продиктован возможностью использования этого канала пользователями с широким спектром нарушений коммуникативных возможностей [10]. Успешность калибровки устройства регистрации движения глаз (eye tracking) пользователями с различными заболеваниями, вызвавшими нарушения коммуникации, приведена в таблице 1. Данные для взрослых, приведенные в таблице 1, получили частичное экспериментальное подтверждение по результатам пилотных исследований, проведенных в Институте нейрохирургии им академика Н.Н. Бурденко. Дополнительный альтернативный коммуникативный канал реализуется на базе технологии интерфейс «мозг-компьютер» [6]. Канал может функционировать как в визуальной, так и в звуковой модальностях. Этот канал особенно актуален для людей с нарушениями зрительного восприятия. Кроме этого, интерфейс «мозг-компьютер» дает возможность повысить эффективность функционирования канала видеоокуло-графии [11]. Регистрация электрической активности головного мозга осуществляется с восьми электродов, расположенных на поверхности головы. На первом этапе разработки высокотехнологичной платформы альтернативной и дополненной коммуникации в качестве коммуникативной системы использована письменная речь. В ходе развития платформы планируется обеспечить пользователям возможность коммуникации на основе картиночных символов, пиктографических символов и блисс-символов. В качестве устройства отображения информации может быть использован как традиционный дисплей прямого видения, так и оптически прозрачный дисплей дополненной реальности. Использование дисплея дополненной реальности позволяет значительно снизить нарушения калибровки устройства регистрации движения глаз, вызванных движениями пользователя, а также повысить мобильность пользователя. В то же время использование дисплея дополненной реальности существенно удорожает создаваемую платформу, и, кроме этого, есть риски увеличения когнитивной нагрузки на пользователя. ■ ВЫВОДЫ В статье представлена альтернативная модель порождения высказываний людьми с различными вариантами нарушений коммуникативных возможностей, имеющая практическую ценность в деле создания высокотехнологичных устройств альтернативной и дополненной коммуникации. На примере показаны результаты использования модели при разработке высокотехнологичной платформы альтернативной и дополненной коммуникации. Дальнейшим развитием работы является изготовление опытного образца платформы и проведение экспериментальных работ с целью подтверждения адекватности созданной альтернативной модель порождения высказываний. W

About the authors

D A Balovnev

Joint Stock Company “Institute of Electronic Control Computers n. a. I. S. Bruk”

Email: balovnev_d@ineum.ru
division manager, JSC «Institute of Electronic Control Computers n. a. I. S. Bruk». 24 Vavilov st., Moscow, Russia, 119334

G G Znayko

Joint Stock Company “Institute of Electronic Control Computers n. a. I. S. Bruk”

Email: znayko_g@ineum.ru
PhD, deputy general manager, JSC «Institute of Electronic Control Computers n. a. I. S. Bruk»

References