DEVELOPMENT OF EYE-TRACKING BASED SYSTEMS FOR ALTERNATIVE AND AUGMENTATIVE COMMUNICATION


Cite item

Abstract

Rehabilitation of people with communication impairments is a socially important issue in Russia. Currently, there are no high-tech alternative and augmentative communication devices on the Russian market. On creation of such devices, a need arises for a model which structures any occurring communication impairment. The article sets out the structure of an alternative model of speech production developed on the basis of Levelt’s model of speech production. Practical application of the developed model is shown in the course of designing a high-tech platform for alternative and augmentative communication.

Full Text

■ ВВЕДЕНИЕ Одним из наиболее инвалидизирующих последствий поражения нервной системы является нарушение коммуникативных способностей. Согласно определению Всемирной организации здравоохранения, коммуникативная неспособность - это не заболевание, болезнь или расстройство, а термин, описывающий такое условие «человеческого существования», которое характеризуется функциональными ограничениями в выражении (экспрессии) своих потребностей, чувств и намерений, а также трудностями участия в обмене информацией и социальных отношениях. В Конвенции о правах инвалидов (ратифицирована Россией в 2012 году) отдельно отмечается «необходимость использования технологий, учитывающих разные формы инвалидности, принятие и содействие использованию жестовых языков, азбуки Брайля, дополнительных и альтернативных способов общения и всех других доступных способов, методов и форматов общения по выбору инвалидов». Альтернативная коммуникация означает, что индивидуум общается лицом к лицу с собеседником без использования речи. Жесты, графические и предметные символы, азбука Морзе, письмо - примеры альтернативных форм коммуникации людей, не обладающих способностью говорить [1]. Дополненная коммуникация означает коммуникацию, дополняющую речь. Слово «дополнительная» подчеркивает тот факт, что обучение альтернативным формам коммуникации имеет двойную цель: поддержать развитие речи и обеспечить альтернативную форму коммуникации в случае, если у индивидуума так и не разовьется способность говорить [1]. Согласно имеющимся оценкам [1, 2], от 0,4% до 1,2% населения земли (порядка 300 млн человек) страдают нарушениями речи, и им необходимы устройства и технологи альтернативной и дополненной коммуникации, чтобы общаться и взаимодействовать с окружающим миром. Учитывая вышеприведенные данные, в России насчитывается от 586 тыс. человек до 1758 тыс. человек, имеющих нарушения коммуникативной функции. По приблизительным оценкам не менее чем 250 тыс. человек в России для коммуникации с внешним миром необходимы высокотехнологичные устройства альтернативной и дополненной коммуникации. Но подобные устройства на российском рынке отсутствуют. Зарубежные компании свои высокотехнологичные устройства альтернативной и дополненной коммуникации на российский рынок не поставляют из-за необходимости проведения работ по русификации и отсутствия инфраструктуры, необходимой для распространения подобных устройств. А отечественные компании высокотехнологичные устройства альтернативной и дополненной коммуникации не производят. ■ МОДЕЛЬ ПОРОЖДЕНИЯ ВЫСКАЗЫВАНИЙ ЛЮДЬМИ С ОГРАНИЧЕННЫМИ КОММУНИКАТИВНЫМИ ВОЗМОЖНОСТЯМИ Возможности и потребности потенциальных пользователей устройств альтернативной и дополненной коммуникации сильно различаются, а в некоторых случаях могут прямо противоречить друг другу. Например, потребность в общении есть как у ребенка, который никогда не владел речью, так и у взрослого, потерявшего речь в силу различных причин. Такая ситуация диктует необходимость в применении обобщенной модели порождения «высказываний» при анализе требований к устройствам альтернативной и дополненной коммуникации. Одной из общепризнанных моделей порождения высказываний является модель, предложенная в 1999 году Levelt, Roelofs & Meyer (рис. 1). Данная модель не отражает процессов, происходящих при формировании высказывания, но она структурирует основные этапы формирования высказываний. Это позволяет определить пути реализации устройств альтернативной и дополненной коммуникации при возникновении нарушений на каждом из этапов порождения высказываний. Наиболее «простым» случаем является нарушение на этапе артикуляции. В данном случае для осуществления коммуникативного акта человек может прибегнуть либо к жестовой коммуникации, либо использовать письменную речь. Людям с такими нарушениями не требуется никаких дополнительных вспомогательных устройств для осуществления коммуникации. В случае, когда кроме проблем с артикуляцией присутствуют серьезные двигательные нарушения, препятствующие продуцированию письменной речи и жестов, возникает необходимость в построении альтернативного канала коммуникации. Такой канал включает в себя две составляющие. Первая - это информационные сигналы, которые человек может продуцировать и, что более важно, осуществлять их волевой контроль. Вторая - это механизм, регистрирующий информационные сигналы, продуцированные человеком, и транслирующий эти информационные сигналы в кон-венциальную форму, доступную для понимания коммуникативным партнером. Рисунок 1. Модель порождения высказываний Левелта (источник: Т. Ушакова. Рождение слова. Проблемы психологии речи и психолингвистики, 2011). В настоящее время в качестве информационных сигналов могут быть использованы остаточные движения, движения глаз и сигналы электрической активности головного мозга. Регистрация остаточных движений может быть осуществлена методом регистрации электрической активности мышц [3] или методом непосредственной регистрации движения. Например, в устройствах альтернативной и дополненной коммуникации часто регистрируются движения головы, указывающие на предметы и символы [4]. Регистрация движения глаз осуществляется, как правило, методом видеоокулографии [5], а регистрация электрической активности головного мозга осуществляется расположенными на поверхности головы электродами [6]. Далее зарегистрированная информация декодируется и соотносится с символами традиционного алфавита или с заранее установленными действиями. Продуцированное текстовое сообщение может быть преобразовано в звуковое сообщение. Такая трансформация формирует канал обратной связи на основе фонетического анализа в соответствии с моделью Левелта. При выборе информационного базиса альтернативного канала коммуникации необходимо учитывать возможную скорость коммуникации и возникающую когнитивную нагрузку. Канал на основе регистрации остаточных движений является наименее когнитивно нагруженным, далее следует канал на основе регистрации движения глаз и наиболее когнитивно затратным является канал на основе регистрации электрической активности головного мозга [7]. Аналогичная ситуация складывается и со скоростными характеристиками каналов [8]. Более сложной ситуацией является случай, когда нарушения продуцирования речи локализуются на этапе грамматического кодирования. Человек теряет возможность символического кодирования своих сообщений, соответственно становятся недоступными каналы коммуникации на основе письменной и устной речи. Как правило, при таких нарушениях сильно затруднена жестовая коммуникация, аналогичная языку глухонемых. Таким образом, в отличие от случая нарушений артикуляции, сочетанных с серьёзными двигательными нарушениями, при котором возникает необходимость в построении альтернативного канала коммуникации, в случае локализации нарушений на уровне грамматического кодирования возникает необходимость в построении альтернативной коммуникативной системы. Альтернативная коммуникативная система базируется на методах коммуникации детей довербального развития. Во-первых, это указательный жест и, во-вторых, изобразительные и конвенциальные жесты [9]. На практике в настоящее время наиболее широко используются альтернативные системы коммуникации на основе картиночных коммуникационных символов (Picture Communication Symbols), на основе пиктограмм, предметных символов и блисс-символов. В случае нарушений, локализованных на этапе грамматического кодирования и сочетанных с серьёзными двигательными нарушениями, альтернативная коммуникативная система дополняется альтернативным коммуникативным каналом. На основании проведенного анализа вариантов локализации нарушений порождения высказываний для целей проектирования устройств альтернативной и дополненной коммуникации модель Левелта может быть преобразована к виду, представленному на рисунке 2. Представленная альтернативная модель порождения высказываний не отражает всей полноты возможных вариантов продуцирования сообщений людьми с ограниченными коммуникативными возможностями, но в то же время, как уже было сказано ранее, дает практическую основу для создания высокотехнологичных устройств альтернативной и дополненной коммуникации. > в звуковой и визуальной модальности Рисунок 2. Альтернативная модель порождения высказываний. ■ АРХИТЕКТУРА ВЫСОКОТЕХНОЛОГИЧНОГО УСТРОЙСТВА АЛЬТЕРНАТИВНОЙ И ДОПОЛНЕННОЙ КОММУНИКАЦИИ В настоящее время в ПАО «ИНЭ-УМ им. И.С. Брука» ведутся работы по созданию высокотехнологичной платформы альтернативной и дополненной коммуникации. В основу разработки положена предложенная альтернативная модель порождения высказываний. Учитывая широту возможных вариантов нарушения коммуникации, создаваемая платформа получила модульную архитектуру, которая позволит в дальнейшем создавать персонифицированные решения, адапти- Рисунок 3. Трехмерная модель высокотехнологичной платформы альтернативной и дополненной коммуникации. рованные под нужды конкретного пользователя. На рисунке 3 представлена трехмерная модель создаваемой платформы. Группа пользователей Успешная калибровка, % Негативные результаты калибровки, % Нормально развивающиеся дети 92-100 0-8 Дети с расстройствами аутического спектра 90-100 0-10 Дети с синдромом Дауна 88 12 Дети с задержками интеллектуального развития неопределенного генеза 83 17 Взрослые с афазиями 91 9 Взрослые с травмами головного мозга 72 18 Таблица 1. Результативность калибровки устройства регистрации движения глаз в III группе больных В качестве основного альтернативного коммуникативного канала выбрана технология видеоокулографии. Такой выбор продиктован возможностью использования этого канала пользователями с широким спектром нарушений коммуникативных возможностей [10]. Успешность калибровки устройства регистрации движения глаз (eye tracking) пользователями с различными заболеваниями, вызвавшими нарушения коммуникации, приведена в таблице 1. Данные для взрослых, приведенные в таблице 1, получили частичное экспериментальное подтверждение по результатам пилотных исследований, проведенных в Институте нейрохирургии им академика Н.Н. Бурденко. Дополнительный альтернативный коммуникативный канал реализуется на базе технологии интерфейс «мозг-компьютер» [6]. Канал может функционировать как в визуальной, так и в звуковой модальностях. Этот канал особенно актуален для людей с нарушениями зрительного восприятия. Кроме этого, интерфейс «мозг-компьютер» дает возможность повысить эффективность функционирования канала видеоокуло-графии [11]. Регистрация электрической активности головного мозга осуществляется с восьми электродов, расположенных на поверхности головы. На первом этапе разработки высокотехнологичной платформы альтернативной и дополненной коммуникации в качестве коммуникативной системы использована письменная речь. В ходе развития платформы планируется обеспечить пользователям возможность коммуникации на основе картиночных символов, пиктографических символов и блисс-символов. В качестве устройства отображения информации может быть использован как традиционный дисплей прямого видения, так и оптически прозрачный дисплей дополненной реальности. Использование дисплея дополненной реальности позволяет значительно снизить нарушения калибровки устройства регистрации движения глаз, вызванных движениями пользователя, а также повысить мобильность пользователя. В то же время использование дисплея дополненной реальности существенно удорожает создаваемую платформу, и, кроме этого, есть риски увеличения когнитивной нагрузки на пользователя. ■ ВЫВОДЫ В статье представлена альтернативная модель порождения высказываний людьми с различными вариантами нарушений коммуникативных возможностей, имеющая практическую ценность в деле создания высокотехнологичных устройств альтернативной и дополненной коммуникации. На примере показаны результаты использования модели при разработке высокотехнологичной платформы альтернативной и дополненной коммуникации. Дальнейшим развитием работы является изготовление опытного образца платформы и проведение экспериментальных работ с целью подтверждения адекватности созданной альтернативной модель порождения высказываний. W
×

About the authors

D A Balovnev

Joint Stock Company “Institute of Electronic Control Computers n. a. I. S. Bruk”

Email: balovnev_d@ineum.ru
division manager, JSC «Institute of Electronic Control Computers n. a. I. S. Bruk». 24 Vavilov st., Moscow, Russia, 119334

G G Znayko

Joint Stock Company “Institute of Electronic Control Computers n. a. I. S. Bruk”

Email: znayko_g@ineum.ru
PhD, deputy general manager, JSC «Institute of Electronic Control Computers n. a. I. S. Bruk»

References

  1. Стивен фон Течнер. Введение в альтернативную и дополнительную коммуникацию: жесты и графические символы для людей с двигательными и интеллектуальными нарушениями, а также с расстройствами аутического спектра. М., Теревинф, 2014
  2. Tobii Annual Report 2014. Available at: http://www.tobn. com/siteassets/tobii-group/investor-relations/tobii_annual_ report_2014_en.pdf/?v=1
  3. Carlos G Pinheiro Jr. Alternative communication systems for people with severe motor disabilities: a survey. Bio Medical Engineering On Line. 2011; 10:30.doi: 10.1186/1475-925X-10-31. Available at: http://www.biomedical-engineering-online. com/content/10/1/31. Accessed October 10, 2016
  4. Fager S, Beukelman D, Karantounis R, Jakobs T. Use of safe-laser access technology to increase head movement in persons with severe motor impairment: A series of case reports. AAC: Augmentative and Alternative Communication. 2006 Sep; 22(3):222-229. doi: 10.1080/07434610600650318
  5. Borgestig M, Sandqvist J, Parsons R, Falkmer T, Hemmingsson H. Eye gaze performance for children with severe physical impairments using gaze-based assistive technology - A longitudinal study. Assistive Technology. 2016;28(2):93-102. doi: 10.1080/10400435.2015.1092182
  6. Wolpaw JR, Birbaumer N, McFarland DJ, Pfurtscheller G, Vaughan TM. Brain-computer interfaces for communication and control. Clin Neurophysiol. 2002 Jun;113(6):767-91
  7. Pasqualotto E, Matuz T, Federici S, Ruf CA, Bartl M, Olivetti Belardinelli M, Birbaumer N, Halder S. Usability and Workload of Access Technology for People With Severe Motor Impairment: A Comparison of Brain-Computer Interfacing and Eye Tracking. Neurorehabil Neural Repair. 2015 Nov-Dec; 29(10):950-7. doi: 10.1177/1545968315575611
  8. Kathner I, Ku bler A, Halder S. Comparison of eye tracking, electrooculography and an auditory brain computer interface for binary communication: a case study with a participant in the locked-in state. Journal of Neuro Engineering and Rehabilitation. 2015, 12:76. doi: 10.1186/s12984-015-0071-z. Available at: https://jneuroengrehab.biomedcentral.com/ articles/10.1186/s12984-015-0071-z. Accessed 10.10.2016
  9. Томассело М. Истоки человеческого общения. М.: Языки славянских культур, 2011
  10. Light J, McNaughton D. From Basic to Applied Research to Improve Outcomes for Individuals Who Require Augmentative and Alternative Communication: Potential Contributions of Eye Tracking Research Methods. Augmentative and Alternative Communication. 30:2, 99-105, doi: 10.3109/07434618.2014.906498
  11. Шишкин С. Л.,Козырский Б. Л., Трофимов А.Г., Нуждин Ю. О., Федорова А. А., Свирин Е. П., Величковский Б. М.. Улучшение работы интерфейса «глаз-мозг-компьютер» при использовании частотных компонентов электроэнцефалограммы. Вестник Российского государ-ственного медицинского университета. (2):39-44, 2016

Copyright (c) 2016 Balovnev D.A., Znayko G.G.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies