Specifity of complex sensory-motor reaction to relevant stimuli in personalized virtual reality in young people

Cover Page

Cite item

Abstract

Objectives – to evaluate the latent period of complex sensory-motor reaction (СSMR) to relevant visual stimuli in virtual reality (VR) with personalized and indifferent content.

Material and methods. The study included 10 healthy right-handed males aged 18–19. The selection of subjects in groups was based on two VR scenarios, the content of which reflected (personalized VR) or did not reflect their personal experience (indifferent VR). The latent period of СSMR to relevant visual stimuli was registered using a gamepad and an EEG recording system (BP-010302 BrainAmp Standart 128) in the oddball paradigm. VR scenarios were demonstrated using Oculus Rift CV1 headset. Registration of СSMR in personalized and indifferent VRs was done in three sessions with the interval of 24 hours. Each session lasted 7–8 minutes and included 30–40 СSMR registrations. Igroup Presence Questionnaire (IPQ) was used for subjective evaluation of VR immersiveness. The collected data was processed with IBM SPSS Statistics 22 software.

Results. Statistically significant correlations were registered only in VR with personalized content, between the latent time of СSMR and indexes of spatial presence (0.694522) and a general effect of VR immersiveness (-0.592243). It was noted that latent period of СSMR to relevant visual stimuli in VR is determined by the semantic content: the time of СSMR to relevant stimuli in personalized VR was significantly less, than to those in indifferent VR.

Conclusion. We support the adequacy of the methodology of studying the mechanisms of human voluntary attention with inclusion of personalized scenes in VR content. It is suggested that such methodology is promising for neurorehabilitation of patients with age-related cognitive impairment

Full Text

ВВЕДЕНИЕ

Для эффективного использования виртуальной реальности (ВР) в нейрореабилитации актуальными являются исследования когнитивных процессов мозга человека в условиях ВР, в частности внимания. При этом увеличение информативной значимости визуальных стимулов, особенно в персонализованной виртуальной среде, повышает эффективность внимания, так как ее сценарий находится в контексте настоящих и прошлых интересов человека [1].

В настоящей работе в качестве объективного метода оценки параметров внимания в условиях персонализованной и индифферентной ВР исследовалась латентность сложной сенсомоторной реакции (ССМР). Время этой реакции (реакции выбора или Go/No-go реакции) зависит от свойств стимула, то есть от его сенсорной модальности, межстимульного интервала, интенсивности, длительности и значимости сигнала, его пространственных характеристик, а также от психофизиологического состояния человека и используемой экспериментальной парадигмы [2, 3]. Ключевой методологией нейрофизиологических исследований внимания является парадигма oddball, заключающаяся в предъявлении участнику эксперимента в случайной последовательности серии стимулов двух типов, среди которых один тип сигнала встречается реже, и он релевантный. Соотношение частоты предъявления релевантного и нерелевантного стимулов составляет примерно 20% и 80% соответственно [4].

Исследования латентности ССМР в ВР в зависимости от личностных интересов человека и содержания виртуальной среды выявили, например, меньшую продолжительность латентного периода ССМР на стимулы персонализованной виртуальной среды профессиональных спортсменов по сравнению с новичками-любителями, динамику изменения латентности ССМР при многократной регистрации сложных визуально-моторных реакций в условиях ВР [5, 6]. Однако в литературе отсутствует сравнительная характеристика динамики времени ССМР при использовании экспериментальной парадигмы oddball в условиях ВР как персонализованного, так и индифферентного содержания, что и определило цель настоящего исследования.

ЦЕЛЬ

Исследование латентности сложной сенсомоторной реакции на визуальные релевантные стимулы виртуальной реальности персонализованного и индифферентного содержания.

МАТЕРИАЛ И МЕТОДЫ

В исследовании участвовало 10 здоровых юношей-правшей 18–19 лет, подписавших информированное согласие. По показателям персонализованных предпочтений, выявленных методом тестирования, были сформированы две группы испытуемых. Отбор испытуемых в группы был предопределен двумя сценариями ВР, контент которых отражал либо не отражал их личный опыт. Группа I – испытуемые (N=5), имевшие опыт и интерес к поплавковой рыбалке. Группа II – испытуемые (N=5), не имевшие подобного опыта.

Регистрация латентности ССМР на релевантные визуальные стимулы производилась с помощью геймпада и системы записи ЭЭГ (BP-010302 BrainАmp Standart 128) в парадигме oddball. Интервал между визуальными сигналами в виртуальном сценарии был рандомизирован (2,0–2,5 с). Сценарии ВР демонстрировались с помощью очков Oculus Rift CV1.

Сценарий ВР персонализованного содержания (ВРп) представлял собой лесное озеро. В качестве визуального релевантного стимула выступало полное погружение поплавка под воду, нерелевантного – ритмические колебания поплавка на поверхности воды.

В качестве сценария ВР индифферентного содержания (ВРи) была выбрана виртуальная картина сканирования багажа в аэропорту. Подобный опыт профессиональной деятельности имели не все участники экспериментального исследования. В ВРи релевантным визуальным стимулом для испытуемых, согласно полученной инструкции, был определен момент появления из скана предмета малого размера, а нерелевантный – появление из сканирующей системы предмета большего размера.

Регистрация ССМР в персонализованной и индифферентной ВР производилась в трех сессиях с интервалом времени 24 часа. Каждая сессия в исследовании продолжалась 7–8 минут и включала регистрацию 30–40 ССМР на релевантные визуальные стимулы.

В работе для исследования субъективной оценки иммерсивности ВР использовался тест Igroup Presence Questionnaire (IPQ).

Полученные данные статистически обрабатывались с помощью IBM SPSS Statistics 22. Производился однофакторный дисперсионный анализ (ANOVA). Достоверность измерений оценивалась непараметрическими методами (t-тест Вилкоксона для зависимых выборок и критерий Манна – Уитни для независимых выборок). Изменения величин считались статистически значимыми при р<0,05. В качестве корреляционного анализа использовался коэффициент Пирсона.

РЕЗУЛЬТАТЫ

В результате корреляционного анализа четырехфакторной модели присутствия (тест IPQ) обнаружена статистически значимая корреляционная связь между латентностью ССМР и иммерсивностью ВР только у испытуемых первой группы в условиях ВР персонализованного содержания. Выявлена положительная корреляционная связь между латентностью ССМР и показателем пространственного присутствия (SP) и отрицательная – между латентностью ССМР и общим эффектом иммерсивности ВРп (таблица 1).

 

Группы испытуемых

Результаты теста IPQ

G1

SP

INV

REAL

ВР персонализованного содержания

I

-0,592243

0,694522

0,372785

0,453372

II

0,396362

-0,297801

-0,189493

-0,253378

 

ВР индифферентного содержания

I

0,036367

-0,499333

0,434356

-0,040158

II

-0,389719

0,032904

0,280968

0,0900365

Факторы присутствия (по тесту IPQ): G1 – общий эффект иммерсивности; SP (Spatial presence: the sense of being there in the VR) – показатель пространственного присутствия; INV (Involvement: attention to the real and the virtual environment) – вовлеченность: внимание к реальной и виртуальной среде; REAL (Realness: reality judgment of the VR) – реалистичность ВР.

Таблица 1. Значения коэффициента Пирсона между латентностью ССМР и тестом

Table 1. Pearson correlation coefficient values between latent period of CSMR and IPQ test

 

Представленные данные позволяют предположить большую вовлеченность испытуемых первой группы в ВР с персонализованным контентом по сравнению с ВР индифферентного содержания.

Исследование внутригрупповых различий латентности ССМР в условиях ВР в зависимости от порядкового номера сессии. У испытуемых первой группы в ВР персонализованного содержания отмечались статистически значимые различия латентности ССМР между первой и второй (р = 0,00643), первой и третьей (р = 0,012593) сессиями. Отсутствовали статистически значимые различия латентности ССМР между второй и третьей сессиями (р = 0,872866) (рисунок 1). Аналогичная тенденция изменения латентности ССМР испытуемых первой группы отмечалась и в условиях ВР индифферентного содержания (рисунок 2). Возможно, наличие фактора новизны в первой сессии стало причиной отмеченной закономерности.

 

Статистическая значимость изменений: * - р<0,05; ** - р<0,01; *** - р<0,001.

Рисунок 1. Диаграммы размахов латентности ССМР испытуемых обеих групп в разных сессиях (подходах) в условиях ВР персонализованного содержания.

 

Рисунок 2. Диаграммы размахов латентности ССМР испытуемых обеих групп в разных сессиях (подходах) в условиях ВР индифферентного содержания.

 

У испытуемых второй группы статистически значимые различия времени реакции в зависимости от порядкового номера сессии отмечались только в ВРи – между первой и второй сессиями (р = 0,004606).

Исследование межгрупповых различий латентности ССМР в условиях ВР в зависимости от порядкового номера сессии и типа ВР. Латентность ССМР испытуемых первой и второй групп статистически значимо различалась в ВРп только во второй сессии (р = 0,0007954), а в ВРи – в первой (р = 0,00002141) и во второй (р = 0,000448) сессиях (рисунки 2, 3).

Сравнительный анализ латентности ССМР на визуальные релевантные стимулы испытуемых обеих экспериментальных групп показал, что значения медианы в ВР персонализованного содержания у испытуемых первой группы в целом (по завершении всех трех сессий) и в каждой сессии отдельно были меньше, чем у испытуемых второй группы. В ВР индифферентного содержания такой тенденции не выявлено.

По завершении всех трех сессий обнаружены межгрупповые статистически значимые различия латентности ССМР обеих групп испытуемых как в ВРп (р = 0,00005494), так и в ВРи (р = 0,00227575).

Сравнительный анализ латентности ССМР в ВР разной семантической организации. По завершении всех трех сессий в исследуемых ВР у испытуемых обеих групп получены статистически значимые различия между латентностью ССМР на релевантные визуальные стимулы ВР персонализованного и индифферентного содержания (р<0,001).

ОБСУЖДЕНИЕ

В литературе показатели сенсомоторной реакции обсуждаются как характеристики сенсомоторной интеграции, под которой подразумевается согласование и объединение моторных и сенсорных процессов, осуществляющееся на разных уровнях мозга [2, 7]. По данным нейрофизиологических исследований, в реализации ССМР участвуют нейронные сети, включающие структуры сенсорных, нижнетеменных и фронтальных ассоциативных зон коры больших полушарий, структуры лимбической системы, заднего отдела гипоталамуса и ретикулярной формации ствола. Функции перечисленных структур ЦНС обеспечивают обработку и интеграцию сенсорной информации, осознание релевантности сигнала, принятие решения, поддержание уровня бодрствования и эмоционально-мотивационного компонента поведения, механизмы произвольного внимания и рабочей памяти, программирование и контроль результата действия [2, 7].

Уменьшение латентности ССМР от первой ко второй сессии у испытуемых первой группы как в условиях персонализованной, так и индифферентной ВР может быть маркером функциональной перестройки, нейропластичности коры больших полушарий, что подтверждается рядом нейрофизиологических исследований. Отмечалось уменьшение времени реакции и амплитуды зрительных вызванных потенциалов ЭЭГ и увеличение показателя иммерсивности ВР после трехдневной тренировки в меткости при виртуальной стрельбе по смоделированной динамической цели [6]. Заключение о нейропластических изменениях в заднетеменной области коры больших полушарий, обусловливающих ускорение обработки сенсомоторной информации и значительное сокращение времени реакции, получено и в результате магнитоэнцефалографических исследований с ЭМГ-контролем после 3 дней регистрации сложной визуально-моторных реакций [5]. Во время задачи Go/NoGo испытуемый разгибал указательный палец правой руки при предъявлении красного круга и не реагировал на зеленый круг или красный квадрат. Отмечалось значительное снижение латентности пиковой активности в заднетеменной области (от 175,8 ± 26,7 до 160,1 ± 27,6 мс) и времени от пиковой активности заднетеменной зоны до регистрации ЭМГ.

В нашем исследовании, несмотря на уменьшение времени ССМР у испытуемых первой группы на релевантные визуальные сигналы ВР различной семантической организации, только в условиях персонализованной ВР обнаружена статистически значимая корреляционная связь между латентностью ССМР испытуемых первой группы и иммерсивностью ВР (тест IPQ) (таблица 1).

В ВР индифферентного содержания продолжительность латентности ССМР на всех этапах исследования оставалась больше по сравнению со временем ССМР в ВРп. Это может быть показателем снижения эффективности когнитивных процессов и научения в целом в условиях ВРи по причине недостаточного качества моделирования ВР или неоптимального уровня предъявляемой когнитивной нагрузки или отсутствия той релевантности стимулов, которая отмечалась в персонализованной для испытуемых первой группы ВР.

Средние значения и значения медианы латентности ССМР в ВР персонализованного содержания у испытуемых первой группы в целом и на каждом этапе (сессии) исследования были меньше, чем у испытуемых второй группы. Это может быть объективным маркером ускорения процесса научения и большей погруженности испытуемых первой группы в ВР, которая для них выступила в качестве персонализованной. В нашей работе сценарий персонализованной виртуальной среды был в контексте интересов испытуемых первой группы: использовались релевантные для памяти, личного опыта стимулы, что вызывало уменьшение времени ССМР при использовании экспериментальной парадигмы oddball и, соответственно, увеличение эффективности произвольного внимания. Это подтверждается и обнаруженной нами статистически значимой корреляционной связью между латентностью ССМР и иммерсивностью ВР (тест IPQ), а также согласуется с выводами других исследований. Авторами [8] обнаружена значительная отрицательная корреляционная связь (r = -0,485, р <0,001) между временем выполнения задания в ВР и субъективной оценкой погружения пользователя в ВР имитации замены колеса на гоночной машине с использованием пневматического инструмента – ударного гайковерта.

Полученные нами данные согласуются и с эмпирическими исследованиями количественных пре-имуществ высокоточных технологий ВР, в которых предполагается вариант увеличения эффективности ВР за счет усиления одного или нескольких индивидуальных компонентов в ВР вместо увеличения общей настройки ВР [9].

ЗАКЛЮЧЕНИЕ

В проведенном исследовании была изучена сравнительная характеристика динамики латентности ССМР при использовании экспериментальной парадигмы oddball в условиях ВР персонализованного и индифферентного содержания. Установлено, что латентность ССМР на релевантные визуальные стимулы в ВР обусловлено ее семантическим содержанием, когда время ССМР на релевантные стимулы персонализованной ВР статистически значимо меньше, чем на таковые в ВР индифферентного содержания.

Можно сделать вывод об адекватности методологии исследования механизмов произвольного внимания человека с включением в контент ВР сцен персонализованного содержания.

Предполагается, что подобная методология является перспективной при нейрореабилитации пациентов с возрастным нарушением когнитивных функций.

×

About the authors

Mariya S. Segreeva

Samara State Medical University

Author for correspondence.
Email: marsergr@yandex.ru
ORCID iD: 0000-0002-0926-8551

PhD, Associate Professor, Department of physiology with the course of life safety and disaster medicine

Russian Federation, Samara

Ekaterina S. Korovina

Samara State Medical University

Email: marsergr@yandex.ru
ORCID iD: 0000-0002-7448-3696

teaching assistant, Department of physiology with the course of life safety and disaster medicine

Russian Federation, Samara

Natalya P. Romanchuk

Samara State Medical University

Email: marsergr@yandex.ru
ORCID iD: 0000-0003-3522-6803

teaching assistant, Department of physiology with the course of life safety and disaster medicine

Russian Federation, Samara

Aleksandra S. Alexseeva

Samara State Medical University

Email: marsergr@yandex.ru
ORCID iD: 0000-0002-1853-097X

PhD, Associate Professor, Department of physiology with the course of life safety and disaster medicine

Russian Federation, Samara

Aleksandr V. Zakharov

Samara State Medical University

Email: marsergr@yandex.ru
ORCID iD: 0000-0003-1709-6195

PhD, Associate Professor, Department of neurology and neurosurgery

Russian Federation, Samara

Vasiliy F. Pyatin

Samara State Medical University

Email: marsergr@yandex.ru
ORCID iD: 0000-0001-8777-3097

PhD, Professor, Head of the Department of physiology with the course of life safety and disaster medicine

Russian Federation, Samara

References

  1. Pizzoli SFM, Mazzocco K, Triberti S, et al. User-centered virtual reality for promoting relaxation: an innovative approach. Front Psychol. 2019;12;10:479. doi: 10.3389/fpsyg.2019.00479 PMID: 30914996
  2. Shutova SV, Muravyova IV. Sensory motor reactions as a characteristic of the functional state of CNS. Her Tambov Un. Sub Iss: Nat Tech Scien. 2013;5(3):2831–40.
  3. Haynes BI, Kliegel M, Zimprich D, Bunce D. Intraindividual reaction time variability predicts prospective memory failures in older adults. Aging Neuropsych Cogn. 2016;22:1–14.
  4. Lepock JR, Mizrahi R, Korostil M, et al. Event-related potentials in the clinical high-risk (CHR) state for psychosis: a systematic review. Clin EEG Neurosci. 2018;49(4):215–225. doi: 10.1177/1550059418755212 PMID: 29382210
  5. Sugawara K, Onishi H, Yamashiro K, et al. Repeated practice of a Go/NoGo visuomotor task induces neuroplastic change in the human posterior parietal cortex: an MEG study. Exp Brain Res. 2013;226(4):495–502. doi: 10.1007/s00221-013-3461-0. PMID: 23455731
  6. Clements JM, Kopper R, Zielinski DJ, et al. Neurophysiology of visual-motor learning during a simulated marksmanship task in immersive virtual reality. IEEE Conference on Virtual Reality and 3D User Interfaces (VR). Tuebingen/Reutlingen, Germany March 18, 2018 to March 22, 2018 ISBN: 978-1-5386-3366-36:451–458. doi: 10.1109/VR.2018.8446068
  7. Aydarkin EK, Pavlovskaya MA, Starostin AN. Functional state impact on the efficiency of sensorimotor integration. Valeology. 2011;4:75–102.
  8. Cooper N, Milella F, Pinto C, et al. The effects of substitute multisensory feedback on task performance and the sense of presence in a virtual reality environment. PLoS One. 2018;13(2):e0191846. doi: 10.1371/journal.pone.0191846 PMID: 29390023
  9. Laha B, Sensharma K, Schiffbauer JD, Bowman DA. Effects of immersion on visual analysis of volume data. IEEE Transactions on Visualization and Computer Graphics. 2012;18(4):597–606. doi: 10.1109/tvcg.2012.42 PMID: 22402687

Supplementary files

Supplementary Files
Action
1. Figure 1. The range of latent time of CSMR in both groups during the sessions of personalized VR.

Download (186KB)
2. Figure 2. The range of latent time of CSMR in both groups during the sessions of indifferent VR.

Download (150KB)

Copyright (c) 2019 Segreeva M.S., Korovina E.S., Romanchuk N.P., Alexseeva A.S., Zakharov A.V., Pyatin V.F.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies