Посмотрите на вазу: как языковые маркеры влияют на глазодвигательную активность (на материале жанра экскурсии) | Вестник Томского государственного университета. 2018. № 430. DOI: 10.17223/15617793/430/2

Посмотрите на вазу: как языковые маркеры влияют на глазодвигательную активность (на материале жанра экскурсии)

Экспериментально исследуется проблема влияния типа лексического маркера на глазодвигательную активность адресата. В ходе эксперимента 1 было выяснено, что время-до-цели меняется в зависимости от типа использованного маркера. Локативный и визуально-локативный типы маркера показали наименьшее время-до-цели. Эксперимент 2 подтвердил результаты первого эксперимента, однако наименьшее время-до-цели показали визуальные маркеры. Более того, время осмотра объекта изменяется в зависимости от категории маркера.

Take a look at the vase: lexical markers affect oculomotor activity (on the material of excursion genre).pdf Введение Современные экспериментальные методы (в частности, айтрекер) позволяют исследовать взаимодействие лингвистических стимулов и референтов в реальном мире с позиции глазодвигательной активности [1. С. 1105-1122]. Исследования последовательно показывают, что адресат использует визуальную информацию, чтобы ограничить набор возможных целевых референтов [2. С. 409-436; 3. С. 95-127]. Все большее количество исследований свидетельствует в пользу того, что информация, заложенная в лексему, используется для формирования ожидания объекта, следующего за этой лексемой [4. С. 1995-2024]. Первыми это продемонстрировали Гэрри Альтманн и Юки Камиде в 1999 г. [5. С. 247-264]. Ученые показали, что распределение внимания участников было связано с тем предложением, которое они слышали. Например, если участники слышали глагол «есть», «ожидающие» глаза двигались в сторону съедобных объектов в визуальной сцене, заданной простыми рисунками и пиктограммами. Позже ученые обнаружили, что для этого адресат пользуется окружающим контекстом, заданным визуальной информацией из реального мира [6. С. 55-71; 7. С. 455-469]. Дальнейшие исследования показали, что направление движения взгляда связано с речью и в фотореалистичных сценах [8. С. 208-216]. Участник исследования смотрел на фотографию одновременно с тем, как ему зачитывались заранее записанные предложения, в которых упоминался какой-либо объект с фотографии. Ученые наблюдали фиксацию на объекте спустя значительный промежуток времени (~ 2 500 мс) после его номинации. Этот эффект был позже реплици-рован в серии экспериментов [4. С. 1995-2024]. Результаты исследований позволяют сделать вывод, что мозг использует контекстуальную информацию из окружающего мира и направляет взгляд на объект в визуальном поле, максимально релевантный лексической информации. Например, когда объект назван, но отсутствует, участники фиксируются на контекстно релевантных объектах (например, на столе, если услышали глагол «есть»). Во втором эксперименте ученые показали, что взгляд движется в сторону релевантных объектов, даже если сцена исчезает после предъявления лексического стимула, делая вывод о том, что «ожидающие» движения глаз базируются на контекстуальной информации в памяти, на основании которой принимается решение. Таким образом, мы можем сказать, что мозг использует доступную визуальную информацию и фиксируется на релевантном объекте после его номинации. В предыдущих исследованиях связи движений глаз и лексических единиц, как правило, использовались слова, не указывающие напрямую на необходимость визуальной активности. В этом контексте остается неясным то, как движения глаз связаны с лексикой, содержащей такое указание. Цель данной статьи -исследовать глазодвигательную активность под руководством лексического стимула, содержащего указание на объект интереса. Экскурсионная коммуникация позволяет исследовать глазодвигательную активность под руководством лексического стимула ввиду своей специфики как полисемиотичной системы [10. С. 90-93], где рассказ неразрывно связан с показом. В ситуации общения у экскурсовода появляется необходимость в жанре, выполняющем прагматическую функцию и служащем для максимально эффективного и быстрого связывания объекта показа и той информации, которая ему посвящена, - жанре экскурсионной метки. Исследуя тексты экскурсий, мы обнаружили, что жанр обслуживается гетерогенными по своему семантическому значению единицами-маркерами, среди которых выделяются следующие категории: локативные, визуально-локативные, нулевые и указательные, в соответствии с наличием или отсутствием соответствующих семантических компонентов выполняющие, однако, одну функцию - указания на объект, о котором идет речь. Например, единица «посмотрите здесь», относящаяся к визуально-локативной категории, используется наравне с единицей «это», относящейся к указательной категории. Ввиду того, что жанр предполагает управление глазодвигательной активностью слушателя, возникает вопрос: меняются ли как-то характеристики этой активности экскурсанта при использовании экскурсоводом единиц разных категорий. Опираясь на вышесказанное, мы выдвинули гипотезу о том, что эффективность управления глазодвигательной активностью экскурсанта изменяется в зависимости от категории маркера указания на объект, использованного адресантом-экскурсоводом. Мы проверили данную гипотезу в двух экспериментах на разных выборках. Исследование 1 - «разведочный» эксперимент Введение Для исследования коммуникативно-прагматического аспекта экскурсионной коммуникации в первом исследовании мы стремились приблизить ситуацию экспериментального общения между адресантом и адресатом к реальной экскурсионной коммуникации, поэтому остановились на полевом дизайне исследования и использовании мобильного айтрекера. Такой тип айтрекера позволяет проводить исследования вне лабораторных условий, использовать более экологически-валидное окружение и исследовать сложные виды взаимодействия участника исследования с окружающим миром, однако накладывает ряд ограничений, касающихся точности замеров: ограничение доступных метрик и наличие шума в статистических данных, вызванного, например, жестами экскурсовода. Для исследования степени эффективности управления глазодвигательной активностью экскурсанта мы остановились на показателе «время-до-цели», позволяющем отследить, насколько быстро происходила первая фиксация на объекте показа после его номинации. Мы выдвинули гипотезу о том, что эффективность управления глазодвигательной активностью экскурсанта, выраженная во времени-до-цели, изменяется в зависимости от категории маркера указания на объект, использованного адресантом. Эффект жеста контролировался. Методы Участники. 30 человек (возраст, M = 18,1, SD = 1,1; 14 женщин) приняли участие в исследовании. Все участники заполнили информированное согласие. Все участники обладали хорошим зрением, не имели травм головы и получили баллы по курсам за участие. Исследование было проведено в соответствии с Федеральным законом Российской Федерации «О персональных данных» (152-ФЗ) и Этическим кодексом психолога, принятым 14 февраля 2012 г. V съездом Российского психологического общества. Процедура. Участники заходили в Музей книги Научной библиотеки ТГУ по одному, на них надевались очки SMI Eye Tracking Glasses v.1.8 (далее ETG), и экскурсовод проводил индивидуальную экскурсию для каждого. Экскурсовод всегда работал только с одним экскурсантом. Нами были предварительно отобраны четыре экскурсионных витрины, имеющие филологическую специфику (две, посвящены литературе XX в. и еще две - цензуре), которые экскурсовод мог посещать в произвольном порядке, руководствуясь своей логикой и логикой экскурсии. Условия проведения экскурсии были максимально приближены к естественным, что делает исследование экологически валидным (Ecological validity), но снижает экспериментальный контроль (Experimental Control). Движения глаз были записаны на протяжении осмотра всех четырех витрин. Стимулы. Экскурсионные объекты были отобраны так, чтобы в экскурсии присутствовали как экспонаты, при осмотре которых экскурсант фокусировал взгляд на мелких деталях объекта, так и экспонаты, где требовалось осмотреть объекты целиком. Все стимулы были естественными и являлись частью выставки Музея книги Научной библиотеки ТГУ. В качестве экскурсионных объектов использовались экспонаты, представленные в витринах музея (см. пример витрины в Приложении 1). Для сохранения естественного течения экскурсии ее текст был индивидуален для каждого из участников. Использование маркеров указания на объект и их категории не обсуждались с экскурсоводом. По результатам предварительного анализа речевые маркеры адресанта включали следующие категории: - локативные: «наверху слева» + номинация, «здесь справа» + номинация; - визуально-локативные: «посмотрите вверху» + номинация, «здесь можете видеть» + номинация; - нулевые: только номинация; - указательные: «вот» + номинация. Оборудование. Для записи движений глаз были использованы очки-айтрекер SMI ETG v.1.8, соединенные с записывающим устройством на базе КПК. Заявленные производителем характеристики: - частота видеорегистрации 30 Гц; - пространственная разрешающая способность 0,1°; - точность определения направления 0,5°; - диапазон регистрации глаз 80° по горизонтали, 60° по вертикали. Обработка данных. Для обработки данных использовали стандартное программное обеспечением BeGaze v 3.5. Записанные данные импортировались в программу, в которой выполнялись обработка и экспорт количественных показателей глазодвигательной активности. Программа Sony Vegas v.10 использовалась для корректировки измерений времени аудио. Категории маркера указания на объект были выделены на основе представленности или отсутствия семантического компонента. Статистика. Для проверки гипотезы был использован однофакторный дисперсионный анализ с повторяющимися измерениями (Repeated measures ANOVA), где время-до-цели было использовано в качестве зависимой переменной, а категория маркера - в качестве независимой. Время-до-цели считалось как время от начала фонации слова, номинирующего объект, до первой фиксации на объекте. Ввиду того, что экспериментальные исследования последовательно демонстрируют, что движения глаз, происходящие при посредничестве речи (language-mediated eye-movements), как правило, начинаются спустя 200 мс после начала фонации стимула-слова (см.: [9. С. 151-171] для обсуждения), время-до-цели, меньшее 200 мс, было удалено как противоречащее теоретическим выкладкам до усреднения внутри участника. Два выброса было удалено для первого участника и для семнадцатого (+/- 3,29 SD). После этого распределение времени-до-цели внутри категорий маркера для всех участников стало соответствовать критерию нормальности. Время жеста считалось как время от начала фонации слова, номинирующего объект, до конца движения руки экскурсовода, указывающего на объект речи. Жест всегда следовал за началом фонации номинации объекта. Две пробы без жеста были удалены из дальнейшего анализа, оставив 206 проб с жестом (M = 126,5, SD = 35,81). Для контроля времени жеста были посчитаны стандартизованные регрессионные остатки, где время жеста использовалось в качестве независимой переменной, а время-до-цели - зависимой (M = 0, SD = 1). Таким образом, мы убрали влияние жеста на время-до-цели. Эти регрессионные остатки использовались в качестве нового показателя времени-до-цели в дальнейшем анализе. Вследствие того, что количество объектов показа было примерно одинаковым у всех экскурсантов (автор-экскурсовод мог говорить, а мог и пропускать некоторые объекты, но в среднем их количество оставалось единым), количество маркеров в одной экскурсии в среднем почти не менялось (M = 30,8, SD = 1,2). Однако количество маркеров в каждой из категорий варьировало между людьми (M = 7,8, SD = 1,2; M = 6,2, SD = 0,8; M = 7,7, SD = 0,5; M = 7,3, SD = 1,1 для локативных, визуально-локативных, нулевых и указательных соответственно). Для дальнейшего анализа мы использовали среднее время-до-цели для каждой категории внутри отдельного человека. Тест Моучли показал, что допущение о сферичности было нарушено (х2(5) = 12,71, p = ,026), поэтому мы использовали поправку Гринхауса - Гэйс-сера [11. С. 461]. Статистический анализ данных проводился в IBM SPSS ver. 23. Результаты Описательные статистики времени-до-цели для каждой категории представлены в табл. 1. Т а б л и ц а 1 Описательные статистики времени-до-цели для отдельных семантических категорий маркеров, используемых адресантом Категория маркера Среднее Стандартное отклонение Количество Локативный -,86 ,29 30 Визуально-локативный -,58 ,57 30 Нулевой 1,37 ,64 30 Указательный ,06 ,43 30 Однофакторный дисперсионный анализ с повторяющимися измерениями Результаты однофакторного дисперсионного анализа с поправкой Гринхауса - Гэйсера показали, что время-до-цели значимо отличалось для разных категорий маркера (F(2,259, 65,52) = 111,95, p < ,05). Апостериорный тест с использованием поправки Бонфер-рони показал, что время-до-цели значимо отличалось для всех категорий (p < ,05), кроме локативных и визуально-локативных маркеров (p = ,109). Наименьшее время-до-цели (в миллисекундах) показала категория локативных и визуально-локативных маркеров (M = 879,56, SD = 279,46; M = 1 178,46, SD = 613,57 соответственно). Наибольшее время-до-цели показала категория нулевых маркеров (M = 3 295,83, SD = 727,63). Среднее время-до-цели для указательной категории составило 1 875,93 мс (SD = 477,26). Распределение среднего времени-до-цели показано на рис. 1. Рис. 1. Время-до-цели в зависимости от категории речевого маркера указания на объект Обсуждение Маркеры были разделены на категории на основании различий в семантике, в частности по наличию или отсутствию компонента в семантике. Было выделено четыре категории маркеров: локативная, содержащая отсылку к местоположению объекта в визуальном поле; визуально-локативная, где к локативному компоненту добавлялся показатель необходимости визуальной активности; указательная, указывающая на тот объект, о котором идет речь; нулевая, только номинирующая объект, не указывающая на него или его местонахождение и не апеллирующая к визуальной активности. Наши данные показывают связь между произнесенным текстом и движениями глаз: время до первой фиксации адресата на объекте изменяется в зависимости от категории маркера, использованного адресатом. Время-до-цели при использовании нулевого маркера было значимо больше времени-до-цели для других типов маркера. Возможным объяснением этого может являться тот факт, что нулевые маркеры не содержат прямого указания на необходимость визуальной активности (фокусировки на объекте) и локализацию необходимого объекта, что выражается в большем времени-до-цели. Локативная и визуально-локативная категории маркера показали наименьшее время-до-цели. Отметим, что жест присутствовал во всех пробах, взятых в анализ, и в какой-то степени компенсировал отсутствие указания на объект. Однако разница во времени-до-цели проявилась и при контроле влияния жеста, что косвенно свидетельствует в пользу влияния категории маркера, а не характеристик жеста, на время-до-цели. Визуально-локативные маркеры не отличались статистически значимо от других типов по времени-до-цели, несмотря на наличие как визуального, так и локативного компонентов. Возможным объяснением отсутствия значимости может быть избыточность апелляции к визуальной активности при наличии жеста, что стало причиной отсутствия значимых статистических отличий между нулевой и визуально-локативной категориями. Необходимо реплицировать этот эффект для того, чтобы делать какие-либо выводы. К ограничениям для выводов текущего исследования можно отнести несколько факторов: - вариабельность текстов экскурсий; - присутствие жестов, которые могли повлиять на время-до-цели; - использование мобильного айтрекера, позволявшего участнику совершать движения головой. Исследование 2 Введение В данном исследовании мы хотели реплицировать результаты, полученные в первом исследовании. Однако, учитывая ограничения первого исследования, мы решили перенести эксперимент в лабораторные условия. Мы стремились приблизить ситуацию взаимодействия экскурсовода и экскурсанта к реальной жизни и поэтому решили исследовать взаимодействие глазодвигательной активности и речевого маркера именно в актуально произнесенном тексте, а не в изолированном высказывании. Одновременно с этим мы стремились ограничить посторонние влияния на поведение участника, указанные в ограничениях прошлого эксперимента. Во-первых, в данном исследовании был использован стационарный айтрекер вместо мобильного, что позволило одновременно убрать факторы жестов экскурсовода и движений головы экскурсанта. Во-вторых, в исследовании использовался один фиксированный текст экскурсии, в котором менялись только маркеры указания на объект. Более того, на данном этапе было принято решение сфокусироваться только на одном «эталонном» маркере из семантической группы. Эталонный маркер для каждой группы был отобран путем обращения к частотным словарям и экспертной оценке (см. секцию «Материалы»). Это позволило повысить статистическую мощность, поскольку вариабельность внутри группы стимулов отсутствовала и потенциальным фактором, снижающим мощность, оставалась только индивидуальная вариабельность участников исследования [13]. В тексте было представлено 5 разных категорий маркера, т.е. один человек слышал один маркер из категории. Это предъявило определенные требования к количеству участников, необходимых для получения той же статистической мощности, что и в первом исследовании. G*Power калькулятор [14. С. 175-191] показал, что для получения в однофакторном дисперсионном анализе такого же размера эффекта, что и в первом эксперименте, будет необходимо 40 человек, и у каждого из них будет по одной реакции на стимул каждой категории. Таким образом, мы хотели проверить, сохранится ли паттерн, наблюдаемый в первом исследовании (увеличение времени-до-цели при использовании нулевого стимула или сокращение его при использовании визуально-локативного стимула), во втором эксперименте. Как отмечалось выше, визуально-локативные маркеры не отличались значимо от маркеров других групп. Однако мы считаем, что маркеры этой категории должны были иметь наименьшее время-до-цели ввиду наличия как локативного компонента, упрощающего нахождение объекта интереса в визуальном поле, так и визуального, указывающего на необходимость визуальной активности. Чтобы уменьшить вариабельность внутри категории, было принято решение тщательнее подойти к семантическому анализу стимулов категории. Мы обнаружили, что данную категорию можно разделить на две: визуально-локативную и «визуально-императивную», ввиду различий в семантике. Типологизирование с использованием обновленного критерия привело к выделению пяти групп: визуальной («посмотрите» + номинация объекта), локативной («здесь» + номинация объекта), визуально-локативной («посмотрите здесь» + номинация объекта), указательной («это» + номинация) и нулевой (только номинация объекта показа). Также мы хотели проверить, сохранится ли паттерн, наблюдаемый в первом исследовании, при применении другого показателя. В качестве этого показателя было использовано время, потраченное на осмотр объекта. Таким образом исследование имело три основных гипотезы: Гипотеза 1: Эффективность управления вниманием, манифестированная во времени-до-цели, изменяется в зависимости от категории маркера (репликация исследования 1). Гипотеза 2: Визуально-локативные маркеры имеют меньшее время-до-цели, чем маркеры остальных категорий. Гипотеза 3: Эффективность управления вниманием, манифестированная в количестве времени, затраченном на осмотр объекта, изменяется в зависимости от категории маркера. Методы Участники. 42 человека (возраст, M = 21,5, SD = 2,2; 28 женщин) приняли участие в исследовании. Все участники заполнили информированное согласие. Все участники обладали хорошим зрением, не имели травм головы и получили подарочный сертификат в кофейню за участие. Процедура. Участники заходили в комнату по одному и заполняли форму информированного согласия. Затем участник садился на стул в 60 см от айтре-кера и надевал наушники. После этого запускался эксперимент, в начале которого человек должен был прочитать инструкцию, указать свой пол, возраст и род занятий, а затем пройти процедуру калибровки айтрекера. В качестве стандарта калибровки было принято отклонение не более 0,5° по осям Х и У. Среднее отклонение для настоящего исследования составило 0,45 и 0,41 для X и Y соответственно. После этого начиналась основная часть эксперимента, в ходе которой участнику предъявлялся снимок витрины, сделанный в Музее книги Научной библиотеки ТГУ. На витрине было расположено 10 объектов разного размера (см. прил. 1). Одновременно с этим участник слушал текст, записанный на аудио. После прослушивания текста участник должен был ответить на несколько вопросов о содержании экскурсии. Оборудование. Бинокулярная запись движений глаз происходила с помощью стационарного айтреке-ра SMI RED 500 (https://www.smivision.com/) c частотой регистрации 500 Гц. Обработка данных. Осуществление эксперимента и обработка данных производились с помощью штатного программного обеспечения айтрекера: Experiment Center 3.7 и BeGaze 3.7. Этические основания. Исследование было одобрено этическим комитетом междисциплинарных исследований Томского государственного университета. Материалы. В этом эксперименте текст был одинаков для всех участников (см. прил. 2). В качестве стимулов использовались эталонные слова для каждой из 5 категорий маркеров. Маркеры были отобраны с помощью экспертной оценки и словарей частотности. Так, в качестве эталонного маркера визуальной категории (1) с помощью экспертной оценки было выбрано словосочетание «посмотрите на» как самое часто встречающееся в рамках экскурсионной коммуникации. Для сравнения, в Национальном корпусе русского языка (НКРЯ) [15] частотность для лексемы «видеть» составляет 818,2 ipm, а для «посмотреть» -314,2 ipm. Более того, единица «видит», как правило, используется в вопросительных конструкциях (например, «видите, книга?»). В эксперименте мы хотели избавиться от лишних наслоений (вопроса) и решили выбрать лексему «посмотрите». В качестве эталонной единицы для локативных маркеров (3) мы использовали лексему «здесь». Лексема имеет одинаковую встречаемость с лексемой «тут»: ~ 10 000 ipm по НКРЯ. Ю.Д. Апресян [16. С. 9-41] отмечает, что лексема «здесь» имеет пространственное употребление в 88% процентов случаев. Опираясь на вышесказанное, в качестве визуально-локативного маркера (2) мы использовали словосочетание «посмотрите здесь», комбинацию из первых двух маркеров. Нулевым маркером (4) считалось отсутствие какого-либо значимого маркера, указывающего на расположение объекта или необходимость визуальной активности. Автор-экскурсовод текста лишь номинировал объект интереса. В качестве указательного маркера (5) использовалась лексема «это» как наиболее частотная (5 707,8 ipm) в сравнении, например, с лексемой «вот», также выполняющей дейктическую функцию (1 785,1 ipm) по НКРЯ. Для компенсации эффектов «первой встречи» маркера в тексте (разницы во времени-до-цели для первого маркера в тексте и для последнего), разного размера объектов, количества слов между маркерами разных категорий и начальных звуков лексемы [17. C. 460-482], обозначающей этот объект, порядок маркеров в тексте был псевдорандомизован: мы использовали пять разных последовательностей маркеров: 12 345, 23 451, 34 512, 45 123, 51 234 (см. выше). Например, в качестве первого маркера в тексте для первого участника был использован визуальный маркер, за которым шел визуально-локативный, в то время как для второго участника визуально-локативный маркер был первым, за ним следовал локативный и т. д. Текст экскурсии был записан на диктофон таким образом, чтобы вместо слов «Маркер», выделенных жирных шрифтом в Приложении 2, можно было подставить любое слово-маркер, например «посмотрите здесь», не перезаписывая остальной текст. Статистика. Для проверки первой и второй гипотез был использован однофакторный дисперсионный анализ с повторяющимися измерениями (Repeated measures ANOVA), где время-до-цели было использовано в качестве зависимой переменной, а категория маркера - в качестве независимой. Для проверки третьей гипотезы в качестве зависимой переменной использовалось время осмотра. Время-до-цели считалось как время от начала фонации слова, номинирующего объект будущей фиксации, до первой фиксации на объекте. Ввиду того, что экспериментальные исследования последовательно демонстрируют, что движения глаз, происходящие при посредничестве речи (language-mediated eye-movements), как правило, начинаются спустя 200 мс после начала фонации стимула-слова (см. [9. С. 151-171] для обсуждения), время-до-цели, меньшее 200 мс, было удалено как противоречащее теоретическим выкладкам до усреднения внутри участника. Одна реакция была удалена для девятнадцатого участника (+/- 3,29 SD). После этого распределение времени-до-цели внутри категорий маркера для всех участников стало соответствовать критерию нормальности. Тест Моучли показал, что допущение о сферичности было нарушено для времени-до-цели (х2(9) = 54,73, p = ,001), поэтому мы использовали поправку Гринхауса - Гэйссера [11. С. 461]. Время осмотра считалось как совокупное время фиксации на объекте. Среднее количество возвратов составило 3,23 (SD = 1,11). Корреляция между временем осмотра и количеством возвратов была не значима (p = ,442), параметр «количество осмотров» не был включен в модель. Тест Моучли показал, что допущение о сферичности было нарушено для времени осмотра (х2(9) = 67,51, p = ,001), поэтому мы использовали поправку Гринхауса - Гэйссера [11. С. 461]. Корреляционный анализ показал, что время осмотра отрицательно коррелировало со временем-до-цели, r(210) = -198, p = ,004. Статистический анализ данных проводился в IBM SPSS ver. 23. Результаты Время-до-цели. Описательные статистики представлены в табл. 2. Т а б л и ц а 2 Описательные статистики «время-до-цели» для отдельных семантических категорий маркеров, используемых адресантом Категория Среднее Стандартное отклонение Количество Визуальная 1 316,04 609,44 42 Визуально-локативная 1 811,88 759,69 42 Локативная 2 359,88 2 095,65 42 Нулевая 2 974,31 1 011,99 42 Указательная 2 764,89 1 981,48 42 Результаты однофакторного дисперсионного анализа с поправкой Гринхауса - Гэйсера показали, что время-до-цели значимо отличалось для разных категорий маркера (F(2,44, 100,16) = 13,94, p = ,0001, эта квадрат = ,25). Апостериорный тест с использованием поправки Бонферрони показал, что время-до-цели для визуальных маркеров значимо отличалось от всех категорий. Визуально-локативные маркеры значимо отличались по времени-до-цели для всех категорий кроме локативной. Локативные маркеры отличались значимо только от визуальной категории. Нулевые маркеры отличались значимо только от визуальной и локативной категорий. Указательные маркеры отличались значимо только от визуальных и визуально-локативных маркеров. Наименьшее время-до-цели показала визуальная категория (рис. 2). Время осмотра. Описательные статистики представлены в табл. 3. Категория Рис. 2. Время-до-цели в зависимости от категории речевого маркера указания на объект Т а б л и ц а 3 Описательные статистики времени осмотра для отдельных семантических категорий маркеров, используемых адресантом Категория Среднее Стандартное отклонение Количество Визуальная 4 087,84 3 552,86 39 Визуально-локативная 3 899,07 3 065,98 39 Локативная 2 363,32 2 095,65 39 Нулевая 1 066,72 1 011,99 39 Указательная 3 650,72 2 981,48 39 Результаты однофакторного дисперсионного анализа с поправкой Гринхауса-Гэйсера показали, что время осмотра значимо отличалось для разных категорий маркера (F(2,21, 84,02) = 11,02, p = ,0001, эта квадрат = ,22). Апостериорный тест с использованием поправки Бонферрони показал, что время осмотра для визуальных маркеров незначимо отличалось от локативных, визуально-локативных и указательных маркеров (p > ,05). Время осмотра для категории нулевых маркеров значимо отличалось от всех категорий (p < ,05). Локативная категория значимо отличалась от всех категорий за исключением визуальной (p > ,05). Наименьшее время осмотра показала категория нулевых маркеров (рис. 3). Рис. 3. Время осмотра в зависимости от категории речевого маркера указания на объект Обсуждение Данные показали, что время-до-цели адресанта действительно изменяется в зависимости от категории маркера, таким образом реплицировав эффект, найденный в первом исследовании. Визуальные маркеры показали наименьшее время-до-цели среди всех остальных категорий маркеров, что свидетельствует о том, что апелляция к визуальной активности ведет к сокращению времени до первой фиксации адресанта на объекте, а значит, более эффективно управляет вниманием адресанта. Наши данные опровергают вторую гипотезу так как визуально-локативные маркеры имеют большее среднее время-до-цели, чем маркеры визуальной категории. Визуально-локативные маркеры отличались незначимо от локативной категории. Мы можем предположить, что дополнительная апелляция к визуальной активности при наличии локативного компонента и ограниченного визуального поля (фотографии в нашем случае) являлась избыточной в визуально-локативных маркерах, что привело к отсутствию статистически значимых различий между этой категорией и категорией локативных маркеров. Возможным объяснением этого может быть то, что данные для каждой из категорий маркеров не усреднялись на уровне человека, что стало причиной больших стандартных отклонений и незначимых различий между категориями в результате. В дальнейших исследованиях необходимо увеличить размер выборки, усреднить данные внутри участника или обратиться к смешанным моделям. Результаты исследования показали, что количество времени, затраченное на осмотр объекта, изменяется в зависимости от категории маркера, подтвердив, таким образом, третью гипотезу. При этом апостериорный тест показал, что только категория нулевых маркеров значимо отличалась от всех остальных. Опираясь на эти данные, мы можем сделать вывод о том, что маркеры любой категории более эффективны, чем «чистая» номинация объекта. Отметим, что визуальные маркеры показали наибольшее среднее время осмотра по сравнению с другими категориями маркеров, не отличаясь, однако, значимо от других категорий (за исключением нулевой). Возможным ограничением для выводов этого исследования может являться тот факт, что в качестве локативного маркера мы использовали лексему «здесь» как самую частотную единицу с локативным значением, которая в рамках ограниченного визуального поля могла не добавлять информацию о местоположении объекта. В дальнейших исследованиях будет необходимо проверить эффект такого локативного маркера, который будет напрямую указывать на местоположение объекта, например «наверху» или «слева». К ограничениям данного исследования можно отнести тот факт, что мы использовали только один эталонный маркер, что привело к большим стандартным отклонениям и не позволило использовать смешанные модели со случайным эффектом slope и intercept. Заключение Подводя итог, мы можем сказать, что категория маркера, используемая адресантом-экскурсоводом, оказывает влияние на визуальную активность адресата во время проведения экскурсии. Наши данные еще раз подтверждают гипотезу Г. Альтмана и Ю. Камиде [5. С. 247-164; 18. С. 133-156; 6. С. 55-71] о связи глазодвигательной активности респондентов с семантикой слова. В данной статье мы исследовали глазодвигательную активность адресата речи как в реальной ситуации, так и при осмотре фотореалистичной сцены, что еще раз подтверждает результаты Андерсона и соавторов [8. С. 208-216], показавших связь движений глаз и лексического стимула в фотореалистичной сцене. Наши данные, полученные с помощью мобильного и стационарного айтрекеров, свидетельствуют, что категория используемого маркера действительно оказывает влияние на глазодвигательную активность. Результаты обоих экспериментов показали, что в случае использования нулевого маркера человек может просто пропустить объект, не обратив внимания на номинацию этого объекта экскурсоводом. Отдельного обсуждения требует противоречие между паттерном результатов первого и второго экспериментов во времени-до цели. В первом эксперименте наименьшее время-до-цели показали локативные и визуально-локативные маркеры, в то время как во втором наименьшее время-до-цели принадлежало типу визуальных маркеров. Возможным объяснением может быть тот факт, что первое исследование было максимально приближено к обычной экскурсии, где экскурсовод пользовался дополнительными средствами передачи информации, в частности жестами, для указания на объект, в то время как во втором эксперименте жесты отсутствовали. Во время живой коммуникации функцию указания на объект берет на себя жест, дублируя локативный маркер, уточняя локализацию объекта и уменьшая время до фиксации на цели. Во время второго эксперимента участник мог пользоваться только аудиальной информацией, полученной от адресанта (см.: дистантная коммуникация; [19]), что сделало апелляцию к визуальной активности посредством визуального маркера более актуальным источником информации. Визуальный маркер указывал адресату на то, что объект есть в визуальном поле, и на то, что на него нужно обратить внимание, в то время как остальные типы маркеров содержали избыточную информацию в ограниченном визуальном поле фотографии, использовавшейся в качестве стимула. Следует отметить, что при отсутствии жеста (в эксперименте 2) визуальные маркеры показали как наименьшее время, необходимое адресанту, чтобы переключиться на объект, так и наибольшее время осмотра объекта при использовании этих маркеров. Наши данные, таким образом, свидетельствуют в пользу наибольшей эффективности маркеров, содержащих визуальный и локативный компоненты, и могут быть интересны в более широком контексте за пределами лингвистических исследований, например при подготовке экскурсоводов, где данные результаты могут служить свидетельством большей восприимчивости адресата к маркерам именно этой категории по сравнению с другими и, как следствие, более эффективными для управления его вниманием. Более того, результаты исследования свидетельствуют в пользу того, что при отсутствии жеста (например, в аудиоэкскурсии) экскурсовод должен не просто называть объект (нулевой маркер), но и указывать на него, используя указательные, визуальные или локативные маркеры, в то время как в рамках обычной экскурсии наиболее эффективными будут являться локативные и визуально-локативные местоимения. Методические рекомендации такого рода особенно актуальны в мире визуального восприятия информации и той образовательной цели, которую преследует экскурсионная коммуникация.

Ключевые слова

глазодвигательная активность, внимание, жанр экскурсионной метки, экскурсант, время осмотра, время-до-цели, oculomotor activity, attention, excursion genre, excursionist, time-on-target, time-to-target

Авторы

ФИООрганизацияДополнительноE-mail
Лиханов Максим Владимирович Томский государственный университет аспирант кафедры общего и славяно-русского языкознания и классической филологииmaximus.minimus@mail.ru
Куликов Иван Александрович Томский государственный университет ст. преподаватель кафедры гуманитарных проблем информатикиkulikov.ivan.tsu@gmail.com
Всего: 2

Ссылки

Tanenhaus M.K., Brown-Schmidt S. Language processing in the natural world // Philosophical Transactions of the Royal Society B: Biological Sciences. 2008. Vol. 363. P. 1105-1122. URL: https://doi.org/10.1098/rstb.2007.2162
Eberhard K.M., Spivey-Knowlton M.J., Sedivy J.C., Tanenhaus M.K. Eye movements as a window into real-time spoken language comprehension in natural contexts // Journal of Psycholinguistic Research. 1995. Vol. 24 (6). P. 409-436. URL: https://doi.org/10.1007/BF02143160
Knoeferle P., Crocker M.W., Scheepers C., Pickering M.J. The influence of the immediate visual context on incremental thematic role-assignment: Evidence from eye-movements in depicted events // Cognition. 2005. Vol. 95 (1). P. 95-127. URL: https://doi.org/10.1016/j.co gnition. 2004.03.002
Coco M.I., Keller F., Malcolm G.L. Anticipation in Real-World Scenes: The Role of Visual Context and Visual Memory // Cognitive Science. 2016. Vol. 40 (8). P. 1995-2024. URL: https://doi.org/10.1111/cogs.12313
Altmann G.T.M., Kamide Y. Incremental interpretation at verbs: Restricting the domain of subsequent reference // Cognition. 1999. Vol. 73 (3). P. 247-264. URL: https://doi.org/10.1016/S0010-0277(99)00059-1
Altmann G.T.M., Kamide Y. Discourse-mediation of the mapping between language and the visual world: Eye movements and mental representation // Cognition. 2009. Vol. 111 (1). P. 55-71. URL: https://doi.org/10.1016/j. cognition.2008.12.005
Ferreira F., Tanenhaus M.K. Introduction to the special issue on language-vision interactions // Journal of Memory and Language. 2007. Vol. 57 (4). P. 455-459. URL: https://doi.org/10.1016/j.jml.2007.08.002
Andersson R., Ferreira F., Henderson J.M. I see what you’re saying: The integration of complex speech and scenes during language comprehension // Acta Psychologica. 2011. Vol. 137 (2). P. 208-216. URL: https://doi.org/10.1016/j.actpsy.2011.01.007
Huettig F., Rommers J., Meyer A.S. Using the visual world paradigm to study language processing: A review and critical evaluation // Acta Psychologica. 2011. Vol. 137. P. 151-171. URL: https://doi.org/10.1016/j.actpsy.2010.11.003
Бахвалова Л.Е. Лингвопрагматические параметры экскурсионной речи // Вестник Ярославского государственного университета им. П.Г. Демидова. 2010. № 4. С. 90-93.
Field A. Andy Field - Discovering Statistics Using SPSS. Lavoisier. Fr. 2013. URL: https://doi.org/10.1111/j.1365-2648.2007.04270_1.x
Levene H. Robust tests for equality of variances // Olkin I., Hotelling H. et al. Contributions to Probability and Statistics: Essays in Honor of Harold Hotelling. Stanford University Press, 1960. 278-292.
Hedge C., Powell G., Sumner P. The reliability paradox: Why robust сognitive tasks do not produce reliable individual differences // Behavioral Research Methods. 2017. URL: https://link.springer.com/article/10.3758/s13428-017-0935-1 doi: 10.3758/s13428-017-0935-1.
Faul F., Erdfelder E., Lang A.-G., Buchner A. G Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences // Behavior Research Methods. 2007. Vol. 39. P. 175-191.
Ляшевская О.Н., Шаров С.А. Частотный словарь современного русского языка (на материалах Национального корпуса русского языка). М. : Азбуковник, 2009. 1090 с.
Апресян В.Ю. Тут, здесь и сейчас. О временных значениях пространственных дейктических слов // Русский язык в научном освещении. 2014. № 27. С. 9-41. URL: http://publications.hse.ru/articles/106984009 (дата обращения: 05.10.2017).
Huettig F., McQueen J.M. The tug of war between phonological, semantic and shape information in language-mediated visual search // Journal of Memory and Language. 2007. Vol. 57 (4). P. 460-482. URL: https://doi.org/10.1016/jjml.2007.02.001
Kamide Y., Altmann G.T.M., Haywood S.L. The time-course of prediction in incremental sentence processing: Evidence from anticipatory eye movements // Journal of Memory and Language. 2003. Vol. 49 (1). P. 133-156. URL: https://doi.org/10.1016/S0749-596X(03)00023-8
Земская Е.А. Русская разговорная речь : лингвистический анализ и проблемы обучения. М. : Рус. яз., 1979. 240 с.
 Посмотрите на вазу: как языковые маркеры влияют на глазодвигательную активность (на материале жанра экскурсии) | Вестник Томского государственного университета. 2018. № 430. DOI: 10.17223/15617793/430/2

Посмотрите на вазу: как языковые маркеры влияют на глазодвигательную активность (на материале жанра экскурсии) | Вестник Томского государственного университета. 2018. № 430. DOI: 10.17223/15617793/430/2