The influence of intermodal conflict on perception of verbal stimuli.pdf В настоящее время не вызывает сомнений психологическая реальность полимодального характера человеческого восприятия. Неоднократно в работах отечественных и зарубежных исследователей-психологов [1-7] говорилось о полимодальном поле перцепции (Б.Г. Ананьев, А. Вежбицкая, А.В. Запорожец, Б.Ф. Ломов, С.Л. Рубинштейн, С.В. Кравков, Л.М. Веккер, Е.Ю. Артемьева и др.), изучению отдельных полимодальных структур посвящены работы В.А. Лабунской, О.В. Абдуллиной, Н.А. Баевой, М. В. Анисимовой и др. В лингвокогнитивных исследованиях термин модальность, в отличие от омонимичного в собственно лингвистической традиции1, апеллирует прежде всего к психологическому термину модальности как принадлежности к определенной сенсорной системе. Таким образом, полимодальность традиционно определяется как совокупность ощущений, поступающих путем разных модальностей при чувственном восприятии объекта действительности [9. С. 89-112]. Нужно отметить, что в более ранних трудах (Г.В. Ейгер, В.Л. Юхт, А.Г. Сонин, Ю.А. Сорокин, Е.Ф. Тарасов) полимодальность (при определенном терминологическом смешении) зачастую трактуется как типологическая характеристика текста, заключающаяся в его семиотической гетерогенности: соединении информации разного кода (чаще всего икони-ческой и вербальной природы) в рамках моно- либо полимодального восприятия. В нашей интерпретации соединение разных кодов получает терминологическое обозначение поликодовость, соединение разных модальность - полимодальность. Мы не будем останавливаться на явлении первого типа (более подробно см. [10]) и перейдем к рассмотрению явления полимодальности. В отличие от собственно когнитивной проблемы изучения полимдальности восприятия, в лингвоко-гнитивных исследованиях данный феномен приобретает некоторое своеобразие, обусловленное неоднородностью объекта изучения. В частности, речь идет о разграничении двух объектов изучения: 1) языковые единицы, семантически репрезентирующие уже сформированный на многоканальной перцептивной основе «чувственный образ объекта»; 2) «полимодальные тексты», под которыми мы понимаем тексты, задействующие различные сенсорные каналы восприятия адресата для собственной репрезентации (например, кинотексты). Интерпретация языковых единиц. Широта научной интерпретации терминов «модальность» и «полимодальность» детерминирует разнообразие объектов изучения в рамках лингвокогнитивных исследований. Повторим, что восприятие одного и того же объекта действительности возможно в рамках одновременно нескольких сенсорных каналов: предмет можно увидеть, можно ощутить тактильно, попробовать на вкус и т. д. Все полученные на физиологическом уровне ощущения ложатся в основу формирования психологического образа объекта. Полимодальный перенос. Наиболее наглядно подобные чувственные образы выражаются в языковых единицах, имплицитно соединяющие в себе информацию разной перцептивной природы (слова типа сухой [на вид] - сухой [на ощупь]; шершавый [на вид] -шершавый [на ощупь]). В данном случае речь идет о наслоении информации из тактильного и визуального секторов. Другим примером может служить соединение информации обонятельного и вкусового характера: пряный [запах] - пряный [вкус] [11]. Таким образом, в случаях с полимодальным переносом мы имеем дело с комплексным чувственным образом, сформированным на основе информации из нескольких смежных каналов восприятия. При этом речь идет о реально воспринимаемых характеристиках предмета. Интермодальный перенос. Наряду с моно- и полимодальным восприятием некоторые ученые дополнительно выделяют интермодальное [12], предполагающее бимодальный характер сочетания сенсорных каналов (например, визуальный и аудиальный) [13. С. 9]. В отличие от рассмотренного выше полимодального переноса, интермодальный опирается на такую характеристику объекта, которая в действительности не соответствует реальному перцептивному ощущению. Примером может служить словосочетание яркий звук, соединяющее в себе информацию из визуального и аудиального секторов. Именно интермодальный перенос лежит в основе метафорического явления синестезии и соощущения [14, 15]. Нужно добавить, что подобные комплексные чувственные образы могут быть сформированы на основе интрамодального (одноименного) и интермодального (разноименного - не следует путать с вышеописанным интермодальным переносом) сочетания информации. Одноименные, или интрамодальные, взаимодействия предполагают сочетания ощущений из одного перцептивного канала (форма, цвет, размеры - визуальный канал восприятия). Разноименные, или интермодальные, взаимодействия сочетают ощущения из разных перцептивных каналов. Восприятие полимодальных текстов. Вторым объектом лингвокогнитивных полимодальных исследований становятся так называемые полимодальные тексты, особенность которых заключается в актуализации сразу нескольких перцептивных каналов восприятия адресата для собственной репрезентации. Текст, как и единичные вербальные стимулы, выступает не только в качестве субстрата существования полимодального чувственного образа объекта, посредством которого этот образ может изучаться, но и сам становится самостоятельным объектом полимодального исследования (существует в разных модальностях). Таким образом, мы имеем два лингвокогнитивных объекта изучения в рамках полимодальных исследований и, соответственно, две проблемы: - полимодальная природа образа, обозначенного языковой единицей / текстом; - полимодальная природа восприятия собственно языковой единицы / текста, т. е. восприятие через разные сенсорные каналы. Каждая из этих проблем существует на уровне единичного вербального стимула или на уровне текста (рис. 1). ОБЪЕКТ ИССЛЕДОВАНИЯ f 1 Предложение Слово Полимодальная природа восприятия (внешняя характеристика) Полимодальная природа образа (внутренняя характеристика) Полимодальная природа образа (внутренняя характеристика) Полимодальная природа восприятия (внешняя характеристика) i 1 Г Мономодальность слово в одной модальности Полимодальность слово в двух или нескольких модальностях Монокодовость вербальный текст \ Поликодовость вербально-иконический текст (инструкция, комикс) Мономодальность Монокодовость только вербальный текст в обеих модальностях \ Поликодовость использование поликодового текста в одной или нескольких модальностях Полимодальность Рис. 1. Характеристика объекта исследования. Границы поликодовости и полимодальности В данной смехе полимодальная природа восприятия слова обладает меньшими характеристиками в сравнении с текстом, поскольку слово может существовать только в рамках вербального кода (не может быть достроено в поликодовость). При этом слова (равно как и тексты), содержащие либо не содержащие полимодальную природу образа, могут быть двумя самостоятельными объектами исследования в рамках изучения полимодальной природы восприятия (могут восприниматься посредством нескольких сенсорных каналов одновременно). Нельзя говорить о преимуществе одного объекта исследования перед другим, каждый в данном случае позволяет решить свои конкретно-исследовательские задачи, а потому изучение текстов и слова должно находиться в ситуации взаимодополнения. Ранее мы обращались к изучению особенностей полимодального восприятия [19] монокодовых и поликодовых текстов, в данной статье речь пойдет о восприятии вербальных стимулов, существующих в условиях конфликта модальностей. Таким образом, мы ограничиваем условия существования вербального кода полимодальным (аудиально-визуальным) восприятием, исключая влияние иных факторов (контролируя все характеристики слова и добиваясь «чистоты» экспериментального стимульного материала). Все это позволит нам с высокой степенью определенности говорить о доминирующей модальности при восприятии вербального текста, а также проследить особенности восприятия слов в условиях модального конфликта. Экспериментальное установление закономерностей сенсорного межмодального взаимодействия вербальных стимулов становится важным шагом при изучении текстов полимодального характера. Постановка проблемы. Нами была проведена серия экспериментов, направленных на изучение конкуренции аудиального и визуального каналов при предъявлении однородной вербальной информации в условиях конфликта модальностей. Мы преследовали следующие исследовательские цели: - изучить особенности бимодального восприятия вербальных стимулов в условиях конфликта модальностей; - выявить влияние конфликтной «фоновой» информации на восприятие информации из поля произвольного внимания; - выделить ведущую модальность при бимодальном (аудиально-визуальном) восприятии. Гипотеза. Мы предположили, что при наличии произвольного внимания, установленного на восприятие вербальной информации одной из модальностей (визуальной), автоматически усваивающаяся подобная информация второй модальности (аудиальной) будет влиять на восприятие исходной модальности и на решение связанной с ней задачи. Эксперимент 1. Серия экспериментов была написана и проведена при помощи программы E-Prime 2.0 (Copyright 1996-2012 Psychology Software Tools). Основной эксперимент предполагал параллельное бимодальное предъявление слов, содержащих идентичную или конфликтную информацию по категории одушевленности, и состоял из подготовительного и основного этапов. На подготовительном этапе (претест) нами было отобрано 120 существительных с различной частотностью употребления, проверявшейся по «Новому частотному словарю» [15], созданному на основе Национального корпуса русского языка (НКРЯ). Учитывался параметр ipm для каждого слова (число употреблений на миллион слов корпуса). В качестве задания к основному эксперименту использовался базовый когнитивный процесс категоризации (G. Lakoff, F.A. Bleasdale, Н.П. Радчикова) с категорией одушевленности в основе [16]. Данная категория была выбрана нами как одна из наиболее семантически сильных для создания идентичных и конфликтных случаев в обеих модальностях, однако изучение восприятия собственно одушевленности не представляло для нас исследовательского интереса. Для ранжирования всех отобранных стимулов по обозначенной категории (для последующей категоризации в ходе проведения экспериментальной сессии) в сознании носителей языка на этапе претеста респондентам были предложены шкалы Лайкерта (общее число участников N = 63, все - студенты вузов от 18 до 23 лет) для шкалирования субъективной одушевленности по семибалльной системе (от 1 до 7, где 1 -очень / самое неодушевленное, 2 - неодушевленное, 3 - скорее неодушевленное, 4 - столько же неодушевленное, сколько и одушевленное, 5 - скорее одушевленное, 6 - одушевленное, 7 - очень / самое одушевленное). Из них для формирования экспериментального стимульного материала было отобрано 80 слов: по 40 слов максимальной и минимальной субъективной одушевленности. Двусторонняя значимость между группами стимулов по фактору категории одушевленности (t-критерий для независимых выборок) составила p

Скачать электронную версию публикации