On multimodal perception of the text (a psycholinguistic experiment).pdf Наиболее разрабатываемыми и актуальными в ко-гнитологии на данный момент являются проблемы внутренней корреляции кодовых систем семиотически гетерогенных текстов, исследование взаимодействий между вербальным и иконическим1 [1] знаками в составе поликодового текста (Е.Е. Анисимова, А.М. Во-лоскович, О.Г. Веревкина) [2-3], а также их соединений со знаками аудиального характера (Л.С. Большакова, Т.М. Рогожникова, Э.Г. Никитина, Т.А. Винникова) [4-6], порождающие феномен полимодальности. Необходимо развести эти два понятия. Опоззиция моно- и поликодовых текстов была выделена еще в 1970-е гг. Г.В. Ейгером, В.Л. Юхтом [7. С. 103-109] и в отечественной лингвистике получила продолжение в трудах Ю.А. Сорокина и Е.Ф. Тарасова [8], терминологически оформившись в понятие креоли-зованных текстов. Однако некоторая несостоятельность подобной номинации (в силу неоднозначности) была отмечена уже в работе А.Г. Сонина [9]. В настоящее время тексты, содержащие разные семиотические визуальные (вербальные и иконические) знаки, принято именовать поликодовыми. В поле исследовательских интересов попадают различные формы существования поликодовых конструкций: инструкции, открытки, искусствоведческие описания картин, тексты газетного дискурса (статьи, репортажи и др.), интернет-коммуникации (демотивато-ры, веб-сайты) и др. Основную задачу исследователи видят в выявлении корреляций внутреннего взаимодействия символов и знаков разных кодов между собой в рамках исследуемого жанра (функции иконического знака внутри вербально представленной информации, формы взаимодействия вербальной и иконической информации и т.п.). Совершенно иной тип организации имеют тексты2 полимодального характера. Сам факт наличия полимодальности (в зарубежной традиции - multimodal), апеллирующий к психологическому термину модальности как принадлежности к определенной сенсорной системе, связан с актуализацией нескольких перцептивных каналов, а потому изучаться должен на основании адресного восприятия респондентами. Не следует путать его с принятым в лингвистической традиции обозначением текстовой категории модальности, подразумевающей субъективно-оценочную характеристику предмета речи [10]. Если поликодовым является текст, соединяющий в себе разные семиотические коды, то полимодальным может быть назван текст, воспринимаемый при помощи различных модальностей - каналов восприятия информации, в частности зрительной и аудиальной. Таким образом, наличие кодов и модальностей становится двумя самостоятельными аспектами классификации: поликодовый текст (соединяющий в себе вербальный и визуальный код) может быть и мономодальным, если он воспринимается исключительно при помощи зрительного анализатора. В фокусе наших исследовательских интересов находятся прежде всего полимодальные тексты, поэтому в дальнейшем мы не будем останавливаться на их моно- и поликодовой характеризации. Полимодальные экспериментальные исследования в основном сосредоточены вокруг проблемы «соревнующихся модальностей» при восприятии информации (например, временной [11]), при этом, согласно «гипотезе модальной целесообразности», вклад «различных сенсорных модальностей в мультимодальное восприятие связан с характером воспринимаемых стимулов» [11. С. 50]. Автор приводит в пример эксперимент (Welch, DuttonHurt, 1986) с использованием бимодальных стимулов с конфликтом временных частот в зрительной и слуховой модальностях, продемонстрировавший превалирование аудиального канала восприятия над визуальным: «...в случае "конфликта" зрительных и слуховых временных частот восприятие отдает предпочтение слуховой информации» [11. С. 51]. В зависимости от различных глубинных когнитивных основ при его восприятии текст может актуализировать различные типы мышления, в частности текст научного характера апеллирует прежде всего к абстрактному мышлению, тогда как художественный, сосредоточенный на фабульном описании, требует актуализации наглядно-образного мышления. Гипотеза автора при выстраивании эксперимента заключалась в том, что при восприятии текста с одновременной актуализацией двух модальностей они обнаружат функциональную асимметрию, при этом характер асимметрии будет коррелировать с типом заложенной информации. Эксперимент. Для проверки гипотезы нами был организован психолингвистический эксперимент, состоящий из двух этапов, для которых было отобрано два текста равного объема (133 и 138 слов). Оба носили нарративный характер и имели единообразное вступление, с которым соотносилось дальнейшее содержание: Редко встретишь трехцветную кошку. А трехцветного кота - еще реже. Принципиальное отличие составлял их когнитивный характер. Текст художественного стиля содержал рассказ о приключениях трехцветного кота Фрости, названного так потому, что более месяца он прожил на складе продуктов, который, по сути, являлся большим холодильником. Попав на склад на грузовике, он питался замороженными продуктами, слизывал влагу со стен, в конце концов был найден и отвезен в клинику, где лишился отмороженных ушей и хвоста, однако остался жив. В настоящий момент он здоров и живет у работника склада, который его и обнаружил. Научный текст с генетической стороны обосновывал редкость черепахового окраса у самцов: дело в том, что у котов и сирийских хомячков существует сцепленный с полом ген «orange», который передается только по женской линии (соответственно, с хромосомой X). Он и обусловливает наличие трехцветного окраса. Поскольку самцы обладают набором хромосом XY, то возникновение такого окраса у них возможно лишь при появлении лишней X-хромосомы в случае, когда хромосомный набор становится XXY. Однако в случае такой генетической аномалии самцы бесплодны. При этом оба текста соотносились по количеству содержащихся в них единиц предикации (шестнадцать) и количеству смысловых блоков (по пять). Естественно, что специфика стилевых (следовательно, и когнитивных) различий текстов не позволяет говорить о полном типологическом пропозициональном тождестве, поэтому за основу бралось лишь их количественное соотношение. Эксперимент проводился в два этапа. В первом этапе участвовали две группы студентов филологического факультета (1a), которым визуально (на слайде) предъявлялся вербальный художественный текст, одновременно с которым аудиально поступал текст научного характера. При наличии ослабленного зрения оно было скорректировано очками или контактными линзами, отдельно опрашивалось удобство чтения шрифта со слайда (на примере инструкции). Ослабления слуха у испытуемых не наблюдалось. Инструкция требовала сосредоточить внимание на поступающей информации. Скорость смены слайдов была рассчитана так, чтобы испытуемые могли комфортно прочесть предложенный текст, при этом поступление визуальной информации заканчивалось одновременно с аудиальной. Необходимость последующего воспроизведения усвоенного материала из обоих каналов заранее не оговаривалась, а шла в качестве дополнительной инструкции после окончания предъявления информации по обоим каналам. Во втором этапе эксперимента, в котором также участвовали две группы студентов филологического факультета (1b), все прочие условия были повторены, однако типы информации в модальностях были заменены (при сохранении исходных текстов): визуально (на слайде) предъявлялся вербальный научный текст, одновременно с которым аудиально поступал текст художественного характера (таблица). Таким образом, мы ввели две значимых независимых переменных, необходимых для экспериментальной проверки интересующей нас корреляции: тип текста и модальность (аудиальная и визуальная), через которые поступала информация. Типы предъявляемой информации на каждом из этапов эксперимента ^Модальность Группа Visual Audial 1a Художественная Научная 1b Научная Художественная Анализ результатов. Всего в эксперименте приняло участие 87 человек, однако при анализе учитывались результаты 71 респондента. В общую выборку не попадали анкеты, репрезентирующие только одну модальность либо воспроизводящие минимальное число единиц. Встречались анкеты, в которых испытуемые рефлексировали относительно собственного восприятия, например: Невозможно одновременно читать и слушать. Голос отвлекает; Не усваивается речь преподавателя в совокупности с текстом презентации. Почти ничего не запомнил. Отключился или Воспринимаемый на слух текст перебивает зрительное восприятие текста. Для анализа процента усваиваемости информации каждый текст был разделен нами на девять смысловых частей (включая вступление, одинаковое для каждого из текстов). В основу деления легло членение на микротемы. В дальнейшем подсчитывалось количество воспроизведенных элементов информации у каждого респондента и высчитывался средний процент воспроизводимости по каждой модальности и каждому типу текста. При подсчете вступление было выделено в отдельную единицу и суммировалось к результатам той модальности, к репрезентации которой было присоединено при воспроизведении информации самим респондентом. Например, если изначально участник рассказывал о приключениях кота (информация из текста художественного стиля), начиная со вступления, то оно суммировалось к той модальности, в которой шел художественный текст в момент проведения эксперимента (аудиальной или визуальной соответственно). Некоторые испытуемые воспроизводили вступление дважды: по разу для каждой из модальностей. Естественно, подобный анализ носит относительный, а не абсолютный характер. Однако точный процент усвоения информации (который, на наш взгляд, принципиально невозможно высчитать) не представлял для нас исследовательского интереса, и подсчет его необходим прежде всего для адекватного сравнения количества воспроизводимой информации в рамках одного текста, транслируемого поочередно в разных модальностях, а также для сравнения аудиальной и визуальной модальностей между собой. При этом, несмотря на то что тексты были максимально приближены по размеру (и в нашем случае выделялось равное количество смысловых частей для каждого), при анализе воспроизводимости минимальных частей точная их корреляция в обоих текстах не носит принципиального характера, поскольку среднее значение высчитывается из расчета количества воспроизведенных респондентами частей к максимальному для каждой из модальностей. Визуальная vs аудиальная. Все этапы эксперимента показали превалирование визуальной модальности над аудиальной (при отсечении результатов-аутлаеров, т.е. минимальных или максимальных результатов по одной из модальностей), что можно видеть по данным диаграммы (рис. 1). Л У У У 50 40 30 20 10 0 □ визуальная □ аудиальная У У А художественный научный Рис 1. Модальная асимметрия При формулировке эксперимента мы также учитывали психологический факт наличия произвольности внимания, предполагая, что респондент может первично воспринимать тот канал, который посчитает главенствующим. Для этого мы имплицитно ввели в инструкции указание на ведущую модальность. Так, инструкция первой части предлагала обратить внимание на «текст в презентации, сопровождаемый словесным комментарием». Легко видеть, что произвольность внимания в данном случае устанавливается на визуальную модальность (текст поставлен в сильную позицию). Во второй серии мы изменили формулировку, уравновешивая внимание респондентов на каждую из модальностей, одновременно сместив в сильную позицию аудиальную модальность (вам будет предложена информация, часть из нее будет произнесена, часть вынесена на слайд). Однако, несмотря на непрямое указание доминирующей модальности и вне зависимости от характера заложенных стимулов, при полимодальном восприятии доминирующей оказалась визуальная модальность. Тип актуализируемого мышления. Наибольший интерес представляет анализ реакции в аспекте актуализируемого мышления. На основе проанализированного материала можно выделить два типа репрезентации информации: - последовательное воспроизведение, при котором сначала транслируется информация, поступавшая посредством одной модальности, затем - посредством другой; - параллельное встраивание, предполагающее реакции с попеременным изложением художественного и научного материала. В случаях параллельного встраивания (11 реакций из 71, или ~11%), как правило, художественный текст разбавлялся научными фактами. Респонденты начинали повествование о коте по имени Фрости, его особенности (трехцветном окрасе), после чего приводили информацию о генетической аномалии трехцветных котов и лишь затем завершали повествование. На долю последовательного воспроизведения приходится ~89% репрезентаций (63 реакции из общего количества 71). Учитывая уже сделанные на основе проанализированного материала выводы о главенствующей роли визуальной модальности, мы предположили, что информация будет воспроизводиться в соответствии с последовательностью визуальный ^ аудиальный канал (т.е. фактор перцептивного канала станет детерминировать последовательность репрезентации усвоенной информации и респонденты сначала обратятся к той, что получили визуальным путем, и лишь затем к полученной через аудиальный канал), однако из всех реакций последовательного воспроизведения огромный процент (~76% испытуемых - 48 реакций из 63) респондентов придерживались последовательности научный ^ художественный текст независимо от того, в какой модальности они были даны в каждом конкретном случае. Получается, что визуальный перцептивный канал, несмотря на свою ведущую роль при восприятии текста (текст каждого типа усваивался лучше, поступая зрительно, что хорошо видно на рис. 1), выявленную на основе процента усвоенной информации, не обусловливает характер (и, соответственно, последовательность) репрезентации полученной информации. Таким образом, при параллельном полимодальном восприятии текстов, имеющих различную когнитивную сущность, выявилась функциональная асимметрия каналов восприятия: в качестве доминирующей выступила визуальная модальность для каждого из типа текстов. Как таковой корреляции модальности со стимулами (типами текстов, репрезентирующих на языковом уровне соответствующие типы актуализированного мышления) не обнаружилось. Однако при анализе репрезентаций информации была выявлена характерная последовательность при воспроизведении типов информации: наиболее частотными оказались реакции последовательного воспроизведения научный ^ художественный текст. Указанная последовательность не детерминирована фактом ведущей модальности, следовательно, обусловлена некоторыми собственно когнитивными процессами. 1 В данном случае мы следуем за терминологией А.М. Волоскович [1]. 2 Данным подходам свойственно различное понимание текста. В первом случае это традиционное представление о сущности используемого термина, во втором - расширенное.

Скачать электронную версию публикации