Emotion recognition by speech signal characteristics (linguistic, clinical, informative aspects).pdf Эмоции - важная часть нашего ежедневного общения. Это и отражение чувств по отношению к себе, и явная или скрытая демонстрация отношения к окружаю-щим. По эмоциям идет опознание многих параметров внешнего мира, в том числе и идентификация в системе «свой / чужой», «истинный / ложный». В современной науке это одна из самых дискуссионных проблем, так как ее многоаспектность и многофакторность не дает возможности применять единый подход, единую ме-тодологию. Для приближения к ответу на вопрос о принципиальной возможности распознавания эмоций для прагматических целей необходимо как минимум объе-динение знаний из разных отраслей науки, создание инструмента и длительная проверка результатов, интерпретируемых методами разных наук. Настоящее ис-следование - начальный этап совместного долговременного проекта деятельно- сти лингвистов, юристов, медиков и специалистов по компьютерной безопасности г. Саратова. Хорошо известно, как эмоции влияют на физиологическое состояние человека: меняются такие жизненные показатели, как частота дыхания, тон голоса, темп ре- чи, тембр, высота звука, особенности артикуляции. На уровне тела человеческие чувства отражает мимика, осанка, движения, позы и даже походка. Врачи-психиатры, клинические психологи, наркологи, как и представители любой другой медицинской специальности, настроенные на высокую комплаентность пациентов (т. е. приверженность лечению), лингвисты, занимающиеся юридической экспер-тизой речи, сотрудники сферы безопасности, медиа-, авто-, игровой индустрии, сотовые операторы - все они и многие другие профессионалы используют раз-личные приемы, рутинные в их повседневной работе и частично автоматизиро-ванные инструментально, что позволяет в кратчайшие сроки решать поставлен-ные задачи. Тем не менее, осознание тонкой грани между истинной и ложной информацией, считываемой как с помощью профессиональных навыков [Киселев, 2012], так и с помощью специальных программ [Yang, 2015], в настоящее время не дает возможности их полноценного использования и требует многоступенча-той верификации [Hopkins et al., 2005]. Так, например, авторы широко известной программы Praat (GNU General Public License), разработанной в 1991 г., бесплат-ной для использования, постоянно вносят дополнения и изменения на основе по-ступающих от пользователей замечаний и предложений. Применяется программ-ный пакет в области профессионального фонетического анализа речи для самых разных целей, в том числе и экспертных [Матвеева, Прокофьева, 2016]. Разработка возможности автоматизированного исследования эмоций является ответом на реальную необходимость ускорения и усложнения информационных процессов во всех областях жизни. Распознавание эмоций применяется в различ-ных программах, работающих на анализе физиологических показателей, мимики, телодвижений, голоса, хотя получение и анализ звука могут быть затруднены за-шумленностью места, в котором производится запись (вокзалы, аэропорты, от-крытое пространство площадей, улиц и т. д.), при больших скоплениях людей получение четкого представления о жестах и телодвижениях человека, сопровож-дающих его речь, также затруднено. Довольно часто юристы отсеивают предоставляемые на криминалистическую экспертизу фонограммы, содержащие излишне, по их мнению, эмоциональную речь. На наш взгляд, пригодность фонограммы для проведения исследования зву-козаписей определяется задачами, поставленными перед экспертом [Там же]. Так, в случае установления дословного содержания разговора, зафиксированного на исследуемой звукозаписи, или установления пригодности фонограммы для иден-тификации человека по голосу и речи излишне эмоциональная речь не является препятствием для экспертного исследования. При проведении же идентификаци-онного анализа голоса и речи диктора, который требует сопоставления речи, за-фиксированной на исследуемой фонограмме, с речью, зафиксированной на фоно-грамме-образце, разница в эмоциональном, психофизиологическом состоянии говорящего может затруднить выявление части индивидуализирующих признаков фонетического, лексического и синтаксического уровней. В современной психолингвистике активно обсуждается вопрос о возможно-стях измерения эмоций специальными методами, сочетающими данные разных наук - лингвистики и клинической психологии. Так, в нашей речи существуют универсальные маркеры эмоций, которые могут быть отмечены в устной и пись-менной речи, как в подготовленной, так и спонтанной, - эмоционально окрашен-ная лексика (оставляем за рамками статьи дискуссионный вопрос о широком и узком понимании термина). Однако рассмотрение спонтанной устной речи, реа-лизующейся в реальном общении, показывает, что любая лексема может нести в себе яркую эмоциональную окраску. Темп речи, ее ритмическая организация, паузация, особенности логического ударения имеют большое выразительное значение и также отражают эмоции человека. Известно, например, что в актерских школах фраза Кушать подано используется для тренировок подачи разной ин-формации, в том числе эмоциональной. Испытываемые человеком эмоции в клинической психологии условно делятся на две большие группы: первичные и вторичные. Первичные эмоции, будучи основными, являются неотъемлемой частью нашей психики, согласно теоретиче-ской модели описания отношений между уровнем нейромедиаторов при возник-новении эмоций, названной кубом Лёвхейма [Lövheim, 2012], не зависят от усло-вий, в которых они возникают. Это стыд, тоска, страх, гнев, отвращение, удивление, радость, возбуждение. Вторичные эмоции являются продуктом соци-ального взаимодействия человека с обществом, мы испытываем их по отношению к кому-то или чему-то. Это чувство вины, зависти, облегчения и сходные с ними эмоции [Damasio, 1994]. Наиболее показательным является описание эмоций первой группы и их инст-рументальное измерение, однако уже существуют работы, отражающие опыт из-мерения таких вторичных эмоций, как уверенность, растерянность, разочарование и сочувствие: точкой отсчета эмоциональности, по мнению Л. В. Величковой, должны служить не лексемы, которые называют собой различные эмоциональные состояния, а речь в психолингвистическом аспекте, т. е. «процессы ее порождения и восприятия с позиций говорящего и слушающего, воспринимающего речевое сообщение субъекта» [Величкова, 2007, с. 22]. Рассматривая маркеры отрица-тельно эмоционально окрашенной речи, автор выделяет некоторые особенности, к числу которых относятся: «повышенная четкость артикуляционных движений, уменьшение ударных слогов, усиление признаков согласных фонем, «сужение» звучности гласных в ударных слогах важных по смыслу слов» [Там же, с. 27]. Кроме того, для русской экспрессивной речи характерно увеличение темпа про-изнесения как отдельных синтагм, так и высказывания в целом. Приведенные признаки легко выделяются на слух, т. е. инструментальное из-мерение указанных параметров не является обязательным. Однако существуют критерии, определить которые с точностью путем применения только аудитивно-перцептивного метода невозможно. Измерение, описание и визуализация таких характеристик речевого потока, как высота, уровень вибрации, интенсивность, частота, требуют специального измерения и расшифровки. Клиницисты выявили основные характеристики речи, релевантные для изуче-ния медицинского аспекта эмоций: 1) звуковые (тембр, высота, интенсивность, интонация, темп, характер и длительность пауз, степень фонетической редукции, акцент и др.); 2) семантико-грамматические (выбор слов, правильность, текстовая организация и др.); 3) социально-биологические (возраст, пол, социальный статус, состояние речевого аппарата и др.) [Ганзин, 2012]. Сравнение содержания пони-мания некоторых звуковых характеристик речи в медицине и лингвистике обна-руживает значительные отличия: для врачей значимо совпадение / несовпадение наблюдаемого у конкретного пациента интонирования речи с клиническим описа-нием аффективных патологий (акцентные, мало модулированные, стереотипные, беспорядочно чередующиеся без связи с содержанием речи и т. п.). К сожалению, значимых результатов совместной работы медиков и филологов в литературе не обнаружено - исследование типов интонационных конструкций (ИК) на материа-ле речи пациентов с патологиями только начинается. Перед программистами по-ставлена задача разработки программного модуля, позволяющего автоматически фиксировать изменения использованных в речи ИК. Имеющиеся данные предоставляют гипотетическую возможность технологи-ческого моделирования процессов речепорождения с точки зрения продуцирова-ния эмоций и прогнозирования способов их выражения в речи. Безусловно, гло-бальные задачи не могут быть решены созданием одной утилитарной программы. Но проверка гипотезы в различных условиях функционирования - от свободного общения в закрытых группах социальных сетей до школы, вуза, клиники (после получения разрешения этического комитета на проведение экспериментов в ме-дицинском учреждении и Министерства просвещения для работы в учебных заведениях города и области) - позволила бы практически подтвердить или опровергнуть теоретические положения, а также оценить потенциал использова-ния автоматизированных систем, в том числе, для целей лингвистической экспер-тизы. Для решения поставленных задач была создана автоматизированная система определения психоэмоционального состояния человека по характеристикам рече-вого сигнала (2016-2018 гг.; подана документация на патент). Первичная задача - использование компьютерной программы при проведении фоноскопической лин-гвистической экспертизы - в процессе работы была расширена до определения психоэмоционального состояния человека в момент тестирования. Программа не является аналогом детектора лжи или подобных устройств, не отвечает на вопро-сы о правдивости / лживости ответов. Автор-программист - А. А. Захаров (аспи-рант; научный руководитель д-р физ.-мат. наук, проф. И. Л. Пластун, СГТУ им. Ю. А. Гагарина). Предполагаемая область применения - психология, юрис-пруденция, психолингвистика: анализ психологического типа и эмоционального состояния человека при приёме на работу, при возникновении конфликтных ситуаций, разрешаемых юридическим путём. Преимуществом предлагаемой сис-темы оценки речи является существенное сокращение времени, а также возмож-ность исключения субъективизма и влияния человеческого фактора при проведе-нии экспертизы. Система на основе анализа физических показателей звукового (голосового) сигнала и фонологического анализа речи (голоса) человека выделяет характерные признаки конкретных эмоций, а на их основе даёт оценку психологического типа и эмоционального состояния человека. На данный момент внесено 20 психотипов, которые оцениваются по 6 показателям: темп, мелодика, громкость, интонацион-ная составляющая, паузы и модуляция голоса. Программное решение оценивает исключительно звуковые особенности речи, а не лексическую семантику. Внесе-ны числовые параметры с речевыми характеристиками конкретных психических состояний человека, таких как астения, депрессия, агрессия, мания и др., в зави-симости от симптомов проявлений эмоциональности в норме и патологии [Фи-липпова и др., 2016]. Автоматизированная система определения эмоционального состояния челове-ка по характеристикам речевого сигнала представляет собой программный ком-плекс, работающий под ОС Windows 7 и выше при поддержке технологии .netframework 4.5 и наличии периферийных устройств: звуковой карты, звукоза-писывающего устройства, микрофона. Программа создана на основе двух методик: основная представляет собой сис-тему экспертной оценки фонологических параметров устной речи по нескольким показателям, характерным для определённых психических состояний и преобра-зованных в конкретные физические характеристики речевого сигнала. Вторая ме-тодика является дополнительной и строится на основе четырехмерной сферической модели эмоций, предложенной Е. Н. Соколовым [2001], и принципах коди-рования информации в нервной системе; численная модель разработана А. В. Вартановым [2013]. В соответствии с ней все эмоции в речи можно разде-лить на основе нескольких параметров, или факторов, каждый из которых харак-теризуется определённым спектральным диапазоном. У каждого есть свои макси-мумы. Первый фактор охватывает достаточно широкий спектральный диапазон (от 500 до 3 000 Гц) и определяет эмоцию приятия в речи (чем больше вклад этого фактора, тем лучше оценивается объект высказывания). Второй фактор лежит в диапазоне от 1 000 до 1 750 Гц. Он говорит о степени информационной неопре-делённости - от полной уверенности до удивления и недоумения. Фактор 3 лежит в диапазоне от 150 до 3 500 Гц и характеризует степень эмоциональной привязан-ности к объекту, причём независимо от того, каков «знак» эмоции - резкое непри-ятие или горячая любовь. Последний фактор имеет диапазон от 600 до 1 500 Гц и соответствует характеру отвержения: активная (агрессия) или пассивная (страх, апатия) реакция. Сферическая модель позволяет выявить преобладающую эмо-цию в речи говорящего, например радость, тревогу, задумчивость, напряжение, апатию или возбуждение. Порядок работы с программой включает контактный и бесконтактный вариан-ты, т. е. живую запись с микрофона, а также исследование аудиозаписи. Контакт-ный вариант представляет собой диалог: интервьюер задает вопрос в свободной форме, тематика актуализируется для конкретного информанта (круг чтения, ра-бота, общие принципы организации жизни, свободное время и т. п.). Категориче-ски не рекомендуется задавать вопросы, прогнозируемо вызывающие эмоцио-нальную реакцию. Интервьюируемый отвечает на вопрос в микрофон, программа ведет сбор фонетической информации в течение 10 секунд (минимальное время для анализа), затем выводит на экран результат [Пластун и др., 2018]. Первичная апробация проходила с привлечением посетителей выставки научно-технических достижений вузов Саратова, участников Всероссийской конференции «Матема-тика и математическое моделирование» (Саров, 2018 г.). На данный момент по-грешность выявления психологического состояния человека составляет около 5-10 %. Дальнейшие испытания позволят скорректировать этот показатель на осно-ве статистических данных, а также доработать его за счет расширения базы зна-ний и уточнения характеристик речи. Все данные, получаемые в результате ана-лиза, попадают под действие федерального закона «О персональных данных» (от 27.07.2006 № 152-ФЗ), т. е. не могут находиться в общем доступе, так же как амбулаторные карты и другая личная информация. Для продолжения апробации разработан и осуществлен эксперимент по опре-делению роли элементов просодической информации в неподготовленной живой речи при формировании эмоций говорящего, включающий следующие этапы: 1) сбор звуковых файлов спонтанной речи; 2) систематизация и статистический анализ материала с точки зрения возрастного и гендерного факторов; 3) создание скриптов каждого файла; 4) распределение на группы в зависимости от наличия / отсутствия лексических единиц с явно выраженной эмоциональностью, отражен-ной в пометах толкового словаря, лексико-семантический анализ вербального ма-териала; 5) анализ каждой группы с помощью компьютерной программы с фикса-цией преобладающей эмоции; 6) сравнение и сопоставление данных собственно лингвистического и автоматизированного анализа; 6) первичные выводы по воз-можностям использования программы и ее дальнейшей апробации. Методом свободной выборки собрано 80 единиц записей речевых сообщений объемом от 10 секунд до 2 минут (общая длительность более 60 минут) из соци-альной сети ВКонтакте от 24 информантов разного пола (9 мужчин - 37,5 %, 15 женщин - 62,5 %) и возраста (от 15 до 22 лет). Тематика сообщений не имела значения. Все аудиофайлы собраны в публичных лентах нескольких закрытых групп абитуриентов и студентов вузов, по большей части Москвы и Саратова. Из скриптов 80 сообщений только в 28 не обнаружена эмоциональность на уровне лексики (35 %), в 35 (44 %) присутствуют лексемы с ярко выраженной по-ложительной или (чаще!) отрицательной семантикой. Это слова, маркируемые толковым словарем как бран., груб., неодобр., ирон., шутл., презр., а также имею-щие стилистические пометы разг., прост. (олух, сволочь, уродский, общага и т. д.). Инвективная лексика, чрезвычайно широко представленная в скриптах исследуе-мого материала, встречается одинаково как в речи мужчин, так и в речи женщин, но у девушек является явным маркером высокой степени эмоциональности (раз-дражение, злость, неудовольствие и т. п., часто сопровождается словами-марке- рами эмоций обидно, досада, печалька), тогда как у юношей зачастую исполь- зуется в качестве заполнителей пауз. Нельзя не отметить явную социальную однородность участников дискуссий, отмечаемую в записях, - «дети из благопо-лучных семей» используют табуированную лексику единично, изолированно, она не является необходимой частью речи, а, скорее, знаком независимости. Эмоцию, выражаемую междометиями: ооо, фу-фу, оххх, ёлы-палы, дык, кранты, демонст-рируют 17 скриптов (11 %). Большое количество непервообразных междометий, употребляемых в речи девушек в качестве эвфемизмов (блин), как и обратный процесс дисфемизации, использование вместо эмоционально нейтрального слова грубого (копец вместо конец), является сигналом общего эмоционально «припод-нятого» уровня неформального общения. Анализ с помощью компьютерной программы дал возможность выделить три группы речевых произведений, которые условно можно обозначить как эмоцио-нально нейтральные, эмоционально маркированные (реже положительно, чаще отрицательно) и эмоционально неопределенные (в которых обнаружено значи-тельное расхождение между вербальной и просодической информацией). В пер-вой группе (15 %) основные показатели - темп, громкость, мелодичность, преры-вистость, паузация, интонация - не выходят за пределы средних и демонстрируют состояние спокойствия с возможными модуляциями в виде слабого волнения и раздражительность при незначительном снижении темпа и повышении громко-сти. Лексико-сематический анализ скриптов записей позволяет выделить в трех фрагментах мужской речи отрицательные эмоции (инвективы, разговорные выно-сить мозг, фу-фу-фу, оооо, литературное чудовищный) в разговоре о текущих учебных буднях, тогда как просодически информативно только несущественное повышение громкости (до 61 дБ) и экспрессивная интонация. В целом речевые произведения оцениваются как эмоционально нейтральные. Речь данных инфор-мантов демонстрирует внешнее эмоциональное отношение к предмету речи, но истинные чувства при этом не затронуты: - Блин, Наташ, ты не похожа на рим-ское право, не выноси мне мозг, умоляю тебя, ради бога, у меня и так уже нихера там нет; - Я, как дурак, сейчас чё-то играл, думал: «блин, чё за песня, такая зна-комая, такая классная», а потом вспомнил, что это моя песняоооо; - Фу-фу-фу. Как бы… Такая чудовищно уродская инкорпорация меня пугает. Зачем так де-лать? Прям фу. Во второй группе (56 %) меняются основные показатели громкости и темпа, и программой на основании анализа физических показателей выявляются эмоции тревоги и раздражительности. При этом прямая связь между данными просодиче-скими параметрами и наличием лексико-семантических связей с эмоциями обна-ружилась в половине исследуемых фрагментов, в остальных случаях именно про-содика определяла положительную или отрицательную оценку. Так, например, единственный случай нарушения мелодики в сочетании со значительным ускоре-нием темпа речи до 156 с/мин, повышением громкости до 82 дБ, выраженной прерывистостью и экспрессивной интонацией позволил программе выявить у го-ворящего состояние «мании с преобладанием эмоции страха», повышенной тре-вожности: - У меня, ха-ха, у меня истерика, ах-ха-ха-ха… Пристальное внимание к аккаунту информанта и его активности в сети обнаружило реальные эмоцио-нальные проблемы, связанные с последним годом школьного образования. Безус-ловно, это не является основанием для работы социального психолога, но может стать исходной точкой для продолжения исследований в данной социальной группе и создания прикладных методов коррекции тревожного состояния. Третья группа (29 %) представила программный разброс в оценках выражен-ных эмоций от холодности и задумчивости (- Я вот вышла, да, вот, ну, без деся-ти восемь. Е..ть, у меня бабки, короче, прям на лавках возле падика продают ти-па сметану, там, молоко, ряженку, все такое. Я вот подумала, без десяти восемь, давайте продавать ряженку!) до обсессии с депрессией и раздражитель-ности (- Кто-нибудь, заберите меня из дома, б..ть, я сейчас разревусь, я умираю, не хочу здесь сидеть весь день…) при нейтральности или, наоборот, яркой стили-стической маркированности лексики (пивасик, шампусик, параша, сдохну). Этой вербальной активности противопоставлены частотные повторы слов, звуков при понижении темпа речи, прерывистости и нарушении мелодики речи: - Пин, мы Тик-токи! - Короче, скажи, видитесь-не видитесь, нужны-не нужны. Вот. Объяснение этому находим в исследованиях врача-психиатра: «Порождение лингвистической и экстралингвистической информации связано с разными мозго-выми структурами, и, следовательно, существуют обособленные мозговые меха-низмы кодирования двух видов речевой информации. В то же время существует сложная система взаимосвязей между ними. Этим объясняется возможность не-соответствия вербальной и просодической семантики, причем для клиницистов последняя носит более достоверный характер» [Ганзин, 2011]. Довольно высокий процент неопределенности данной группы свидетельствует о недостаточной точ-ности в установочных настройках программы, так как из предложенной психиат-рами целостной системы изменений просодики речи в связи с симптоматикой (например, характер пауз - выдох, вдох, плач, глоточное сжатие, покашливание; характер звучания - дисфонемия, дизартрия, назализация звуков, интенсификация гласных; модальность речи - меньше эллипсисов, больше эпитетов, метафор, без-личных предложений и мн. др.) не все поддается информатизации на данном эта-пе работы. Необходим поиск новых программных решений. Тем не менее при отсутствии клинической симптоматики исследование проявлений внутренних эмоций в речи говорящего продуктивно. Общее количество сообщений от мужчин - 32, из них в 11 (34,3 %) программа обнаружила эмоциональную оценку. Общее количество сообщений от женщин - 48, из них эмоционально окрашенными программа маркировала 24 (50 %). Обна-ружена общая тенденция превалирования способов проявления эмоциональности в женской речи с помощью повышения темпа и громкости, при этом у мужчин обратный результат достигается с помощью снижения темпа речи при сохранении экспрессивности интонации. На данном исследовательском материале возрастной специфики отмечено не было. Необходимо продолжить работу, расширяя матери-ал и углубляя интерпретационные способы обработки результатов. Данный этап эксперимента продемонстрировал возможности автоматизиро-ванной системы распознавания эмоций в спонтанной речи молодежной социаль-ной группы в сети ВКонтакте. Анализ вербального и невербального в речевых произведениях позволил выявить разные способы их взаимодействия.  В группе, где лексические средства нейтральны, обнаружены две диамет-рально противоположные тенденции: 1) прогнозируемое состояние спокойствия с вариантами в виде слабого волнения, раздражительности выражается с помо-щью незначительного ускорения или замедления темпа речи с одновременным увеличением пауз (- Ээ. Условия: жизнь в центре, еда, возможно, немного, соба-ка, Wi-Fi, вода… Ванна, душ, парковка… Эээ.Я); 2) резкое депрессивное состоя-ние с раздражительностью выражается понижением темпа речи и увеличением громкости, резким уменьшением количества модуляций (- Что за вопросы? Сра-зу спрашивай, да и всё).  В группе, где экспрессивная лексика превалирует, обнаружено несколько тенденций: 1) состояние спокойствия с минимальными модуляциями в виде раз-дражительности, волнения выражается только экспрессивной интонацией, гром-кость, темп, мелодика не изменяются (- Я, короче, пойду распечатаю и поставлю в рамку с черной ленточкой наши с тобой фотографии); 2) состояние тревоги с раздражительностью или волнением сопровождается значительным ускорением темпа речи до 152 с/сек, умеренным повышением громкости до 70 дБ и появлени-ем коротких пауз до 1 сек. (- Я заплатил за месяц, а сейчас, после того как у меня эту параша поломалась, я должен ещё и платить за то, что я катаюсь, остав-шийся месяц. Вообще классно); 3) депрессия выражается незначительным пони-жением темпа речи до 70 с/мин и умеренным понижением громкости до 52 дБ, появлением пауз средней продолжительности до 2-4 сек. и мало модулированной интонацией (Прости, пожалуйста, я сплю днями… целыми. И в контакт не за-хожу. Так что, похоже, завтра переносится на… завтра.). Во всех исследован-ных фрагментах в этой группе наблюдается нарушение мелодичности речи и ак-центная интонация.  В группе смешанного типа разброс оценок чрезвычайно велик - от холод-ности и задумчивости до мании и обсессии, но общим является отсутствие пря-мой связи между лексикой и просодикой. Систематизация показателей изменения темпа, громкости, паузации и мелодики дает возможность уточнения границ эмо-циональных реакций. Одним из важных изменений показателей сильных внут-ренних эмоций является прерывистость речи, не отмеченная в других группах, причем она выделяется программой и при констатации задумчивости (- Я вот вышла, да, вот, ну, без десяти восемь.), и при страхе (- Аааа, почему, ааа?). Так-же отмечена ведущая роль просодики при выявлении скрытых типов эмоцио-нального стресса, что требует специальных исследований с использованием мето-дов социальной психологии. Таким образом, проведенное пилотное исследование показало необходимость объединения усилий психолингвистов, врачей, психологов и специалистов в об-ласти компьютерной безопасности для разработки и использования автоматизи-рованных методов изучения эмоций в различных сферах человеческой деятель- ности.

Скачать электронную версию публикации