Е.С. Дмитриева, В.Я. Гельман, К.А. Зайцева, А.М. Орлов ОСОБЕННОСТИ ЛАТЕРАЛИЗАЦИИ ВОСПРИЯТИЯ ЭМОЦИОНАЛЬНОЙ ИНТОНАЦИИ РЕЧИ В ПРОЦЕССЕ ПЕРЦЕПТИВНОЙ ОБУЧАЕМОСТИ (C. 16-24)

Е.С. Дмитриева, В.Я. Гельман, К.А. Зайцева, А.М. Орлов

ОСОБЕННОСТИ ЛАТЕРАЛИЗАЦИИ ВОСПРИЯТИЯ ЭМОЦИОНАЛЬНОЙ ИНТОНАЦИИ РЕЧИ В ПРОЦЕССЕ ПЕРЦЕПТИВНОЙ ОБУЧАЕМОСТИ

Федеральное государственное бюджетное учреждение науки Институт эволюционной физиологии и биохимии им. И.М. Сеченова Российской академии наук, Санкт-Петербург, Россия

Sechenov Institute of Evolutionary Physiology and Biochemistry of the RussianAcademy of Sciences, St. Petersburg, Russia

ОСОБЕННОСТИ ЛАТЕРАЛИЗАЦИИ ВОСПРИЯТИЯ ЭМОЦИОНАЛЬНОЙ ИНТОНАЦИИ РЕЧИ В ПРОЦЕССЕ ПЕРЦЕПТИВНОЙ ОБУЧАЕМОСТИ
Е.С. Дмитриева, В.Я. Гельман, К.А. Зайцева, А.М. Орлов
Проведено исследование особенностей латерализации восприятия эмоциональной интонации речи в процессе перцептивной обучаемости у взрослых слушателей при распознавании ими сигнала в изменяющихся условиях акустической среды (на фоне белого шума и без него). Выборка состояла из 38 взрослых (23 девушки и 15 юношей), имевших средний возраст 21.1 ± 0.4. Регистрировались эффективность распознавания эмоций (ЭР) при монауральной подаче стимула и время реакции (ВР) в двух последовательных сериях экспериментов и вычислялся обобщающий показатель, учитывающий обе эти величины, — относительная эффективность распознавания (ОЭР=ЭР/ВР). Дисперсионный анализ результатов исследования показал высокую значимость фактора очередности серии для ОЭР. В работе выявлена латерализация восприятия в процессе перцептивной обучаемости при распознавании эмоциональных интонаций речи у взрослых слушателей, которая изменяется в зависимости как от валентности воспринимаемой эмоциональной интонации, так и от условий акустической среды, что, в свою очередь, подтверждает динамические свойства функциональной асимметрии.
Ключевые слова: перцептивная обучаемость, латерализация восприятия, речь, эмоциональная интонация.
FEATURES OF LATERALISATION DURING THE PERCEPTION OF EMOTIONAL SPEECH INTONATION OVER THE COURSE OF PERCEPTUAL LEARNING
E.S. Dmitrieva, , V.Ya. Gelman, K.A. Zaytseva, A.M. Orlov
The peculiarities of lateralisation of perception during emotional speech intonation over the course of perceptual learning in adult listeners were studied. Subjects were required to recognise and identify test stimuli in a changing acoustical environment; either a “white noise” background or without noise. The sample consisted of 38 adults (23 females and 15 males) with a mean age of 21.1 ± 0.4 years. The reaction time (RT) and accuracy of recognition (AR) for each subject were recorded in two sequential sessions of trials, after which a generalising index was calculated: relative recognition efficiency (RRE): RRE=AR/RT. An analysis of variance revealed that session sequence was highly significant for RRE. Lateralisation during emotional speech tone recognition over the course of perceptual learning in adults was found to depend on the valence of the emotional intonation and the acoustical environment. These findings confirm the dynamic behaviour of functional asymmetry.
Key words: Perceptual learning, lateralisation of perception, speech, emotional intonation.

 

В последнее время при изучении процесса речевого общения большое внимание уделяется исследованию механизмов обработки эмоциональной информации (вербальной и невербальной), присутствующей в речевом сигнале. Было показано, что невербальная информация — эмоциональная просодика речевого высказывания — играет существенную роль при коммуникации (Дмитриева и соавт.,1988, Морозов, 1985, Bachorowski et al., 2005, Juslin et al.,2005).Несмотря на большое количество работ, в которых используются как поведенческие методы исследования, так и психофизиологические (ЭЭГ, ПЭТ, МРТ и др.), единой точки зрения на церебральные механизмы обработки эмоциональной просодики речи не существует. В частности, нет единого мнения на механизмы межполушарных отношений, лежащих в основе восприятия и обработки эмоциональной просодики речи. В работах целого ряда исследователей было выявлено преимущество правого полушария при распознавании эмоциональных интонаций слушателями (Дмитриева и соавт.,1988, Дмитриева и соавт.,1999, Морозов, 1985, Mitchell et al.,2003, Paulmann et al., 2008, Pell, 2006). Однако, исходя из результатов исследований последнего десятилетия, можно говорить лишь об относительном преимуществе правого полушария в процессах распознавания эмоциональных интонаций (Русалова и соавт., 2011, Ethofer et al., 2009, Pell, 2006, Schirmer et al., 2006), т.е. обработка эмоциональной просодики речи включает в себя системы мозга в обоих полушариях (Русалова и соавт.,2011, Ethofer et al., 2012, Pell, 2006, Wiethoff et al., 2008,) и не зависит от валентности эмоции (Ethofer et al., 2012).Рядом авторов было показано, что межполушарные отношения не являются стабильными и, в частности, могут изменяться, например, в зависимости от процедуры и условий проведения исследования (Ethofer et al., 2009, Voyer et al., 2009), функционального состояния обследуемого (Фокин и соавт., 2004, Фокин, 2007).Наряду с изучением механизмов латерализации восприятия существуют работы, хотя и немногочисленные, в которых проводятся исследования кратковременной оперативной памяти и непроизвольной перцептивной обучаемости, которые также вовлечены в процесс обработки эмоциональной просодики речи (Дмитриева и соавт., 2006, Voyer et al., 2009). В большинстве исследований изучалась перцептивная обучаемость при зрительном и тактильном восприятии (Dinse et al., 2005, Sagi, 2011), и гораздо меньше внимания уделялось слуховому восприятию (Moore et al., 2001, Nahum et al., 2010). В этих работах было также обнаружено, что на процесс перцептивной обучаемости оказывают влияние значительное количество факторов, в частности, внешний шум, сложность задачи, «знакомость» стимулов.При рассмотрении характеристик непроизвольной перцептивной обучаемости при восприятии эмоциональной интонации речи детьми, нами было обнаружено, что в результате тренировки более значительное укорочение времени реакции наблюдалось на стимулы, которые предъявлялись на левое ухо испытуемого (Дмитриева и соавт.,2006). Это позволило предположить, что структуры правого полушария больше подвержены влиянию тренировки в результате повторения эмоциональной составляющей речевого сигнала, чем структуры левого полушария. В доступной нам литературе мы не нашли работ, в которых изучается вопрос преимущественной активности одного из полушарий в процессе перцептивной обучаемости.Целью данной работы было исследование особенностей латерализации восприятия эмоциональной интонации речи в процессе перцептивной обучаемости у взрослых слушателей при распознавании ими полезного сигнала в изменяющихся условиях акустической среды (на фоне белого шума и без него).Методика. Методика была разработана таким образом, что при распознавании испытуемыми эмоциональных интонаций (ЭИ) речевых высказываний оценивалась как перцептивная обучаемость, так и латерализация восприятия.Тестовыми стимулами для исключения их лексико-семантической составляющей были выбраны короткие речевые высказывания, не несущие смысловой нагрузки, (Дмитриева и соавт., 2012, Juslin et al., 2005, Paulmann et al., 2008). Использовались двусложные псевдослова, имеющие минимальную пороговую продолжительность, обеспечивающую уверенное распознавание ЭИ (Juslin et al., 2005, Whiteside, 1999).Экспериментальная программа была разработана на базе созданного массива речевых сигналов различных эмоциональных интонаций (положительной, отрицательной, нейтральной) (Дмитриева и соавт. , 2012). Был использован метод имитации ЭИ (актерского моделирования) в одном и том же речевом высказывании. Затем из этого массива методом экспертных оценок были отобраны два лучших диктора разного пола и лучшие реализации каждого диктора по каждой эмоции. Более подробно методика отбора описана в работе (Дмитриева и соавт., 2012). Затем на основе отобранных реализаций псевдослов были подготовлены тестовые стимулы с помощью пакетов программ обработки звуковых файлов «Cool» и «WaveSurfer». Стимулы выравнивались по мощности и дополнялись шумовыми помехами.В тесте использован метод монаурального (через головные телефоны) предъявления звуковых стимулов. Для оценки латерализации восприятия подачу тестового сигнала осуществляли по одному из каналов в случайной последовательности на правое или левое ухо, как без шума, так и на фоне «белого шума» с уровнем интенсивности сигнал/шум -12 дБ, предъявленного ипсилатерально. Одновременно на контралатеральное ухо по другому каналу подавался «белый шум» той же интенсивности, что и полезный сигнал (Гельман и соавт.,1998, Дмитриева и соавт., 1999).Для оценки перцептивной обучаемости при распознавании ЭИ проводили две серии экспериментов. В одной серии испытуемому в случайной последовательности предъявляли 24 различных тестовых стимула (по 12 на каждое ухо), которые хранились в памяти компьютера. Регистрировались ответы испытуемого — нажатия на одну из трех клавиш пульта экспериментальной установки. Очередное предъявление осуществляли через 1 с после ответа испытуемого. Затем серия повторялась с альтернативным расположением головных телефонов. Регистрировалась оценка типа эмоции и время реакции (ВР) испытуемого. По оценке типа эмоциональной интонации рассчитывался показатель эффективности распознавания (ЭР, процент правильных ответов). Поскольку перцептивная обучаемость характеризуется повышением эффективности распознавания одновременно с укорочением времени реакции, был введен обобщающий показатель, учитывающий обе эти величины, — относительная эффективность распознавания (ОЭР=ЭР/ВР).Изучение восприятия ЭИ проводилось на выборке, состоящей из 38 взрослых (23 девушки и 15 юношей), имевших средний возраст 21.1 ± 0.4. Испытуемые были студентами вузов Санкт-Петербурга, имели нормальный слух и были правшами.В ходе статистического анализа оценивались основные статистические характеристики исследуемых параметров; методом дисперсионного анализа определялось влияние различных экспериментальных факторов на относительную эффективность распознавания эмоциональных интонаций, а также с помощью критерия Стьюдента (t-тест) проверялась достоверность попарных различий.Результаты и обсуждение. Относительная эффективность распознавания эмоциональных интонаций определялись для каждого из 48 реализаций тестовых стимулов (2 диктора × 3 вида эмоции × 2 псевдослова × 2 стороны предъявления × 2 условия акустической среды (без шума и на фоне шума)).Полученные экспериментальные данные выявили определенные улучшения относительной эффективности распознавания во второй серии эксперимента в обоих условиях акустической среды (р < 0,006, рис.1).В рамках поставленной цели работы было рассмотрено, как тип эмоциональной интонации, сторона предъявления тестового стимула, окружающая акустическая среда и пол испытуемых связаны с распознаванием эмоций в процессе тренировки от одной серии экспериментов к другой, т.е. с перцептивной обучаемостью.Для выявления ведущих экспериментальных факторов, влияющих на ОЭР ЭИ, был проведен дисперсионный анализ полученных данных. Результаты анализа показали, что в ходе исследования происходят изменения ОЭР от предъявления к предъявлению — очередность серии является одним из важнейших по значимости факторов (F1,1776 = 14.61, р < 0.00014).

Dmitrieva_1_2_2013

Рис. 1. Изменение ОЭР в зависимости от очередности серии предъявления стимула (сплошная линия – в условиях отсутствия шума, пунктир – в присутствии шумов)

 

Действительно, из рис.1 видно, что наблюдается улучшение распознавания от первой серии ко второй, а это позволяет говорить о перцептивной обучаемости испытуемых при распознавании ЭИ.Другим значимо влияющим фактором был тип эмоциональной интонации (F2,1776 = 10.98, р < 1.83×10-5). Не выявлено влияние пола слушателей. На ОЭР также значимо оказывают влияние сочетание факторов «тип эмоции»×«сторона предъявления» × «очередность серии» × «отношение сигнал/шум» (F2,1776 = 3.55, р = 0.029), а «тип эмоции» × «сторона предъявления», «тип эмоции» × «пол испытуемого» и «сторона предъявления» × «пол испытуемого» — на уровне тенденции (р = 0.051 и р = 0.074 и р = 0,099, соответственно).Обнаружено, что латерализация распознавания эмоциональных интонаций выражена нечетко: взаимодействие факторов «тип эмоции» × «сторона предъявления» получено на уровне тенденции (р = 0.051). Было проведено выявление различий в ОЭР относительно стороны предъявления тестового стимула. В отсутствие шума было получено достоверное преимущество левого уха (Δ = 17.99 %/с, р = 0.044) при опознавании интонации «радость» и недостоверное преимущество правого уха при опознавании интонаций «гнев» и «нейтральной». При маскировке тестовых сигналов ипсилатеральным белым шумом значимого преимущества какого-либо уха не получено ни для какой эмоциональной валентности.Такие результаты, по-видимому, согласуются с представлениями о динамических свойствах функциональной межполушарной асимметрии (Русалова,1988, Фокин и соавт., 2004, Фокин, 2007) и лишь об относительном преимуществе правого полушария в процессах распознавания эмоциональных интонаций (Ethofer et al., 2009, Pell, 2006, Schirmer et al., 2006), т.е. обработка эмоциональной просодики речи включает в себя системы мозга в обоих полушариях.Поскольку результаты дисперсионного анализа выявили значимую зависимость ОЭР от взаимодействия типа ЭИ, фона акустической среды и стороны предъявления и очередности серии, рассмотрим влияние этих факторов более подробно.На рис. 2 приведены зависимости ОЭР от очередности серии предъявлений для каждой стороны предъявления по всем рассматриваемым ЭИ в отсутствие шумовой помехи. На рис. 3 то же самое – на фоне шумовой помехи.Достоверность изменений ОЭР от первой серии предъявления ко второй для рассматриваемых типов эмоциональной интонации зависит от воспринимающего уха.При отсутствии шума для ЭИ «гнев» при предъявлении стимула на правое ухо происходит достоверное улучшение ОЭР (Δ = 28.46 %/с, р = 0.013), при предъявлении на левое ухо это улучшение не достоверно (рис. 2А). Для ЭИ «нейтральная» (рис. 2Б) достоверное улучшение ОЭР во второй серии происходит при предъявлении на левое ухо (Δ = 34.67 %/с, р = 0.000), а при предъявлении на правое ухо улучшение наблюдается лишь в виде тенденции (Δ = 17.72 %/с, р = 0.052). Наконец, для ЭИ «радость» (рис. 2В) при подаче сигнала на левое ухо улучшение наблюдается лишь в виде тенденции (Δ = 22.18 %/с, р = 0.095), а при подаче на правое улучшений вообще не наблюдается. Причем для второго предъявления ОЭР стимулов, поданных на левое ухо, становится достоверно лучше, чем на правое (Δ = 34.12 %/с, р = 0.015).

 

Dmitrieva_2_2_2013
Рис. 2.
Изменение ОЭР в зависимости от очередности серии предъявления стимула в условиях отсутствия шума. А, Б, В — эмоциональные интонации «гнев», «нейтральная», «радость», соответственно (сплошная линия – стимул предъявлен на правое ухо, пунктир – стимул предъявлен на левое ухо).

 

То есть, в отсутствие шумов при распознавании отрицательных эмоций наблюдается перцептивная обучаемость при подаче сигналов на правое ухо, а при нейтральных и положительных ЭИ – на левое ухо. Можно предположить, что в результате повторения положительной эмоциональной интонации речевого сигнала структуры правого полушария больше подвержены влиянию тренировки, чем структуры левого полушария.Эти данные, в определенной степени, соответствуют результатам, полученным для восприятия ЭИ (рассчитанным суммарно для обеих серий предъявлений). Однако, показатели латерализации, полученные в процессе изучения перцептивной обучаемости более выражены, чем те, которые были получены при рассмотрении распознавания эмоциональной просодики в целом.

Dmitrieva_3_2_2013

Рис. 3. Изменение ОЭР в зависимости от очередности серии предъявления стимула в условиях присутствия шума. Обозначения те же, что и на рис. 2.

 

При распознавании ЭИ в других условиях акустической среды – на фоне белого шума — наблюдалось изменение латерализации восприятия рассматриваемых эмоций при тренировке от первой серии предъявления ко второй. Для ЭИ «гнев» (рис. 3А) достоверные улучшения ОЭР в отличие от экспериментальных условий без шума происходят при подаче сигнала на левое ухо (Δ = 21.34 %/с, р = 0.045). Для ЭИ «нейтральная» (рис. 3Б) изменения достоверны только для правого уха (Δ = 20.75 %/с, р = 0.025), а для ЭИ «радость» (рис. 3В) улучшения ОЭР не достоверны и одинаковы при распознавании интонации в процессе предъявления тестового стимула, как на правое ухо, так и на левое.

Можно заключить, что изменение условий акустической среды (ее зашумление) влияет на церебральные механизмы в процессе перцептивной обучаемости при восприятии эмоциональных интонаций речи различных валентностей: на фоне шума происходит изменение направления латерализации, особенно выраженные для ЭИ «гнев» и «нейтральная». Эти данные согласуются с представлениями о динамических свойствах функциональной асимметрии (Фокин и соавт., 2004, Ethofer et al., 2009, Voyer et al., 2009), которые зависят, наряду с другими факторами, от процедуры и условий проведения исследования и связаны, по-видимому, с особенностями церебральной обработки зашумленного сигнала,

Заключение. В работе выявлена латерализация восприятия в процессе перцептивной обучаемости при распознавании эмоциональных интонаций речи у взрослых слушателей. При этом обнаружены динамические свойства функциональной асимметрии: наблюдаются изменения латерализации восприятия эмоциональной интонации, зависящие как от валентности воспринимаемой эмоциональной интонации, так и от условий акустической среды. Причем, показатели функциональной асимметрии, выявляемые при изучении перцептивной обучаемости, более выражены, чем те, которые были получены при рассмотрении распознавания эмоциональной просодики в целом (суммарно для обеих серий предъявлений). Можно предположить, что как при восприятии различных ЭИ, так и при появлении шумовых помех происходят определенные изменения церебральных механизмов перцептивной обучаемости восприятия эмоций.

 

 

Работа выполнена при поддержке гранта Российского гуманитарного научного фонда (10-06-00002а).

Список литературы.
  1. Гельман В. Я., Дмитриева Е. С, Немировская А. В. Психоакустическое тестирование с использованием компьютерных технологий.// Физиология человека. 1998.- Т.24.- N 2.- С. 128-130.
  2. Дмитриева Е.С., Зайцева К.А., Морозов В.П. Экспериментальные исследования восприятия человеком вербальной и эктралингвистической информации в онтогенезе. В кн.: Восприятие речи: вопросы функциональной асимметрии мозга. Л. Наука. 1988 Стр.50.
  3. Дмитриева Е. С., Зайцева К. А., Гельман В. Я. Возрастно-половые особенности восприятия эмоциональных характеристик речи под воздействием шума.// Физиология человека. 1999.- Т.25.- N3.- C. 57-64.
  4. Дмитриева Е.С., Гельман В.Я., Зайцева К.А., Орлов А.М. Перцептивная обучаемость детей при восприятии ими эмоционально окрашенных речевых высказываний: влияние возраста и пола.// Физиология человека. 2006.- Т. 32.- № 1.- С. 68-74.
  5. Дмитриева Е. С., Гельман В. Я., Зайцева К. А., Орлов А.М. Особенности восприятия эмоциональной интонации коротких псевдослов.// Журнал высшей нервной деятельности. 2012. -Т.62.- №3.- С. 270-279.
  6. Морозов В.П. Эмоциональный слух человека.// Журнал эволюционной биохимии и физиологии. 1985.- Т.21.- №6.- Стр.568.
  7. Русалова М.Н. Динамика асимметрии активности коры головного мозга человека при эмоциональных состояниях //Журн. высш. нерв. деят. 1988.- Т. 38.- № 4. — С. 754.
  8. Русалова М.Н., Кислова О.О., Образцова Л.В. Электрофизиологические показатели распознавания эмоций в речи.// Успехи физиологических наук. 2011.- Т. 42.- № 2.- С. 57-82.
    9. Фокин В.Ф., Пономарева Н.В. Динамические характеристики функциональной межполушарной асимметрии // Функциональная межполушарная асимметрия. Хрестоматия. Под ред. Боголепова Н.Н., Фокина В.Ф.- М. -Научный мир. – 2004.- С.349-368.
  9. Фокин В.Ф. Динамическая функциональная асимметрия как отражение функциональных состояний. //Асимметрия. 2007.- Том 1,- С.4-9.
  10. Bachorowski J.-A., Owren M.J. Sounds of Emotion. Production and Perception of Affect-Related Vocal Acoustics. // Ann. N.Y. Acad. Sci. — 2003.- 1000.- P. 244–265.
  11. Dinse H.R., Kalisch T., Ragert P., et al. Improving human haptic performance in normal and impaired human populations through unattended activation-based learning.// ACM Trans Appl Percept.- 2005.- V.2.- P. 71-88.
  12. Ethofer T., Bretscher J., Gschwind M., et al. Emotional voice areas: anatomic location, functional properties, and structural connections revealed by combined fMRI/DTI. // Cereb Cortex.- 2012.- V.22. — № 1. – P.191-200.
  13. Ethofer, T., Kreifelts, B., Wiethoff, S., et al. Differential influences of emotion, task, and novelty on brain regions underlying the processing of speech melody.//J. Cogn. Neurosci.- 2009. – V. 21. – P. 1255-1268.
  14. Fine I., Jacobs R.A. Comparing perceptual learning tasks: a review.// J. Vis.- 2002. — V. 2.- № 2.- P.90.
  15. Juslin P.N., Scherer K.R. Vocal expression of affect. The New Handbook of Methods in Nonverbal Behavior Research. Oxford: Oxford Univ. Press. 2005: P. 65-135.
  16. Mitchell R.L., Elliott R., Barry M., et al. The neural response to emotional prosody, as revealed by functional magnetic resonance imaging. //Neuropsychologia.- 2003.- V.41.- № 10. P. 1410-21.
  17. Moore D.R., Amitay S., Hawkey D.J. Auditory perceptual learning. //Cogn. Affect. Behav. Neurosci.- 2001. — V.1. — № 4.- P.394.
  18. Nahum M., Nelken I., Ahissar M. Stimulus uncertainty and perceptual learning: Similar principles govern auditory and visual learning. //Vision Research.- 2010.- V. 50.- № 4.- P. 391–401.
  19. Paulmann S., Kotz S. A. An ERP investigation on the temporal dynamics of emotional prosody and emotional semantics in pseudo- and lexical-sentence context.// Brain and Language.- 2008. – V.105. — P. 59–69.
  20. Pell M.D. Cerebral Mechanisms for Understanding Emotional Prosody in Speech // Brain and Language.- 2006.- V.96.- №2.- P.221-234.
  21. Sagi D. Perceptual learning in Vision Research. //Vision Research.- 2011.- V.51 P. 1552–1566.
  22. Schirmer, A., Kotz, S.A. Beyond the right hemisphere: Brain mechanisms mediating vocal emotional processing.// Trends Cogn. Sci. — 2006. – V.10.- P. 24–30.
  23. Voyer D., Bowes A., Soraggi M. Response procedure and laterality effects in emotion recognition: Implications for models of dichotic listening.// Neuropsychologia.- 2009.- V. 47. — № 1.- P. 23-29.
  24. Whiteside S.P. Acoustic characteristics of vocal emotions simulated by actors.// Percept. Motor Skills. — 1999.- V. 89.- P. 1195 -1208.
  25. Wiethoff, S., Wildgruber D., Kreifelts B., et al. Cerebral processing of emotional prosody—influence of acoustic parameters and arousal// Neuroimage.- 2008.- V.39. -№ 2.- P. 885-93.
Комментарии и пинги к записи запрещены.

Комментарии закрыты.

Дизайн: Polepin