Perception of bimodal expressions of human emotional states: mechanisms of integration

• Published in: Èksperimentalʹnaâ psihologiâ Vol. 18; no. 2; pp. 7 - 33
• Main Author: Barabanschikov, V.A.
• Format: Journal Article
• Language: English
• Published: Moscow State University of Psychology and Education 10.08.2025
• ISSN: 2072-7593; 2311-7036; 2311-7036
• DOI: 10.17759/exppsy.2025180201

The patterns of perception of uni- and multimodal expressions of human affective states are studied. Objective: to search for functional mechanisms of cross-modal integration of vocal and facial forms of bimodal (voice + face) expressions. According to the hypothesis, the type of cross-modal relations in the perception of human affective states is determined by the content (category) of the target emotion. The features of perception of 14 unique and bimodal expressions of the same emotional states of actors-sitters were compared. The research was conducted on the platform of the Geneva Emotion Recognition Test - GERT. The experiment consisted of three series. In the first, the observers were presented with short audio videos of the affective states of the sitters, in the second - the same videos, but without sound, in the third - the intonation of the voice without a video image. Independent groups of subjects participated in each series: 72 women aged 22-27 ± 5.6. It was necessary to determine the emotional state of the sitter. The accuracy of identifications and the dynamics of the structure of categorical fields were analyzed. Five functional mechanisms of crossmodal integration have been identified, their correspondence to the content of emotions, valence and degree of arousal, as well as the structure of the categorical field. The phenomenon of coherence of unimodal expressions of the same affective content is described. The specifics of the organization of bimodal categorical fields are revealed. According to the results the process of cross-modal integration of unimodal states is not limited to the direct interaction of sensory systems, including visual and acoustic. The important thing is the subject (categorical) content and logic of combining diverse impressions about the human condition. Изучаются закономерности восприятия уни- и мультимодальных выражений аффективных состояний человека. Цель: поиск функциональных механизмов кроссмодальной интеграции голосовых и лицевых образующих бимодальных (голос + лицо) выражений. Согласно гипотезе, тип кроссмодальных отношений в восприятии аффективных состояний человека обусловлен содержанием (категорией) целевой эмоции. Сравнивались особенности восприятия 14 уни- и бимодальных выражений одних и тех же эмоциональных состояний актеров-натурщиков. Исследования проводились на платформе Женевского теста распознавания эмоций - GERT. Эксперимент состоял из трех серий. В первой наблюдателям предъявлялись короткие аудиовидеоролики аффективных состояний натурщиков, во второй - эти же видеоролики, но без звука, в третьей - интонации голоса без видеоизображения. В каждой серии участвовали независимые группы испытуемых: по 72 женщины в возрасте 22-27 ± 5,6 года. Требовалось определить эмоциональное состояние натурщика. Анализировались точность идентификаций и динамика структуры категориальных полей. Выявлены пять функциональных механизмов кроссмодальной интеграции, их соответствие содержанию эмоций, валентности и степени возбуждения, а также структуре категориального поля. Описан феномен когерентности унимодальных экспрессий одного и того же аффективного содержания. Раскрыта специфика организации бимодальных категориальных полей. Согласно полученным результатам, процесс кроссмодальной интеграции унимодальных состояний не ограничивается прямым взаимодействием сенсорных систем, в том числе зрительной и акустической. Важным является предметное (категориальное) содержание и логика объединения разномодальных впечатлений о состоянии человека.