SOME ASPECTS OF VISUAL-AUDITORY PERCEPTION OF ORAL SPEECH WHILE VIDEO AND SOUND RECORDINGS EXAMINATION

O. Brendel

doi:10.32353/khrife.1.2020_24

Abstract

A problematic issue that frequently arises in the examination of video and audio recordings, namely the question of visual and auditory perception of oral speech – the establishment of the content of a conversation based on its image (lip reading) – is considered. The article purpose is to analyze the possibility and feasibility of examining the visual-auditory perception of oral speech in the framework of the examination of video and sound recordings, considering the peculiarities of such research; the ability to use visual information either as an independent object of examination (lip reading), or as a supplementary, additional to auditory analysis of a particular message. The main components of the process of lip reading, the possibility of visual examination of visual and auditory information in order to establish the content of a conversation are considered. Attention is paid to the features of visual and auditory perception of oral speech, and the factors that contribute enormously to the informative nature of the overall picture of oral speech perception by an image are analyzed. The influence of the visual image on the speech perception by an image is considered, such as active articulation, facial expressions, head movement, position of teeth, gestures, etc. In addition to the quality of the image, the duration of the speech fragment also affects the perception of oral speech by the image: a fully uttered expression is usually read better than its individual parts. The article also draws attention to the ambiguity of articulatory images of sounds. The features of the McGurk effect – a perception phenomenon that demonstrates the interaction between hearing and vision while the perception of speech – are considered. The analysis of the possibility and feasibility of examining visual and auditory perception of oral speech within the framework of the examination of video and sound recordings is carried out, and the peculiarities of such research are highlighted.

Highlights

Досліджено проблемне питання, яке все частіше постає в експертизі відео, звукозапису, а саме: питання зорово-слухового сприйняття усного мовлення — визначення змісту розмови за її зображенням
Аналіз розглянутих аспектів зорово-слухового сприйняття усного мовлення свідчить про те, що підключення зорового аналізатора до слухового значно підвищує результати розпізнавання, порівняно з дослідженням звукової частини відеозапису окремо
Використовувати візуальну інформацію як самостійний об’єкт дослідження, на думку автора, недоцільно, оскільки кількість і якість текстового відтворення, здобутого шляхом читання з губ, не гарантують точності здобутого результату, тому що вони залежать від безлічі факторів, зокрема, навичок особи, яка трактує зображення (її суб’єктивного сприйняття), та можуть свідчити лише про тему розмови (здобути дослівне повне текстове відтворення неможливо)

Summary

Introduction

Досліджено проблемне питання, яке все частіше постає в експертизі відео-, звукозапису, а саме: питання зорово-слухового сприйняття усного мовлення — визначення змісту розмови за її зображенням (читання з губ). Метою статті є аналіз можливості та доцільність дослідження зорово-слухового сприйняття усного мовлення у межах проведення експертизи відео-, звукозапису, виокремлення особливостей такого дослідження. Розглянуто основні компоненти процесу читання з губ, можливості візуального дослідження зорово-слухової інформації з метою визначення змісту розмови.

Results

Conclusion