Аудиовизуальная интеграция: эффект мак-гурка. Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? Иллюзия мак гурка

Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? (9 фото)

Аудиовизуальная интеграция: эффект мак-гурка. Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? Иллюзия мак гурка

Когда вы смотрите плохо дублированный иностранный фильм, то очень легко заметить, что звуки, которые вылетают из ртов актеров, не совпадают с движениями их губ.

Другими словами, даже когда наше зрение и слух стимулируются одновременно во время фильма, наш мозг должен выполнять действительно хорошую работу, обращая внимание на соответствие движения губ и звуков.

Что такое эффект Мак-Гурка

Но мозг также может быть введен в заблуждение. В интригующей иллюзии, известной как эффект Мак-Гурка, наблюдение за движениями губ человека может обманом заставить мозг услышать неправильный звук.

Эффект Мак-Гурка возникает, когда существует конфликт между зрительной речью, то есть движением чьего-либо рта и губ, и слуховой речью, представленной звуками, которые человек слышит. И это может привести к восприятию совершенно другого сообщения.

Исследование с помощью компьютерной модели

В новом исследовании неврологи из медицинского колледжа «Бэйлора» в Хьюстоне попытались предложить количественное объяснение причин эффекта Мак-Гурка. Они разработали компьютерную модель, которая была в состоянии точно предсказать, когда эффект Мак-Гурка должен или не должен произойти у людей, согласно результатам, опубликованным 16 февраля в журнале PLOS Computational Biology.

В демонстрации эффекта Мак-Гурка, используемого в исследовании, участнику предлагалось оставить глаза закрытыми во время прослушивания видео, которое показывает человека, производя его звуки «ба-ба-ба». Затем этого участника просили открыть глаза и внимательно посмотреть на рот человека в видео, но без звука.

Для участника визуальные эффекты выглядели так, как будто человек говорил «га-га-га». На последнем этапе эксперимента воспроизводилось то же самое видео, но на этот раз звук был включен, а участнику предложили его посмотреть.

Чувствительные к эффекту Мак-Гурка люди сообщали о том, что в третий раз они слышали звук «да-да-да», который не соответствовал ни слуховым, ни визуальным сигналам, замеченным ранее.

Так происходит потому, что мозг пытается решить, какой, по его мнению, звук ближе к тому, что он видит визуально. Когда участник снова закрывал глаза, и ученые воспроизводили звук видео, он снова слышал оригинальный звук «ба-ба-ба».

Эффект был впервые описан в эксперименте, проведенном в 1976 году психологами Гарри Мак-Гурком и Джоном Макдональдом. Он показал, что визуальная информация, предоставляемая движениями рта, может влиять и переопределять то, как думает человек, что он слышит.

Прогнозирование иллюзии

«Эффект Мак-Гурка – это мощная, мультисенсорная иллюзия, — сказал соавтор исследования Джон Магнотти, докторант в отделе нейрохирургии в «Бейлоре». — Мозг воспринимает слуховую и визуальную речь и объединяет их, чтобы сформировать что-то новое».

Когда люди общаются лицом к лицу, мозг занимается сложной деятельностью, поскольку он пытается решить, как совместить движения губ со звуками речи, которые слышит, отметил Магнотти.

В исследовании ученые пытались понять, почему мозг может лучше складывать некоторые слоги, чтобы интерпретировать звук, который был услышан правильно, а другие нет.

Причинно-следственный вывод

Чтобы понять это, их модель полагалась на идею, известную как причинно-следственный вывод, или процесс, при котором мозг человека решает, были ли звуковые и визуальные звуки речи произведены одним и тем же источником.

Другие исследователи разработали модели, чтобы помочь предсказать, когда может произойти эффект Мак-Гурка, но это новое исследование является первым, которое включает причинно-следственную связь в свое вычисление, отметил Магнотти.

Факторинг в причинном умозаключении, возможно, улучшил точность новой модели по сравнению с предыдущими, которые также должны были предсказывать иллюзии.

Чтобы проверить точность своей модели предсказания, исследователи набрали 60 участников и попросили их послушать пару слуховой и зрительной речи от одного оратора. Затем участников попросили решить, какой звук они слышали: «ба», «да» или «га».

Их результаты показали, что разработанная модель может достоверно предсказать, когда большинство участников эксперимента испытают эффект Мак-Гурка. Но, как и ожидалось в их расчете, были выявлены люди, которые оказались не восприимчивы к этому, поделился Магнотти.

Интересно отметить, что, когда этот же тест был проведен со студентами в Китае, а не в Соединенных Штатах, было доказано, что эффект Мак-Гурка работает на других языках.

Практическое применение использованных компьютерных моделей

Магнотти сказал, что, по его мнению, компьютерные модели, разработанные для этого исследования, могут также иметь практическое применение. Например, эта модель может быть полезна для компаний, которые создают компьютеры, помогающие распознавать речь, таких как Google Home или Amazon Echo.

Если бы у этих технологии были камеры, они могли бы интегрировать движение губ людей в то, что они говорят, чтобы повысить точность своих систем распознавания речи.

Модель также может помочь детям с кохлеарными имплантатами, улучшая понимание исследователями механизма, как визуальная речь влияет на то, что человек слышит, отметил Магнотти.

Источник: https://nlo-mir.ru/chudesa-nauki/50991-jeffekt-makgurka.html

Аудиовизуальная интеграция: эффект мак-гурка

Аудиовизуальная интеграция: эффект мак-гурка. Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? Иллюзия мак гурка

Уникальность речи заключается также и в том, что при типичной вербальной коммуникации слушатель воспринимает не только акустические звуковые сигналы, источником которых является говорящий, но и сопровождающую их мимику — движения его лица и губ. Иными словами, слушая собеседника, мы нередко видим его лицо, «формирующее» речевые звуки. Могут ли эти визуальные признаки влиять на восприятие речи? В какой мере восприятие речи зависит от того, видим мы лицо собеседника или нет?

Наиболее яркое доказательство того, что визуальные признаки влияют на восприятие речи, — эффект Мак-Гурка, который проявляется в том, что аудиальная и визуальная информация, которую несет в себе речь, взаимодействуют между собой и влияют на то, что мы слышим. Визуальная картина речи влияет на восприятие слушателя.

Проводя свое оригинальное исследование, Мак-Гурк и Мак-До- нальд создали такие условия, при которых аудиальные сигналы произносимого слога полностью не соответствовали (противоречили) сопутствовавшим им визуальным сигналам (McGurk & MacDonald, 1976; см. также Dodd, 1977).

В одном из экспериментов они демонстрировали испытуемым видеозапись женщины, многократно произносившей одними губами слогиga-ga, в то время как фонограмма воспроизводила слоги ba-ba. Когда испытуемые закрывали глаза и только слушали фонограмму, они точно распознавали слоги.

Более того, когда они видели только движения губ говорившей женщины, а фонограмма была выключена, они достаточно точно идентифицировали произносимые ею звуки как ga-ga (подтверждая тем самым, что при необходимости мы можем читать по губам и что, возможно, делаем это гораздо чаще, чем нам кажется).

Однако когда испытуемым одновременно предъявлялись противоречащие друг другу аудиальный и визуальный стимулы, они слышали звуки, которых не было ни в одном из них.

Например, когда испытуемые видели на экране женщину, артикуляция губ которой соответствовала слогам ga-ga, и одновременно звучал акустический сигнал ba-ba, большинство из них слышали совсем другой звук — da-da\ Интересная деталь: большинство испытуемых не осознали несоответствия аудиальной и визуальной стимуляций.

визуальной интеграции, по-видимому, присущ автоматизм, и эта ее особенность имеет общий характер.

Известно, что стойкое влияние визуальной стимуляции на восприятие звука проявляется даже при очевидном несоответствии пола человека, за артикуляцией губ которого наблюдают, звучащему голосу (Green et al., 1991).

Если испытуемые смотрели видеозапись мужчины, произносившего одними губами ga-ga, и слышали женский голос, говоривший ba-ba, они осознавали несоответствие сигналов, но это не мешало им воспринимать иллюзорную фонему da. Иными словами, влияние визуального стимула на восприятие сохранялось.

Визуальная картина ых усилий также может влиять на воспринимаемую громкость звуков.

Розенблюм и Фаулер (Rosenblum & Fowler, 1991) предъявляли испытуемым аудиовизуальное излбражение мужчины, произносившего разные слоги , но визуальный дисплей очевидных усилий, прикладываемых им при этом, не соответствовал интенсивности звуков, которые были слышны Например, испытуемые видели человека, произносившего слог с видимым усилием (что соответствует громкому звуку), но слышали тихо произнесенный слог. Даже несмотря на то, что экспериментаторы просили испытуемых судить о громкости звука только по тому, что они слышат, один лишь вид человека, произносящего слог с нескрываемым усилием, существенно увеличивал громкость воспринимаемого звука, и чем больше были ые усилия человека на экране, тем более громким казался звук испытуемым.

визуальная интеграция, проявлением которой является эффект Мак-Гурка, свидетельствует о том, что при определенных обстоятельствах восприятие речи зависит не только от акустических сигналов.

Установлено (с помощью такого метода визуализации мозга, как ФМРТ), что чтение по губам активирует те же ауди- альные центры мозга, которые активируются и при восприятии звучащей речи, и что механизмы активации аналогичны (Calvert et al., 1997).

Является ли само по себе существование интеграции таких признаков, как движения губ и звуки речи, доказательством уникальности речи? Возможно, нет. Во-первых, и люди, и животные проявляют склонность к аудиовизуальной интеграции и в тех случаях, когда имеют место неречевые звуки (Heffner & Heffner, 1992; Saldana & Rosenblum, 1993).

Сама по себе локализация звучащих объектов подвержена влиянию визуальной стимуляции. В известной мере то, что вы видите, помогает вам определить, откуда доносится звук. Более того, высокий уровень понимания речи может быть достигнут и без движения губ и прочих визуальных признаков.

Способность незрячих людей воспринимать речь и собственный опыт читателей, связанный с прослушиванием радиопередач, подтверждают справедливость этого утверждения. Однако аудиовизуальная интеграция бесспорно свидетельствует о том, что визуальная компонента речи в тех случаях, когда она доступна, становится дополнительным источником информации, сочетающимся со словами.

Это может быть очень полезно, и прежде всего в условиях повышенного шума, ибо уменьшается вероятность того, что говорящий будет превратно понят.

Сказанное прежде всего относится к ситуациям, когда одновременно звучат несколько сообщений: восприятие того из них, которое имеет к нам непосредственное отношение, значительно облегчается, если есть возможность наблюдать за движениями губ говорящего. Более того, при определенных условиях только выражение лица и жесты оратора способны донести до слушателей эмоциональное и когнитивное содержание его речи, которые не были бы восприняты ими, если бы они слышали одни слова (Iverson & Goldin- Meadow, 1998).

Обобщая все изложенное выше, можно сказать, что источники восприятия речи различны: это и частотые характеристики речевых звуков, и сопровождающая последние визуальная информация, и индивидуальные особенности самого слушателя.

На вопрос, который мы задали в самом начале главы: «Уникальна ли речь?», пока нет однозначного ответа.

Хотя у нас нет достаточных оснований утверждать, что речь является специфической формой аудиальной информации и потому требует специального механизма или модальности, подобная трактовка — соблазнительная гипотеза, и не исключено, что она соответствует действительности.

Прежде чем перейти к рассмотрению других вопросов, уместно высказать одно соображение общего характера. Из нашей краткой дискуссии читатель не мог не понять — мы это подчеркивали — всю тщетность попыток прийти к одному приемлемому и достаточно полному объяснению восприятия речи.

Не исключено восприятие речи, что, как и другие сложные формы деятельности и способности человека, базируется не на одном, а не нескольких механизмах.

В любом случае, не должно быть сомнений в том, что понимание восприятия речи далеко выходит за рамки простого анализа физических свойств речевых звуков и восприятия последних слухом.

Январь 24, 2019 Общая психология, психология личности, история психологии

Источник: https://psihologia.biz/psihologiya-psihologiya-obschaya_693/audiovizualnaya-integratsiya-effekt-mak-28635.html

Мед-Центр Здоровье
Добавить комментарий