Иллюзия мак гурка. Эффект Мак-Гурка: почему ваши глаза могут повлиять на то, что вы слышите? Применение в народной медицине

Иллюзия Аристотеля

Иллюзия Вебера

Холодные предметы кажутся тяжелее, чем теплые предметы того же веса.

Иллюзия звукового контраста

Звук одной и той же силы на фоне более тихих звуков кажется громче, чем на фоне более громких.

Иллюзия Луны

Иллюзия Мюллера-Шумана

После многократного поднимания тяжелого груза более легкий груз кажется легче, чем он есть в действительности и, наоборот, после поднимания легкого груза более тяжелый кажется еще тяжелее.

Иллюзия Шарпантье

Если поднимать два одинаковых по весу и внешнему виду, но различных по объему предмета, то меньший по размеру будет восприниматься человеком как более тяжелый.

Иллюзия Шепарда

При увеличении громкости, тон воспринимается как более высокий. Чтобы проверить на себе эту иллюзию, скачайте WAV-файл (56 Кб).

Эффект Бецольда-Брюке

Эффект заключается в изменении оттенка света при изменении его интенсивности. При увеличении интенсивности относительно длинноволнового света, такого, например, как жёлто-зелёный или жёлто-красный, он будет казаться не только более ярким, но и "более жёлтым". Точно также и коротковолновый свет, воспринимаемый как сине-зелёный и фиолетовый, при увеличении интенсивности начинает казаться синее.

Эффект Мак-Гурка

Этот эффект проявляется в том, что слуховая и зрительная информация, которую несёт в себе речь, взаимодействуют между собой и влияют на то, что мы слышим. Проводя своё оригинальное исследование, Мак-Гурк и Мак-Дональд создали такие условия, при которых слуховые сигналы произносимого слога не соответствовали соответствующим движениям губ (McGurk & MacDonald, 1976). Испытуемым предъявлалась видеозапись человека, многократно произносившего одними губами слоги ga-ga , в то время как фонограмма воспроизводила слоги ba-ba. Когда испытуемые закрывали глаза и только слушали фонограмму, они точно распознавали слоги. Более того, когда они видели только движения губ, говорившего человека, а фонограмма была выключена, они достаточно точно идентифицировали произносимые звуки как ga-ga (подтверждая тем самым, что при необходимости мы можем читать по губам и что, возможно, делаем это гораздо чаще, чем нам кажется). Однако когда испытуемым одновременно предъявлялись противоречащие друг другу слуховые и зрительные стимулы, они слышали звуки, которых не было ни в одном из них. Например, когда испытуемые видели на экране человека, артикуляция губ которого соответствовала слогам ga-ga , и одновременно звучал акустический сигнал ba-ba , большинство из них слышали совсем другой звук - da-da ! Интересная деталь: большинство испытуемых не осознали несоответствия слуховой и зрительной стимуляций.

Проверить на себе эффект Мак-Гурка можно, скачав видео-файл (147 Кб). (Для его просмотра необходим плейер QuickTime)

Эффект Пуркинье

Пуркинье в 1825 году заметил, что яркость голубых и красных дорожных знаков в разное время суток разная: днём обе краски одинаково яркие, а на закате голубая кажется более яркой, чем красная. При наступлении более глубоких сумерек цвета совсем блекнут и, вообще, начинают восприниматься в серых тонах. Красный цвет воспринимается как черный, а голубой как белый. Этот феномен связан с переходом от колбочкового зрения к палочковому при снижении освещенности.

Уникальность речи заключается также и в том, что при типичной вербальной коммуникации слушатель воспринимает не только акустические звуковые сигналы, источником которых является говорящий, но и сопровождающую их мимику - движения его лица и губ. Иными словами, слушая собеседника, мы нередко видим его лицо, «формирующее» речевые звуки. Могут ли эти визуальные признаки влиять на восприятие речи? В какой мере восприятие речи зависит от того, видим мы лицо собеседника или нет?

Наиболее яркое доказательство того, что визуальные признаки влияют на восприятие речи, - эффект Мак-Гурка, который проявляется в том, что аудиальная и визуальная информация, которую несет в себе речь, взаимодействуют между собой и влияют на то, что мы слышим. Визуальная картина речи влияет на восприятие слушателя. Проводя свое оригинальное исследование, Мак-Гурк и Мак-До- нальд создали такие условия, при которых аудиальные сигналы произносимого слога полностью не соответствовали (противоречили) сопутствовавшим им визуальным сигналам (McGurk & MacDonald, 1976; см. также Dodd, 1977). В одном из экспериментов они демонстрировали испытуемым видеозапись женщины, многократно произносившей одними губами слогиga-ga, в то время как фонограмма воспроизводила слоги ba-ba. Когда испытуемые закрывали глаза и только слушали фонограмму, они точно распознавали слоги. Более того, когда они видели только движения губ говорившей женщины, а фонограмма была выключена, они достаточно точно идентифицировали произносимые ею звуки как ga-ga (подтверждая тем самым, что при необходимости мы можем читать по губам и что, возможно, делаем это гораздо чаще, чем нам кажется). Однако когда испытуемым одновременно предъявлялись противоречащие друг другу аудиальный и визуальный стимулы, они слышали звуки, которых не было ни в одном из них. Например, когда испытуемые видели на экране женщину, артикуляция губ которой соответствовала слогам ga-ga, и одновременно звучал акустический сигнал ba-ba, большинство из них слышали совсем другой звук - da-da\ Интересная деталь: большинство испытуемых не осознали несоответствия аудиальной и визуальной стимуляций.

Аудиовизуальной интеграции, по-видимому, присущ автоматизм, и эта ее особенность имеет общий характер. Известно, что стойкое влияние визуальной стимуляции на восприятие звука проявляется даже при очевидном несоответствии пола человека, за артикуляцией губ которого наблюдают, звучащему голосу (Green et al., 1991). Если испытуемые смотрели видеозапись мужчины, произносившего одними губами ga-ga, и слышали женский голос, говоривший ba-ba, они осознавали несоответствие сигналов, но это не мешало им воспринимать иллюзорную фонему da. Иными словами, влияние визуального стимула на восприятие сохранялось.

Визуальная картина голосовых усилий также может влиять на воспринимаемую громкость звуков. Розенблюм и Фаулер (Rosenblum & Fowler, 1991) предъявляли испытуемым аудиовизуальное излбражение мужчины, произносившего разные слоги, но визуальный дисплей очевидных усилий, прикладываемых им при этом, не соответствовал интенсивности звуков, которые были слышны Например, испытуемые видели человека, произносившего слог с видимым усилием (что соответствует громкому звуку), но слышали тихо произнесенный слог. Даже несмотря на то, что экспериментаторы просили испытуемых судить о громкости звука только по тому, что они слышат, один лишь вид человека, произносящего слог с нескрываемым усилием, существенно увеличивал громкость воспринимаемого звука, и чем больше были голосовые усилия человека на экране, тем более громким казался звук испытуемым.

Аудиовизуальная интеграция, проявлением которой является эффект Мак-Гурка, свидетельствует о том, что при определенных обстоятельствах восприятие речи зависит не только от акустических сигналов.

Установлено (с помощью такого метода визуализации мозга, как ФМРТ), что чтение по губам активирует те же ауди- альные центры мозга, которые активируются и при восприятии звучащей речи, и что механизмы активации аналогичны (Calvert et al., 1997). Является ли само по себе существование интеграции таких признаков, как движения губ и звуки речи, доказательством уникальности речи? Возможно, нет. Во-первых, и люди, и животные проявляют склонность к аудиовизуальной интеграции и в тех случаях, когда имеют место неречевые звуки (Heffner & Heffner, 1992; Saldana & Rosenblum, 1993). Сама по себе локализация звучащих объектов подвержена влиянию визуальной стимуляции. В известной мере то, что вы видите, помогает вам определить, откуда доносится звук. Более того, высокий уровень понимания речи может быть достигнут и без движения губ и прочих визуальных признаков. Способность незрячих людей воспринимать речь и собственный опыт читателей, связанный с прослушиванием радиопередач, подтверждают справедливость этого утверждения. Однако аудиовизуальная интеграция бесспорно свидетельствует о том, что визуальная компонента речи в тех случаях, когда она доступна, становится дополнительным источником информации, сочетающимся со словами. Это может быть очень полезно, и прежде всего в условиях повышенного шума, ибо уменьшается вероятность того, что говорящий будет превратно понят. Сказанное прежде всего относится к ситуациям, когда одновременно звучат несколько сообщений: восприятие того из них, которое имеет к нам непосредственное отношение, значительно облегчается, если есть возможность наблюдать за движениями губ говорящего. Более того, при определенных условиях только выражение лица и жесты оратора способны донести до слушателей эмоциональное и когнитивное содержание его речи, которые не были бы восприняты ими, если бы они слышали одни слова (Iverson & Goldin- Meadow, 1998).

Обобщая все изложенное выше, можно сказать, что источники восприятия речи различны: это и частотые характеристики речевых звуков, и сопровождающая последние визуальная информация, и индивидуальные особенности самого слушателя. На вопрос, который мы задали в самом начале главы: «Уникальна ли речь?», пока нет однозначного ответа. Хотя у нас нет достаточных оснований утверждать, что речь является специфической формой аудиальной информации и потому требует специального механизма или модальности, подобная трактовка - соблазнительная гипотеза, и не исключено, что она соответствует действительности.

Прежде чем перейти к рассмотрению других вопросов, уместно высказать одно соображение общего характера. Из нашей краткой дискуссии читатель не мог не понять - мы это подчеркивали - всю тщетность попыток прийти к одному приемлемому и достаточно полному объяснению восприятия речи. Не исключено восприятие речи, что, как и другие сложные формы деятельности и способности человека, базируется не на одном, а не нескольких механизмах. В любом случае, не должно быть сомнений в том, что понимание восприятия речи далеко выходит за рамки простого анализа физических свойств речевых звуков и восприятия последних слухом.

Когда вы смотрите плохо дублированный иностранный фильм, то очень легко заметить, что звуки, которые вылетают из ртов актеров, не совпадают с движениями их губ.

Другими словами, даже когда наше зрение и слух стимулируются одновременно во время фильма, наш мозг должен выполнять действительно хорошую работу, обращая внимание на соответствие движения губ и звуков.

Что такое эффект Мак-Гурка

Но мозг также может быть введен в заблуждение. В интригующей иллюзии, известной как эффект Мак-Гурка, наблюдение за движениями губ человека может обманом заставить мозг услышать неправильный звук.

Эффект Мак-Гурка возникает, когда существует конфликт между зрительной речью, то есть движением чьего-либо рта и губ, и слуховой речью, представленной звуками, которые человек слышит. И это может привести к восприятию совершенно другого сообщения.

Исследование с помощью компьютерной модели

В новом исследовании неврологи из медицинского колледжа «Бэйлора» в Хьюстоне попытались предложить количественное объяснение причин эффекта Мак-Гурка. Они разработали компьютерную модель, которая была в состоянии точно предсказать, когда эффект Мак-Гурка должен или не должен произойти у людей, согласно результатам, опубликованным 16 февраля в журнале PLOS Computational Biology.

В демонстрации эффекта Мак-Гурка, используемого в исследовании, участнику предлагалось оставить глаза закрытыми во время прослушивания видео, которое показывает человека, производя его звуки «ба-ба-ба». Затем этого участника просили открыть глаза и внимательно посмотреть на рот человека в видео, но без звука. Для участника визуальные эффекты выглядели так, как будто человек говорил «га-га-га». На последнем этапе эксперимента воспроизводилось то же самое видео, но на этот раз звук был включен, а участнику предложили его посмотреть. Чувствительные к эффекту Мак-Гурка люди сообщали о том, что в третий раз они слышали звук «да-да-да», который не соответствовал ни слуховым, ни визуальным сигналам, замеченным ранее.

Так происходит потому, что мозг пытается решить, какой, по его мнению, звук ближе к тому, что он видит визуально. Когда участник снова закрывал глаза, и ученые воспроизводили звук видео, он снова слышал оригинальный звук «ба-ба-ба».

Эффект был впервые описан в эксперименте, проведенном в 1976 году психологами Гарри Мак-Гурком и Джоном Макдональдом. Он показал, что визуальная информация, предоставляемая движениями рта, может влиять и переопределять то, как думает человек, что он слышит.

Прогнозирование иллюзии

«Эффект Мак-Гурка - это мощная, мультисенсорная иллюзия, - сказал соавтор исследования Джон Магнотти, докторант в отделе нейрохирургии в «Бейлоре». - Мозг воспринимает слуховую и визуальную речь и объединяет их, чтобы сформировать что-то новое».

Когда люди общаются лицом к лицу, мозг занимается сложной деятельностью, поскольку он пытается решить, как совместить движения губ со звуками речи, которые слышит, отметил Магнотти.

В исследовании ученые пытались понять, почему мозг может лучше складывать некоторые слоги, чтобы интерпретировать звук, который был услышан правильно, а другие нет.

Причинно-следственный вывод

Чтобы понять это, их модель полагалась на идею, известную как причинно-следственный вывод, или процесс, при котором мозг человека решает, были ли звуковые и визуальные звуки речи произведены одним и тем же источником. Другие исследователи разработали модели, чтобы помочь предсказать, когда может произойти эффект Мак-Гурка, но это новое исследование является первым, которое включает причинно-следственную связь в свое вычисление, отметил Магнотти. Факторинг в причинном умозаключении, возможно, улучшил точность новой модели по сравнению с предыдущими, которые также должны были предсказывать иллюзии.

Чтобы проверить точность своей модели предсказания, исследователи набрали 60 участников и попросили их послушать пару слуховой и зрительной речи от одного оратора. Затем участников попросили решить, какой звук они слышали: «ба», «да» или «га».

Их результаты показали, что разработанная модель может достоверно предсказать, когда большинство участников эксперимента испытают эффект Мак-Гурка. Но, как и ожидалось в их расчете, были выявлены люди, которые оказались не восприимчивы к этому, поделился Магнотти.

Интересно отметить, что, когда этот же тест был проведен со студентами в Китае, а не в Соединенных Штатах, было доказано, что эффект Мак-Гурка работает на других языках.

Практическое применение использованных компьютерных моделей

Магнотти сказал, что, по его мнению, компьютерные модели, разработанные для этого исследования, могут также иметь практическое применение. Например, эта модель может быть полезна для компаний, которые создают компьютеры, помогающие распознавать речь, таких как Google Home или Amazon Echo.

Если бы у этих технологии были камеры, они могли бы интегрировать движение губ людей в то, что они говорят, чтобы повысить точность своих систем распознавания речи.

Модель также может помочь детям с кохлеарными имплантатами, улучшая понимание исследователями механизма, как визуальная речь влияет на то, что человек слышит, отметил Магнотти.

Который демонстрирует взаимодействие между слухом и зрением в восприятии речи. Он предполагает, что восприятие речи мультимодально, то есть вовлекает информацию сразу из нескольких органов чувств . Эффект Мак-Гурка также иногда называют эффектом Мак-Гурка - Мак-Дональда . Впервые он был описан Мак-Гурком и Мак-Дональдом в 1976 году.

Этот эффект может быть испытан при просмотре видеоролика с видеорядом с одной фонемой и звуковой дорожкой с произношением другой фонемы. Часто воспринятая фонема является третьей, средней между этими двумя. Для примера, в оригинальном эксперименте Мак-Гурка испытуемым показывали видеозапись человека, многократно произносившего одними губами слоги ga-ga, в то время как фонограмма воспроизводила слоги ba-ba. Когда испытуемые закрывали глаза и только слушали фонограмму, они точно распознавали слоги. Более того, когда они видели только движения губ, говорившего человека, а фонограмма была выключена, они достаточно точно идентифицировали произносимые звуки как ga-ga (подтверждая тем самым, что при необходимости мы можем читать по губам и что, возможно, делаем это гораздо чаще, чем нам кажется). Однако когда испытуемым одновременно предъявлялись противоречащие друг другу слуховые и зрительные стимулы, они слышали звуки, которых не было ни в одном из них. Например, когда испытуемые видели на экране человека, артикуляция губ которого соответствовала слогам ga-ga, и одновременно звучал акустический сигнал ba-ba, большинство из них слышали совсем другой звук - da-da, при этом большинство испытуемых не осознали несоответствия слуховой и зрительной стимуляций. Последующие эксперименты показали, что подобный эффект наблюдается и при проведении экспериментов с целыми предложениями. Эффект очень устойчивый, и знание о нём почти не влияет на его восприятие, что отлично от некоторых оптических иллюзий , которые разрушаются при тщательном изучении.

Изучение эффекта Мак-Гурка используется для создания более точных программ распознавания речи с применением видео-камеры и читающего по губампрограммного обеспечения . Исследование Вейрэма и Райта 2005 года показало, что эффект Мак-Гурка может иметь большое влияние на повседневное восприятие.

Можно испытать на себе эффект Мак-Гурка.

Ссылки

• McGurk, Harry; MacDonald, John (1976); Hearing lips and seeing voices, Nature , Vol. 264(5588), pp. 746-748.
• Wright, Daniel; Wareham, Gary (2005); Mixing sound and vision: The interaction of auditory and visual information for earwitnesses of a crime scene, Legal and Criminological Psychology , Vol. 10(1), pp. 103-108.