Иллюзия, которая существует только в мозге, эта модель ИИ «рисует» его

Первоисточник: Продолжение NextQuestion

Источник изображения: Generated by Unbounded AI

Когда мы видим два набора линейных решеток рядом друг с другом, слегка смещенных друг относительно друга, кажется, что в нашем сознании появляется линия, которой на самом деле не существует. Эта линия, по-видимому, изгибается и простирается между двумя наборами реальных линий (рис. 1C).

Рисунок 1: Вариант галлюцинаций в шахматном порядке. А: Вазарели (1970), Б: Зебры Вазарели (1939), В: Классическая иллюзия ступенчатой решетки. Источник: Vasarely*

Такое простое расположение может создать удивительный визуальный эффект, который мы называем иллюзией примыкающей решетки. Что еще более интересно, когда количество этих линий увеличивается, наше восприятие галлюцинаций также становится сильнее.

Также интересны две иллюзии рассеивания неона:

Иллюзия Эренштейна и иллюзия Валлина. В галлюцинации Эренштейна набор радиальных линий тянется наружу. Направление линии наружу темное, в то время как часть, которая собирается к центру, светлая. Если сфокусировать взгляд на центре линии, то светлая часть интерьера как бы растекается по окружающей темной области, образуя полупрозрачный круг.

Галлюцинация Эренштейна, при которой прямолинейный узор решетки, который останавливается в определенной точке, выглядит ярче в центре, чем на заднем плане, создавая иллюзию круга. Источник: Википедия

Иллюзия Валлина состояла из кругов по четырем углам, одна часть каждого круга была более светлого цвета, а другая — черной. Когда мы смотрим на эти круги, кажется, что светлые части диффундируют к центру, в конечном итоге образуя полупрозрачный квадрат.

Рисунок 3: Галлюцинация Валина, когда более светлая или темная часть центра распространяется к центру, в конечном итоге образуя полупрозрачный квадрат. Источник: Perception

Алгоритм восприятия виртуального контура

Ученые предложили множество теорий, объясняющих алгоритмический механизм восприятия виртуальных контуров, запускаемый этими галлюцинациями.

Некоторые школы считают, что именно боковое подавление цвета усиливает контраст и заставляет людей воспринимать виртуальные линии. Например, когда нейрон возбуждается яркостью, он подавляет нейроны в более темных областях вокруг него, из-за чего светлые области кажутся ярче, а темные — темнее. Мозг может неверно интерпретировать усиление контраста как четкий контур и линию[1] [2]。 Другая теория предполагает, что это может быть связано с более высокими функциями мозга, такими как пополнение мозга через знания и память. Когда наш мозг сравнивает изображения, которые мы видим, с прошлыми представлениями, он может почувствовать, что каких-то элементов не хватает, поэтому он автоматически «дополняет» эти недостающие части, формируя восприятие виртуальных очертаний [3]。 Существует также множество теорий, например, о том, что нервные сотрясения могут объединять фрагментированные черты, чтобы сформировать восприятие особенностей, которых нет [4]Корковый фактор увеличения тщательно обрабатывает центральное поле зрения и, таким образом, преувеличивает характеристики определенных стимулов, например …

Латеральное ингибирование :* консервативный сигнальный механизм сопоставления, который приводит к формированию множества тонких паттернов, таких как пятна и полосатые границы, в первоначально почти однородных тканях во время развития большинства организмов (Ref. 9)

Что касается нейрофизиологического механизма восприятия виртуального контура, то, несмотря на то, что ученые провели немало исследований, до сих пор существует много споров. Одна из конкурирующих моделей предполагает, что этот нейрофизиологический механизм происходит в нижней зрительной коре (V1/V2), а затем воздействует на высшую кору снизу вверх, в то время как другая предполагает, что этот процесс сначала локализуется в верхней коре, в первую очередь в латеральной затылочной коре (LOC), а затем воздействует на V1/V2 сверху вниз[5] 。

Что касается иллюзии диффузии неонового цвета, некоторые исследования показывают, что V3 и V4 оказывают значительное влияние на явления цветного заполнения, связанные с формой[6] [7]; В то же время, есть некоторые исследования, которые предполагают, что корковая активность, связанная с цветом в результате краеиндуцированного заполнения или однородной цветности поверхности, связана с комплементарными паттернами активности в дорсальном (V3A и V3B/KO) и вентральном зрительном потоке (V3v, hV4 и LO). (Рисунок 4).

Рисунок 4: Различные функциональные области и проводящие пути в зрительной коре. Источник: Ссылка 7.

Хотя эти теории дают некоторое объяснение алгоритмическим и физиологическим механизмам галлюцинаций, до сих пор неясно, как эти зрительные галлюцинации представлены в сознании, и кажется невозможным проверить их.

Когда мы видим галлюцинации, действительно ли мы их «видим»?

Можем ли мы быть уверены в том, что используем «галлюцинации» для характеристики стимулов, вызывающих галлюцинации?

Реконструкция галлюцинаторных образов

В недавней статье, опубликованной в журнале Science Advances, были протестированы два типа зрительных галлюцинаций, упомянутых выше, и успешно реконструированы изображения линий и цветов, соответствующие галлюцинаторному опыту, демонстрируя эффективность модели в материализации субъективных переживаний[8] 。

▷Рисунок 1: Титульный лист статьи. Источник: Номер 8

В ходе эксперимента исследователи попросили 7 испытуемых просмотреть три или более изображений зрительных галлюцинаций и соответствующие им контрольные изображения и позитивные контрольные изображения. **Для каждой иллюзии изменена контрольная картинка. Например, контрольное изображение иллюзии чередующегося растра значительно уменьшает плотность забора, контрольное изображение галлюцинации Эренштейна, в котором конец линии, первоначально вызвавшей галлюцинацию, светлее, в то время как положительное контрольное изображение изменяет сияющий центр линии на светлый круг, а контрольное изображение галлюцинации Валлина удаляет черную часть галлюцинаторного стимула (исходный визуальный стимул), в то время как положительное контрольное изображение изменяет центральную часть на более светлый квадрат (подробнее см. рис. 5).

Изображения мигали с частотой 0,625 Гц в течение 8 секунд каждое и повторялись по 20 раз. На протяжении всего эксперимента функциональная магнитно-резонансная томография (фМРТ) использовалась для записи активности мозга по мере того, как участники смотрели изображения.

Левый столбец рисунка А - стимул, вызывающий галлюцинацию, а правый столбец рисунка А - контрольный стимул, соответствующий стимулу, вызывающему галлюцинацию. Первая строка рисунка А — это галлюцинация в шахматном порядке, вторая строка рисунка А — галлюцинация Эренштейна, а третья строка рисунка А — галлюцинация Валлина. На рисунке B показан процесс обучения DNN с использованием естественных изображений. На рисунке С показана активность мозга, показанная в данных фМРТ при декодировании ДНК в качестве признаков стимула, а также процесс, с помощью которого генератор генерирует картину на основе результатов декодирования ДНК. Источник: Наука

Затем собранные исследователями данные мозга с помощью фМРТ были переданы в обученную глубокую нейронную сеть (DNN) для расшифровки. Этот DNN является вариантом AlexNet, модели BAIR/BVLC CaffeNet, разработанной Алексом Крижевским, директором Open AI. Это сверточная нейронная сеть, использующая алгоритм прямого распространения, которая была предварительно обучена для классификации 1000 объектов в базе данных изображений ImageNet.

** Результаты показали, что образы, реконструированные по мысленным представлениям галлюцинаторных стимулов, проявляли галлюцинаторные свойства. В противоположность этому, образы, реконструированные непосредственно по природе самого стимула, не проявляют галлюцинаторных свойств. Это также показывает, что природа галлюцинации, реконструируемая из ментальной репрезентации, конструируется не природой и обработкой ДНК, а природой самой ментальной репрезентации (см. рис.

Рисунок 6: Крайний левый столбец представляет собой картинку стимула. Второй столбец слева представляет собой картинку DNN, реконструированную по данным самого изображения стимула в крайнем левом столбце. На рисунках 3-6 показаны мысленные репрезентации, реконструированные на основе мозговой активности, порожденной крайним левым стимульным изображением Субъекта 1. На рисунках 7-10 показаны мысленные репрезентации, реконструированные на основе мозговой активности, генерируемой крайними левыми стимульными образами двух пар. Строки 1-3 на рисунке 1-3 представляют собой изображения иллюзии шахматной решетки. Первый ряд посвящен иллюзии шахматной решетки двух колонн решеток, расположенных под углом 90 градусов, второй ряд — иллюзии шахматной решетки двух колонн решетки, расположенных вдоль 45 градусов, а третий ряд — управлению иллюзией решетки в шахматном порядке. Строки 4-7 — это все изображения галлюцинаций Эренштейна. Четвертая и шестая строки посвящены галлюцинации Эренштейна, в четвертой — 8 струн, а в шестой — 4 строки. Строки 5 и 7 посвящены контролю галлюцинаций Эренштейна, причем в пяти строках по 8 строк, а в семи — 4. Строки 8-9 на рисунке 8-9 представляют собой изображения галлюцинаций Валлина. Восьмой акт — галлюцинация Валлина, а девятый — контролирующий. Источник: Наука

** Исследование уникально тем, что изображения расшифровываются из данных из всей зрительной коры, записанных на фМРТ, и что реконструированные ментальные репрезентации, как правило, демонстрируют черты, которые являются более галлюцинаторными по своей природе, чем сам стимул. **

В случае чересстрочных растровых галлюцинаций иллюзорная линия в галлюцинаторном стимуле оказывается гораздо более выраженной, чем линии, покрытые любым стимулом, в то время как ментальные репрезентации, реконструированные из контрольного стимула, не указывают на это; в случае галлюцинаций с диффузией неоновых цветов в галлюцинации Эренштейна доля цветовой диффузии значительно больше, чем в контрольной части; в галлюцинации Валлина, хотя контрольный стимул все еще показывает очертания формы диффузии, часть цветовой диффузии все же значительно больше, чем в контрольной части. Более того, управление самим стимулом предназначено только для того, чтобы подавлять диффузию цвета, а не контура формы, поэтому в случае галлюцинации Валлина галлюцинаторное свойство сильнее, чем стимул в ментальном представлении, и это свойство остается в силе.

Количественная оценка иллюзии реконструкции

Интенсивность галлюцинаций не только отражается в реконструированных изображениях, но и может быть количественно оценена с помощью ряда методов. В данной работе представлен подробный количественный анализ интенсивности галлюцинаций в ментальных репрезентациях, продуцируемых галлюцинациями в шахматном порядке и галлюцинаторными стимулами неоновой диффузии.

Исследователи использовали преобразование радона для анализа галлюцинаторных свойств иллюзии шахматной решетки, то есть интенсивности виртуальных линий между решетками. ** Как широко используемый метод анализа рентгенографических данных, преобразование Ладонга может математически реконструировать форму исходного объекта по интегральным значениям (например, плотности, массе и т. д.), полученным путем проецирования объекта со всех направлений, при этом может быть известно только боковое описание. **

В данном исследовании к анализу изображений применено преобразование Ладонга, а основное направление распределения линий в реконструированном графе получено путем суммирования «значений пикселей», полученных при проецировании изображения со всех направлений. Эксперименты показали, что при всех данных о зрительной коре на фМРТ преобладающие направления на реконструированных изображениях демонстрируют бимодальное распределение, при котором около 61,1% преобладающих направлений находятся ближе к преобладающему направлению галлюцинации, чем к визуально индуцированному направлению.

Из графика видно, что вертикальные абсолютные значения в бимодальном распределении в главном направлении реконструируемого изображения выше и более кластеризованы, чем в поперечных абсолютных значениях. По мере уменьшения числа решеток (линий) в галлюцинаторных стимулах вертикальная абсолютная величина начинает уменьшаться относительно поперечной абсолютной величины в пределах бимодального распределения главного направления в реконструированном образе стимула мысленным представлением, а поперечная абсолютная величина значительно превышает вертикальную абсолютную величину в контрольном стимуле. ** Этот результат подтверждает теорию о том, что уменьшение количества решеток (линий) снижает степень галлюцинаций. **

При этом основное направление области галлюцинаторной концентрации близко к основному направлению реконструированного образа, в то время как основное направление негаллюцинаторной области (области, где в основном сосредоточена зрительная индукция) не близко к основному направлению реконструированного образа. Это доказывает, что область, в которой расположены галлюцинации на реконструированном изображении, находится между двумя наборами решеток, как это воспринимается (см. рис. 7B, C, D, E).

Рисунок 7: Рисунок А иллюстрирует процесс преобразования Ладонга. На рисунке Б видно, что 61,1% основных направлений реконструированной картины находятся ближе к основному направлению галлюцинаций относительно индуцированного основного направления. На рисунке С показано, что основное направление стимульной оценки значительно ближе к основному направлению индукции. На рисунке D видно, что чем меньше количество линий, тем ближе основное направление рисунка к основному направлению побуждения. На рисунке E показано, что основное направление области галлюцинаторной концентрации также близко к основному направлению реконструированного образа На рисунке F показано ментальное представление, реконструированное по данным, извлеченным из различных областей зрительной коры, причем V1-V3 является более галлюцинаторным. Источник: Наука

Исследователи также использовали линейную регрессию для анализа галлюцинаторной природы галлюцинаций Эренштейна и Валлина, то есть степени, в которой цвет диффундирует наружу (образуя полупрозрачную плоскость) от линий, заданных стимулом. Они построили «карту красноты», основанную на значениях RGB пикселей в каждом изображении, соответственно, для реконструированных изображений галлюцинаторных ментальных репрезентаций, контрольных ментальных репрезентаций и позитивных контрольных ментальных репрезентаций, а также для стимульных образов и ожидаемых субъективных галлюцинаторных образов.

Затем исследователи попытались сопоставить карту покраснения ментальной репрезентации с картой покраснения стимула и ожидаемой субъективной галлюцинации. Ожидаемые субъективные галлюцинации и стимулы имеют соответствующий коэффициент (β1 и β2), и эти коэффициенты представляют их соответствующие веса в реконструированных ментальных репрезентациях. То есть, чем больше частей, реконструирующих красную часть мысленного представления, тем больше коэффициент β1. Это связано с тем, что только субъективные галлюцинации, которые являются более красными в момент восприятия, имеют большую долю субъективных галлюцинаций, из-за которых ментальные представления кажутся более красными (см. рис. 8C, D, G, F).

Результаты линейной регрессии показали, что на основании всех данных о зрительной коре головного мозга фМРТ коэффициенты субъективных галлюцинаций обоих стимулов, вызвавших диффузные галлюцинации неонового цвета, были больше, чем у контрольного стимула, и меньше, чем у положительного контрольного стимула. Однако субъективный галлюцинаторный коэффициент галлюцинации Уоллинга, хотя и был больше, чем у контроля, был значительно меньше, чем у галлюцинации Эренштейна (см. рис. 8E, F, I, J).

Рисунок 8: Рисунок А иллюстрирует галлюцинацию Эренштейна с ее контролем и положительным контролем в различных областях зрительной коры. На рисунке Б показана галлюцинация Валлина, репрезентация ее контроля и позитивного контроля в различных областях зрительной коры. На панели C показано, как рассчитывается линейная регрессия, сравнивая галлюцинации Эренштейна и график покраснения под их контролем. На панели D показано, как рассчитывается линейная регрессия контрастных галлюцинаций Валлина и карты покраснения, которую они контролируют. На панели Е показана доля галлюцинаторных свойств галлюцинаций Эренштейна по отношению к свойствам контрольных галлюцинаций в каждой области зрительной коры. На рисунке F показана пропорция галлюцинаторных свойств Валлина по отношению к контрольным галлюцинаторным свойствам в различных областях зрительной коры. На рисунке G показано, как рассчитывается линейная регрессия для сравнения галлюциента Эренштейна с его положительно контролируемым графиком покраснения. На панели H показано, как рассчитывается линейная регрессия контрастных галлюцинаций Валлина и их положительно контролируемых графиков покраснения. На рисунке I показана доля галлюцинаторных свойств галлюцинаций Эренштейна в каждой области зрительной коры по отношению к галлюцинаторным свойствам положительного контроля. На рисунке J показана доля галлюцинаторных свойств Валлина в каждой области зрительной коры по отношению к галлюцинаторным свойствам положительного контроля. Источник: Наука

Область зрения, соответствующая галлюцинации

Исследователи не только реконструировали мысленную репрезентацию галлюцинаций во всей зрительной коре, но и реконструировали психологические представления галлюцинаций в каждой конкретной зрительной области коры.

Эти зрительные области расположены по порядку от среднего и нисходящего звена до верхних отделов зрительного пути (от первичного к высшему функционированию), включая первичную зрительную кору (V1), вторичную зрительную кору (V2), третичную зрительную кору (V3), четвертичную зрительную кору (V4), латеральный комплекс затылочных долей (LOC), веретенообразную извилина (FFA) и парагиппокампальную область (PPA).

Рисунок 4: Диаграмма различных функциональных областей и путей в зрительной коре. Источник: Ссылка 7.

После извлечения данных фМРТ из различных областей зрительной коры и расшифровки и реконструкции ментальных репрезентаций соответственно, исследователи обнаружили, что для галлюцинаций в шахматном порядке галлюцинаторные свойства в основном отражались в V1-V3 только по изображениям, а галлюцинаторные свойства и стимулы в областях V4 и выше были неясны. После количественной оценки основных направлений реконструкции изображения в каждой области, исследователи обнаружили, что галлюцинаторная природа достигает пика между V2 и V4 во всей области изображения и достигает пика между V1 и V3 в области галлюцинаторной концентрации. Эти результаты свидетельствуют о том, что характеристика линий в основном сосредоточена на ранней зрительной области (рис. 7F).

При работе с галлюцинациями диффузии неонового цвета зрительная кора использует различные стратегии. Исследование показало, что галлюцинаторная природа галлюцинаций Эренштейна была значимо отражена в каждой области зрительной коры, что согласуется с представлением неоновой природы положительно контролирующего стимула в каждой области зрительной коры, в то время как галлюцинаторная природа галлюцинации Уоллинга была значимо отражена только в области зрительной коры на V4 и выше, в то время как неоновая природа положительно контролирующего стимула также была значительно отражена в V2 и V3. В сочетании с результатами того, что коэффициент субъективной галлюцинации галлюцинации Валлина был меньше, чем у субъективной галлюцинации галлюцинации Эренштейна, это указывает на то, что даже если природа галлюцинаций одинакова, различные настройки индукции будут вызывать разные методы обработки информации в зрительной коре. **

Когда мы сталкиваемся со зрительными галлюцинациями, является ли это нисходящим влиянием первичной зрительной коры сверху вниз, идущей от высших областей вниз, чтобы построить галлюцинации, или это вызвано тем, что первичная зрительная кора снизу вверх воздействует на высшие области? Несмотря на то, что в этой статье представлены только предсказанные в предыдущих теориях представления с другой точки зрения, вместо того, чтобы пытаться построить причинно-следственную связь между активностью мозга и природой галлюцинаций, ее яркое изложение все же дает нам некоторые подсказки о том, как субъективный опыт активен в мозге.

Очевидно, что мы не можем просто использовать одну область мозга для реконструкции всего галлюцинаторного опыта, и все индуцированные сигналы будут оказывать влияние на механизм одного и того же галлюцинаторного опыта. Представляется, что для понимания сложного механизма галлюцинаций необходима более полная теоретическая база.

В следующий раз, когда вы увидите эти ослепительные галлюцинаторные образы, вы можете подумать о галлюцинациях, построенных этими моделями, о замечательном соревновании «продвинутый против начинающего», которое может разыгрываться в вашем мозгу, а затем улыбнуться и удивиться чуду познания.

Ссылки:

[1] . Эллиотт, С. Л., и Шевелл, С. К. (2013). «Воспринимаемая сегментация центра от окружающего только иллюзорными контурами вызывает хроматическое боковое торможение». Это исследование предполагает, что иллюзорные контуры могут вызывать пространственный антагонизм между центром и окружающим пространством, чтобы изменить внешний вид цвета, указывая на кортикальный нейронный локус для латерального торможения

[2] . Пак А., Рю Э., Ли С., Чубыкин А.А. Обратная связь сверху вниз контролирует представление коры иллюзорных контуров в первичной зрительной коре мыши. J Neurosci. 15 января 2020 г.; 40(3):648-660. doi: 10.1523/JNEUROSCI.1998-19.2019. Epub 2019 2 декабря. ПМИД: 31792152; PMCID: PMC6961994.

[3] . Мюррей М.М., Херрманн К.С. Иллюзорные контуры: окно в нейрофизиологию конструирования восприятия. Trends Cogn Sci. 2013 Сентябрь; 17(9):471-81. DOI: 10.1016/j.tics.2013.07.004. Epub 2013 6 августа. ПМИД: 23928336.

[4] . Гоув, А., Гроссберг, С., и Минголла, Э. (1995). Восприятие яркости, иллюзорные контуры и кортикогенная обратная связь Visual Neuroscience, 12(6), 1027-1052. DOI:10.1017/S0952523800006702

[5] . Д. Ф. Кнебель, М. М. Мюррей, К разрешению конфликтующих моделей обработки иллюзорных контуров у человека. Neuroimage 59, 2808–2817 (2012).

[6] . С. В. Хонг, Ф. Тонг, Нейронная репрезентация формозависимого цветового заполнения в ранней зрительной коре. J. Vis. 17, 10 (2017).

[7] . Жерардин., Аббатекола К., Девинк Ф., Кеннеди Х., Дожат М., Кноблаух К., Нейронные цепи для цветового заполнения на большие расстояния. Neuroimage 181, 30–43 (2018).

[8] . Фан Л. Ченг и др., Реконструкция визуального иллюзорного опыта из деятельности мозга человека.Sci. Adv.9,eadj3906(2023). DOI:10.1126/sciadv.adj3906

[9] Коэн, М. и др. (2010) «Динамические филоподии передают прерывистую передачу сигналов дельта-надреза для улучшения паттерна во время латерального ингибирования», Developmental Cell, 19 (1), стр. 78–89. DOI:10.1016/j.devcel.2010.06.006