L’illusion qui n’existe que dans le cerveau, ce modèle d’IA la « dessine »

Source d’origine : Follow-up NextQuestion

Source de l’image : Généré par Unbounded AI

Lorsque nous voyons deux ensembles de réseaux linéaires l’un à côté de l’autre, légèrement désalignés l’un par rapport à l’autre, il semble qu’une ligne qui n’existe pas réellement apparaisse dans notre esprit. Cette ligne semble se courber et s’étendre entre deux ensembles de lignes réelles (Figure 1C).

Figure 1 : Variante d’hallucination raster décalée. A : Vasarely (1970), B : Zebres de Vasarely (1939), C : Illusion classique de réseau décalé. Source : Vasarely*

Un arrangement aussi simple peut créer un effet visuel surprenant, que nous appelons l’illusion de réseau attenant. Ce qui est encore plus intéressant, c’est que lorsque le nombre de ces lignes augmente, notre perception des hallucinations devient également plus forte.

Il existe également deux illusions de diffusion au néon qui sont également intéressantes :

L’illusion d’Ehrenstein et l’illusion de Wallin. Dans l’hallucination d’Ehrenstein, un ensemble de lignes radiales s’étire vers l’extérieur. La direction vers l’extérieur de la ligne est sombre, tandis que la partie qui se rassemble vers le centre est claire. Si vous concentrez votre regard sur le centre de la ligne, la partie claire de l’intérieur semble s’étendre dans la zone sombre environnante, formant un cercle translucide.

Figure 2 : L’hallucination d’Ehrenstein, où un motif de réseau rectiligne qui s’arrête à un point spécifique apparaît plus brillant au centre que l’arrière-plan, créant l’illusion d’un cercle. Source : Wikipédia

L’illusion de Wallin se composait de cercles aux quatre coins, une partie de chaque cercle était de couleur plus claire et les autres étaient noires. Lorsque nous regardons ces cercles, les parties de couleur claire semblent se diffuser vers le centre, formant finalement un carré translucide.

Figure 3 : Hallucination de Valin, où la partie la plus claire ou la plus foncée du centre s’étend vers le centre, formant finalement un carré translucide. Source : Perception (en anglais)

Mécanisme algorithmique de perception des contours virtuels

Les scientifiques ont proposé une variété de théories pour expliquer le mécanisme algorithmique de la perception des contours virtuels déclenchée par ces hallucinations.

Certaines écoles pensent que c’est la suppression latérale de la couleur qui améliore le contraste et fait percevoir des lignes virtuelles. Par exemple, lorsqu’un neurone est excité par la luminosité, il supprime les neurones dans les zones les plus sombres qui l’entourent, ce qui rend les zones claires plus lumineuses et les zones sombres plus sombres. Le cerveau peut interpréter à tort l’amélioration du contraste comme un contour et une ligne distincts[1] [2]。 Une autre théorie suggère que cela peut être dû à des fonctions cérébrales supérieures, telles que la supplémentation cérébrale par la connaissance et la mémoire. Lorsque notre cerveau compare les images que nous voyons avec des représentations passées, il peut avoir l’impression que certains éléments manquent, de sorte qu’il « complète » automatiquement ces parties manquantes, formant une perception de contours virtuels [3]。 Il existe également de nombreuses théories, comme celle selon laquelle les commotions nerveuses peuvent combiner des caractéristiques fragmentées pour former une perception de caractéristiques qui n’existent pas [4]Le facteur de grossissement cortical traite soigneusement le champ visuel central et exagère ainsi les caractéristiques de certains stimuli, par exemple …

L’inhibition latérale :* un mécanisme de signalisation de juxtaposition conservé qui conduit à la formation d’une variété de motifs fins tels que des taches et des bordures rayées dans des tissus initialement presque homogènes au cours du développement de la plupart des organismes (Réf. 9)

En ce qui concerne le mécanisme neurophysiologique de la perception des contours virtuels, bien que les scientifiques aient fait beaucoup de recherches, il existe encore de nombreuses controverses. L’un des modèles concurrents suggère que ce mécanisme neurophysiologique se produit dans le cortex visuel inférieur (V1/V2) et affecte ensuite le cortex supérieur de bas en haut, tandis que l’autre suggère que ce processus se localise d’abord dans le cortex supérieur, principalement le cortex occipital latéral (LOC), puis affecte V1/V2 de haut en bas[5] 。

Pour l’illusion de diffusion de la couleur néon, certaines études suggèrent que V3 et V4 ont un impact considérable sur les phénomènes de remplissage de couleur liés à la forme[6] [7]; Dans le même temps, certaines études suggèrent que l’activité corticale associée à l’apparence de la couleur résultant d’un remplissage induit par les bords ou d’une chromaticité de surface uniforme est associée à des modèles complémentaires d’activité dans le flux visuel dorsal (V3A et V3B/KO) et ventral (V3v, hV4 et LO). (Graphique 4).

Figure 4 : Diverses régions fonctionnelles et voies du cortex visuel. Source : Réf. 7.

Bien que ces théories fournissent une explication des mécanismes algorithmiques et physiologiques des hallucinations, on ne sait toujours pas comment ces hallucinations visuelles sont représentées dans l’esprit, et il semble impossible de les vérifier.

Quand nous voyons des hallucinations, les « voyons-nous » vraiment ?

Pouvons-nous vraiment être sûrs que nous utilisons des « hallucinations » pour caractériser les stimuli qui provoquent des hallucinations ?

Reconstruire des images hallucinatoires

Un article récent publié dans Science Advances a testé les deux types d’hallucinations visuelles mentionnés ci-dessus et a réussi à reconstruire des images de lignes et de couleurs cohérentes avec l’expérience hallucinatoire, démontrant l’efficacité du modèle à matérialiser les expériences subjectives[8] 。

▷Figure 1 : Page de garde de l’article. Source : Référence 8

Dans l’expérience, les chercheurs ont demandé à 7 sujets de visualiser trois images d’hallucinations visuelles ou plus et leurs images de contrôle correspondantes et des images de contrôle positif. **Pour chaque illusion, l’image de contrôle a été modifiée. Par exemple, l’image de contrôle de l’illusion raster entrelacée réduit considérablement la densité de la clôture, l’image de contrôle de l’hallucination d’Ehrenstein, dans laquelle l’extrémité de la ligne qui a causé l’hallucination à l’origine est plus claire, tandis que l’image de contrôle positive change le centre radiant de la ligne en un cercle de lumière, et l’image de contrôle de l’hallucination de Wallin supprime la partie noire du stimulus hallucinatoire (l’induction visuelle d’origine), tandis que l’image de contrôle positive change la partie centrale en un carré de couleur plus claire (voir la figure 5 pour plus de détails).

Les images ont clignoté à une fréquence de 0,625 Hz pendant 8 secondes chacune et ont été répétées 20 fois chacune. Tout au long de l’expérience, l’imagerie par résonance magnétique fonctionnelle (IRMf) a été utilisée pour enregistrer l’activité cérébrale pendant que les participants regardaient les images.

Figure 5 : La colonne de gauche de la figure A est le stimulus qui induit l’hallucination, et la colonne de droite de la figure A est le stimulus de contrôle correspondant au stimulus qui induit l’hallucination. La première ligne de la figure A est une hallucination matricielle décalée, la deuxième ligne de la figure A est une hallucination d’Ehrenstein et la troisième ligne de la figure A est une hallucination de Wallin. La figure B montre le processus d’entraînement d’un DNN à l’aide d’images naturelles. La figure C montre l’activité cérébrale montrée dans les données d’IRMf de décodage DNN en tant que caractéristiques de stimulus et le processus par lequel le générateur génère une image basée sur les résultats de décodage DNN. Source : Science (en anglais seulement)

Ensuite, les chercheurs ont collecté des données cérébrales par IRMf qui ont été introduites dans un réseau neuronal profond (DNN) entraîné pour le décodage. Ce DNN est une variante d’AlexNet, le modèle BAIR/BVLC CaffeNet, conçu par Alex Krizhevsky, directeur d’Open AI. Il s’agit d’un réseau de neurones convolutifs utilisant un algorithme de propagation directe qui a été pré-entraîné pour classer 1 000 objets dans la base de données d’images ImageNet.

** Les résultats ont montré que les images reconstruites à partir des représentations mentales de stimuli hallucinatoires présentaient des propriétés hallucinatoires. En revanche, les images reconstruites directement à partir de la nature du stimulus lui-même ne présentent pas de propriétés hallucinatoires. Cela montre également que la nature de l’hallucination reconstruite à partir de la représentation mentale n’est pas construite par la nature et le traitement du DNN, mais par la nature de la représentation mentale elle-même (voir Figure 6).

Figure 6 : La colonne la plus à gauche est l’image du stimulus. La deuxième colonne à gauche est une image du DNN reconstruite à partir des données de l’image du stimulus elle-même dans la colonne la plus à gauche. Les figures 3 à 6 sont des représentations mentales reconstruites à partir de l’activité cérébrale générée par l’image de stimulus la plus à gauche du sujet 1. Les figures 7 à 10 sont des représentations mentales reconstruites à partir de l’activité cérébrale générée par les images de stimulus les plus à gauche des deux paires. Les lignes 1 à 3 de la figure 1-3 sont des images de l’illusion de réseau décalé. La première rangée concerne l’illusion de réseau décalé de deux colonnes de réseaux de réseaux disposés le long de 90 degrés, la deuxième ligne concerne l’illusion de réseau décalé de deux colonnes de réseau disposées le long de 45 degrés, et la troisième ligne concerne le contrôle de l’illusion de réseau décalé. Les lignes 4 à 7 sont toutes des images des hallucinations d’Ehrenstein. Les quatrième et sixième lignes parlent de l’hallucination d’Ehrenstein, la quatrième a 8 cordes et la sixième a 4 lignes. Les lignes 5 et 7 traitent du contrôle de l’hallucination d’Ehrenstein, cinq ayant 8 lignes et sept 4 lignes. Les lignes 8 et 9 de la figure 8 et 9 sont des images des hallucinations de Wallin. Le huitième acte est une hallucination de Wallin, et le neuvième acte est contrôlant. Source : Science (en anglais seulement)

**L’étude est unique en ce sens que les images sont décodées à partir des données de tout le cortex visuel enregistrées par IRMf, et que les représentations mentales reconstruites présentent généralement des caractéristiques de nature plus hallucinatoire que le stimulus lui-même. **

Dans le cas d’hallucinations matricielles entrelacées, la ligne illusoire dans le stimulus hallucinatoire semble être beaucoup plus prononcée que les lignes couvertes par tout stimulus lui-même, alors que les représentations mentales reconstruites à partir du stimulus de contrôle ne l’indiquent pas ; dans le cas des hallucinations de diffusion de couleur néon, dans l’hallucination d’Ehrenstein, la partie de diffusion de la couleur est beaucoup plus grande que dans la section de contrôle ; dans l’hallucination de Wallin, bien que le stimulus de contrôle montre toujours le contour de la forme de diffusion, la partie de diffusion de la couleur est encore beaucoup plus grande que dans la partie de contrôle. De plus, le contrôle du stimulus lui-même n’est conçu que pour inhiber la diffusion de la couleur plutôt que le contour de la forme, de sorte que dans le cas de l’hallucination de Wallin, la propriété hallucinatoire est plus forte que le stimulus dans la représentation mentale, et cette propriété est toujours valide.

Quantifier l’illusion de la reconstruction

L’intensité des hallucinations n’est pas seulement reflétée dans les images reconstruites, mais peut également être quantifiée par diverses méthodes. Cet article fournit une analyse quantitative détaillée de l’intensité des hallucinations dans les représentations mentales produites par les hallucinations de réseau décalées et les stimuli hallucinatoires de diffusion de néon.

Les chercheurs ont utilisé la transformée en radon pour analyser les propriétés hallucinatoires de l’illusion de réseau décalé, c’est-à-dire l’intensité des lignes virtuelles entre les réseaux. **En tant que méthode largement utilisée pour analyser les données radiographiques, la transformée de Ladong peut reconstruire mathématiquement la forme de l’objet d’origine à partir des valeurs intégrales (par exemple, densité, masse, etc.) obtenues en projetant l’objet dans toutes les directions, alors que seule la description latérale peut être connue. **

Dans cette étude, la transformée de Ladong est appliquée à l’analyse d’images, et la direction principale de la distribution des lignes dans le graphe reconstruit est obtenue en additionnant les « valeurs de pixels » obtenues en projetant l’image dans toutes les directions. Des expériences ont montré que pour toutes les données sur le cortex visuel par IRMf, les directions prédominantes dans les images reconstruites montrent une distribution bimodale, dans laquelle environ 61,1% des directions prédominantes sont plus proches de la direction prédominante de l’hallucination que de la direction induite visuellement.

Il ressort clairement du graphique que les valeurs absolues verticales dans la distribution bimodale dans la direction principale de l’image reconstruite sont plus élevées et plus groupées que celles des valeurs absolues transversales. Au fur et à mesure que le nombre de réseaux (lignes) dans les stimuli hallucinatoires diminue, la valeur absolue verticale commence à diminuer par rapport à la valeur absolue transversale dans la distribution bimodale de la direction principale dans l’image reconstruite du stimulus par représentation mentale, et la valeur absolue transversale est significativement plus élevée que la valeur absolue verticale dans le stimulus de contrôle. **Ce résultat soutient la théorie selon laquelle une réduction du nombre de réseaux (lignes) réduira le degré d’hallucination. **

Dans le même temps, la direction principale de la zone de concentration hallucinatoire est proche de la direction principale de l’image reconstruite, tandis que la direction principale de la zone de non-hallucination (la zone où l’induction visuelle est principalement concentrée) n’est pas proche de la direction principale de l’image reconstruite. Cela prouve que la zone dans laquelle les hallucinations sont situées dans l’image reconstruite se situe entre les deux ensembles de réseaux tels qu’ils sont perçus (voir Figure 7B, C, D, E).

Figure 7 : La figure A illustre le processus de transformation de Ladong. La figure B montre que 61,1% des directions principales de l’image reconstruite sont plus proches de la direction principale des hallucinations par rapport à la direction principale induite. La figure C montre que la direction principale du score de stimulus est significativement plus proche de la direction principale de l’induction. La figure D montre que plus le nombre de lignes est petit, plus la direction principale de l’image est proche de la direction principale de l’induction. La figure E montre que la direction principale de la zone de concentration hallucinatoire est également proche de la direction principale de l’image reconstruite La figure F montre la représentation mentale reconstruite à partir des données extraites de différentes zones du cortex visuel, et V1-V3 est plus hallucinatoire. Source : Science (en anglais seulement)

Les chercheurs ont également utilisé la régression linéaire pour analyser la nature hallucinatoire des hallucinations d’Ehrenstein et de Wallin, c’est-à-dire le degré auquel la couleur diffuse vers l’extérieur (formant un plan translucide) à partir des raies données par le stimulus. Ils ont construit une « carte de rougeur » basée sur les valeurs RVB des pixels de chaque image, respectivement, pour les images reconstruites de représentations mentales hallucinatoires, de représentations mentales de contrôle et de représentations mentales de contrôle positif, ainsi que pour les images de stimulus et les images hallucinatoires subjectives attendues.

Ensuite, les chercheurs ont tenté d’ajuster la carte de rougeur de la représentation mentale avec une carte de rougeur du stimulus et de l’hallucination subjective attendue. Les hallucinations et les stimuli subjectifs attendus ont chacun un coefficient (β1 et β2) pour s’ajuster, et ces coefficients représentent leurs poids respectifs dans les représentations mentales reconstruites. C’est-à-dire que plus il y a de parties qui reconstruisent la partie rouge de la représentation mentale, plus le coefficient β1 est grand. En effet, seules les hallucinations subjectives qui sont plus rouges au moment de la perception ont une plus grande proportion d’hallucinations subjectives qui font paraître les représentations mentales plus rouges (voir Fig. 8C, D, G, F).

Les résultats de la régression linéaire ont montré que, sur la base de toutes les données sur le cortex visuel de l’IRMf, les coefficients d’hallucination subjectifs des deux stimuli qui ont provoqué des hallucinations diffuses de couleur néon étaient supérieurs à ceux du stimulus de contrôle et inférieurs à ceux du stimulus de contrôle positif. Cependant, le coefficient d’hallucination subjective de l’hallucination de Walling, bien que supérieur à celui du contrôle, était significativement plus faible que celui de l’hallucination d’Ehrenstein (voir Fig. 8E, F, I, J).

Figure 8 : La figure A illustre l’hallucination d’Ehrenstein, avec son contrôle et son contrôle positif dans différentes régions du cortex visuel. Le panneau B illustre l’hallucination de Wallin, la représentation de son contrôle et de son contrôle positif dans différentes régions du cortex visuel. Le panneau C montre comment la régression linéaire est calculée en comparant les hallucinations d’Ehrenstein et le graphique de rougeur sous leur contrôle. Le panneau D montre comment la régression linéaire des hallucinations de Wallin contrastées et de la carte de rougeur qu’elles contrôlent est calculée. Le panneau E montre la proportion des propriétés hallucinatoires des hallucinations d’Ehrenstein par rapport aux propriétés des hallucinations de contrôle dans chaque région du cortex visuel. La figure F montre la proportion des propriétés hallucinatoires des propriétés hallucinatoires de Wallin par rapport aux propriétés hallucinatoires de contrôle dans les différentes régions du cortex visuel. Le panneau G montre comment la régression linéaire est calculée pour comparer l’hallucient d’Ehrenstein avec son diagramme de rougeur contrôlé positivement. Le panneau H montre comment la régression linéaire des hallucinations de Wallin contrastées et de leurs diagrammes de rougeur contrôlés positivement est calculée. La figure I montre la proportion des propriétés hallucinatoires des hallucinations d’Ehrenstein dans chaque région du cortex visuel par rapport aux propriétés hallucinatoires du contrôle positif. La figure J montre la proportion des propriétés hallucinatoires de Wallin dans chaque région du cortex visuel par rapport aux propriétés hallucinatoires du contrôle positif. Source : Science (en anglais seulement)

Zone visuelle correspondant à l’hallucination

Les chercheurs ont non seulement reconstruit la représentation mentale des hallucinations dans l’ensemble du cortex visuel, mais ont également reconstruit les représentations psychologiques des hallucinations dans chaque région visuelle spécifique du cortex.

Ces régions visuelles sont disposées dans l’ordre du milieu et de l’aval jusqu’aux parties supérieures de la voie visuelle (fonctionnement primaire à supérieur), y compris le cortex visuel primaire (V1), le cortex visuel secondaire (V2), le cortex visuel tertiaire (V3), le cortex visuel quaternaire (V4), le complexe du lobe occipital latéral (LOC), le gyrus fusiforme (FFA) et la région parahippocampique (PPA).

Figure 4 : Schéma de différentes régions fonctionnelles et voies dans le cortex visuel. Source : Réf. 7.

Après avoir extrait les données d’IRMf de différentes régions du cortex visuel et décodé et reconstruit les représentations mentales respectivement, les chercheurs ont constaté que pour les hallucinations matricielles décalées, les propriétés hallucinatoires étaient principalement reflétées dans V1 à V3 à partir des images seules, et les propriétés et les stimuli hallucinatoires dans les régions V4 et supérieures n’étaient pas clairs. Après avoir quantifié les principales directions de la reconstruction d’images dans chaque région, les chercheurs ont constaté que la nature hallucinatoire culminait entre V2 et V4 dans l’ensemble du domaine de l’image, et culminait entre V1 et V3 dans le domaine de la concentration hallucinatoire. Ces résultats suggèrent que la caractérisation des raies est principalement axée sur la région visuelle précoce (Figure 7F).

Lorsqu’il s’agit d’hallucinations de diffusion de couleur néon, le cortex visuel utilise différentes stratégies. L’étude a montré que la nature hallucinatoire de l’hallucination d’Ehrenstein était significativement reflétée dans chaque zone du cortex visuel, ce qui était cohérent avec la représentation de la nature de couleur néon du stimulus contrôlant positivement dans chaque région du cortex visuel, tandis que la nature hallucinatoire de l’hallucination de Walling n’était reflétée de manière significative que dans la zone du cortex visuel à V4 et au-dessus, tandis que la nature de couleur néon du stimulus de contrôle positif était également reflétée de manière significative dans V2 et V3. Combiné avec les résultats que le coefficient d’hallucination subjective de l’hallucination de Wallin était plus petit que celui de l’hallucination subjective de l’hallucination d’Ehrenstein, cela indique que même si la nature de l’hallucination est la même, différents paramètres d’induction provoqueront des méthodes de traitement de l’information différentes dans le cortex visuel. **

Lorsque nous avons des hallucinations visuelles, est-ce l’influence descendante du cortex visuel primaire des régions supérieures vers le bas pour construire les hallucinations, ou est-elle causée par le cortex visuel primaire de bas en haut affectant les régions supérieures ? Bien que cet article ne présente que les représentations prédites dans les théories précédentes d’un autre point de vue, plutôt que d’essayer de construire une relation causale entre l’activité cérébrale et la nature des hallucinations, sa présentation vivante nous fournit tout de même quelques indices sur la façon dont l’expérience subjective est active dans le cerveau.

Évidemment, nous ne pouvons pas simplement utiliser une région du cerveau pour reconstruire l’ensemble de l’expérience hallucinatoire, et les signaux induits auront tous un impact sur le mécanisme de la même expérience hallucinatoire. Il semble qu’un cadre théorique plus complet soit nécessaire pour comprendre le mécanisme complexe des hallucinations.

La prochaine fois que vous verrez ces images hallucinatoires éblouissantes, vous penserez peut-être aux hallucinations construites par ces modèles, au merveilleux concours « avancé contre débutant » qui peut se jouer dans votre cerveau, puis vous sourirez et vous émerveillerez devant la merveille de la cognition.

Références:

[1] . Elliott, S. L. et Shevell, S. K. (2013). « La segmentation perçue du centre de l’entourage par des contours illusoires provoque une inhibition latérale chromatique. » Cette étude suggère que les contours illusoires peuvent invoquer l’antagonisme spatial centre-entourage pour modifier l’apparence des couleurs, indiquant un locus neural cortical pour l’inhibition latérale

[2] . Pak A, Ryu E, Li C, Chubykin AA. La rétroaction descendante contrôle la représentation corticale des contours illusoires dans le cortex visuel primaire de la souris. J Neurosci. 15 janv. 2020 ; 40(3):648-660. doi : 10.1523/JNEUROSCI.1998-19.2019. EPUB 2 décembre 2019. PMID : 31792152 ; PMCID : PMC6961994.

[3] . Murray MM, Herrmann CS. Contours illusoires : une fenêtre sur la neurophysiologie de la construction de la perception. Trends Cogn Sci. 2013 sept. ; 17(9):471-81. DOI : 10.1016/j.tics.2013.07.004. EPUB 6 août 2013. PMID : 23928336.

[4] . Gove, A., Grossberg, S. et Mingolla, E. (1995). Perception de la luminosité, contours illusoires et rétroaction corticogéniculée Visual Neuroscience, 12(6), 1027-1052. doi :10.1017/S0952523800006702

[5] . J. F. Knebel, M. M. Murray, Vers une résolution des modèles conflictuels de traitement illusoire des contours chez l’homme. Neuroimage 59, 2808–2817 (2012).

[6] . S. W. Hong, F. Tong, Représentation neuronale du remplissage des couleurs en fonction de la forme dans le cortex visuel précoce. J. Vis. 17, 10 (2017).

[7] . P. Gerardin, C. Abbatecola, F. Devinck, H. Kennedy, M. Dojat, K. Knoblauch, Circuits neuronaux pour le remplissage des couleurs à longue portée. Neuroimage 181, 30–43 (2018).

[8] . Fan L. Cheng et al., Reconstruire les expériences visuelles illusoires de l’activité cérébrale humaine.Sci. Adv.9,eadj3906 (2023). DOI : 10.1126/sciadv.adj3906

[9] Cohen, M. et al. (2010) « Les filopodes dynamiques transmettent une signalisation intermittente delta-notch pour conduire le raffinement du motif pendant l’inhibition latérale », Developmental Cell, 19(1), pp. 78-89. doi :10.1016/j.devcel.2010.06.006