Pese a esas cruciales diferencias, en este par�grafo se reflejan en
comparaci�n con las redes humanas, algunos logros de las redes neurales
artificiales, perfeccionadas siguiendo el camino señalado por
Hopfield. Estas analog�as se deducen no s�lo a partir de la conducta normal
de ambas, sino sobre todo en condiciones patol�gicas o de d�ficit. aqu� se
elabora la idea de una red neural aplicada al reconocimiento de im�genes,
con aprendizaje y con un "maestro", que ayudan a la red a corregir el mal
�xito de las primeras tentativas de reconocimiento, par. 16. La red que se
explica es una apta para el reconocimiento �ptico de caracteres, OCR. Su
empleo pr�ctico es inmediato, ya que el input surge de un texto puesto en
un "escaner" y el output son pulsos electr�nicos que se pueden
reinterpretar como letras a ser alojadas en la memoria magn�tica (como
espines de los electrones de valencia del �tomo de hierro). El tratamiento
que sigue es muy revelador y permite avanzar hacia el objetivo de hallar
LA LETRA A EN UNA RED. 0 1 1 1 0 (a) 1 0 0 0 1 (b) 0111010001111111000110001 1 1 1 1 1 1 0 0 0 1 1 0 0 0 1
Fig 20 - (a) Perfil de una letra A con los unos (1) de una grilla de 5 x 5. (b) Los 25 elementos de la grilla en fila, representando a la letra A, que activan a la capa de 25 neuronas de input, con una activaci�n que vale 1 o 0 segun el estii�mulo que le toque a cada neurona. Se pretende que el output de la red sea reconocer la letra A.
En la Fig 20 imag�nese a la letra A con su baricentro a la mitad de una grilla de 5x5. Forman dicha letra 11 ceros y 14 unos, completando las 25 contribuciones totales de esa grilla. Esas 25 señales activan a la capa de inputs, conectada a una capa intermedia oculta y a trav�s de ella, a una capa de salidas. Cada nodo est� conectado a todos los dem�s nodos de la capa siguiente, en este caso la capa que ocupa un nivel superior, ya que la de inputs se ubica abajo. El ensayo se inicia con pesos arbitrarios, tomados de una tabla de n�meros locos, para cada una de las conexiones del patr�n de conexiones. (No es posible atribu�r cero a todos los pesos, porque las multiplicaciones del programa fracasan). Los inputs son procesados y el resultado del proceso emerge como actividades (potenciales) entre cero y uno de la capa superior de outputs. Generalmente se provee una capa para las neuronas que reciben los inputs, varias capas ocultas y una capa para las neuronas que emiten los outputs, m�s o menos como la Fig 21.
Ser�a una gran casualidad que de entrada las 25 contribuciones para la letra A se reconocieran como A. Se reconocer�n, en cambio, como cualquier otra configuraci�n que el "maestro" impl�cito en el algoritmo que comanda el entrenamiento de la red, encontrar� err�nea y que, al establecer que se debe llegar a llamar A, permitir� el rec�lculo de una segunda tentativa de pesos ai algo mejores que los previos, que se hab�an elegido al azar. La intenci�n es disminu�r el error, o sea la diferencia cuadr�tica entre la señal que sali� con pesos incorrectos y la que tendr�a que haber salido con pesos correctos. Est� claro que la red no solamente se especializa en la A, usada como ejemplo, sino tambien en el resto de las 27 letras hasta la Z y desde el 0 al 9. Aprende todas estas señales en paralelo, equivoc�ndose fuertemente en todas las tentativas iniciales. Al final del primer intento, desde la capa superior desciende hacia abajo una correcci�n tanto m�s importante cuanto m�s grande sea el error (con su signo). Con ello, el per�odo de aprendizaje resulta provechoso.
Cada nodo o neurona tiene un nivel de actividad entre cero y uno, que depende de los inputs que recibe de otras capas neuronales. Las conexiones entre las diversas neuronas o nodos tienen un peso ajustable que especifica la extensi�n con la cual el output de una neurona va a repercutir en la actividad de la neurona, ubicada ma�s arriba, a la cual alimenta la señal subsimb�lica. La tarea de relacionar los inputs de señales primitivas o sin procesar con los outputs procesados, la satisface tanto la configuraci�n o
O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O OLa fila inferior tiene enlaces con cada nodo de la fila intermedia
y de nuevo la fila intermedia tiene enlaces con cada nodo de la fila superior
Fig 21 - Red neural donde cada nodo o neurona O de una fila i conecta con todos los de la fila superior j, como se indica en parte para no enmarañar el gr�fico. La entrada o sea la fila inferior recibe señales el�ctricas externas de todo tipo, en este caso 27 letras may�sculas m�s 10 d�gitos con significado y miles sin �l. La salida o fila superior filtra a partir de la señal de entrada de turno, su parecido con alguno de los 37 significados y entrega ese dato. Dicha capa superior tiene tantos nodos como outputs con significado: 27 letras (la primera de ellas es la A) y 10 n�meros. Entre entrada y salida ocurren mecanismos de armado de los fragmentos de la informaci�n tipo rompecabezas con significado. Entre esos mecanismos juegan su papel los filtros de ru�do. Son señales sin significado que el entrenamiento consigue eliminar. Todo el esquema se reduce a dos filas paralelas enfrentadas, una de entrada y otra de salida y entre ellas una "arquitectura" que "interpreta" la relaci�n "salida/entrada". Resulta que el mecanismo m�s importante es el intermedio, que aqu� consiste en quince nodos de la as� llamada "capa oculta". Durante esta �ltima d�cada cada nodo es un amplificador operacional con toma a tierra de Hopfield (Fig 17). Entre ellos hay conexiones con pesos que se van modificando por aprendizaje. Se muestra el n�cleo basico de un OCR. Las O de la gr�fica equivalen a neuronas. Muchas de esas neuronas guardan pedazos de informaci�n. La memoria humana puede guardar, por analog�a, pedazos de informaci�n subsimb�lica que es posible transformar en simb�lica (par. 12). La capa de abajo es subsimb�lica, la superior es simb�lica. Este mismo reconocimiento de im�genes puede ser lo que sucede con el mecanismo para recordar una melod�a, un gusto (con sus cuatro componentes dulce, agrio, salado, amargo), un aroma, una textura, etc. Cada neurona O guarda una componente subsimb�lica, un fragmento. Con esos fragmentos, otras capas arman un s�mbolo. (Ejemplo de capas de dispersi�n)
patr�n de conexiones como los pesos que se acaban de describir. Dado un patr�n fijo, la variable a optimizar a trav�s del aprendizaje es la de cada uno de los pesos. Si la actividad se simboliza como Vi y los pesos como ai, cada neurona de la capa i recibe señales de la capa precedente j, cuya suma ser� (Sigma) aj Vj.
Ya se señal� que en cada ciclo de aprendizaje se sube desde la capa de neuronas que reciben los inputs, hacia varias capas ocultas y una capa para las neuronas que emiten los outputs. Si se produce error, algunos algoritmos de correcci�n retropropagan de arriba hacia abajo nuevos valores para los pesos.
Por biolog�a se conoce el modelo por el cual, en los animales con sistema nervioso, hay dos fuentes para la conducta, el instinto y el aprendizaje (cultura).
Se suele establecer para el instinto que su origen son las prote�nas resultantes de los genes del mensaje gen�tico y para la cultura aprendida su origen ser�an los memes de Dawkins.
Output: Señales simb�licas, sonidos bisil�bicos con una vocal como primera s�laba ^ ! � FONEMAS ^ ----------------------- ! � � CAPA DE LIMPIEZA SEMEMAS ! ^ ----------------------> ! GRAFEMAS ^ ! Input: Señales subsimb�licas, relacionadas con trozos de tres letras representables como sucesi�n de ceros y unos.
Fig 21 - Arquitectura en serie con un bucle hacia el costado. Capas de grafemas para input de señales gr�ficas, seguidas de capas de sememas que "comprenden" las grafemas aportadas e identifican su sentido a trav�s de una memoria asociativa multidimensional y capas finales de fonemas, generadoras de sonidos. Se utiliza una capa de limpieza emergente de la capa de sememas, que revierte a esa misma capa. Los inputs son trozos de palabras bisil�bicas y los outputs son dos sonidos (Hinton). En la nomenclatura t�pica de las redes neurales, las capas intermedias entre la capa de inputs y la de outputs se consideran capas ocultas o "hidden layers". Cada capa tiene numerosas neuronas, como se aprecia en la Fig. 15. Aplicado al razonamiento, Dennett (p.56) observa que al pensar uno "ve" la conclusi�n puesto que las grafemas son parte del razonamiento.
Dichos memes son ideas replicantes, quiz�s signos atrapantes, esto es, atrayentes y aptos para ser copiados en un cerebro a partir de otro, unidades mentales de cultura, alteradas a veces por la contribuci�n de la creatividad (con lo cual dejan de ser memes "cl�sicos" para pasar a ser candidatas a futuros memes). Las prote�nas y genes son elementos de mecanismos gen�ticos. Los elementos de mecanismos culturales ser�an los memes (sin creatividad añadida o con ella). Se refieren a ideas seductoras y copiables o unidades de cultura que son aprendidas (o a veces son ideas creadas, en el otro caso). Como las ideas tambien son signos de los fen�menos que las sugieren (Umberto Eco, Trattato di Semiotica Generale, 3.3.4), los signos aceptados culturalmente tienen un status similar. A un meme ya aceptado se lo puede imaginar como estructura mental configurable del tipo de las Figs 19 y 21.
Con Hinton y colaboradores se denominar� a la capa de inputs, capa de grafemas, informaci�n subsimb�lica relacionada con ideas de tipo gr�fico, como la silueta de las letras AJO consideradas como un signo mixto. Otra alternativa arbitraria podr�a ser la silueta de las tres letras OCA tomadas como una unidad de unos y ceros que las representa.
ESPACIO SEMANTICO.
El bucle de realimentaci�n introduce entonces una nueva caracter�stica frente a la conducta de una red conectada siempre hacia adelante. En comparaci�n, una red sin bucles es est�tica y con bucles se vuelve din�mica, buscando un estado estacionario. Es conveniente imaginar que ese bucle se corresponde al concepto de un espacio sem�ntico multidimensional, con tantas coordenadas como atributos sem�nticos se hayan incorporado a la red. Cada punto de ese espacio corresponde a un patr�n espec�fico de actividades entre las unidades de sememas. La manera sugerida por Hopfield para la organizaci�n de la memoria asociativa tiene una estructura similar.
Uno puede acordarse de una fiesta por la compañia, por el sitio, por la fecha, por las an�cdotas de todo tipo, etc. La memoria de la fiesta es un atractor relacionado con muchas coordenadas, cada una de las cuales es una dimensi�n. Evocada la dimensi�n, se converge hacia el atractor de ese sistema multivariable, atractor desde donde se pueden evocar muchas otras dimensiones.
Las primeras tres capas de una red toman entonces, como input, la forma f�sica de la palabra de tres letras y la transforman en un punto en el espacio sem�ntico, correspondiente a su m�s cercano significado. Ese punto cumple con la definici�n matem�tica y f�sica de atractor, en el sentido que la señal de ingreso a ese espacio, con coordenadas que conducen a cierta regi�n del espacio, llevar�n con facilidad hacia el encuentro de esa posici�n en forma entr�pica, esto es, con m�nimo gasto energ�tico.
DISLEXIAS NATURALES Y ARTIFICIALES
El concepto de un espacio sem�ntico ocupado con atractores que representan el significado de las palabras permiten ubicar la tarea que satisface la red. El ser humano tiene una estructura similar en su cerebro, como lo sugiere lo que sucede cuando hay d�ficits mentales. Herido el cerebro pueden aparecer dislexias o confusiones de significado. Modificada la capa de limpieza de una red artificial, aparecen dislexias similares. El mecanismo artificial que produce los mismos resultados que el natural resulta as� insinuador de como son las operaciones b�sicas del conocimiento.
Basta modificar los pesos de la capa de limpieza por otros pesos al azar, para que un atractor preexistente cambie su regi�n de influencia y una zona previa que ten�a un cierto atractor en el vecindario pasar�a a ser atendida por otro atractor (esto es, significado de la palabra) distinto. Uva y Ajo, por ejemplo, pueden ser confundidos entre s� si se presenta d�ficit tanto en la red natural como en la red artificial. Semanticamente Ajo y Uva est�n bastante relacionados. Otra posibilidad es provocar la ruptura del paso programado desde la capa de inputs o sea desde las unidades de grafemas. En ese caso, despu�s de la ruptura el significado sem�ntico procesado no siempre coincidir� con el significado previo a la ruptura, aunque tendr� obvios parecidos en alguno de sus sentidos.
Con esta narrativa se clarifica un tipo de dislexia profunda de los humanos, por la cual un d�ficit en la ruta sem�ntica lleva a un patr�n casi regular de errores de lectura.
En los humanos, un daño cerca del input, por ejemplo en la parte visual del sistema de lectura, tiene como consecuencia llegar a significados parcialmente equivocados. Seg�n estas explicaciones, las neuronas de limpieza de las redes humanas tratan de encontrarle significado a las señales emergentes del sector previo dañado. El concepto de atractores tambi�n ofrece una nueva riqueza: explica asimismo otra anomal�a en los datos b�sicos. Casi todos los pacientes que incurren en errores sem�nticos (dislexia profunda) cometen errores visuales, como confundir la palabra Ama con Ana. Esos mismos pacientes no incurren en dislexia superficial como pronunciar Orro en lugar de Oro. Resulta extraña la asociaci�n invariable entre errores visuales y errores sem�nticos. La intuici�n dir�a que al dañar la capa de limpieza de la zona sem�ntica aparecer�an errores sem�nticos puros sin combinaci�n con errores visuales. Contrariamente a esa intuici�n, la experiencia de dañar la capa de limpieza lleva a un resultado sorprendente: dañ�ndola siempre aparecen errores visuales.
�Por qu�? Las capas de una red no dañada pueden discriminar Ama de Ana, guiando el flujo hacia significados diferentes, que son atractores diferentes del espacio sem�ntico. La gu�a correcta es m�rito de la capa de limpieza. Al dañar esta �ltima capa, los perfiles y formas ubicadas en el espacio cambian y la salida de una unidad de sememas puede evolucionar hacia un atractor diferente del correcto, atractor que corresponde a una palabra visualmente similar pero semanticamente distinta, como Ano y Año. La regi�n dominada por un atractor puede tener limites comunes con la regi�n dominada por otro atractor, ya que en espacios de mucho m�s de veinte dimensiones, todos los veinte atractores se acercan entre s�, aunque correspondan a significados diferentes. El atractor de Ano puede estar cercano al atractor de Año sin que interfieran los otros dieciocho atractores, pues que no est�n en el medio de ambos. Evitar obst�culos es sencillo en espacios de muchas dimensiones.
Hinton y colaboradores ensayaron numerosas arquitecturas de conexiones entre nodos de las unidades, ya sea con conexiones muy extendidas como con conexiones muy ahorrativas, ya sea entre neuronas vecinas como tambi�n con neuronas de capas alejadas. Combinaron las capas de limpieza con las capas intermedias para adquirir nuevas experiencias. Le proveyeron un circu�to que pronunciaba las palabras cuyo significado ya hab�a sido reconocido. Ese circu�to inclu�a una capa de fonemas. Cualquiera que fuese la arquitectura, para que aparezcan s�ntomas de dislexia profunda solamente se necesitaba que existiese una capa de limpieza m�s avanzada en el sentido del flujo, que la capa donde se produjo un daño. Esa capa de limpieza es la que enfatiza la condici�n de veinte atractores diferentes para significados diferentes en el espacio sem�ntico. Recuerdese que el gran resultado de una capa de limpieza es mejorar la discriminaci�n de significados.
Cabe señalar que errores muy sutiles t�picos de la dislexia profunda, como el que resulta de una confusi�n sem�ntica sumada a una confusi�n visual, como confundir simpat�a con orquesta (seguramente usando como puente la voz sinfon�a), tambi�n surgen en estas redes artificiales. As�, confunden Era con Ano (usando como puente Año). Exagerando el daño, la red artificial incurre en un extraño efecto que tambi�n surge en pacientes muy dañados en su cerebro. Las representaciones sem�nticas se distorsionan m�s all� de todo reconocimiento ulterior y la palabra adecuada se le escapa al paciente. Hay palabras que �ste intenta leer y no puede hacerlo, aunque reconoce que el significado o la categor�a es "animal" o "alimento", por dar un ejemplo. Lo que se nota, por analog�a, en la red artificial muy dañada, es que los l�mites entre atractores se han hecho muy borrosos y han llegado, incluso, a fundirse varios significados en un �nico atractor global. Esto rescata la posibilidad de que la categoria "animal" o "alimento" sea a�n reconocible para la palabra inidentificada.
SIGNIFICADOS ABSTRACTOS Y CONCRETOS.
Una palabra m�s concreta (Uva, Ajo, Oso) tiene como promedio cuatro veces m�s atributos sem�nticos (sememas) que una palabra m�s abstracta (Uno, Era). Una red entrenada que sufre daños m�s adelante en el sentido del flujo que la capa de limpieza, exhibe caracter�sticas m�s notables en el procesamiento de esas palabras abstractas, que otras palabras m�s concretas en su patr�n sem�ntico. La red dañada lee con mayor dificultad una palabra abstracta que una concreta. Esto permite señalar que la comprensi�n exhibida en el espacio sem�ntico no es incoherente con la comprensi�n de la conducta disl�xica del cerebro humano. Mientras no haya otro modelo, bastariiia correlacionar la arquitectura de una red artificial, f�cil de estudiar, a la arquitectura de una red humana. Esto resulta ser una valiosa
EXPERIENCIAS
La v�a experimentalista consiste aqu� en sugerir a priori que puede haber una homologaci�n entre una red neuronal humana ya entrenada y alguna de las posibles arquitecturas de una red neural artificial. Esa hip�tesis se verifica introduciendo errores intencionales en esta �ltima y contrastando las consecuencias de esos errores con ejemplos de pacientes disl�xicos. La conclusi�n m�s importante es que para que la homologaci�n sea f�cil de establecer, la secuencia lineal de capas debe pasar por un bucle no lineal de una capa de limpieza que ayude a llegar a un estado estacionario �til para discriminar distintos significados, en pleno espacio sem�ntico. Una vez logrado el estado estacionario, ese bucle permite que cada conjunto de significados sem�nticos act�e como un verdadero atractor, tanto m�s discriminatorio cuanto menos dañado resulte.
"Las redes neurales muestran una sorprendente amplitud de logros...Todo esto implica que habr�a que probar, en general, un gran n�mero de modelos, con sus variantes. Con el desarrollo de computadoras baratas y r�pidas, las simulaciones pueden abarcar muchos modelos, de tal manera que no es complicado verificar si un dado modelo se comporta, al final, de la manera deseada de antemano... La experiencia ha mostrado que varios modelos, distintos entre s�, pueden producir igual conducta. Para discriminar cual modelo se aproxima m�s a la realidad, habr� que traer a colaci�n evidencia adicional, como por ejemplo la arquitectura anat�mica del sector del cerebro responsable. Tambi�n hay que temer que un sobre-�nfasis en los modelos exitosos conduzca a una par�lisis de la creatividad te�rica. La evoluci�n quiz�s encontr� pequeños trucos que dejaron de lado alguna dificultad de diseño." (Crick, p 198). |
Estas simulaciones, desde lo menos dif�cil (Beer) hacia lo m�s dif�cil (Balkenius, etc.) permiten interesantes aproximaciones para entender procesos cerebrales que van siguiendo la secuencia tentativa anotada en el Ap�ndice 1, en b�squeda de explicaciones para la soluci�n de problemas m�s avanzados asociados con las funciones cerebrales superiores.
"Cuando podamos constru�r m�quinas con estas �ltimas caracter�sticas, tan asombrosas, y podamos reconstru�r exactamente como trabajan, ser� m�s facil compenetrarnos de la operaci�n del cerebro humano. Los aspectos misteriosos de la conciencia puede ser que desaparezcan, as� como los aspectos misteriosos de la embriolog�a han desaparecido, en buena medida, ahora que sabemos las propiedades del DNA, del RNA y de la prote�na." (Crick, p.287) |
Vuelta a �ndice de Biotermodin�mica del Cerebro
Ra�l Barral - Carlos von der Becke: Biotermodin�mica del Cerebro - 2000