Barral & v d Becke IX Temas Previos

57.

16. VISION EVOLUCIONARIA DE LA ARQUITECTURA DE UNA RED NEURAL.

Pareciera que la selección natural, en la búsqueda de un atractor de supervivencia basado en la inteligencia (adaptabilidad para resolver problemas) ha privilegiado, entre las especies animales orientadas en ese sentido (parágrafo 9), a aquéllas que muestran un amplio abanico de costumbres. Así logran privilegios de supervivencia los de costumbres innatas aptas para situaciones alarmantes (por ejemplo, con capacidad de huída y de enfrentamiento). En parecida situación están tambien las poblaciones con un rico espectro de comportamientos diferenciados (Gerald Edelman). En la hipotética ruta hacia el ya mencionado atractor de supervivencia por inteligencia, una población con pocas costumbres tiene menos perspectivas que otras poblaciones más o menos similares en la escala zoológica, pero mejor dotadas comportamentalmente. Antes que poseer un repertorio restringido de costumbres, la tendencia parece ser la de permitir amplificar ese repertorio. Costumbres obsoletas para las condiciones cambiantes de un nicho tienen análogos neurales que sirven de base para la emergencia de nuevas costumbres. El habitual exceso de neuronas que caracteriza al ser humano, sin atribuciones preestablecidas, no sólo lo capacitan para sobrevivir tiempos mayores más allá de su período fértil, sino que asimismo le sirven de base para una mayor versatilidad.

En los "robots invertebrados" sin memoria ni aprendizaje con costumbres simuladas por circuitos electrónicos, como los de Randall Beer, se observa la respuesta a condiciones cambiantes del entorno que significan verdaderas costumbres emergentes de dichos circuitos neurales. Avanzando en la simulación e incoprporando aprendizaje y memoria, como hace Christian Balkenius, las posibilidades de buen éxito se notan con facilidad. En esto se sigue tentativamente la vía evolutiva, que fue maximizando el número de costumbres de las especies zoológicas más y más complejas segun el creciente índice de encefalización (Fig 6).

Un modelo para la termodinamica del cerebro que puede ilustrar la vía evolutiva y que se conoce bien, es el ya introducido de redes neurales de Hopfield. Se puede considerar un sistema en breve detalle, que se retoma mas adelante, para introducir ahora algunos conceptos basicos. El tema a estudiar en este y otros paragrafos, es el del reconocimiento, practicamente instantaneo, de una persona, que hace la red neuronal biologica. Se busca lograr esa proeza tambien con un reconocedor de imagenes logrado con una red neural artificial. Este tema es una ruta hacia la interpretación que se le puede dar a la resolución de muchas otras situaciones complejas mas o menos similares.

Sea una red de Hopfield (Fig 17 y 19) que almacena imagenes y las puede volver a entregar. Cada pixel (o punto) de la imagen entregada corresponde a una neurona o amplificador operacional de la red. El nivel gris oscuro del pixel se representa por la activación de una neurona [su potencial real Vij supera al potencial umbral Voi, ec.(5a)]. El nivel blanco es para el otro caso. Las neuronas de Hopfield son binarias. Cada neurona puede tomar una de dos activaciones o potenciales. Esto recuerda a los espines de los vidrios de espin, que microscopicamente pueden apuntar solo para arriba o para abajo. No hay capas de neuronas ocultas, todas las capas son visibles. Cada una de ellas corresponde a un pixel de la imagen. Las neuronas estan ligadas por conexiones. Las conexiones tienen su peso asociado. Ese peso especifica la importancia de la ligadura. Un peso nulo implica desconexion.

58.

                             ENTRADAS

                         !   !   !   !   ! MATRIZ DE SINAPSIS
 ------------------------X---X---X---X---+--------------------------->
!                        !   !   !   !   !                             S
!    --------------------X---X---X---+---X---------------------------> A
!   !                    !   !   !   !   !                             L
!   !    ----------------X---X---+---X---X---------------------------> I
!   !   !                !   !   !   !   !                             D
!   !   !    ------------X---+---X---X---X---------------------------> A
!   !   !   !            !   !   !   !   !                             S
!   !   !   !     -------+---X---X---X---X--------------------------->
!   !   !   !    !       !   !   !   !   !
!   !   !   !    !       !   !   !   !   !
!   !   !   !    !       O   O   O   O   O <-NODOS
!   !   !   !    !       !   !   !   !   !
!   !   !   !     -------    !   !   !   !
!   !   !   !                !   !   !   !
!   !   !   ------------------   !   !   !
!   !   !                        !   !   !
!   !    ------------------------    !   !
!   !                                !   !
!    --------------------------------    !
!                                        !
 -----------------------------------------

Fig 19 - Circuito de Hopfield con cinco nodos (O) similares a A de la Fig 17 b, estableciendo entre ellos veinte sinapsis o pixels (X) de a dos. Segun el peso de las conexiones la matriz de veinte sinapsis o pixels modeliza el recuerdo de una dada imagen muy sencilla, recuerdo que sobrevive en epocas de no-uso aunque no circulen pulsos eléctricos por el circuíto, ya que la imagen está en los pesos y en la arquitectura esquematizada. Ese mismo recuerdo se activa cuando vuelven a acceder los pulsos eléctricos. Cada nodo suma todos los efectos que ingresan a él multiplicando la señal de ingreso que será ya sea +1 (excitación) o -1 (inhibición) por el valor del peso. Así si la señal vale -1 y el peso vale 2, el efecto efluente del nodo será -2, mientras no cambien los valores. Pero los valores cambian si no están en su óptimo y los cálculos se repiten una y otra vez hasta lograr estabilidad o mínima energía de cómputo. Basta que se le proporcione una "pista" al circuito, para que luego de varios intentos éste se deslice hacia un mínimo. La salida correcta coincide con el patrón a recordar. La base de estas ideas está en el modelo de los vidrios de espín de la física.

una de dos activaciones o potenciales. Esto recuerda a los espines de los vidrios de espin, que microscopicamente pueden apuntar solo para arriba o para abajo. No hay capas de neuronas ocultas, todas las capas son visibles. Cada una de ellas corresponde a un pixel de la imagen. Las neuronas estan ligadas por conexiones. Las conexiones tienen su peso asociado. Ese peso especifica la importancia de la ligadura. Un peso nulo implica desconexion. En una red de Hopfield sin modificar, los pesos entre neuronas son simétricos: la conexion desde la neurona A a la B tiene el mismo peso que la conexion de B a A.

Existen dos tecnicas basicas: sin aprendizaje y con el. En ambas los

59.

patrones de la imagen deben tener estructura. Una imagen desestructurada es imposible de conducir a un reconocimiento.

SIN APRENDIZAJE - Aquí los pesos son datos despejables a partir de correlaciones de los patrones a almacenar.

Para cada configuración de los valores de potencial o activación, se puede calcular la distancia entre la imagen en elaboración y la imagen más cercana guardada. La incognita del calculo es el juego de potenciales oactivaciones coherente con la imagen almacenada. Esta busqueda se realiza en un espacio de activaciones y el proceso de busqueda, denominado en mecanica estadistica la dinamica del modelo de Hopfield, puede ser prescripto y descripto en dos niveles.

El nivel mas bajo se preocupa de hallar la forma de actualizar las activaciones con el avance del tiempo. Las reglas se circunscriben a una zona restringida. La decision de conectar o desconectar la activación de una neurona depende solo de las activaciones de las neuronas cercanas y de los pesos cercanos.

El otro nivel mas alto se preocupa de minimizar la energia de computo E, una cifra global que depende de las activaciones o potenciales y de los pesos de la red entera. Estos dos niveles son complementarios y se puede probar que si se actualizan correctamente las activaciones locales, desciende la energia E global.

Entregar una imagen correcta, sin aprendizaje, es un proceso que comienza proporciónándole a la red, como input, una version parcial y con ruido de alguna imagen original, que junto con otras imagenes originales, ya estuviesen cargadas en dicha red. El objetivo es que iterando hasta el final de las etapas de un algoritmo de actualización de activaciones, se entregue la imagen resaltada y corregida correcta y no alguna otra. Este proceso equivale a que, como en la Fig 17 e, el input ingresado resbale en el interior de un pozo de energia (o un espacio de activaciones) hasta detenerse en el atractor mas cercano. Un aspecto del modelo de Hopfield consiste entonces en revelarse como una maquina que busca imagenes en unespacio de activaciones a traves de la actualización local de datos de activación, donde la similitud a una imagen original guardada se describe mediante una función energética a minimizar, con producción de entropia.

Pero buscar un minimo es una operación de optimización muy general que no se circunscribe al estrecho campo del reconocimiento de patrones. Cualquier otro problema de optimización es susceptible de ser encarado por la red. Y, basicamente, hasta una mera suma se puede replantear como una optimización, donde la diferencia entre el valor del resultado tentativo, menos el valor de la suma de los sumandos que ingresaron como inputs, debe tender a cero.

Una inacabable cantidad de problemas presimbólicos resultan accesibles a la elaboración mediante una red pura. A ella se adiciona una gran cantidad de problemas simbólicos, mediante alguna estructura mixta con sistemas expertos (desarrollos de la inteligencia artificial que reproducen el razonamiento de un experto en algun campo del conocimiento). Las restricciones en una optimización pueden ser duras o blandas. Si fuesen duras, se las transforma en una penalidad que se suma a la energia de cómputo, generando una energia efectiva a minimizar. Esta misma idea se usa en las redes que aprenden. En ellas surge un compromiso entre complejidad y error durante el entrenamiento: es inconveniente el agrupamiento de un excesivo numero de nubes o clusters de datos.

60.

CON APRENDIZAJE - Durante el aprendizaje (segundo paradigma), con algun manipuleo, es posible hacer aparecer de nuevo una función energética a minimizar, asociada con el mal exito de las primeras tentativas de aprendizaje. La termodinamica es entonces la misma, y la diferencia principal con las optimizaciones previamente explicadas reside solamente en que antes se buscaba optimizar en un espacio de activaciones Vi, ya que las activaciones o potenciales eran adaptivos. Ya no. Ahora hay que optimizar en un espacio de pesos ai pues la incognita es que peso adaptivo ponerle a las conexiones de la red, cuando las activaciones o potenciales son datos. Las maquinas que no aprenden y carecen de capas ocultas se denominan circuitos de Hopfield y las que si lo hacen y tienen capas ocultas se denominan maquinas de Boltzmann.

Ambas técnicas son casos de dinamicas típicas de la termodinamica del desequilibrio. En el primero las redes son mas lineales y en el segundo tienen fuertes no-linealidades (par. 19). Los detalles del aprendizaje se pueden comprender mediante el demo de OCR recomendado al principio del parágrafo 14. El reconocimiento de qué significan fisicamente las cifras finales para las activaciones y sobre todo para los pesos que adquieren las redes que aprenden y que estan sujetas a cambios de inputs, es una ardua tarea, sólo desentrañable si se plantean casos límites de extraordinaria sencillez.

Para quien se inicia en este campo, basta con reconocer que simplificando fuertemente la situación real, se puede llegar a entender por qué los pesos y las activaciones finalmente se han configurado en un juego de valores que reproduce correctamente lo deseado. El proceso barranca abajo (Fig 17 e) es esencialmente biotermodinámico. La arquitectura de la red, en si misma muy modificable, se considera en el parágrafo 20.

Interesa discutir sobre la realidad biológica de todos los algoritmos asociados con este tema, por ejemplo la ley de representación y las ecuaciones (5). El algoritmo más usado de avance barranca abajo, el de la retropropagación, resulta ser, segun señala David Zipser, un buen método para identificar y encasillar el problema al cual se aplica. Además, al minimizar el error, llega a una solución que por sus características generales se asemeja a las vías naturales. Es un primer paso en la dirección correcta, que permitirá algun día comprender el aún misterioso comportamiento - por lo intrincado - de las redes naturales tanto naturales como artificiales en vías de aprendizaje. La hipótesis psicofísica sugiere por ahora que "gran parte" - y más comprometidamente para algunos autores "todos" - los atributos mentales emergen de las redes y subrredes neuronales en interacción, con la colaboración de los signos detectados por los sensores que monitorean el medio externo. El énfasis demasiado volcado a explicarlo todo con sólo las redes, implica no tomar en debida cuenta los símbolos y signos (alarmas y seudo-alarmas) que tambien despiertan la actividad mental. No se sabe aún en cuál hipótesis creer cuando se analiza el origen de los valores humanos, por citar un ejemplo. Pero es suficiente, a esta altura, reconocer que muchos fenómenos emergentes del cerebro responden a su arquitectura y que la psicofísica explica con buen ritmo cada vez mayor cantidad de aspectos de las neurociencias. Como la termodinámica del desequilibrio es la mejor candidata para desentrañar el sentido general del avance barranca abajo, cabe solamente esperar que se vayan solucionando lo que hoy parecen restricciones insuperables, que tambien surgen en la mecánica cuántica (el principio de Heisenberg) y en la mecánica estadística (la flecha del tiempo).

61.

  • Hertz JA, Krogh AS y Palmer RG- Introduction to the theory of neural computation, Addison-Wesley, Redwood City, CA, EEUU (1991).
  • Towell GG, Shavlik, JW- Extracting refined rules from knowledge-based neural networks, Machine Learning, 13, 71 (1993).
  • Crick F - The Astonishing Hypothesis, Simon & Schuster, 1995, Chapter 13.
  • Margalef R- Investigación y Ciencia, N¦107, agosto 1985, p.101
  • Hinton GE, Sejnowski TJ- Learning and relearning in Boltzmann machines, en Rumelhart DE, McClelland JL, PDP Research Group (eds.) - Parallel distributed processing. Exploration in the microstructure of cognition, MIT Press, Cambridge, MA, 1986.
17. NEUROHUMORES EN LA HENDIDURA SINAPTICA.

La consideración de la importancia de las redes neurales artificiales en la comprensión de lo que realiza una red neuronal biológica ejerció una influencia importante que aún continúa. Empezaron a emerger trabajos complementarios, de los cuales el presente es uno más. El complemento que ahora se destaca, señala que dos aspectos deben retocarse al enfocar la termodinámica cerebral a la luz de la termodinámica de las redes neurales artificiales: en los circuitos multiconectados de Hopfield

  • no se aprecia el mecanismo de las transiciones de fase del desequilibrio (relojes biológicos, cascadas de Kauffman, capas ocultas en bucle de Hinton),

  • ni tampoco se necesita la neuroquímica (Brailowski, Depannages du cerveau, p.46).

Se aprecia sí que aunque ambos mecanismos no se usen en las redes neurales artificiales, aparecen en la realidad del cerebro. Allí ha coevolucionado una red eléctrica con un consumo elevado de energia y con una neuro-electro-química notable. Pese a esos dos aspectos tan importantes, la arquitectura y la termodinámica del cerebro tienen demasiados puntos que han resultado extraordinariamente clarificados por la arquitectura y la termodinámica de las redes neurales artificiales. No es sensato ignorar que las redes neurales artificiales han obtenido logros importantes en la explicación física de producciones típicas de los cerebros de invertebrados y de vertebrados, incluyendo los mentales del ser humano, como se ejemplifica en el parágrafo 20.

La neuroelectricidad cumple en el cerebro una función que interactúa y se complementa con la de la neuroquímica. En él han coevolucionado una red eléctrica que consume energía y una neuro-electro-química notable. Acelera diferentes tipos de reacciones neuroquímicas presentes en las hendiduras sinápticas, reacciones a cuyo servicio parece estar. En el APENDICE 5 se tabulan unos pocos compuestos neuroquímicos de bajo peso molecular descubiertos hace ya décadas y se omiten muchas nuevas proteínas de las hendiduras sinápticas, de alto peso molecular y gran importancia. Existen variadas evidencias acerca del humor depresivo, pesimista o "serotoninérgico": su origen tiene relación con las neuronas.serotonínicas. Fabrican serotonina a partir del triptofano, a su vez sintetizado indirectamente por la relativa abundancia de la hormona insulina del páncreas (y segun aparece ultimamente, por el cerebro mismo como órgano generador de hormonas). Esto ya tiene antecedentes entre los invertebrados, APENDICE 6.

62.

Tambien existe evidencia acerca del humor optimista y dinámico. Tiene relación con los humores neuroergotróficos, estimulantes, entre los que se cuenta la anfetamina biológica. Actúa junto con otros compuestos neuroquímicos activados por descargas de adrenalina en sangre.

El sueño se establece por la provisión natural de un somnífero que pasa a ser tóxico si no se duerme durante varios días y letal pasada una semana de vigilia continuada. Ese somnífero natural o neurotoxina, aún no ha podido ser identificado. Una sospecha es que se trata de una estructura denominada "Valium biológico", parecida a la del fármaco Valium.

La interpretación de la información o maduración del pensamiento no solamente está condicionada por lo que se ha fijado ya en la memoria (mecanismos basados en la experiencia de Hopfield) sino que está también condicionada por el neurohumor prevalente.

18. RESPUESTA NEURONAL INSTANTANEA Y RETARDADA.

a) Instantánea. Entre las bases del modelo que se presenta en este trabajo, aparece no solamente la regla de Hebb, la forma como una red neural responde a una imagen en pixels y los circuitos de Hopfield, sino la regla de Dale. Ella explica que una dada neurona tiene un neurotransmisor unico (por ejemplo, solamente serotoninico o solamente anfetanimico). Experimentalmente se ha constatado que hay excepciones. Se afirma aqui tambien, que es posible el logro de un cambio deliberado de humor, para procesar de otra manera la misma información basica. El humano puede cambiar instantaneamente sus estados mentales. Si lo intenta deliberadamente, consigue adoptar con algun esfuerzo el estado buscado (reflexivo, dinamico, vital, exaltado, distraido, depresivo). Por ejemplo, en el caso de la depresión, si hay una subrred serotoninica en acción, su peso o su actividad se logra que decaiga y que se amplifique otra subrred alternativa. Hipotetiza Ornstein que es innato en el humano el mecanismo de recordar lo positivo y reprimir o filtrar lo negativo. Pareciera - señala - que se producen pequeños cambios en el sistema operativo mental que llevan a ser una persona diferente de la previa, por lo menos para los propósitos prácticos. Negar información desagradable y mantener activas las subrredes optimistas son recursos que amortiguan la ansiedad y tienen valor de supervivencia. Encasillando a los pacientes que enfrentan una operación en dos grupos, el de los optimistas y el de los pesimistas, la estadística refleja que luego de la operación sobreviven más los primeros que los segundos, a tal punto que dificilmente se opere ahora a los muy pesimistas. Pequeños estimulos alteran fuertemente la visión del mundo.

b) Retardada. ¿A qué se deben las tipicas indecisiones de un dia para el otro cuando se está por tomar una decision? Hay varias posibilidades que no se analizan aqui por no relacionarse con el tema principal. Pero puede ser que el neurohumor o la calidad del alerta dominante hayan variado. Las indecisiones resultantes de los distintos humores o calidades del alerta se pueden controlar. Parece que basta madurar las decisiones en el contexto de los diferentes neurohumores posibles y mejorar la calidad del alerta aplicado, para decidir más adecuadamente. La demora por la indecision, que pareciera "inevitable", queda disminuida aplicando aste análisis intencional y mejorando la calidad de la atención, subrred por subrred.

  • Ornstein R- The Evolution of Consciousness, Simon & Schuster, 1990, p248.
  • Becke CH von der - La Escuela del Razonamiento, 2¦ parte, Holding.8,16.(1992).
  • DeBono E- Seis Sombreros para Pensar, Editorial Granica (1990).

63.

19. BIOENERGETICA DE LAS ETAPAS DE ENSOÑACION, VIGILIA Y PENSAMIENTO.

La ventaja del sueño en la escala biológica, fenómeno que ya aparece entre los vertebrados más primitivos, es un tema en debate. Basta con señalar que en las especies que tienen escasa visión nocturna, el sueño les evita golpearse o caerse en forma peligrosa (Bloom y Lazerson, p 179) y contribuye a disminuir los requisitos energéticos diarios.

El pasaje del sueño a la vigilia y el de la vigilia al sueño son transiciones de fase de un estado de orden a otro, como lo verifican las ondas de los electroencefalogramas. Son bastante típicas las ondas asociadas al sueño REM (rapid eye movements de la bibliografía anglosajona, sueño paradójico en castellano) y las ondas del sueño no-paradójico, así como la transición entre la etapa de mente distraída normal hacia la etapa de mente excitada. Son entonces transiciones de fase del desequilibrio. Durante el sueño se elimina el compuesto somnífero biológico que lo desencadena. Al mismo tiempo se accede a transiciones entre varios tipos de ellos, la etapa del sueño paradójico, la etapa de sueño no paradójico y algunos de sus subperíodos.

Hasta 1950 estaba en boga la hipótesis de Iván Pavlov, que sugiere que el cerebro se apaga durante el sueño. A partir de esa época prevalece la hipótesis alternativa. Por ejemplo, Ralph Berger, de la Universidad de California en Santa Cruz, propone que el sueño fue desarrollado por la evolución como un método para conservar energía. Dormir e hibernar, para este autor, son dos comportamientos evolutivos que surgen de un ancestro común. "Al bajar nuestros termostatos metabólicos, el sueño reduce nuestra necesidad de alimento". Entonces el sueño es una etapa ejemplar o paradigmática que recuerda lo indicado por la versión moderna de la ley de von Baer (par. 1): los procesos biológicos tratan de puentear las etapas consumidoras de energía en búsqueda de estados estacionarios dinámicos que no puedan, de por sí, resbalar hacia otros con producción de entropía. La ley de von Baer-Mayr es así válida no sólo para la evolución (Fig 5) sino para una fracción de los ciclos diarios de conducta.

Disminuir los mecanismos energéticos no implica, sin embargo, desactivar al cerebro. Durante el sueño se descansa en cierto sentido. Ello es efecto quizás del metabolismo de la toxina somnífera (¿melatonina?) y del ahorro en actividad muscular y en el esfuerzo asociado con la ingesta de alimentos. Pero por otro se muestran entre 4 y 6 ciclos con "primeras etapas" que resultan ser tanto o más activas que la vigilia.

En la estructura general de una noche de sueño, hay unas cuantas transiciones de fase del desequilibrio, todas ellas curiosamente reversibles y algunas de ellas cíclicas. Los anatomistas conocen cuáles cambios en algunas neuronas clave permiten predecir por adelantado la transición que va a seguir. Los fenómenos son:

    (1) transición vigilia/paradójico sin ensoñación;
    (2),(4),(6) y (8) transición paradójico/no-paradójica;
    (3),(5),(7) y (9) transición reversa, o sea no-paradójico/paradójica, con ensoñación;
    (4),(6),(8) y (10) transiciones paradójico/no-paradójicas;
    (11) transición no-paradójico/paradójica sin ensoñación;
    (12) transición reversa de la (1), o sea paradójico sin ensoñación/vigilia.
Actualizado 20 Octubre 1998.

(Página en preparación)

Hosted by www.Geocities.ws

1