Matlab: ejemplo backpropagation

Como veo que algunos en los comentarios piden un ejemplo completo de creación, entrenamiento y simulación de una red neuronal en matlab, en este post voy a mostrar un ejemplo simple sobre la aplicación de una red neuronal backpropagation, para el típico problema de reconocimiento de dígitos manuscritos del cero al nueve. Además, este ejemplo también servirá para ver un poco como funciona el toolbox de redes neuronales en la versión 2008 de matlab, puesto que en esta versión han modificado algo el interfaz del mismo.

A la hora de aplicar redes neuronales, y en general para cualquier problema de reconocimiento de patrones, hay una seríe de pasos que serán comunes a la mayoría de los problemas.

1. Representación original de los datos
2. Preprocesamiento de los datos originales para codificarlos en un formato apropiado para la red neuronal.
3. Procesamiento de la información. (aplicación de la red neuronal)
4. Interpretación de los resultados.

1. Representación de la información original.

Lo primero que deberemos tener en cuenta, será la representación original de los datos que deberemos procesar, en este caso, el de reconocimiento de dígitos manuscritos, vamos a partir de una imagen, o conjunto de píxles en blanco y negro que contendrán el dígito a reconocer.

2. Preprocesamiento de los datos originales para codificarlos en un formato apropiado para la red neuronal.

Para aplicar la información con el dígito manuscrito a la red neuronal, deberemos realizar algún tipo de procesamiento para obtener la información apropiada que le pasaremos como entrada a dicha red.

En este caso, lo que haremos será generar un array de valores enteros 0 o 1, de manera que un 1 significa que hay algo pintado y 0 no, de manera que este array de valores discretos será la información que pasaremos a la entrada de la red neuronal.

Algo a tener en cuenta es el tamaño del vector generado a partir de la imagen, por ejemplo si la imagen original tiene un tamaño de 200×200 pixels, y creamos un array con un valor para cada píxel de dicha imagen obtendríamos un array de 40.000 elementos siendo necesario una red neuronal con el mismo número de entradas. Para optimizar mejor esto, vamos a procesar tan solo aquella zona de la imagen donde esté el dígito manuscrito y además, vamos a dividir esta zona en una cuadrícula de por ejemplo 3×5, de manera que generaremos un vector de 15 elementos, correspondiendose cada elemento con una de esas zonas en las que hemos dividido el dígito manuscrito y en caso de que algún píxel de dicha zona esté pintado pondremos un uno y en caso contrario un cero.

3. Procesamiento de la información. Creación de la Red neuronal en matlab

Una vez tenemos creado el vector representando el digito manuscrito, queremos ser capaces de procesarlo para detectar el dígito real que el usuario a escrito. En este caso sencillo, nos centraremos en predecir los dígito enteros del 0 al 9, para lo cual vamos a utilizar una red neuronal de tipo backpropagation, y como implemetnación el toolbox de redes neuronales de matlab.

Como hemos dicho, la entrada de la red neuronal, será un array de 15 elementos conteniendo la información de los píxeles pintados en la imagen, así que necesitaremos una red neuronales de 15 entradas, de manera que en cada entrada se le aplicará un uno o un cero indicando la existencia de un trazo en dicha zona de la imagen.

Como el objetivo es reconocer 10 valores numéricos (del cero al 9), o mejor dicho, el objetivo es que la red neuronales aprenda a clasificar los patrones den entrada en 10 clases diferentes, la red neuronal dispondrá de 10 salidas, una para cada dígito, de manera que tan solo se activará la salida correspondiente al dígito reconocido.

3.1  Creación de la red neuronal

Para la creación y simulación de la red neuronal, hemos generado primero una serie de patrones de muestra para cada uno de los dígitos que queremos reconocer.


1;1;1;1;0;1;1;0;1;1;0;1;1;1;1
1;1;1;1;0;1;1;0;1;1;0;1;1;1;1
1;1;1;1;0;1;1;0;1;1;0;1;1;1;1
1;1;1;1;0;1;1;0;1;1;0;1;1;1;1
…


En segundo lugar, también tenemos la información de la salida que la red neuronal deberá generar para cada uno de estos patrones.


1;0;0;0;0;0;0;0;0;0
1;0;0;0;0;0;0;0;0;0
1;0;0;0;0;0;0;0;0;0
1;0;0;0;0;0;0;0;0;0
…


Así, pues primero cargaremos dicha información en matlab.


load matlab_pattern.txt
load matlab_targets.txt


A continuación creamos la red neuronal con la función newff indicándole que queremos 20 neuronas para la capa oculta.


net = newff(matlab_pattern, matlab_targets,T,20);


Listo, ya tenemos la red neuronal creada con los parámetros por defecto. La interfaz de estas funciones del toolbox de redes neuronales, han cambiado en la versión 2008 de matlab, que es la que aquí estamos viendo, y en esta versión, además de que le estamos indicando en la propia creación un ejemplo de patrones y tarjets, matlab los utilizará para crear la red neuronal con una configuración adecuada, número de capas, tamaño de la capa de entrada, tamaño de la capa de salida, randos de entrada de la red neuronal, etc. Podemos navegar un poco por la estructura del objeto “net” para asegurarnos de que todo está correcto.


net.inputs{1}
net.numlayers
net.outputs{1}
…


3.2  Entrenamiento de la red neuronal

Una vez creada la red neuronal, y como ya tenemos los patrones de entrenamiento con sus respectivos targets cargados en matlab, tan solo nos queda invocar a la función train.


net = train(net,P,T);


Con esto matlab comenzará a entrenar la red neuronal hasta alcanzar el performance deseado, abriéndosenos una ventana con la información de dicho proceso.

3.3  Simulación de la red neuronal

Pues nada, una vez entrenada la red neuronal, ya podemos aplicar un patrón real a la entrada y ver en la salida la clase (o dígito) en la que se ha clasificado.


[Y, Pf, Af, E, perf] = sim(net, [1;1;1;0;0;1;0;1;1;1;1;0;1;1;1]);
YY =0.0000
0.0008
1.0013
0.0005
0.0003
0.0012
-0.0004
0.0004
-0.0006
0.0011

En este caso, de las diez salidas todas tienen un valor muy cercano a cero, excepto la salida correspondiente al dígito dos, que tiene un valor muy cercano a uno, siendo este el dígito reconocido.

4. Interpretación de los resultados

En este caso, los resultados son fáciles de interpretar como hemos visto en el apartado anterior, la salida de la red neuronal que tenga valor 1 (o que más se parezca al valor 1) será la que tomaremos como salida activa indicando el dígito reconocido.

Para terminar, simplemente mostraros una captura de pantalla de un pequeño prototipo que permite a un usuario dibujar caracteres a mano con el ratón y le muestra el dígito reconocido, realizado con la información aquí comentada y las interfaces externas que hemos visto en el post “Matlab: interfaz com”.

5. Código Fuente

El código del programa descrito en este artículo se encuentra disponigle en github «https://github.com/poncos/DigitRecognizer«. Espero que os sea útil.