Redes Neuronales de Funciones Base Radiales

15 mm
15 mm 15 mm
am
Elena Nito del Bosque
15 mm
10 mm
Sistemas
Claudio GarcaDiferenciales
Vargas
Exteriores: el teorema de
Frobenius
Redes neuronales
Exterior Differential de funciones
Systems: Frobenius
theorem
base radiales
Radial Basis Functions Neural Networks
Trabajo Fin de Grado
Departamento de Anlisis
Matemtico
Trabajo Fin de Grado
La Laguna,
Grado Octubre de 2016
en Matematicas
La Laguna, junio de 2017
Dirigido por
Mara Isabel Marrero Rodrguez
Mara Isabel Marrero Rodrguez
Dpto. de Analisis Matematico
Universidad de La Laguna
Aptdo. de Correos 456
38200 La Laguna, Tenerife
Agradecimientos
Quisiera aprovechar estas lneas para agradecer a todos los profesores que
han sido partcipes de mi formacion a lo largo de estos anos. Mencion espe-
cial a mi tutora del Trabajo Fin de Grado, la profesora Mara Isabel Marrero
Rodrguez, no solo por guiarme a traves del mismo sino tambien por su apoyo
en todo momento.
Resumen Abstract
Resumen
En teora de la aproximacion, las funciones radiales condicionalmen-
te definidas positivas, o funciones base radiales (RBF, por sus siglas
en ingles), se usan para resolver problemas de interpolacion en da-
tos dispersos del espacio eucldeo. Entre los muchos subproductos de
la interpolacion RBF resultan particularmente interesantes las re-
des neuronales RBF, cuyo estudio ha evolucionado hasta constituir
una disciplina de interes independiente en el campo de las ciencias
de la computacion y la inteligencia artificial, con numerosas apli-
caciones en areas tan diversas como finanzas, medicina, biologa,
geologa, ingeniera o fsica. El presente trabajo tiene por objeto es-
tudiar, mediante tecnicas de analisis funcional, las propiedades de
interpolacion y aproximacion por redes neuronales RBF en espacios
de funciones continuas e integrables, ilustrando el corpus teorico con
experimentos numericos y alguna aplicacion practica.
Palabras clave: Red neuronal RBF Funcion base radial In-

terpolacion exacta Aproximacion universal Problemas de clasifi-
cacion.
vi Agradecimientos
Abstract
In approximation theory, conditionally positive definite radial fun-
ctions, or radial basis functions (RBF), are used to solve problems
of interpolation of sparse data in Euclidean space. Among the many
byproducts of RBF interpolation, the RBF neural networks are par-
ticularly interesting, as their study has evolved into an independent
subject in the fields of computer science and artificial intelligence,
with many applications in areas so diverse as finance, medicine, bio-
logy, geology, engineering or physics. The purpose of this report is to
study, by means of functional-analytic techniques, the properties of
interpolation and approximation by RBF neural networks in spaces
of continuous and of integrable functions, illustrating the theory with
some numerical experiments and practical applications.
Keywords: RBF neural network Radial Basis Function Exact

interpolation Universal approximation Classification problems.
Contenido
Agradecimientos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
Resumen/Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix
1. Redes neuronales RBF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.1. El problema de la interpolacion exacta . . . . . . . . . . . . . . . . . . . . . . . 1
1.2. Redes neuronales de funciones base radiales . . . . . . . . . . . . . . . . . . . 3
1.3. Entrenamiento de la red . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.4. Teora de la regularizacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.5. Optimizacion de las funciones base . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5.1. Subconjuntos de datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5.2. Algoritmos de clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5.3. Mnimos cuadrados ortogonales . . . . . . . . . . . . . . . . . . . . . . . 15
1.5.4. Modelos gaussianos mixtos . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6. Entrenamiento supervisado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2. Aproximacion universal por redes neuronales RBF . . . . . . . . . . 19

2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2. Preliminares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3. Resultados principales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4. Experimentos numericos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3. Aplicacion a problemas de clasificacion . . . . . . . . . . . . . . . . . . . . . . 33

3.1. Resolucion de problemas de clasificacion usando RBF . . . . . . . . . . 33
3.2. Ejemplo: decision de smbolos enviados en un sistema de
comunicacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2.1. Planteamiento del problema en terminos de una red RBF . 35
viii Contenido
3.2.2. Eleccion de valores para la simulacion . . . . . . . . . . . . . . . . . . 37

3.2.3. Simulacion numerica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Apendice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Poster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Introduccion
Una red neuronal artificial es un sistema procesador de informacion cuyo

funcionamiento se inspira en el de las redes neuronales biologicas. Originaria-
mente, aquellas pretendan modelizar el funcionamiento de estas. Con el trans-
curso del tiempo fueron surgiendo modelos artificiales carentes de significacion
biologica, pero que resultaron idoneos para resolver problemas de procesamiento
de informacion.
Las principales caractersticas compartidas por ambos tipos de redes son:
El procesamiento de la informacion ocurre en elementos llamados neuronas.
Una red neuronal esta formada por un conjunto de neuronas conectadas entre
s y con el exterior por medio de enlaces.
Si bien entre las neuronas reales existen conexiones bidireccionales, se puede
asumir que a traves de los enlaces se transmiten senales en un unico sentido
sin mas que considerar dos enlaces unidireccionales en sentidos opuestos. Esto
motiva que una neurona tenga entradas y salidas (en realidad, cada neurona
tiene una unica salida que puede ser, a su vez, entrada de muchas otras).
El resultado del procesamiento que ocurre en una neurona es una funcion no
lineal de las entradas y de un conjunto de parametros.
El ultimo punto constituye la base del funcionamiento de las redes neuro-

nales artificiales, ya que el conjunto de parametros de los que dependen dichas
funciones se va ajustando de acuerdo a lo que van aprendiendo. Para ser un
poco mas especficos, pensemos en un ejemplo dentro de uno de los campos en
los que las redes neuronales artificiales tienen mayor auge: el reconocimiento de
patrones. Supongamos que se quiere tener una red neuronal artificial capaz de
reconocer letras manuscritas a partir de imagenes digitales (es decir, cada imagen
digital corresponde a una letra manuscrita). Nuestra red artificial tendra como
entrada la matriz de puntos de la imagen digital y 28 salidas, una para cada le-
tra; deseamos poner un 1 en la salida de la letra correspondiente a la imagen de
x Introduccion
entrada y 0 en las demas. Cada persona traza las letras de forma diferente (mas
aun, nadie traza dos iguales), pero supongamos que disponemos de un conjunto
de imagenes que sabemos a que letra corresponden, escritos por un conjunto de
varias personas, llamado muestra o base de datos. El primer paso es entrenar la
red. Para ello se procede como sigue:
1. Se toma una valor inicial para los parametros de la misma.

2. Se observa la salida que se obtiene para una imagen y se compara con la
salida deseada (error).
3. Con un algoritmo adecuado se modifican los parametros en funcion del error
que se obtuvo en el paso 2.
Los pasos 2 y 3 se repiten con todas las imagenes de la muestra.

Luego de que la red ha sido entrenada, si el algoritmo es bueno y la muestra
suficientemente heterogenea, la red es capaz de responder con un porcentaje de
aciertos muy alto a las imagenes que en adelante le pongamos.
El aprendizaje de las redes neuronales puede ocurrir de dos modos: su-
pervisado o no supervisado. En el modo supervisado el aprendizaje se logra
comparando directamente la salida de la red con la respuesta correcta ya conoci-
da. En el modo no supervisado, la informacion disponible solo esta en correlacion
con los datos de entrada o senales. Se espera que la red forme categoras a partir
de estas correlaciones, y produzca una senal para cada categora de la entrada.
Claramente, el ejemplo antes expuesto correspondera al modo supervisado.
Las redes neuronales artificiales tambien pueden ser clasificadas, segun su
arquitectura, en redes progresivas y redes regresivas o recursivas. En las progre-
sivas se tiene una estructura de capas, donde la salida de una cierta neurona
solo puede servir de entrada a neuronas de la capa siguiente salvo que se trate
de una neurona de la ultima capa, en cuyo caso su salida ya sera una salida de
la red. Las redes recursivas permiten retroalimentacion entre capas y presentan
una dinamica de mayor complejidad. El esquema anteriormente comentado como
ejemplo corresponde a una red progresiva.
El objetivo de este trabajo es dar una vision general de las redes neuronales
de funciones base radiales (RBF por sus siglas en ingles), un subtipo de redes
neuronales progresivas de la forma
X
h(x) = wn (kx xn k),
n
donde los vectores xn se denominan centros y los escalares wn , pesos. Aunque

incialmente fueron introducidas para resolver el problema de la interpolacion
exacta, el estudio de las redes RBF ha evolucionado vertiginosamente hasta cons-
tituir una disciplina de interes independiente en el campo de las ciencias de la
computacion y la inteligencia artificial, con numerosas aplicaciones en areas tan
dispares como finanzas, medicina, biologa, geologa, ingeniera o fsica. Nuestro
Introduccion xi
interes se focaliza particularmente en caracterizar las funciones base que generan

redes con la llamada propiedad de aproximacion universal, es decir, que son den-
sas en espacios de funciones continuas e integrables. Esto se hara en el captulo
2 de la memoria, donde se probara, siguiendo [17] pero introduciendo tambien
algun argumento original [5], que la condicion de que la funcion de activacion
no sea un polinomio es necesaria y, junto con ciertas condiciones adicionales po-
co restrictivas, tambien suficiente para que la correspondiente red neuronal sea
un aproximante universal. Ilustramos este resultado con algunos experimentos
numericos, cuyo codigo Python se recoge en el apendice.
Para el resto del trabajo nos hemos apoyado fundamentalmente en la mo-
nografa [1]. El captulo 1 motiva la introduccion de las redes neuronales RBF
desde varias perspectivas distintas, proporcionando as un marco teorico comun
para los diferentes enfoques. En el captulo 3 nos ocupamos de una de las multi-
ples aplicaciones de las redes neuronales RBF, a saber, la resolucion de proble-
mas de clasificacion, y discutimos como ejemplo la transmision de smbolos en
sistemas de comunicacion.
La memoria se completa con la bibliografa y el preceptivo poster en lengua
inglesa que resume sus contenidos.
1
Redes neuronales RBF
1.1. El problema de la interpolacion exacta

Los metodos que utilizan funciones base radiales (RBF, por sus siglas en
ingles) se originaron para dar solucion al problema de interpolacion exacta en
varias variables.
Consideremos una aplicacion definida en un conjunto de entrada x, con-
tenido en un espacio de dimension d, con valores en un conjunto objetivo uni-
dimensional t. El conjunto de datos se compone de N vectores de entrada xn ,
junto con los correspondientes tn . El objetivo es encontrar una funcion h(x) tal
que
h(xn ) = tn , n = 1, 2, . . . , N. (1.1)
La tecnica de funciones base radiales presenta un conjunto de N funciones
base, una para cada dato, de la forma (kx xn k), donde es una funcion no
lineal cuyas caractersticas se discutiran mas adelante. As, la n-esima funcion
base dependera de la distancia kx xn k, usualmente la eucldea, entre x y xn .
La salida de la aplicacion sera una combinacion lineal de las funciones base
X
h(x) = wn (kx xn k). (1.2)
n
Las condiciones de interpolacion (1.1) se pueden escribir matricialmente en la

forma
w = t, (1.3)
donde t = (tn ), w = (wn ), y la matriz cuadrada tiene elementos nn0 =
0
(kxn xn k). Si existe la matriz inversa 1 , es posible resolver (1.3):
w = 1 t. (1.4)
Se demuestra que para una amplia coleccion de funciones la matriz
es, en efecto, no singular, siempre que los datos sean distintos. Cuando los pesos
2 1 Redes neuronales RBF
en la ecuacion (1.2) se toman como el conjunto de valores dados por (1.4), la

funcion h(x) representa una superficie continua y diferenciable que pasa por
todos y cada uno de los puntos dados.
Tanto los estudios teoricos como los empricos han mostrado que, a efec-
tos del problema de interpolacion, muchas propiedades de la funcion interpolante
son independendientes de la forma precisa de la funcion no lineal . En la lite-
ratura se han ensayado varias posibilidades para , si bien, gracias a la cantidad
de propiedades analticas que atesora, la eleccion mas frecuente es la funcion
gaussiana:
x2

(x) = exp 2 , (1.5)
2
donde es un parametro cuyo valor controla las propiedades de regularidad de
la funcion interpolante. Otras elecciones posibles son las siguientes:
La funcion
(x) = (x2 + 2 ) , 0 < < 1,
que para = 1/2 se conoce como multicuadrica.
Multicuadricas inversas generalizadas:
(x) = (x2 + 2 ) , > 0.
La funcion thin-plate spline:
(x) = x2 ln x.
La funcion cubica:
(x) = x3 .
La funcion lineal:
(x) = x.
Notese que esta funcion es lineal en x, pero (kx xn k) es no lineal en las
componentes de x.
El uso de metodos de funciones base radiales en problemas de interpolacion
exacta se ilustra en la figura 1.1, considerando una aplicacion de una entrada y
una salida.
La generalizacion a varias variables de salida es inmediata. Cada vector de
entrada xn debe ser aplicado exactamente en un unico vector de salida tn , de
componentes tnk . As, (1.1) se convierte en
hk (xn ) = tnk , n = 1, 2, . . . , N,
donde los hk (x) se obtienen por superposicion lineal de las mismas N funciones
base que se usaron en el caso de una sola variable de salida:
1.2 Redes neuronales de funciones base radiales 3
Figura 1.1. Ejemplo sencillo de interpolacion exacta usando RBF. Se ha generado

un conjunto de 30 datos muestreando la funcion y = 0,5 + 0,4 sen 2x, representada
por la curva de trazo discontinuo, y anadiendo ruido gaussiano con desviacion tpica
0,05. La curva de trazo solido muestra el interpolante que resulta de usar funciones
base gaussianas de la forma (1.5) con amplitud = 0,067, lo que se corresponde
aproximadamente con el doble de la distancia entre los datos. Los valores de los pesos
de la capa de salida se han determinado usando tecnicas de inversion matricial.
X
hk (x) = wkn (kx xn k). (1.6)
n
Por analoga con (1.4), los pesos se obtienen en la forma

X 0
wkn = (1 )nn0 tnk . (1.7)
n0
Observese que en (1.7) se usa la misma matriz 1 para todas las funciones de
salida.
1.2. Redes neuronales de funciones base radiales

Las combinaciones lineales de funciones base radiales tratadas hasta el
momento proporcionan un interpolante que pasa exactamente por cada uno de
los puntos del conjunto de datos. Como ilustra el ejemplo de la figura 1.1, si los
datos presentan distorsion entonces el interpolante exacto es, tpicamente, una
funcion muy oscilante, lo cual no resulta deseable, en general; en tal caso, se
debera elegir como interpolante otra funcion que sea mas suave y promedie el
ruido de los datos. Una limitacion adicional del procedimiento de interpolacion
exacta descrito anteriormente es que el numero de funciones base es igual al
numero de puntos del conjunto de datos, de manera que si este es grande la

evaluacion de la funcion interpolante puede resultar computacionalmente muy
costosa.
Introduciendo una serie de modificaciones al procedimiento de interpola-
cion exacta, se obtiene el modelo de redes neuronales de funciones base radiales.
Tal modificacion proporciona una funcion que interpola de forma suave a los
datos, donde el numero de funciones base esta determinado por la complejidad
de la funcion a representar, mas que por el tamano del conjunto de datos. Las
modificaciones requeridas son las siguientes:
1. El numero de funciones base usadas, M , no es necesariamente igual al total
de datos, N , siendo usualmente una cantidad mucho menor que N .
2. No se exige que los centros de las funciones base sean los vectores de entrada.
Por el contrario, la seleccion de centros adecuados forma parte del proceso
de entrenamiento de la red.
3. Cada funcion base tiene sus propios parametros ajustables (por ejemplo, la
amplitud en el caso de la gaussiana), cuyos valores tambien se determinan
durante el entrenamiento.
4. Los parametros de sesgo estan incluidos en la suma lineal. Se encargan de
compensar la diferencia entre el valor promedio de las funciones base de
activacion sobre el conjunto de datos y los correspondientes promedios de
los datos objetivo.
Una vez efectuados estos cambios en la formula de interpolacion exacta
(1.6), llegamos a la siguiente expresion de la aplicacion que da la red neuronal
de funciones base radiales:
M
X
yk (x) = wkj j (x) + wk0 . (1.8)
j=1
Si se desea, los sesgos wk0 pueden ser incluidos dentro del sumatorio anadiendo
una funcion base extra, que denotaremos por 0 , cuya activacion se establece en
1. En el caso de funciones base gaussianas se tiene
!
kx j k2
j (x) = exp , (1.9)
2j2
siendo x el vector de entrada d-dimensional con componentes xi , y j el vector

que determina el centro de cada funcion base j , con componentes ji . Esta
aplicacion puede ser representada mediante el diagrama de la red neuronal que
se muestra en la figura 1.2. Se pueden considerar topologas de redes RBF mas
generales, por ejemplo con mas de una capa oculta, si bien este tipo de arqui-
tecturas no son muy utilizadas en la practica.
Apelando a la intuicion, cabra conjeturar que las superposiciones linea-
les de funciones localizadas, como (1.8) y (1.9), pueden servir de aproximantes
1.2 Redes neuronales de funciones base radiales 5
salida
pesos
sesgos capa oculta
funciones centros
base
entrada
Figura 1.2. Arquitectura de una red neuronal de funciones base radiales, correspon-
diente a (1.8). Cada funcion base actua como una unidad oculta. Los segmentos que
conectan las funciones base j con las entradas representan las componentes ji del
vector j Los pesos wkj se muestran como segmentos que conectan las funciones base
con las unidades de salida, y los sesgos como pesos de una funcion base extra 0 cuya
salida se establece en 1.
universales, es decir, conformar un conjunto denso en espacios de funciones con-

tinuas e integrables. Park y Sandberg [20, 21] probaron que, bajo condiciones
poco restrictivas sobre las funciones base, se tiene efectivamente la propiedad
de aproximacion universal. Los resultados obtenidos por estos autores consisten
en demostraciones de existencia que presuponen la disponibilidad de un numero
arbitrariamente grande de unidades en la capa oculta, pero sin facilitar procedi-
mientos practicos para la construccion de tales redes. No obstante, esos resulta-
dos son de vital importancia, por cuanto proporcionan la base teorica necesaria
para desarrollar las aplicaciones de forma matematicamente segura. El captulo
2 de esta memoria expone un artculo de Liao, Fang y Nuttle [17] que rebaja las
hipotesis impuestas por Park y Sandberg en su investigacion. Concretamente,
Liao et al. prueban que la hipotesis de integrabilidad no es necesaria para que la
funcion base radial de lugar a una red neuronal que sea un aproximante univer-
sal, sino que basta con que la base sea continua en casi todo punto, localmente
esencialmente acotada y no sea un polinomio para que la correspondiente red
RBF aproxime a cualquier funcion continua en un compacto con respecto a la
norma uniforme. Es mas, las redes RBF pueden aproximar a cualquier funcion
de Lp (), donde 1 p < y es una medida finita, siempre que se use en la
capa oculta una funcion de activacion base radial esencialmente acotada que no
sea un polinomio.
Girosi y Poggio [9] han probado que las redes neuronales RBF tambien
poseen la propiedad de mejor aproximacion. Un esquema de aproximacion tiene
esta propiedad si el conjunto de los aproximantes (esto es, el conjunto de funcio-
nes correspondientes a todas las elecciones posibles de los parametros ajustables)

contiene una funcion cuyo error de aproximacion es mnimo para cualquiera de
las funciones a aproximar.
1.3. Entrenamiento de la red

Un aspecto clave de las redes neuronales de funciones base radiales se
encuentra en la distincion entre los roles de los pesos de la primera y segunda
capa. Como se vera, las funciones base pueden ser interpretadas de forma que se
permita a los pesos de la primera capa (es decir, a los parametros que rigen las
funciones base) ser establecidos mediante tecnicas de aprendizaje no supervisado.
Esto conlleva a un procedimiento de entrenamiento de la red que se desarrolla en
dos etapas. En la primera etapa, se usa exclusivamente el conjunto de datos de
entrada {xn } para determinar los parametros de las funciones base (j y j en el
caso de las gaussianas consideradas anteriormente). Tras esto, las funciones base
se mantienen fijas mientras que en la segunda etapa del entrenamiento se buscan
los pesos de la segunda capa. Mas adelante (seccion 1.5) se discutiran algunas
tecnicas para la optimizacion de las funciones base; aqu asumiremos que los
parametros de estas funciones ya han sido elegidos y nos centraremos en discutir
la cuestion de como optimizar los pesos de la segunda capa. Adviertase que si
hubiera menos funciones base que datos entonces, en general, no sera posible
encontrar un conjunto de pesos que hagan que la funcion interpolante se ajuste
exactamente al conjunto de datos.
Para empezar, se considera la red neuronal RBF definida en (1.8), absor-
biendo los sesgos en los pesos para obtener
M
X
yk (x) = wkj j (x),
j=0
donde 0 es una funcion base extra con un valor de activacion fijado en 0 = 1.

Esta red puede ser representada matricialmente escribiendo
y(x) = W,
con W = (wkj ) y = (j ). Puesto que las funciones base se consideran fijas, la

red es equivalente a una red de dos capas, cuyos pesos pueden ser optimizados
minimizando una funcion de error adecuada. A este proposito, como se vera, re-
sulta particularmente conveniente considerar la suma del error cuadratico medio,
que se expresa en la forma siguiente:
1 XX
E= {yk (xn ) tnk }2 , (1.10)
2 n
k
1.3 Entrenamiento de la red 7
donde tnk es el valor objetivo de la unidad de salida k-esima cuando la red tiene a
xn como vector de entrada. Como la funcion de error es una funcion cuadratica
de los pesos, es posible encontrar su mnimo en terminos de la solucion de un
sistema de ecuaciones lineales, a saber,
> W> = > T, (1.11)
siendo (T)nk = tnk y ()nj = j (xn ). La solucion formal para los pesos viene
dada por
W> = T,
donde
= (> )1 >
denota la matriz pseudoinversa de .
Si la matriz no es cuadrada, evidentemente no tendra una verdadera
inversa; sin embargo, la pseudoinversa posee la propiedad de que = I,
siendo I la matriz identidad. Observese que, en general, 6= I. En caso de
que la matriz > sea singular, el sistema (1.11) no tendra solucion unica. No
obstante, si se define la matriz pseudoinversa como
= lm (> + I)1 > ,

0
se demuestra que este lmite siempre existe y su valor minimiza la funcion de

error (1.10).
En la practica, las ecuaciones (1.11) se resuelven usando metodos de des-
composicion en valores singulares, para evitar los problemas debidos al mal con-
dicionamiento que pueda presentar la matriz . De esta forma, se comprueba
que los pesos de la segunda capa pueden ser encontrados rapidamente usando
tecnicas lineales de inversion matricial.
En lo que sigue, se consideraran redes neuronales de funciones base radiales
en las que la dependencia de los pesos de la segunda capa sea lineal, y donde
el error cometido venga controlado por la funcion de error cuadratico medio. Es
posible considerar otras funciones de activacion de tipo no lineal, y tambien otras
elecciones de la funcion de error; pero entonces el problema de la determinacion
de los pesos de la segunda capa ya no es lineal, sino que se hace necesaria una
optimizacion no lineal de los pesos, mientras que una de las ventajas principales
del uso de redes neuronales RBF es justamente la posibilidad de evitar este tipo
de optimizacion durante el entrenamiento.
Como ilustracion del uso de redes RBF, podemos considerar el conjunto
de datos del ejemplo de la figura 1.1 y la aplicacion obtenida usando una red
RBF en la que el numero de funciones base es menor que el numero de datos,
como se muestra en la figura 1.3. El parametro de esta ultima fue elegido
aproximadamente igual al doble del espaciado medio entre los centros de las
funciones base. En la seccion 1.5 se discutiran algunas tecnicas para determinar
los parametros de las funciones base, incluyendo j . Por el momento, nos limi-
taremos
172 a hacer notar el efecto que producen
5: Radial elecciones inadecuadas de : las
Basis Functions
figuras 1.4 y 1.5 muestran el resultado de elegir valores de muy pequenos y
muy grandes, respectivamente.
1.0
0.5
0.0
0.0 0.5 1.0
FiguraFigure
1.3. 5.3. This shows
La grafica the same
muestra set of 30
el mismo data points
conjunto de 30aspuntos
in Figure
de5.1, together
la figura 1.1, junto
with a network mapping (solid curve) in which the number of basis functions
con una aplicacion de la red (curva solida) en la que el numero de funciones base se ha
has been set to 5, which is significantly fewer than the number of data points.
fijado en
The5,centres
cantidad significativamente
of the basis functions haveinferior al to
been set numero de subset
a random datos. of
Como centros de
the data
las funciones
set input vectors, and the width parameters of the basis functions have beenentrada.
base se ha elegido aleatoriamente un subconjunto de los datos de
Como set
parametro de amplitud
to a common value of para todas
a = 0.4, las funciones
which base se
again is roughly ha fijado
equal =
to twice the0,4, que
de nuevo vienespacing
average a ser elbetween
doble dethelacentres.
distancia
Themedia entre los
second-layer centros.
weights Los pesos
are found by de la
segunda capa se han
minimizing determinadoerror
a sum-of-squares minimizando unasingular
function using funcionvalue
de error cuadratico medio
decomposition.
mediante descomposicion en valores singulares.
1.4. Teora de1.0

la regularizacion
La teora de yla regularizacion proporciona un metodo para controlar las
propiedades de regularidad de una funcion. Consiste en anadir a la funcion de
error un termino disenado para penalizar las aplicaciones que no son suaves.
0.5
Por simplicidad en la notacion consideraremos redes con una unica salida y, de
manera que con un error cuadratico medio la funcion de error total a minimizar
adopta la forma

1X
E0.0
= {y(xn ) tn }2 + |P y|2 dx, (1.12)
2 n 2
0.0 0.5 1.0
donde P es un cierto operador diferencial y es denominado parametro de
Figure 5.4. As in Figure 5.3, but in which the width parameter has been set
regularizacion.
toCT= 0.08.Las
Thefunciones y con function
resulting network una curvatura grande
is insufficiently tpicamente
smooth and gives daran
a poor representation of the underlying function which generated the data.
set to a common value of a = 0.4, which again is roughly equal to twice the
average spacing between the centres. The second-layer weights are found by
minimizing a sum-of-squares error function using singular value decomposition.
1.4 Teora de la regularizacion 9
1.0
0.5
0.0
0.0 0.5 1.0
Figure 5.4. As in Figure 5.3, but in which the width parameter has been set
Figura 1.4. La grafica muestra la misma situacion que la figura 1.3, pero tomando
toCT= 0.08. The resulting5-4:
network function is insufficiently smooth and gives 173
Regularization
como amplitud = 0,08. La funcion resultante theory
de la red no es suficientemente suave y
a poor representation of the underlying function which generated the data.
proporciona una representacion muy pobre de la funcion que genero los datos.
1.0
0.5
0.0
0.0 0.5 x 1.0
Figure 5.5. As in Figure 5.3, but in which the width parameter has been set to
Figura 1.5. La grafica muestra la misma situacion que la figura 1.3, pero tomando
a = 10.0. This leads to a network function which is over-smoothed, and which
como amplitud = 10,0. La funcion resultante de la red es excesivamente suave y, de
again gives a poor representation of the underlying function which generated
nuevo, the
proporciona
data. una representacion muy pobre de la funcion que genero los datos.
where P is some differential operator, and v is called a regularization parameter.

Network
lugar mapping
a valores functions
grandes de |P y(x)
y|2 , ywhich have large
por tanto curvatureelwill
aumentaran typically
error give el
total. As,
rise to large values of \Py\2 and hence to a large penalty in the total error
parametro controla la importancia relativa del termino de regularizacion, y
function. The value of v controls the relative importance of the regularization
con ello el grado de suavidad de la funcion y.
term, and hence the degree of smoothness of the function y{x).
Podemos
We resolver
can solve el problema
the regularized de mnimos
least-squares cuadrados
problem of (5.22)regularizado (1.12)
by using calculus
mediante calculo variacional. Si imponemos que la derivada funcional de
of variations (Appendix D) as follows. Setting the functional derivative of (5.22) (1.12)
conwith
respecto a y sea nula, resulta
respect to y(x) to zero we obtain
{ y ( x " ) - tn}6(x - x n ) + i/PPy(x) = 0 (5.23)

n
where P is the adjoint differential operator to P and S(x) is the Dirac delta
function. The equations (5.23) are the Euler-Lagrange equations corresponding
to (5.22). A formal solution to these equations can be written down in terms of
the Green's functions of the operator PP, which are the functions G(x, x') which
X
{y(xn ) tn }(x xn ) + PbP y(x) = 0, (1.13)
n
donde Pb es el operador diferencial adjunto de P y es la funcion delta de Dirac.

Las ecuaciones (1.13) son las ecuaciones de Euler-Lagrange correspondientes a
(1.12). Se puede escribir una solucion formal de dichas ecuaciones en terminos
de las funciones de Green del operador PbP , que son las funciones G(x, x0 ) para
las cuales
PbP G(x, x0 ) = (x x0 ). (1.14)
Si el operador P es invariante por traslaciones y rotaciones, las funciones de
Green dependen solamente de la distancia kx x0 k, y por lo tanto son radiales.
La solucion formal de (1.13) es entonces
X
y(x) = wn G(kx xn k), (1.15)
n
expresion que tiene la forma de un desarrollo lineal en funciones base radiales.

Sustituyendo (1.15) en (1.13) y usando (1.14) obtenemos
X X
{y(xn ) tn }(x xn ) + wn (x xn ) = 0.
n n
Integrando ahora sobre un entorno de xn encontramos que los coeficientes wn

satisfacen
y(xn ) tn + wn = 0. (1.16)
Para determinar los valores de wn , evaluamos (1.15) en los datos de entrena-
miento xn y sustituimos en (1.16), lo que proporciona los valores buscados como
soluciones del sistema lineal
(G + I)w = t. (1.17)
0
Aqu, (G)nn0 = G(kxn xn k), (w)n = wn , (t)n = tn , e I denota la matriz
identidad.
Si, en particular, se elige el operador P tal que

X 2l
|P y|2 dx = |Dl y(x)|2 dx,
l!2l
l=0
donde D2l = (2 )l y D2l+1 = (2 )l , siendo y 2 los operadores gradiente y

laplaciano, respectivamente, entonces las funciones de Green son gaussianas de
amplitud .
Vemos as que existe un paralelismo entre esta forma de desarrollo en fun-
ciones base y la discutida en la seccion 1.1 en el contexto de interpolacion exacta.
1.4 Teora de la regularizacion 11
Ahora, las funciones de Green G(kx xn k) se corresponden con las funciones

base (kx xn k), y cada una de ellas esta centrada en un dato del conjunto
de entrenamiento. Notese que cuando = 0, (1.17) se reduce al resultado de
interpolacion exacta (1.3). 5.4:
El efecto del termino
Regularization theory de regularizacion se ilustra
175 en
la figura 1.6.
1.0
0.5
0.0
0.0 0.5 x 1.0
Figure 5.6. This shows the same data set as in Figure 5.1, again with one basis
Figura 1.6. La grafica muestra la misma situacion que la figura 1.1, con igual amplitud
function centred on each data point, and a width parameter a = 0.067. In this
= 0,067,
case, pero anadiendo
however, un termino
a regularization de is
term regularizacion de coeficiente
used, with coefficient v = 40, leading
= 40. Aunque
la funcion resultante (representada por la curva de trazo continuo)
to a smoother mapping (shown by the solid curve) which no longer gives no se ajusta
an a los
datos, exact
es masfitsuave
to theydata,
proporciona
but whichuna
nowaproximacion
gives a much mucho mejor a la funcion
better approximation to theobjetivo
(representada
underlying porfunction
la curvawhich
de trazo discontinuo).
generated the data (shown by the dashed curve).
can again be found by the solution of a set of linear equations which minimize a
sum-of-squares error. laFor
En la practica, example, the tambien
regularizacion regularizerse aplica a redes neuronales de
funciones base radiales en las que las funciones base no estan necesariamente
centradas en los datos, y en las que el numero de funciones base no coincide con el
numero de datos. Ademas, se pueden k considerar
l x
* terminos
' de regularizacion cuyas
funciones base no son necesariamente las funciones de Green. Mientras el termino
depenalizes mappings
regularizacion sea which have large
una funcion curvaturede
cuadratica (Bishop, 1991b).proporcionada
la aplicacion This regularizerpor
la leads
red, to
lossecond-layer
pesos de laweights
segundawhich
capa are pueden
found byser solution of
calculados, de nuevo, como
solucion de un sistema de ecuaciones lineales que minimiza un error cuadratico.
Por ejemplo, el regularizador MW = $TT (5.31)
2
X X X 2 ykn

where
2 n i
x2i
k
(5.32)
penaliza las aplicaciones quen tienen
\ curvatura
i \ grande
l y
l conduce a pesos de la
segunda capa que son solucion del sistema
and $ = ((f)1-) as before. When v = 0 (5.31)>reduces to the previous result (5.20).
MW
The inclusion of the regularization =
term addsT,little to the computational cost,
(1.18)
since most of the time is spent in solving the coupled linear equations (5.31).
donde ( !)
X X 2 nj 2 nj0
(M)jj 0 = nj nj0 +
n i
x2i x2i
y= (nj )es como anteriormente. Cuando = 0, (1.18) se reduce a (1.11). La

inclusion del termino de regularizacion no incrementa el tiempo de computacion,
que se invierte fundamentalmente en resolver (1.18).
Para un desarrollo detallado de los contenidos de esta seccion remitimos a
[10, Section 5.5].
1.5. Optimizacion de las funciones base

Una de las principales ventajas con que cuentan las redes neuronales de
funciones base radiales es la posibilidad de elegir los parametros de las unidades
ocultas sin necesidad de aplicar un proceso de optimizacion no lineal a toda la
red. En esta seccion se abordaran algunas de las diferentes estrategias a tener
en cuenta para la seleccion de dichos parametros.
Las redes neuronales de funciones base radiales comparecen en multitud
de aplicaciones, ademas de las ya mencionadas de interpolacion exacta y regu-
larizacion y de la estimacion de probabilidades a posteriori en problemas de
clasificacion que se vera en el captulo 3. Todos estos puntos de vista sugieren
que los parametros de las funciones base deben conformar una representacion de
la densidad de probabilidad de los datos de entrada. Ello conduce a un procedi-
miento de entrenamiento no supervisado para la optimizacion de los parametros
de las funciones base que solo dependera de los datos de entrada, ignorando la
informacion objetivo. Los centros j de las funciones base pueden ser conside-
rados como prototipos de los vectores de entrada. Algunas de las estrategias que
se discutiran en la presente seccion estan motivadas por estas consideraciones.
Existen muchas aplicaciones posibles de las redes neuronales donde abun-
dan los datos de entrada sin etiquetar, mientras que los datos etiquetados esca-
sean. Por ejemplo, puede resultar sencillo reunir ejemplos de datos de entrada
para la red sin procesar, pero el etiquetarlos con variables objetivo seguramente
requiera de un experto humano, lo que limita severamente la cantidad de datos
que pueden ser etiquetados en un tiempo razonable. El proceso de entrenamiento
en dos etapas de las redes neuronales RBF es particularmente ventajoso para
este tipo de aplicaciones, por cuanto la determinacion de la representacion no
lineal dada por la segunda capa de la red se puede efectuar mediante el uso de
una cantidad grande de datos no etiquetados, dejando un numero relativamente
reducido de los parametros conducentes a la tercera capa por estimar usando
los datos etiquetados. En cada una de las dos etapas podemos asegurar que la
cantidad de parametros a estimar es muy inferior a la cantidad de datos, como
sera deseable para obtener una generalizacion adecuada.
1.5 Optimizacion de las funciones base 13
Una de las principales dificultades potenciales con las redes neuronales

RBF emana del caracter local de la representacion de las unidades ocultas. Si el
subespacio de datos tiene dimension intrnseca d y los centros de las funciones
base llenan este subespacio, entonces el numero de centros crece exponencial-
mente con d. Ademas de incrementar el tiempo de computo, un numero elevado
de funciones base requiere un numero elevado de patrones de entrenamiento para
garantizar que los parametros de la red son determinados correctamente.
El problema se vuelve particularmente severo si se consideran variables de
entrada que presentan una variacion significativa pero tienen poca importancia
a la hora de determinar las variables de salida adecuadas. Estas entradas irrele-
vantes son frecuentes en las aplicaciones. Cuando los centros se eligen solamente
a partir de los datos de entrada, no hay forma de distinguir las entradas rele-
vantes de las que no lo son. Ilustramos esta idea con la grafica de la figura 1.7.
En ella se observa una variable y que es una funcion no lineal de la variable de
entrada x1 . Nos gustara poder aproximar dicha funcion usando una red RBF.
Seleccionamos las funciones base de forma que cubran la region del eje x1 donde
hay datos presentes. Supongamos ahora que se introduce otra variable x2 que
no esta correlacionada con x1 . Entonces el numero de funciones base necesarias
para cubrir la region requerida del espacio de entrada crece drasticamente, como
se muestra en la figura 1.8. Sin embargo, si la variable y no depende de x2 , estas
funciones base adicionales carecen de utilidad para ajustar el valor de y.
Figura 1.7. Funcion y(x1 ) modelizada mediante una red de funciones base radiales.
Por tanto, existen razones de cierto calado que aconsejan el uso de metodos
no supervisados para determinar los parametros de la segunda capa de una red
RBF mediante la modelizacion de la densidad de los datos de entrada. Este
metodo tambien ha probado su eficacia en la practica. Sin embargo, es necesario
advertir que una eleccion optima de los parametros de las funciones base para
estimar la densidad no siempre conduce a un ajuste optimo de la curva. Tal
situacion se ilustra en la figura 1.9.
Figura 1.8. Funcion de la figura 1.7 tras la introduccion de la variable irrelevante

x2 . El numero de funciones base cuyas localizaciones estan determinadas unicamente
por los datos de entrada crece drasticamente, a pesar de que x2 no aporta informacion
relevante para hallar la variable de salida.
Figura 1.9. Ilustracion del hecho de que el uso de metodos no supervisados que
se apoyan en una estimacion de la densidad para determinar los parametros de las
funciones base no es necesariamente optimal a la hora de aproximar la funcion objetivo.
El conjunto de datos esta representado por los crculos y se genera a partir de una
distribucion gaussiana p, que se corresponde con el trazo discontinuo. El aprendizaje
no supervisado de una funcion base gaussiana la centrara en el punto a, dando una
buena aproximacion a p. Los valores objetivo para los datos de entrada estan generados
a partir de una gaussiana centrada en b y representada mediante el trazo solido. La
funcion base centrada en a no proporciona un buen ajuste a la curva h, mientras que
si la funcion base estuviera centrada en b representara h de manera exacta.
A continuacion se muestran algunas tecnicas para elegir apropiadamente

los centros j .
1.5 Optimizacion de las funciones base 15
1.5.1. Subconjuntos de datos
Un procedimiento sencillo para seleccionar los centros j de las funciones

base consiste en elegirlos aleatoriamente de entre los datos de entrada. Clara-
mente, este proceso no es optimo por cuanto puede requerir un elevado numero
de funciones base para alcanzar un funcionamiento adecuado, pero suele usarse
como paso previo a otras tecnicas adaptativas iterativas.
Un segundo procedimiento consiste en tomar el conjunto completo de datos
como centros de las funciones base y removerlos selectivamente de manera que
se produzca la mnima distorsion en el funcionamiento del sistema.
Estos procedimientos solo estan orientados a la seleccion de los centros; los
parametros de amplitud j deben ser elegidos por otros metodos. Un enfoque
heurstico consistira en tomar todos los j iguales entre s y a algun multiplo de
la distancia promedio entre los centros de las funciones base. De esta forma se
podra garantizar que las funciones base se superponen hasta un cierto grado y
obtener rapidamente una representacion bastante suave de la distribucion de los
datos de entrenamiento, si bien es cierto que tal representacion probablemente
diste mucho de ser optima.
1.5.2. Algoritmos de clustering
Aunque por razones de espacio no las desarrollaremos aqu, cabe citar que
la simple seleccion de un subconjunto de datos como centros de las funciones
base se puede mejorar usando tecnicas de clustering para encontrar un conjunto
de centros que refleje con mayor exactitud la distribucion de todos los datos.
Entre estas tecnicas se encuentra el algoritmo clustering de K-medias [19] o el
mapa de caractersticas autoorganizado [13].
1.5.3. Mnimos cuadrados ortogonales
Este metodo se fundamenta en la idea de seleccion de funciones base que

se desarrolla a continuacion. Supongamos que se comienza considerando una
red de una sola funcion base. De forma sucesiva, para cada dato se ajusta el
centro de la funcion base al vector de entrada correspondiente a dicho punto
y luego se establecen los pesos de la segunda capa mediante la tecnica de la
matriz pseudoinversa, usando el conjunto de N datos al completo. Finalmente,
se retiene el valor del centro que minimice el error residual. De esta manera, en
cada paso del algoritmo se incrementa el numero de funciones base. Si en un
determinado momento se han elegido l datos como centros de las funciones base,
se entrenan N l redes donde cada uno de los N l puntos restantes se toman
como centros de funciones base adicionales. De estas se retiene la que minimice
el error cuadratico medio residual, y el algoritmo avanza a la siguiente etapa.
Un enfoque de este tipo sera muy costoso computacionalmente, pues obli-

gara a calcular en cada paso una solucion pseudoinversa completa para cada
posible eleccion de funciones base. Un procedimiento mucho mas eficiente para
conseguir el mismo resultado es el de mnimos cuadrados ortogonales propuesto
por Chen et al. [4]. En resumen, el algoritmo involucra la adicion secuencial de
nuevas funciones base, cada una centrada en uno de los datos, tal como se acaba
de exponer. Esto se consigue construyendo un conjunto de vectores ortogonales
en el espacio S generados por los vectores de las unidades de activacion de la
capa oculta para cada patron del conjunto de datos. As, sera posible calcular de
forma directa que punto debe ser elegido como centro de la siguiente funcion ba-
se a fin de minimizar el error cuadratico medio residual. Los valores de los pesos
de la tercera capa se determinan simultaneamente. Si se deja actuar el algoritmo
durante el tiempo necesario se seleccionaran todos los puntos y el error residual
acabara siendo nulo, por lo que debe ser interrumpido antes de que esto suceda.
1.5.4. Modelos gaussianos mixtos
Hasta el momento se han discutido procedimientos heursticos para selec-

cionar los parametros de las funciones base de manera que estas aproximen la
distribucion de los datos de entrada. Un enfoque mas certero, sin embargo, sera
el que se detalla a continuacion. Las funciones base de la red neuronal pueden
ser consideradas como las componentes de un modelo de densidad mixta, cu-
yos parametros son optimizados por maxima verosimilitud. Representamos la
densidad de los datos de entrada mediante un modelo mixto de la forma
M
X
p(x) = P (j)j (x),
j=1
donde los parametros P (j) son los coeficientes mixtos y j (x) las funciones base
de la red. Observese que los coeficientes mixtos pueden ser considerados como las
probabilidades a priori de los datos que han sido generados por la componente
mixta j-esima. La funcion de verosimilitud viene dada por
Y
L= p(xn )
n
y es maximizada tanto en relacion a los coeficientes mixtos P (j) como a los

parametros de las funciones base. Esta maximizacion se puede lograr, por ejem-
plo, calculando las derivadas de L respecto de los parametros y usandolas en
algoritmos estandar de optimizacion no lineal.
Una vez optimizado el modelo mixto, los coeficientes P (j) pueden ser
descartados para usar las funciones base en la red RBF, donde los pesos de la
segunda capa se hallan mediante entrenamiento supervisado.
1.6 Entrenamiento supervisado 17
1.6. Entrenamiento supervisado

El establecimiento de las funciones base mediante la estimacion de la den-
sidad de los datos de entrada no tiene en cuenta las etiquetas objetivo asociadas
a esos datos. Con el fin de encontrar los parametros de las funciones base que
permitan optimizar el tiempo de computacion de las salidas de la red, debemos
tener en cuenta los datos objetivo durante la fase de entrenamiento; es decir, se
debe ejecutar un entrenamiento supervisado.
Los parametros de las funciones base para la regresion se pueden hallar
tratando los centros y amplitudes, junto con los pesos de la segunda capa, co-
mo parametros adaptativos a determinar minimizando una funcion de error. La
eleccion de los mencionados parametros mediante entrenamiento supervisado
supone un problema de optimizacion no lineal que usualmente requiere de un
cierto esfuerzo computacional, aunque se puede rebajar el coste si se identifican
las funciones base relevantes frente a las que no lo son, evitando as calculos
innecesarios. Se han descrito en la literatura tecnicas que permiten encontrar
las unidades relevantes de forma eficiente. Tambien se puede utilizar cualquie-
ra de las tecnicas no supervisadas descritas anteriormente para inicializar los
parametros de las funciones base y proceder luego a efectuar un ajuste mas fino
mediante aprendizaje supervisado. Sin embargo, hay que tener en cuenta que el
entrenamiento supervisado de las funciones base no garantiza que estas perma-
nezcan localizadas y que con este tipo de entrenamiento se pierden algunas de
las principales ventajas de las redes RBF, a saber, el entrenamiento rapido en
dos etapas y la posibilidad de interpretar la representacion de la capa oculta.
2
Aproximacion universal por redes neuronales
RBF
2.1. Introduccion
La posibilidad de aproximacion universal mediante redes neuronales pro-
gresivas (densidad del conjunto de estas funciones en espacios de funciones con-
tinuas o integrables) ha sido estudiada por muchos investigadores, entre los que
podemos citar los siguientes: Chen y Chen [3]; Cybenko [6]; Hornik [11, 12];
Leshno, Lin, Pinkus y Schocken [16]; Mhaskar y Micchelli [18]; Park y Sand-
berg [20, 21]. Bajo un conjunto de restricciones muy leves sobre las funciones de
activacion que se encuentran en la capa oculta, estos autores han demostrado
que una red neuronal progresiva de tres capas es capaz de aproximar una ex-
tensa clase de funciones, incluyendo tanto a las funciones continuas como a las
integrables.
Los resultados conocidos en la literatura se han construido principalmente
sobre redes neuronales progresivas de tres capas con un unico nodo de salida
lineal. En este captulo se mantendra este diseno estandar. Las funciones que se
pueden obtener mediante redes neuronales progresivas de tres capas son de la
forma
XN
ci g(x, i , bi ),
i=1
donde N representa el numero de nodos ocultos, x Rn es una variable y, para
i = 1, 2, . . . , N , bi , ci R, i Rn son parametros y g(x, i , bi ) es la funcion de
activacion que se usa en la capa oculta.
Cabe destacar que la mayora de estas funciones de activacion se pueden
categorizar en dos clases: funciones ridge y funciones base radiales. Las funciones
ridge son de la forma
g(x, , b) = (> x + b),
donde es una funcion de R en R, x Rn es una variable, Rn es un vector
director y b R es un sesgo. La sigmoide, de uso comun, es un ejemplo de
20 2 Aproximacion universal por redes neuronales RBF
funcion ridge, siendo su expresion

1
g(x) = .
1+ e(> x+b)
Las funciones base radiales adoptan la forma

x
g(x, , b) = , (2.1)
b
donde aplica Rn en R, x Rn es una variable, Rn es un vector central y

b R es un parametro de extension. El ejemplo paradigmatico de esta clase de
funciones es la gaussiana
kx k2

g(x) = exp .
b
Los trabajos de investigacion que usan funciones ridge como funcion de

activacion son mas comunes (Cybenko [6]; Hornik [11, 12]; cf. de Leon [15]). El
resultado obtenido por Leshno, Lin, Pinkus y Schocken [16] se considera uno de
los mas generales. Estos autores probaron que si se usa una funcion de activacion
ridge en la capa oculta, continua en casi todo punto, localmente esencialmente
acotada y que no sea un polinomio, entonces una red neuronal de tres capas puede
aproximar a cualquier funcion continua con respecto a la norma uniforme.
En comparacion, la literatura que usa funciones base radiales como funcion
de activacion es menos extensa (Chen y Chen [3]; Mhaskar y Micchelli [18]). El
estudio mas conocido es probablemente el de Park y Sandberg [20, 21], quienes
probaron que si se usa como funcion de activacion en la capa oculta una funcion
base radial, continua en casi todo punto, acotada e integrable en Rn y con integral
no nula, entonces una red neuronal de tres capas puede aproximar a cualquier
funcion de Lp (Rn ) con respecto a la norma Lp , para 1 p < .
El artculo de Liao, Fang y Nuttle [17], en el que se fundamenta este
captulo, se centra en ampliar las conclusiones a las que llegaron Park y Sandberg
en su investigacion, probando que la hipotesis de integrabilidad no es necesaria
para que la funcion base radial de lugar a un aproximante universal valido.
Por el contrario, bastan condiciones mas debiles, similares a las impuestas por
Leshno y colaboradores en su trabajo sobre las funciones ridge. En concreto,
demostraremos que si se usa una funcion base radial como funcion de activacion
en la capa oculta, continua en casi todo punto, localmente esencialmente acotada
y que no sea un polinomio, entonces las redes neuronales RBF de tres capas
pueden aproximar a cualquier funcion continua con respecto a la norma uniforme.
Es mas, las redes RBF pueden aproximar a cualquier funcion de Lp (), donde
1 p < y es una medida finita, siempre que se use en la capa oculta una
funcion de activacion base radial esencialmente acotada que no sea un polinomio.
2.2 Preliminares 21
La organizacion de este captulo es como sigue. En la seccion 2.2 intro-

duciremos algunas definiciones y notaciones basicas, reservando los resultados
principales para la seccion 2.3. En la seccion 2.4 se recogen algunos experimen-
tos numericos que apoyan dichos resultados.
2.2. Preliminares
A lo largo de este captulo se empleara la siguiente notacion: Rn denotara el
espacio eucldeo real n-dimensional y K un subconjunto compacto de Rn . El
conjunto de todas las funciones continuas definidas en K, con la norma del
maximo
kf kC(K) = max |f (x)|,
xK

sera denotado por C(K). Ademas, C (Rn ) hara referencia al conjunto de todas
las funciones infinitamente diferenciables definidas en Rn , y Cc (Rn ) al conjunto
de todas las funciones infinitamente diferenciables con soporte compacto en Rn .
Recordemos que, dada una medida finita , la norma del supremo esencial
de una funcion f se define como
kf kL (Rn ) = ess sup |f (x)| = nf { R | {x : |f (x)| } = 0} .

xRn
Ademas, para 1 p < ,

1/p
p
kf kLp () = |f (x)| d(x) .
Rn
Denotamos por L (Rn ) el conjunto de todas las funciones f para las cuales
kf kL (Rn ) < , y por Lp () el conjunto de todas las funciones f tales que
kf kLp () < .
Analogamente, dado un conjunto compacto K Rn se consideran la nor-
ma kkL (K) para el espacio L (K) y la norma kkLp (K) para el espacio Lp (K).
El conjunto de todas las funciones f tales que kf kL (K) < (respectivamente,
kf kLp (K) < ) para cada conjunto compacto K Rn se denotara por L d
loc (R )
p d
(respectivamente, Lloc (R )).
Diremos que una funcion es continua en casi todo punto con respecto a una
medida , si el conjunto de sus puntos de discontinuidad tiene -medida nula.
Un conjunto de funciones S es denso en C(K) (respectivamente, en Lp ()), si
para cualquier > 0 y f C(K) (respectivamente, f Lp ()), existe g S tal
que kg f kL () (respectivamente, kg f kLp () ).
La convolucion de dos funciones f y g se define como

(f g)(x) = f (x t)g(t) dt (x Rn ).
Rn
La transformada de Fourier de una funcion f se denotara por fb. El soporte de

una funcion f se denotara por supp f . Una n-upla = (1 , . . . , n ) de enteros no
negativos se denominara multi-ndice. Definimos su orden por || = 1 + +n
y su factorial por ! = 1 ! n ! El operador diferencial D se define como
1 n

D = .
x1 xn
Dada una funcion (x) (x Rn ),
span {(ax + ) : a R, Rn }
denota el conjunto de todas las funciones definidas sobre Rn de la forma

N
X
x 7 i (ai x + i ),
i=1
donde i R (i = 1, 2, . . . , N ) y N es un entero positivo. Para mas terminologa y

propiedades de analisis funcional relacionadas con lo anterior se puede consultar
el texto de Rudin [22].
2.3. Resultados principales

Recordemos que las funciones base radiales son de la forma (2.1). De ahora
en adelante, por simplicidad, las escribiremos como (ax + ), con a R y
x, Rn .
Para empezar, tenemos el siguiente resultado.
Teorema 2.1 Sea una funcion de Rn en R. Si C (Rn ) y no es un
polinomio entonces, para cualquier conjunto compacto K Rn ,
= span { (ax + ) : a R, Rn }
es denso en C(K) con respecto a la norma del maximo, es decir, dada una
funcion f C(K) y cualquier > 0, existe g tal que |f (x) g(x)| para
todo x K.
Demostracion. Supongamos que no es denso en C(K). Por el teorema de
Hahn-Banach (cf. [6]), existe una medida signada finita 6= 0 en K, tal que

(ax + ) d(x) = 0 (a R, Rn ).
K
n
Como C (R ), usando el desarrollo de Taylor en varias variables podemos
escribir
2.3 Resultados principales 23

X 1 X a||
(ax + ) = (D )()(ax) = (D )()x
! !
||=0 ||=0
X 1 X 1
= () + a (D )()x + a2 (D )()x + .
! !
||=1 ||=2
Sea
H(a) = (ax + ) d(x).
K
Puesto que H(a) = 0 para todo a R y todo Rn , la derivada k-esima de H
con respecto a a se expresa de la siguiente forma:
dk H
dak "
X k!
#
X (k + 1)!
= (D )()x + a
(D )()x + d(x) = 0,
K ! !
||=k ||=k+1
para todo Rn . Haciendo a = 0 encontramos que

dk H
dak

a=0
" X #
X k!
k!
= (D )()x d(x) = (D )() x d(x) = 0
K ! ! Rn
||=k ||=k
para todo Rn . Equivalentemente,

r(k)
X
ci ()ti = 0
i=1
cualquiera que sea Rn , donde r(k) es el numero de multi-ndices de orden

|| = k y, para cada i = 1, 2, . . . , r(k), ci () = k!(D )() y

1
ti = x d(x).
! K
Ya que C (Rn ) y no es un polinomio, cada funcion ci () es continua
y no constante. Por tanto, ci () puede tomar una infinidad de valores para
diferentes valores de . Luego, deben existir, al menos, r(k) + 1 valores de que
hacen que el anterior sistema lineal sea sobredeterminado. As, la unica solucion
del dicho sistema lineal es la trivial: ti = 0 para cada i = 1, 2, . . . , r(k). Es decir,

x d(x) = 0
K
para todo multi-ndice . De aqu se deduce para la transformada de Fourier de

que
>
(t) =
b eit x d(x) = 0 (t Rn ).
K
En virtud de [23, Example 7.12b y Theorem 7.15a], inferimos que = 0. Esta

contradiccion completa la prueba. t
u
El Teorema 2.1 nos dice que si la funcion de activacion usada en la capa

oculta es infinitamente diferenciable y no es un polinomio, entonces la correspon-
diente red neuronal RBF de tres capas es un aproximante universal. La condicion
de que esta funcion sea infinitamente diferenciable es muy restrictiva en teora,
pero puesto que las redes neuronales suelen ser entrenadas mediante algoritmos
recursivos, los cuales asumen frecuentemente que la funcion de activacion en la
capa oculta es diferenciable, tal requisito no causa demasiados problemas en la
practica. Afortunadamente, podemos debilitarlo gracias al siguiente Lema 2.2.
Antes de proceder a enunciar y demostrar dicho lema, es preciso hacer un
comentario. Wu et al. [25] observaron que la prueba del Lema 2.2 dada en [17,
Lemma 1] (trabajo en el que, como ya quedo dicho, se basa el presente captulo)
no es matematicamente rigurosa, y obtuvieron una nueva demostracion de este
resultado. De hecho, tal como Wu et al. senalan:
In Liao et al. (2003), the key points of the proof of this lemma are the
statements that ((then for any multi-index such that || = , we have
D (x) = 0)) and ((according to Friedman (1963, pp. 5759), is a
polynomial of degree < || = )). However, D (x) is certainly not
mathematically well defined for || = . And the Corollary in Friedman
(1963, pp. 5759), which requires || to be fixed and finite, can not be
directly applied.
En su nueva demostracion, Wu et al. distinguen dos casos. Mediante argu-
mentos de analisis funcional, hemos conseguido probar que el segundo caso queda
descartado y que la demostracion del primero sigue directamente sin mas que
utilizar identidades aproximadas. Nuestra demostracion, que recogemos debajo,
ha sido publicada en [5] y presentada en formato de poster en la V Escuela-Taller
de la Red de Analisis Funcional y Aplicaciones (ICMAT, Madrid, 2015).
Lema 2.2 Sea una aplicacion de Rn en R. Si L n
loc (R ) y no es un
n
polinomio, entonces existe al menos una Cc (R ) tal que

( )(x) = (x t)(t) dt
Rn
no es un polinomio.
Demostracion. Por simplicidad en la notacion, escribimos D = Cc (Rn ) y pro-

veemos a este espacio de su topologa usual [23, Definition 6.3 y Theorem 6.4], de
manera que su dual D0 es el espacio de las distribuciones sobre Rn [23, Definition
6.7], al que dotamos de su topologa debil* [23, Section 6.16]. Sobre el espacio
C (Rn ) consideramos igualmente su topologa usual [23, Section 1.46].
Supongamos que es un polinomio para toda D, y sea B la
bola unidad cerrada de Rn . Denotamos por DB la familia de todas las funciones
u D soportadas en B. Entonces, en particular, u es un polinomio siempre
que u DB .
Afirmamos la existencia de un entero positivo m tal que grado ( u) m
para toda u DB . En efecto, recordemos que DB tiene estructura de espacio de
Frechet [23, Section 1.46]. Por otra parte, es evidente que

[
DB = Yk ,
k=1
donde
Yk = {u DB : grado ( u) k} (k N)
es un subespacio de DB . Ademas, cada Yk (k N) es cerrado en DB . Para
verlo, fijemos k N y supongamos que {uj } j=1 Yk es tal que lmj uj = u
en la topologa de DB . Entonces lmj uj = u tambien en la topologa de D
[23, Theorem 6.5]. Como la aplicacion es continua de D en C (Rn ) [23,
Theorem 6.33], sigue que lmj uj = u en la topologa de C (Rn ). Pero
la sucesion { uj }
j=1 esta en efl espacio de todos los polinomios de grado no
superior a k, el cual es un subespacio de C (Rn ) de dimension finita, y por lo
tanto cerrado [23, Theorem 1.21]. Esto conlleva a que u sea un polinomio de
grado no mayor que k, as que u Yk .
Llegados a este punto, se puede aplicar el teorema de categora de Baire
[23, Section 2.2] para inferir que algun Ym tiene interior no vaco. Como Ym es
un subespacio de DB , esto fuerza a que Ym = DB y establece nuestra afirmacion
sobre la existencia de m.
Para completar la prueba, se considera una identidad aproximada {hj } j=1
DB [23, Definition 6.31]. Entonces, como se acaba de demostrar, cada hj
(j N) es un polinomio de grado no mayor que m, y lmj hj = en la
topologa de D0 [23, Theorem 6.32]. El operador D ( N, || = m + 1) es
secuencialmente continuo de D0 en D0 [23, Theorem 6.17], de manera que
0 = lm D ( hj ) = D ( N, || = m + 1)
j
en D0 . El corolario en [8, pp. 57-59] ya permite concluir que es un polinomio

y que grado ( u) m, como se pretenda. t
u
Lema 2.3 Sea una aplicacion de Rn en R. Si L n

loc (R ) y es continua
en casi todo punto entonces, para cada Cc (Rn ), puede ser aproximada
uniformemente desde = span {(ax + ) : a R, Rn }.
Demostracion. Recordemos que

( )(x) = (x t)(t) dt (x Rn )
Rn
esta bien definida.

Supongamos que supp [T, T ]n . Demostraremos que puede ser
aproximada uniformemente en [T, T ]n por
mn
!n
X 2T
(x ti ) (ti ) ,
i=1
m
donde {ti Rn : i = 1, 2, . . . , mn } es el conjunto formado por todos los puntos

en [T, T ]n de la forma
" #n
2i1 T 2in T
T + , . . . , T + , i1 , i2 , . . . , in = 1, 2, . . . , m.
m m
Pongamos i = [ti1 , ti ]. Sumando y restando en el primer miembro la

expresion
mn
X
(x ti ) (t) dt
i=1 i
y aplicando la desigualdad triangular, encontramos que

!n
mn
X 2T
(x t) (t) dt (x ti ) (ti )

m

Rn
i=1
m n
X
(x t) (t) dt (x ti ) (t) dt

Rn i

i=1
mn m n !n
X X 2T
+ (x ti ) (t) dt (x ti ) (ti ) . (2.2)

i=1 i i=1
m
Si en el segundo termino del segundo miembro de (2.2) utilizamos que

n
2T
dt = ,
i m
podemos escribir:
n !n
m mn
X X 2T
(x ti ) (t) dt (x ti ) (ti )

m

i=1 i

i=1
mn
X
= (x ti ) [(t) (ti )] dt

i i=1

mn
X
|(x ti )| |(t) (ti )| dt.
i=1 i
Como es continua, es uniformemente continua en el compacto [T, T ]n . Por

consiguiente, cabe elegir m lo suficientemente grande como para que
m
X
n
|(x ti )| |(t) (ti )| dt .

i=1 i
En el primer termino del segundo miembro de (2.2), tenemos:

mn

X
(x t) (t) dt (x ti ) (t) dt

Rn i

i=1
n
Xm
= [(x t) (x ti )] (t) dt

ii=1

m
X
n
|(x t) (x ti )| |(t)| dt.

i=1 i
Ya que es continua en casi todo punto, el conjunto de sus puntos de discon-

tinuidad tiene medida cero. Por lo tanto, dado un > 0 se puede encontrar un
numero contable de intervalos abiertos, cuya union U es de medida , tal que
es uniformemente continua en [T, T ]n \U . Puesto que
i = (i \U ) (i U ) (i = 1, 2, . . . , mn )
y esta union es disjunta, la estimacion anterior se puede expresar como

m
X
n
|(x t) (x ti )| |(t)| dt
i=1 i
m
X
n
= |(x t) (x ti )| |(t)| dt
i=1 i \U
m
X
n
+ |(x t) (x ti )| |(t)| dt. (2.3)

i=1 i U
Ahora, ya que es uniformemente continua en [T, T ]n \U , en el primer termino

del segundo miembro de (2.3) se puede elegir m suficientemente grande como
para que
Xmn
|(x t) (x ti )| |(t)| dt .
i=1 i \U
En el segundo termino del segundo miembro de (2.3), al tenerse que

dt = ,
U
se puede elegir lo suficientemente pequeno como para que

m
X
n
|(x t) (x ti )| |(t)| dt 2kkL ([T,T ]n ) kkL (Rn ) .

i=1 i U
De ambas acotaciones resulta

m
X
n
|(x t) (x ti )| |(t)| dt 2.
i=1 i
Se concluye que
mn
!n
X 2T
(x t) (t) dt (x ti ) (ti ) 3

m

Rn
i=1
para todo x [T, T ]n . La prueba queda completada. t

u
Combinando los Lemas 2.2 y 2.3 con el Teorema 2.1, ya se consigue el

resultado principal.
Teorema 2.4 Sea una aplicacion de Rn en R. Si es continua en casi todo
punto, localmente esencialmente acotada y no es un polinomio entonces, para
cualquier conjunto compacto K Rn , = span {(ax + ) : a R, Rn } es
denso en C(K) con respecto a la norma del maximo, es decir, dada f C(K) y
cualquier > 0, existe g tal que kf gkL (K) para todo x K.
Demostracion. Por el Lema 2.2, sabemos que existe algun Cc (Rn ) tal que
no es un polinomio. Como C (Rn ), por el Teorema 2.1 se tiene
que span {( )(ax + ) : a R, Rn } es denso en C(K). Por el Lema
2.3, puede ser aproximado uniformemente desde , de donde se infiere que
span {( )(ax + ) : a R, Rn } puede ser aproximado uniformemente
desde . As pues, es denso en C(K). t
u
El resultado anterior nos dice que si la funcion de activacion usada en la

capa oculta es continua en casi todo punto, localmente esencialmente acotada
y no es un polinomio, entonces una red neuronal de tres capas con funcion de
activacion base radial es un aproximante universal. Este hecho extiende significa-
tivamente los resultados obtenidos por Park y Sandberg [20, 21]. En particular,
para que la red tenga la propiedad de aproximacion universal, la funcion de
activacion no tiene que ser necesariamente integrable.
Cabe observar que si la funcion de activacion usada en la capa oculta es un
polinomio, la red neuronal solo puede producir polinomios de un cierto grado.
Por tanto, la condicion de que la funcion de activacion no sea un polinomio
siempre es necesaria para conseguir la aproximacion universal. No sabemos si
los requisitos de que dicha funcion de activacion sea continua en casi todo punto
y localmente esencialmente acotada tambien son necesarios.
Aparte de la aproximacion universal en C(K), tenemos el siguiente resul-
tado sobre aproximacion universal en el espacio Lp (), donde 1 p < y es
una medida finita.
Teorema 2.5 Sean una medida finita en Rn y una aplicacion de Rn en R. Si

L () y no es un polinomio, entonces = span {(ax+) : a R, Rn }
es denso en Lp (), para 1 p < .
Demostracion. Fijemos 1 p < y supongamos que no es denso en Lp ().

Como Lp (), es un subespacio de Lp (). Por el teorema de Hahn-Banach
(cf. [6]), existe una funcion g Lq () \ {0}, donde q = p/(p 1), tal que

(ax + )g(x) d(x) = 0
Rn
para todo a R y Rn . Por otra parte, el Lema 2.2 proporciona Cc (Rn )

tal que no es un polinomio.
Consideremos la integral
" #
( )(ax + )g(x) d(x) = (ax + t)(t) dt g(x) d(x).
Rn Rn Rn
Como
" #
|(ax + t)(t)g(x)| dt d(x)
Rn Rn
kkL (Rn ) kkL1 (Rn ) (Rn )1/p kgkLq (Rn ) < ,
por el teorema de Fubini se tiene


( )(ax + )g(x) d(x)
Rn
" #
= (ax + t)(t) dt g(x) d(x)
Rn Rn
" #
= (ax + t)g(x) d(x) (t) dt = 0.
Rn Rn
Ya que C (Rn ) y no es un polinomio, el resto de la prueba es

identica a la del Teorema 2.1, con d(x) = g(x) dx. t
u
2.4. Experimentos numericos

En esta seccion se presentan varios experimentos numericos que ilustraran
la validez de los resultados alcanzados en este captulo. Mostraremos grafica-
mente que, aun cuando la funcion de activacion que comparece en la capa oculta
no sea integrable, una red neuronal RBF tiene la propiedad de aproximacion
universal siempre y cuando dicha funcion de activacion satisfaga las condiciones
(menos restrictivas) de ser continua en casi todo punto y localmente esencial-
mente acotada, pero no un polinomio. En concreto, se hara una comparativa
usando, esencialmente, dos funciones de activacion diferentes en la capa oculta
para aproximar otras dos funciones de una variable, evaluando tambien la dife-
rencia entre los errores de aproximacion. Por un lado consideraremos la funcion
base radial
kx k2

F (x) = exp ,
b
que llamaremos P-gaussiana, y por otro lado la gaussiana tradicional o N-
gaussiana
kx k2

G(x) = exp .
b
Aqu, x Rn es la variable, Rn es un vector de centros, y b R es un parame-
tro de amplitud. Mientras que la N-gaussiana G es integrable, la P-gaussiana F
no lo es, si bien satisface las condiciones mas debiles propuestas en este captulo.
En primer lugar consideramos la funcion utilizada como ejemplo en las
graficas del captulo 1, a saber, f (x) = 0,5 + 0,4 sen 2x en el intervalo [0, 1]. En
las situaciones descritas en las figuras 2.1, 2.2 y 2.3, la recproca de la gaussiana
(P-gaussiana) proporciona una aproximacion similar o mejor que la gaussiana
(N-gaussiana). Como segundo ejemplo consideramos la funcion f (x) = sen(3(x+
0,5)3 1) en el intervalo [1, 1]. La figura 2.4 muestra la aproximacion de la
funcion f obtenida usando las funciones de activacion mencionadas, con los
parametros que se indican. Se observa que la salida de la P-gaussiana proporciona
un ajuste mejor que la correspondiente a la N-gaussiana.
2.4 Experimentos numericos 31
Nmero de datos: 30
Nmero de centros: 30
Amplitud de la P-gaussiana: 0.8
Amplitud de la N-gaussiana: 0.067
La RBF produce un P-aproximante
La N-matriz de activacin es inversible
Coeficiente de N-regularizacin = 0
La RBF produce un N-interpolante no
regularizado
Figura 2.1. Con 30 datos, 30 centros, y amplitudes 0.8 para la P-gaussiana y 0.067
para la N-gaussiana, la P-RBF produce un aproximante y la N-RBF, un interpolante.
Comparese con la figura 1.1.
Nmero de datos: 30
Nmero de centros: 5
Amplitud de la P-gaussiana: 1
La RBF produce un N-aproximante no regularizado
Figura 2.2. Con 30 datos, 5 centros, y amplitudes 1 para la P-gaussiana y 0.4 para la
N-gaussiana, ambas RBFs producen una buena aproximacion. Comparese con la figura
1.3.
Nmero de datos: 30
La N-matriz de activacin es inversible
Coeficiente de N-regularizacin = 0.4
La RBF produce un N-interpolante regularizado
Figura 2.3. Con 30 datos, 30 centros, y amplitudes 0.8 para la P-gaussiana y 0.067
para la N-gaussiana, la N-RBF necesita una regularizacion con coeficiente 0.4 para
conseguir un ajuste similar al de la P-RBF. Comparese con las figuras 1.6 y 2.1.
Nmero de datos: 100

La P-RBF produce un aproximante no regularizado
La N-RBF produce un aproximante no regularizado
Figura 2.4. Aproximacion con 100 datos de entrenamiento y 30 centros elegidos alea-
toriamente, tomando como amplitudes 0.2 para la gaussiana y 0.8 para su recproca.
Se observa que esta ultima proporciona una aproximacion mucho mejor que aquella.
3
Aplicacion a problemas de clasificacion
3.1. Resolucion de problemas de clasificacion usando

RBF
Se obtiene una vision mas profunda de la naturaleza de las redes neuro-
nales de funciones base radiales al considerar su uso en la resolucion de diversos
problemas de clasificacion que surgen de forma natural. Supongamos que dis-
ponemos de un conjunto de datos, los cuales se pueden agrupar en tres clases
diferentes (figura 3.1). Con otro tipo de redes multicapa sera posible separar las
diferentes clases usando unidades ocultas que forman hiperplanos en el espacio
de entrada, como se muestra en la figura 3.1(a). Un enfoque alternativo consiste
en modelizar las clases separadas mediante funciones nucleo locales, tal como se
aprecia en la figura 3.1(b). Este ultimo tipo de representacion es el asociado con
las redes RBF.
Figura 3.1. Esquema de datos bidimensionales separados en tres clases. En (a) se

muestra la separacion de las clases mediante hiperplanos. En (b) se observa un enfoque
alternativo consistente en ajustar cada clase con una funcion nucleo, que se corresponde
con el tipo de representacion obtenido mediante redes RBF.
34 3 Aplicacion a problemas de clasificacion
Supongamos que se modelizan los datos de cada clase Ck usando una unica
funcion nucleo, la cual escribimos como p(x|Ck ). El objetivo en un problema de
clasificacion es modelizar las probabilidades a posteriori p(Ck |x) para cada una
de las clases. Tales probabilidades se pueden obtener a traves del teorema de
Bayes mediante las probabilidades a priori p(Ck ), como sigue:
p(x|Ck )p(Ck )
p(Ck |x) = (3.1)
p(x)
p(x|Ck )p(Ck )
= P .
k0 p(x|Ck )p(Ck )
0 0
Y se podran interpretar como una forma simple de red RBF con funciones base
normalizadas, dadas por
p(x|Ck )
k (x) = P ,
k0 p(x|Ck )p(Ck )
0 0
donde las conexiones de la segunda capa consistiran en un peso desde cada uni-
dad oculta a la correspondiente unidad de salida, con valor p(Ck ). Las salidas de
esta red representan, por tanto, aproximaciones a las probabilidades a posteriori.
En la practica, en lugar de una unica funcion nucleo (que no proporciona
una buena representacion de las distribuciones p(x|Ck )) se toma una cantidad M
de ellas, etiquetadas por un ndice j, para representar cada una de las densidades
condicionadas a las clases. As, escribimos
M
X
p(x|Ck ) = p(x|j)p(j|Ck ). (3.2)
j=1
A partir de (3.2) es posible obtener una expresion para la densidad no condicio-

nada p(x) sin mas que tomar la suma sobre todas las clases:
X
p(x) = p(x|Ck )p(Ck )
k
M
X
= p(x|j)p(j), (3.3)
j=1
siendo X
p(j) = p(j|Ck )p(Ck ).
k
De nuevo, estamos interesados en las probabilidades a posteriori de pertenencia

a cada clase. Estas pueden ser calculadas sustituyendo las expresiones (3.2) y
(3.3) en el teorema de Bayes (3.1) para obtener
3.2 Ejemplo: decision de smbolos enviados en un sistema de comunicacion 35
PM
j=1 p(j|Ck )p(x|j)p(Ck ) p(j)
p(Ck |x) = PM (3.4)
0 0
j 0 =1 p(x|j )p(j )
p(j)
M
X
= wkj j (x), (3.5)
j=1
donde en (3.4) se ha insertado un factor extra 1 = p(j)/p(j). La expresion

(3.5) representa una red de funciones base radiales, en la cual las funciones base
normalizadas vienen dadas por
p(x|j)p(j)
j (x) = PM = p(j|x)
0 0
j 0 =1 p(x|j )p(j )
y los pesos de la segunda capa, por
p(j|Ck )p(Ck )
wkj = = p(Ck |j).
p(j)
As, las activaciones de las funciones base pueden ser interpretadas como las
probabilidades a posteriori de la presencia de las correspondientes caractersticas
en los datos de entrada, y los pesos pueden ser similarmente contemplados como
las probabilidades a posteriori de pertenencia a una clase determinada, dada la
presencia de esas caractersticas.
3.2. Ejemplo: decision de smbolos enviados en un

sistema de comunicacion
Un sistema de comunicacion esta formado basicamente por tres elementos:
emisor, canal y receptor. Si el sistema es de tiempo continuo, la transmision
consiste en muestrear la senal a transmitir, cuantificarla y codificarla. La senal
codificada se enva por el canal, y al llegar al receptor se decodifica y se debera
obtener el smbolo transmitido. En la practica esto no sucede, ya que el canal
introduce ruido y la decodificacion nunca es perfecta, lo que obliga a situar a la
salida del decodificador un nuevo elemento, que llamaremos selector, encargado
de decidir que smbolo fue realmente enviado.
Se pretende en este ejemplo crear un selector que sea una red RBF.
3.2.1. Planteamiento del problema en terminos de una red RBF
Con el fin de que tenga una sola salida, consideraremos un alfabeto binario.
Supongamos que los smbolos susceptibles de ser introducidos en el codificador
son dos vectores 1 , 2 R2 , es decir, que nuestro alfabeto esta formado por el
conjunto A = {1 , 2 } R2 . La salida del decodificador sera un smbolo (i)

contaminado por un ruido (i), que supondremos aditivo. Esta salida sera una
entrada x(i) de la red RBF, de manera que x(i) = (i) + (i). La salida y que
se desea obtener en la red es:

1, si (i) = 1
y=
0, si (i) = 2 .
Denotaremos por H1 al suceso { = 1 } y H2 al suceso { = 2 } y llamaremos
p1 , p2 a las probabilidades de que sucedan H1 y H2 , respectivamente. Puesto que
el alfabeto es binario, necesariamente p1 = 1 p2 . Asumiremos una distribucion
gaussiana para el ruido, de media nula y amplitudes 1 y 2 , respectivamente.
La distribucion de x condicionada al smbolo enviado se puede expresar entonces
en la forma
kx 1 k2

1
fx (x|H1 ) = exp , (3.6)
212 212
kx 2 k2

1
fx (x|H2 ) = exp . (3.7)
222 222
Se pretende minimizar la probabilidad de error Pe del selector. Para ello, esta-
blecemos la siguiente regla de decision:

decidir H1 si x Z1
decidir H2 si x Z2 ,
siendo Z1 y Z2 dos regiones planas disjuntas cuya union es todo R2 . La proba-
bilidad de error valdra:

Pe = p 1 fx (x|H1 )dx + p2 fx (x|H2 )dx
Z2 Z1

= p1 1 fx (x|H1 )dx + p2 fx (x|H2 )dx
Z1 Z1
= p1 + [p2 fx (x|H2 ) p1 fx (x|H1 )] dx. (3.8)

Z1
La forma optima de tomar la decision sera la que minimice Pe , es decir, que Z1

este formada por todos aquellos puntos x tales que
p2 fx (x|H2 ) p1 fx (x|H1 ) < 0.
Dicho de otra forma, la decision optima sera:
fx (x|H2 ) p1

decidir H1 si f (x|H ) < p ,

x 1 2
decidir H2 si x
f (x|H2 ) p1
> .

fx (x|H1 ) p2
3.2 Ejemplo: decision de smbolos enviados en un sistema de comunicacion 37
Utilizamos las ecuaciones (3.6) y (3.7) para encontrar la frontera de decision,

que estara formada por los puntos x del plano tales que
kx 1 k2 kx 2 k2 p1 12

exp + = .
212 222 p2 22
Tras un calculo sencillo llegamos a la expresion
2 2
2 2 2
2 2

x 1 2 2 1 = 1 2 k1 2 k + 2 ln p1 1 ,

12 22 12 22 12 22 p2 22
indicativa de que la frontera de decision es una circunferencia C de centro xc y
radio r, donde
12 2 22 1 12 22 k1 2 k2 p 2

2 1 1
xc = , r = 2 + 2 ln .
12 22 1 22 12 22 p2 22
As pues, hemos hallado de forma teorica la region de decision optima. La di-
ferencia entre este analisis teorico y el que se realiza con redes RBF reside en
que para poder decidir de forma optima ha sido necesario conocer todo sobre la
distribucion de los smbolos y su ruido, lo que, a su vez, obliga a conocer a la
perfeccion el canal y la forma de codificacion, mientras que trabajando con redes
RBF no es necesario conocer nada mas que un conjunto de entradas y salidas.
3.2.2. Eleccion de valores para la simulacion
Notacion Valor Descripcion
1 (0, 0)> smbolo del alfabeto A
2 (2, 0)> smbolo del alfabeto A
12 1 varianza del ruido que afecta a 1
22 4 varianza del ruido que afecta a 2
p1 0,5 probabilidad de aparicion del smbolo 1

p2 0,5 probabilidad de aparicion del smbolo 2
Tabla 3.1. Valores considerados en el problema.
Usamos los valores de la tabla 3.1 para calcular el centro xc y el radio r

de la frontera de decision:
2 >
xc = ,0 , r ' 2,34.
3
Tambien se puede calcular teoricamente la probabilidad de error que se ob-
tendra en caso de que el selector decida de forma optima. Resolviendo numerica-
mente la integral (3.8) resulta que Pe = 0,1849; en consecuencia, la probabilidad
de que decida correctamente es Pc = 0,8151.
3.2.3. Simulacion numerica

Para finalizar, presentaremos el resultado de una simulacion correspon-
diente a la situacion descrita. Segun lo que acabamos de obtener, una cota su-
perior para el porcentaje de aciertos es el 81,51 %.
Dada la sencillez del planteamiento y las restricciones impuestas por la
normativa academica sobre la extension de la memoria, se ha omitido el codigo
utilizado para implementar la simulacion. La red se ha entrenado a partir de una
muestra de N = 500 datos generada aleatoriamente, tomando como centros un
subconjunto aleatorio (cf. seccion 1.5.1) de M < N de esos datos y calculando
los pesos mediante la matriz pseudoinversa. En su arquitectura se han usado
como funciones de activacion gaussianas de igual amplitud , obtenida segun la
formula
dmax
= ,
2M
donde dmax es el diametro del conjunto de los centros. En la figura 3.2 se puede
ver el resultado de la clasificacion de un conjunto de 1000 puntos en el cuadrado
[1, 3] [2, 2].
Figura 3.2. Resultado de la clasificacion. Se aprecia como los puntos correspondientes

a las dos asignaciones quedan separados por la circunferencia, que se corresponde con
la frontera de decision.
Bibliografa
[1] C.M. Bishop: Neural networks for pattern recognition. Clarendon

Press, 1995.
[2] M.D. Buhmann: Radial Basis Functions: Theory and implementa-
tions. Cambridge University Press, 2003.
[3] T. Chen, H. Chen: Universal approximation to nonlinear operators
by neural networks with arbitrary activation functions and its appli-
cation to dynamical systems. IEEE Transactions on Neural Networks
6 (1995), no. 4, 911917.
[4] S. Chen, C.F.N. Cowan, P.M. Grant: Orthogonal least squares
learning algorithm for radial basis function networks. IEEE Transac-
tions on Neural Networks 2 (1991), no. 2, 302309.
[5] C.A. Cruz-Rodrguez, C. Garca-Vargas, I. Marrero: Furt-
her comments on ((Relaxed conditions for radial-basis function net-
works to be universal approximators)). Revista de la Academia Cana-
ria de Ciencias 27 (2015/2016), 2931.
[6] G. Cybenko: Approximation by superposition of a sigmoidal fun-
ction. Mathematics of Control, Signals, and Systems 3 (1989), 303
314.
[7] G. Fasshauer: Meshfree approximation methods with MATLAB.
World Scientific, 2007.
[8] A. Friedman: Generalized functions and partial differential equa-
tions. Prentice-Hall, 1963.
[9] F. Girosi, T. Poggio: Networks and the best approximation pro-
perty. Biological Cybernetics 63 (1990), 169176.
[10] S. Haykin: Neural networks, 2nd ed. Pearson Prentice Hall, 1999.
[11] K. Hornik: Approximation capabilities of multilayer feedforward
neural networks. Neural Networks 4 (1990), 251257.
40 Bibliografa
[12] K. Hornik: Some new results on neural network approximation. Neu-

ral Networks 6 (1993), 10691072.
[13] T. Kohonen: Self-organized formation of topologically correct fea-
ture maps. Biological Cybernetics 43 (1982), 5969.
[14] S. Lafon: Redes neuronales. Instituto de Ingeniera Electrica, Facul-
tad de Ingeniera, Universidad de la Republica, Uruguay, 2002. Dispo-
nible en http://iie.fing.edu.uy/ense/asign/tes/materiales/
monografias/RedesNeuronales.pdf.
[15] S. de Leon Perez: Aproximacion universal por modelos computacio-
nales ridge y redes neuronales. Trabajo Fin de Grado en Matematicas,
Universidad de La Laguna, septiembre 2014.
[16] M. Leshno, V. Lin, A. Pinkus, S. Schocken: Multilayer feedfor-
ward networks with a polynomial activation function can approximate
any function. Neural Networks 6 (1993), 861867.
[17] Y. Liao, S.-c. Fang, H.L.W. Nuttle: Relaxed conditions for
radial-basis function networks to be universal approximators. Neu-
ral Networks 16 (2003), 10191028.
[18] H. Mhaskar, C. Micchelli: Approximation by superposition of
sigmoidal and radial basis functions. Advances in Applied Mathema-
tics 13 (1992), 350373.
[19] J. Moody, C.J. Darken: Fast learning in networks of locally-tuned
processing units. Neural Computation 1 (1989), no. 2, 281294.
[20] J. Park, I.W. Sandberg: Universal approximation using radial-
basis-function networks. Neural Computation 3 (1991), no. 2, 246
257.
[21] J. Park, I.W. Sandberg: Approximation and radial-basis-function
networks. Neural Computation 5 (1993), 305316.
[22] W. Rudin: Real and complex analysis, 3rd ed. McGraw-Hill, 1987.
[23] W. Rudin: Functional analysis, 2nd ed. McGraw-Hill, 1991.
[24] H. Wendland: Scattered data approximation. Cambridge University
Press, 2005.
[25] W. Wu, D. Nan, J.-l. Long, Y.-m. Ma: A comment on ((Relaxed
conditions for radial-basis function networks to be universal approxi-
mators)). Neural Networks 21 (2008), 14641465.
Apendice
Se reproduce a continuacion el codigo Python utilizado en los captulos 1

y 2 para aproximar e interpolar mediante redes neuronales RBF con funciones
base gaussianas y recprocas de gaussianas. Esta basado en un snippet de T.
Rueckstiess * . El entrenamiento se hace eligiendo aleatoriamente los centros entre
los datos de entrada y calculando los pesos mediante la matriz pseudoinversa.
En el caso de funciones de activacion gaussianas, se contempla la posibilidad de
aplicar una regularizacion.
#! / usr / bin / python
from scipy import *

from scipy . linalg import norm , pinv , inv , solve
from numpy . linalg import matrix_rank
from matplotlib import pylab as plt
class RBF :
def __init__ ( self , indim , numData , numCenters ,

outdim ) :
self . indim = indim
self . outdim = outdim
self . numData = numData
self . numCenters = numCenters
self . betap = 0.5/ float ( input ( Amplitud de la P -
gaussiana : ) ) **2
http://www.rueckstiess.net/research/snippets/show/72d2363e.
42 Apendice
self . betan = 0.5/ float ( input ( Amplitud de la N -

gaussiana : ) ) **2
self . centers = [ random . uniform (0 , 1 , indim ) for
i in range ( numCenters ) ]
self . W = random . random (( self . numCenters , self .
outdim ) )
def _basisfuncGp ( self , c , d ) :

assert len ( d ) == self . indim
return exp ( self . betap * norm (c - d ) **2)
def _basisfuncGn ( self , c , d ) :

assert len ( d ) == self . indim
return exp ( - self . betan * norm (c - d ) **2)
def _calcAct ( self , X , vc ) :

# calculo de las RBFs de activacion
# vc determina la eleccion de la funcion base
gaussiana con exponente ( P ) ositivo o ( N )
egativo
G = zeros (( X . shape [0] , self . numCenters ) , float )
for ci , c in enumerate ( self . centers ) :
for xi , x in enumerate ( X ) :
if vc == " P ":
G [ xi , ci ] = self . _basisfuncGp (c , x )
else :
G [ xi , ci ] = self . _basisfuncGn (c , x )
# print ( vc + - matriz de activacion : , G )
return G
def train ( self , X , Y , numData , numCenters , vc ) :

""" X : matriz de dimensiones n * indim
y : vector columna de dimensiones n * 1 """
# entrenamiento de la red
# print ( vc + - datos de entrada : , X )
# centros : ( subconjunto aleatorio de los ) datos

de entrada
if numData == numCenters :
self . centers = X
else :
Apendice 43
rnd_idx = random . permutation ( X . shape [0]) [:

self . numCenters ]
self . centers = [ X [i ,:] for i in rnd_idx ]
# print ( vc + - centros : , self . centers )
# pesos , sin / con regularizacion

G = self . _calcAct (X , vc )
tipo = La + vc + - RBF produce un
if matrix_rank ( G ) == G . shape [0]:
print ( La + vc + - matriz de activacion
es inversible )
tipo = tipo + interpolante
else :
tipo = tipo + aproximante
if vc == " P ":
self . W = dot ( pinv ( G ) , Y )
tipo = tipo + no
else :
FR = float ( input ( Coeficiente de + vc + -
regularizacion = ) )
if FR == 0:
self . W = dot ( pinv ( G ) , Y )
tipo = tipo + no
GR = dot ( transpose ( G ) , G )
n_col = GR . shape [0]
self . W = dot ( dot ( inv ( GR + FR * eye ( n_col ) ) ,
transpose ( G ) ) , Y )
tipo = tipo + regularizado
print ( tipo )
# print ( vc + - pesos : , self . W )
return self . W
def test ( self , X , vc ) :

""" X : matriz de dimensiones n * indim """
# salida de la red RBF
G = self . _calcAct (X , vc )
Y = dot (G , self . W )
# print ( vc + - salida : , Y )
return Y
if __name__ == __main__ :
# ##### Ejemplo 1 D #####

44 Apendice
# d = int ( input ( Densidad grafica : ) )

d = 300
n = int ( input ( Numero de datos : ) )
m = int ( input ( Numero de centros : ) )
# epsilon = float ( input ( Amplitud del ruido
gaussiano : ) )
epsilon = 0.05
# se crea una matriz d *1 de d puntos equiespaciados

entre 0 y 1 , ambos inclusive , para representar
graficamente f
u = mgrid [0:1: complex (0 , d ) ]. reshape (d , 1)
x = mgrid [0:1: complex (0 , n ) ]. reshape (n , 1) # idem de
n puntos , que seran los datos de entrada
# w = sin (3*( x +0.5) **3 - 1)
v = 0.5 + 0.4 * sin (2* pi * u ) # ordenadas de la
grafica de f
w = 0.5 + 0.4 * sin (2* pi * x ) # datos objetivo
y = w + random . normal (0 , epsilon , w . shape ) # se
a~
n ade ruido gaussiano a los datos objetivo
# regresion RBF
rbf = RBF (1 , n , m , 1) # entrada y salida
unidimensionales , con n datos y m centros
rbf . train (x , y , n , m , " P ") # entrenamiento de la P -
RBF con los datos de entrada y los datos
objetivo con ruido
zP = rbf . test (u , " P ") # salida de la P - RBF
rbf . train (x , y , n , m , " N ") # entrenamiento de la N -
RBF con los datos de entrada y los datos
objetivo con ruido
zN = rbf . test (u , " N ") # salida de la N - RBF
# graficas -----
plt . figure ( figsize = (8 , 8) )
plt . plot (u , zP , r , linewidth = 2 , label = r $g ( x )
= $ + salida red RBF )
plt . plot (u , v , k - , linewidth = 2 , label = r $f ( x )
= 0.5 + 0.4\ , sen \ ,(2\ pi x )$ )
plt . plot (x , y , b . , label = ruido gaussiano )
plt . legend ( loc = 3)
plt . xlabel (r $x$ , fontsize = 12)
Apendice 45
plt . ylabel (r $y$ , fontsize = 12)

plt . title ( Recproca de la gaussiana , fontsize =16)
plt . grid ( color = b , alpha = 0.5 , linestyle =
dashed , linewidth = 0.5)
plt . xlim (0.0 , 1.0)
plt . ylim (0.0 , 1.0)
plt . figure ( figsize =(8 , 8) )

plt . plot (u , zN , g , linewidth = 2 , label = r $h ( x )
= $ + salida red RBF )
plt . plot (u , v , k - , linewidth = 2 , label = r $f ( x )
= 0.5 + 0.4\ , sen \ ,(2\ pi x )$ )
plt . plot (x , y , b . , label = ruido gaussiano )
plt . title ( Gaussiana , fontsize =16)
plt . grid ( color = b , alpha = 0.5 , linestyle =
dashed , linewidth = 0.5)
plt . xlim (0.0 , 1.0)
plt . ylim (0.0 , 1.0)
plt . figure ( figsize = (8 , 3) )

plt . plot (u , abs (v - zP ) , r - , label = r $ | g ( x ) -f ( x ) |
$ )
plt . plot (u , abs (v - zN ) , g - , label = r $ | h ( x ) -f ( x ) |
$ )
plt . title ( Comparativa de errores , fontsize = 16)
plt . grid ( True )
plt . xlim (0.0 , 1.0)
plt . ylim ( -0.1 , 1.0)
plt . tight_layout ()
plt . show ()
ELEMENTOS BSICOS
TAMAOS MNIMOS
En este apartado se establecen
los tamaos mnimos en los que
se puede reproducir la marca.
15 mm
Manual bsico de identidad - Facultad de Ciencias
ELEMENTOS BSICOS
CONFIGURACIONES DE LA MARCA
Radial basis functions neural networks

Las marcas de la Facultad de
Ciencias y Secciones posen una
configuracin definida. No se
debe transformar la configuracin
para hacer una versin horizontal
o vertical ni adaptarla a otro
formato.
15 mm
Claudio Garca Vargas 15 mm
am
Facultad de Ciencias Seccin de Matemticas
Universidad de La Laguna
[email protected]
Poster
Elena Nito del Bosque 9
networks of the form

15 mm
Abstract
X 10 mm
Sistemas Diferenciales
In approximation theory, conditionally pos-
h(x) =
n
w n (kx xn k),
itive definite radial functions, or radial ba- where is a basis function, the vectors
Exteriores: el teorema de
sis functions (RBF), are used to solve
problems of interpolation of sparse data
xn are called centers, and the scalars w n
are weights. Initially they were introduced
Frobenius
in Euclidean space. Among the many
byproducts of RBF interpolation, the RBF
to solve exact interpolation, but nowa-
days they constitute a field of indepen-
neural networks are particularly interest- dent interest within computer science and
Exterior Differential Systems: Frobenius
ing. The purpose of this report is to artificial intelligence, with manifold appli-
Figure 1: Approximation by a P-gaussian
17
study, by means of functional-analytic RBF.
theorem
techniques, the properties of interpola-
cations to areas as diverse as finance,
medicine, biology, geology, engineering
tion and approximation by RBF neural or physics. Besides exact interpolation,
networks in spaces of continuous and of some of the topics treated are network
integrable functions, illustrating the the- training, regularization theory and opti-
Trabajo
ory with some Fin de Grado
numerical experiments and mization of basis functions (including data
practical applications. de Anlisis
Departamento subsets, clustering algorithms, orthogonal
Matemtico least squares and gaussian mixed mod-
1. Introduction els), as well as supervised training.
La Laguna, Octubre de 2016
An artificial neural network is an infor- 3. Universal approximation by RBF neural Figure 2: Approximation by a N-gaussian
mation processing system whose perfor- networks RBF.
mance is inspired by that of biological
neural networks. Originally, artificial neu- In this chapter, following [5] (cf. also [6]
ral networks intended to model the opera- and [2]) we study the universal approxi- 4. Application to classification problems
tion of these. With the course of time, ar- mation property of three-layered radial ba-
tificial models have emerged that lack any sis function (RBF) networks. We show In this section, a probabilistic approach to
biological signification but have proved that the integrability condition usually im- RBF networks is given, and an application
themselves to be useful for solving infor- posed on the activation function can be of this approach to symbol classification in
mation processing problems. dropped. Instead, the following holds. a communication channel is discussed.
The result of the processing occurring in
Theorem 3.1 Let be a function from Rn
a neuron is a non-linear function of the References
to R. If is continuous almost every-
inputs and of a set of parameters. This
where, locally essentially bounded, and
point constitutes the basis of the opera-
not a polynomial then, for any compact set [1] C.M. B ISHOP: Neural networks for
tion of neural networks, because the set
K Rn , = span {(ax + ) : a R, Rn } is pattern recognition. Clarendon Press,
of parameters on which such functions de-
uniformly dense in C (K ), that is, given any 1995.
pend are adjusted according to what they
f C (K ) and any > 0, there exists g [2] C.A. C RUZ -R ODRGUEZ , C. G ARCA -
are learning. After training, with a good al-
such that k f g kL(K ) for all x K . VARGAS , I. M ARRERO: Further com-
gorithm and a sufficiently good sample, a
neural network is capable to perform the Theorem 3.2 Let be a finite measure ments on Relaxed conditions for
task it has been trained for with a high de- on Rn and a function from Rn to R. If radial-basis function networks to be
gree of accuracy. L () is not a polynomial, then = universal approximators. Revista de
The learning of neural networks can oc- span {(ax + ) : a R, Rn } is dense en la Academia Canaria de Ciencias 27
cur in two ways: supervised or unsuper- L p (), for all 1 p < . (2015/2016), 2931.
vised. In supervised mode, learning is These results are illustrated by the so- [3] G. FASSHAUER: Meshfree approxima-
achieved directly by comparing the out- called P-gaussian and N-gaussian function methods with MATLAB. World Sci-
put of the network with the correct answer tions, respectively given by entific, 2007.
already known. In unsupervised mode, ! [4] S. DE L EN P REZ: Aproximacin uni-
the available information is only in correla- kx k2 versal por modelos computacionales
F (x) = exp ,
tion with the input or signal data. Artificial b ridge y redes neuronales. Trabajo Fin
neural networks can also be classified by ! de Grado en Matemticas, Universidad
their architecture in regressive or progres- kx k2 de La Laguna, septiembre 2014.
sive networks, according to whether or not G(x) = exp .
b [5] Y. L IAO, S.- C. FANG , H.L.W. N UT-
they allow feedback among layers. TLE : Relaxed conditions for radial-
Here, x Rn is the variable, Rn is a
center vector, and b R is a width pa- basis function networks to be univer-
2. RBF neural networks rameter. Although the N-gaussian G is sal approximators. Neural Networks 16
integrable while the P-gaussian F is not, (2003), 10191028.
The purpose of this work is to give a F satisfies the hypotheses of the above [6] W. W U, D. N AN , J.- L . L ONG , Y.- M .
general overview of radial basis functions theorems. In fact, figures 1 and 2 show M A: A comment on Relaxed condi-
(RBF) neural networks and study their in- that a RBF with P-gaussians as activation tions for radial-basis function networks
terpolation and approximation properties. functions can perform a better approxi- to be universal approximators. Neural
These are a kind of progressive neural mation than a N-gaussian based RBF. Networks 21 (2008), 14641465.
TRABAJO FIN DE GRADO, Convocatoria de Julio, 2017

Redes Neuronales de Funciones Base Radiales

Cargado por

Copyright:

Formatos disponibles

Redes Neuronales de Funciones Base Radiales

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Redes Neuronales de Funciones Base Radiales

Cargado por

Copyright:

Formatos disponibles

15 mm

Palabras clave: Red neuronal RBF Funcion base radial In-

Keywords: RBF neural network Radial Basis Function Exact

1. Redes neuronales RBF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2. Aproximacion universal por redes neuronales RBF . . . . . . . . . . 19

3. Aplicacion a problemas de clasificacion . . . . . . . . . . . . . . . . . . . . . . 33

3.2.2. Eleccion de valores para la simulacion . . . . . . . . . . . . . . . . . . 37

Una red neuronal artificial es un sistema procesador de informacion cuyo

El ultimo punto constituye la base del funcionamiento de las redes neuro-

1. Se toma una valor inicial para los parametros de la misma.

Los pasos 2 y 3 se repiten con todas las imagenes de la muestra.

donde los vectores xn se denominan centros y los escalares wn , pesos. Aunque

interes se focaliza particularmente en caracterizar las funciones base que generan

1.1. El problema de la interpolacion exacta

Las condiciones de interpolacion (1.1) se pueden escribir matricialmente en la

en la ecuacion (1.2) se toman como el conjunto de valores dados por (1.4), la

(x) = (x2 + 2 ) , > 0.

La funcion thin-plate spline:

Figura 1.1. Ejemplo sencillo de interpolacion exacta usando RBF. Se ha generado

Por analoga con (1.4), los pesos se obtienen en la forma

1.2. Redes neuronales de funciones base radiales

numero de puntos del conjunto de datos, de manera que si este es grande la

siendo x el vector de entrada d-dimensional con componentes xi , y j el vector

sesgos capa oculta

universales, es decir, conformar un conjunto denso en espacios de funciones con-

nes correspondientes a todas las elecciones posibles de los parametros ajustables)

1.3. Entrenamiento de la red

donde 0 es una funcion base extra con un valor de activacion fijado en 0 = 1.

con W = (wkj ) y = (j ). Puesto que las funciones base se consideran fijas, la

> W> = > T, (1.11)

= lm (> + I)1 > ,

se demuestra que este lmite siempre existe y su valor minimiza la funcion de

1.4. Teora de1.0

1.4 Teora de la regularizacion 9

where P is some differential operator, and v is called a regularization parameter.

{ y ( x " ) - tn}6(x - x n ) + i/PPy(x) = 0 (5.23)

donde Pb es el operador diferencial adjunto de P y es la funcion delta de Dirac.

expresion que tiene la forma de un desarrollo lineal en funciones base radiales.

Integrando ahora sobre un entorno de xn encontramos que los coeficientes wn

donde D2l = (2 )l y D2l+1 = (2 )l , siendo y 2 los operadores gradiente y

Ahora, las funciones de Green G(kx xn k) se corresponden con las funciones

y= (nj )es como anteriormente. Cuando = 0, (1.18) se reduce a (1.11). La

1.5. Optimizacion de las funciones base

Una de las principales dificultades potenciales con las redes neuronales

Figura 1.8. Funcion de la figura 1.7 tras la introduccion de la variable irrelevante

A continuacion se muestran algunas tecnicas para elegir apropiadamente

1.5.1. Subconjuntos de datos

Un procedimiento sencillo para seleccionar los centros j de las funciones

1.5.2. Algoritmos de clustering

1.5.3. Mnimos cuadrados ortogonales

Este metodo se fundamenta en la idea de seleccion de funciones base que

Un enfoque de este tipo sera muy costoso computacionalmente, pues obli-

1.5.4. Modelos gaussianos mixtos

Hasta el momento se han discutido procedimientos heursticos para selec-

y es maximizada tanto en relacion a los coeficientes mixtos P (j) como a los

1.6. Entrenamiento supervisado

funcion ridge, siendo su expresion

donde aplica Rn en R, x Rn es una variable, Rn es un vector central y

Los trabajos de investigacion que usan funciones ridge como funcion de