UNIVERSIDAD NACIONAL DE INGENIERA

FACULTAD DE INGENIERA ECONMICA Y CC.SS.

Escuela Profesional de Ingeniera Econmica

Curso: Negociaciones y Finanzas Internacionales

Cdigo: EA 822K
Ciclo: 2014-II

PRACTICA CALIFICADA N 2
Investigue respecto a los temas planteados y responda las siguientes
preguntas:
1. Qu datos y variables se requiere para calcular los estadsticos de
validacin de modelos? Explique cmo se calcula estos estadsticos y
realice un ejemplo en una hoja de clculo
a. Matriz de Confusin
La Matriz de Confusin contiene informacin acerca de las predicciones
realizadas por un Mtodo o Sistema de Clasificacin, comparando para el
conjunto de individuos en de la tabla de aprendizaje o de testing, la
prediccin dada versus la clase a la que estos realmente pertenecen.
La siguiente tabla muestra la matriz de confusin para un clasificador de
dos clases:

Ejemplos:

800 predicciones de Mal Pagador fueron realizadas correctamente, para un

80%, mientras que 200 no, para un 20%.
1500 predicciones de Buen Pagador fueron realizadas correctamente, para
un 75%, mientras que 500 no (para un 25%).

En general 2300 de 3000 predicciones fueron correctas para un 76,6% de

efectividad en las predicciones. Cuidado, este dato es a veces engaoso y
debe ser siempre analizado en la relacin a la dimensin de las clases.

La Precisin P de un modelo de prediccin es la proporcin del nmero total

de predicciones que son correctas respecto al total. Se determina utilizando
la ecuacin: P = (a+d)/(a+b+c+d)

La Precisin Positiva (PP) es la proporcin de casos positivos que fueron

identificados correctamente, tal como se calcula usando la ecuacin: PP = d/
(c+d)

La Precisin Negativa (PN) es la proporcin de casos negativos que fueron

identificados correctamente, tal como se calcula usando la ecuacin: PN =
a/(a+b)
Falsos Positivos (FP) es la proporcin de casos negativos que fueron
clasificados incorrectamente como positivos, tal como se calcula utilizando
la ecuacin: FP = b/(a+b)

Falsos Negativos (FN) es la proporcin de casos positivos que fueron

clasificados incorrectamente como negativos, tal como se calcula utilizando
la ecuacin: FN = c/(c+d)

Asertividad Positiva (AP) indica la proporcin de buena prediccin para los

positivos, tal como se calcula utilizando la ecuacin: FN = d/(b+d)

Asertividad Negativa (AN) indica la proporcin de buena prediccin para los

negativos, tal como se calcula utilizando la ecuacin: FN = a/(a+c)

Cuidado, este ndice es a veces engaoso y debe ser siempre analizado en

la relacin a la dimensin de las clases.
Ejemplo

En la Matriz de Confusin anterior la Precisin P es del 98,9%, sin embargo,

el modelo no detect ningn fraude.

b. Kolmogorov-Smirnov (KS)

Una de las pruebas no paramtricas para la bondad de ajuste es el test de

Kolmogorov-Smirnov. Si se desea probar que dos muestras independientes
provienen de la misma distribucion utilizamos la prueba de KolmogorovSmirnov tambin conocida como la prueba K-S. El estadstico de prueba se
calcula como la mxima diferencia absoluta entre sus distribuciones
empricas, entonces se busca detectar las discrepancias existentes entre las
frecuencias relativas acumuladas de las dos muestras de estudio. Estas
diferencias estn determinadas no solo por las medias sino tambin por la

dispersin, simetra o la oblicuidad. La prueba se construye sobre las

hiptesis nula y alternativa como sigue:

H0: Las distribuciones poblacionales son iguales.

H1: Las distribuciones poblacionales son diferentes.

Para esta prueba se requiere tener dos muestras de una variable aleatoria
continua, o al menos de escala ordinal. Con los datos agrupados en k
categoras o intervalos se calculan las frecuencias relativas acumuladas F^i
y G^i con i = 1, 2, : : :, k que corresponden a las dos muestras de tamao
n1 y n2 respectivamente. Calculamos entonces las diferencias de las
frecuencias relativas acumuladas. El estadstico esta dado como la mxima
diferencia de las distribuciones de frecuencias relativas acumuladas

Se selecciona aquel intervalo de clase que tenga mayor desviacin absoluta

D. El valor cr__tico es calculado como

Donde n1 y n2 son los tamaos de las muestras y K es valor obtenido de

tabla de Kolmogorov-Smirnov con n1 +n2 2 grados de libertad a un nivel
de significancia dado. Si la
desviacin observada es menor que la
desviacin crtica tabulada se acepta H0, es decir que los datos observados
no presentan diferencia significativa entre las dos poblaciones: buenos y

malos. La funcin de distribucin no discrimina las poblaciones, es la misma

para ambas. Se rechaza H0 si Dmax > Dcritico, la distribucin no es la
misma para cada poblacin, la prueba marca que hay discriminacin entre
la dos poblaciones.

c. Curva ROC

Una de las caractersticas de un buen sistema de rating es que tenga la mayor tasa de acierto (hit
rate) como sea posible (correcta clasificacin de los deudores que impagan como potenciales
defaults) y al mismo tiempo la ms baja tasa de falsa alarma (incorrecta clasificacin de un
deudor cumplidor como un potencia default). La curva ROC es un concepto que se relaciona
con estas dos tasas y tambin con la curva CAP. Para construir la curva ROC, se calculan la tasa
de aciertos y de falsa alarma para cada score, tomando cada nivel de score como un punto de
corte (cut off) para otorgar crdito. La performance de un sistema de rating es mejor cuanto ms
empinada sea la curva ROC y cuanto ms cerca se encuentre del punto (0; 1). Las curvas ROC
de los modelos se presentan en el Grfico2. Usando este criterio, el sistema de rating derivado
del Modelo 4 tiene la mejor performance. Haremos algunas observaciones sobre este resultado
ms abajo.
El .rea bajo la curva ROC se mide por el ndice ROC. El valor de este ndice va desde 0,5 para
un modelo aleatorio (la curva ROC es la diagonal) hasta 1 para el modelo ideal.

d. Curva CAP

CAP (Cumulative Accuracy Profile) El CAP se conoce tambin como curva de poder o
curva de Lorenz. Muestra el porcentaje acumulado observado de deudores en default atribuibles
a un ranking de observaciones ordenadas por sus scores. Visualmente, la curva CAP se
determina graficando el porcentaje acumulado de deudores en el eje horizontal, del ms
riesgoso al menos riesgoso segn su score, y los correspondientes porcentajes acumulados de
defaults en el eje vertical.
Si fuera perfecto, el proceso de rating le asignara a los que hacen default los menores scores y
en consecuencia la curva CAP subir linealmente desde el punto 0 hasta reflejar todos los
defaults y luego pasara a ser horizontal. De all que, a mas empinada la curva CAP en el origen,
mas precisin tiene el proceso de rating
En el otro extremo se encontrara un modelo puramente aleatorio, sin ningn poder
Discriminatorio. La curva esperada del CAP en este caso sera la diagonal, dado que una
Fraccin X de deudores contendra X% de defaults. Cuanta ms cncava sea la curva CAP, ser
mejor el poder discriminatorio del modelo de rating, dado que una curva ms cncava estara
ms cerca del modelo ideal.
El ndice resumido del CAP es el AR (Accuracy Ratio), el cual se basa en el coeficiente Gini del
CAP. En este ratio el numerador es el .rea entre la curva CAP y la diagonal (el modelo aleatorio)
y el denominador es el .rea entre el modelo ideal y la diagonal Un sistema de rating es ms
preciso cuanto ms cerca de uno este el AR.
Comparando los modelos de rating estimados en el presente documento, la curva CAP del
sistema de rating derivado del Modelo 4 es la ms cncava y tiene mayor AR. Haremos algunas
calificaciones sobre estos resultados ms adelante.

e. ndice Gini
En 1960 se propuso medir la desigualdad en la salud a partir de la curva de
Lorenz, el ndice de Gini se deriva de esta. El ndice de Gini es uno de los
ms utilizados para medir la desigualdad entre dos poblaciones. En el caso
que nos ocupa se utiliza para medir la desigualdad de las poblaciones de
buenos y malos clientes. Tericamente la curva de Lorenz de las funciones
de distribucin F(x) y G(x) es el subconjunto del producto cartesiano dado
por
L(F, G) = {(u, v)|u = F(x) y v = G(x); con x R}.
Definimos a F y G como las funciones de distribucin tericas asociadas a
los clientes malos y buenos respectivamente, donde x es el puntaje de
score. Si el puntaje de score para buenos es mayor que el puntaje score
para malos, la curva de Lorenz de F y G es cncava hacia arriba como en la
figura 2.2. Se ve que si F(x) = G(x) entonces L(F, G) describe la recta u = v
con u (0,1) entre las distribuciones F y G.
Por lo tanto mientras L se separe ms de la recta v = u, mayor ser la
diferencia entre F(x) y G(x). Por esta razn, el rea A que se encuentra entre
la identidad y la curva de Lorenz es una medida de desigualdad entre las
distribuciones F y G. El ndice de Gini resulta de la razn entre el rea A y el
rea del tringulo delimitado por la identidad, el eje horizontal u y la recta u
=1
ndice de Gini con observaciones agrupadas
Cuando se desconocen las funciones de distribucin F(x) y G(x), pero se
cuenta con una muestra aleatoria de cada una de esta dos distribuciones
empricas de tamao n1 y n2 respectivamente se puede estimar la curva de
Lorenz y por lo tanto el ndice de Gini. Para hacer esto primero se define
7

una particin de R dada por x0 x1 x2 . . . xk, luego se obtiene los

estimadores de F y G en los puntos xi de la siguiente manera

La estimacin de la curva de Lorenz de F(x) y G(x) es igual a la unin de los

segmentos de recta que unen los puntos (F(xi1), G(xi1)) y (F(xi),
G(xi)). El

rea por debajo de la curva de Lorenz estimada para un intervalo tiene la

forma de un trapecio y la calculamos como

El rea total por debajo de la curva de Lorenz estimada es (F(xi), G(xi))

El ndice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo. Sea x la variable que mide el puntaje de score de los clientes en

una institucin de crdito para los cuales se le asocian la funcin de
distribucin
F(x) y G(x) para el nmero de clientes malos y buenos respectivamente
segn el puntaje de score. Deseamos calcular el ndice de Gini para
comparar el porcentaje de cuentas buenas y malas para los mismos
puntajes de score.

El ndice de Gini es

Obtenemos 87.3 % para el ndice de Gini. La curva de Lorenz la graficamos

en trminos de porcentajes como se ve en la figura.

f.

Distancia de Kullback-Leibler

g. ndice de Pietra

El .ndice Pietra considera el mayor .rea triangular que puede obtenerse entre la curva ROC y la
diagonal. Estas medidas para el poder discriminatorio de los modelos estimados se presentan en
el Cuadro6. El sistema de rating estimado por el Modelo 4 muestra mejor performance
considerando estos tres .ndices. En particular, es claramente superior al Modelo 2, el cual

tambin trata de corregir el sesgo proveniente de la exclusin de deudores. Haremos algunos

comentarios sobre estos resultados a continuacin.

Geomtricamente, este ndice puede estimarse como la mxima rea de un triangulo ubicado
entre la curva ROC y la diagonal. De manera equivalente, el ndice Pietra puede calcularse
como la mxima distancia entre la curva ROC y la diagonal. En el caso de una curva cncava
puede calcularse como:

h. Entropa condicional

Otro ndice no lineal es la entropa uno, donde Como su nombre indica, esto
est relacionado con la entropa o la cantidad de informacin en la divisin
entre los buenos y malos en el nodo. Es una medida de cuntas maneras
diferentes se podra terminar con la divisin real de los buenos de los malos
en el nodo, y que se relaciona con la informacin estadstica utilizada en las
mediciones de clasificacin
Supongamos que en vez de tener una nica variable aleatoria X, existe otra variable Y
dependientes entre s, es decir el conocimiento de una (por ejemplo Y) entrega informacin
sobre la otra (por ejemplo X). Desde el punto de vista de la entropa de la informacin
podemos decir que la informacin de Y disminuir la incertidumbre de X. Por tanto
podemos decir que la entropa de X ser condicional a Y. y por tanto:

Como por el teorema de Bayes tenemos que p(x,y)=p(y)p(x|y) donde p(x|y)

es la probabilidad de que se d un estado de X conocida Y, podemos decir:

11

i.

Valor de la informacin (IV)

La prueba del Valor de la Informacin (VI) es utilizada para determinar si las

variables y el modelo sirven para predecir el comportamiento de los
acreditados. Valores cercanos o superiores a 0.3indican que el modelo
contiene una gran cantidad de informacin.

El Valor de Informacin (IV) es una medida de entropa que aparece en la

teora de informacin y es una medida del poder de prediccin global de la
caracterstica, y se define como

Los valores que puede tomar el estadstico IV son no negativos

-menor a 0.02 es tiene nulo valor predictivo
-entre 0.02 y 0.1 es de prediccin dbil
- entre 0.1 y 0.3 es de prediccin media
- ms de 0.3 es de prediccin fuerte. (IV mayor a 0.5 sobre predice)
Siddiqi (2006) aconseja que las caractersticas con IV < 2% deben excluirse
del modelo.

j.

Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacin que nos ayuda a

encontrar soluciones a los problemas que se nos plantea de continuo. Sin
embargo, el proceso que nos lleva a una situacin mejor no es inmediato
sino que es necesario establecer un esquema para sacar el mato partido
posible de toda esta informacin que tenemos a nuestro alcance. Por ello, y
con vistas a obtener el mximo rendimiento de nuestros esfuerzos, es
necesario tener clara la respuesta a las siguientes preguntas:

1 Cmo se debe de recoger la informacin?

2 Cmo se debe analizar y resumir la informacin recogida?
3 Qu grado de precisin tiene los resmenes de informacin?
Esta ltima pregunta forma parte de lo que se conoce como Inferencia
Estadstica y el bootstrap es una tcnica recientemente desarrollada para
llevar a cabo cierto tipo de inferencias. Para halar de bootstrap lo primero
que debe conocerse es cuando, porque y como se puede usar estos
mtodos.
En lneas generales podemos decir que se trata de un mtodo de simulacin
basado en los datos recogidos que se pueden usar para formular
inferencias, tales como que: 0.5<o<0.75
La simulacin consiste en repetir un proceso de generacin de un muestras
un numero suficientemente elevado de veces- pongamos 50000 veces para
poder realizar esas inferencias. Obviamente, este mtodo requiere de uso
de un ordenador. En definitiva, mediante la repeticin y generacin de
muestras de dato se trata de estudiar la precisin asociada a determinados
estadsticos que queremos utilizar. Por ejemplo, la media o la mediana, el
nmero de posibles muestras que se puede extraer se determina de este
modo

k. Otros
Nota: El uso de grficos y ejemplos para explicar sus respuestas tendr un
valor adicional. Asimismo, deber indicar las fuentes bibliogrficas

Participantes:
-

Aaron Raul Saire Saire ([email protected])

Aldo Pastrana Chaca ([email protected])

Bibliografa
13

-Aprendizaje Supervisado K - Vecinos ms cercanos Knn-Method

- Anales del Instituto de Actuarios Espaoles, 3 poca, 18, 2012/19-40
- Crdito al Consumo: La Estadstica aplicada a un problema de Riesgo
Crediticio (proyecto tesis) Universidad Autnoma Metropolitana