Tema 3: Modelo de regresión

lineal: estimación y ajuste

 Índice
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
1.1 Estimación MCO en el modelo lineal simple
1.2 Estimación MCO en el modelo lineal general
2. Propiedades de los estimadores
2.1 Propiedades del estimador de la pendiente
2.2 Propiedades del estimador del término constante
2.3 Eficiencia de los estimadores de MCO
2.4 Consistencia y normalidad en muestras grandes
3. Ajuste
3.1 El coeficiente de determinación
3.2. El coeficiente de determinación corregido
3.3.Error estándar de la regresión
2
3.4 Ejemplo
 Bibliografía

• Wooldridge: Capítulos 2, 3 y Apéndice C

• Stock y Watson Capítulos 4 y 6
• Gujarati: Capítulos 6 y 7

3
1. El estimador de Mínimos Cuadrados Ordinarios

1. El estimador de Mínimos Cuadrados Ordinarios

(MCO)
1.1 Estimación MCO en el modelo lineal simple
1.2 Estimación MCO en el modelo lineal general

4
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
1.1 Estimación MCO en el modelo lineal simple (una constante y
una sola variable explicativa):
Sea el modelo Yi=β0+ β1X1i+εi i=1…n donde por ejemplo
Y=consumo y X=renta ¿Qué queremos calcular?
• Nuestro objetivo consiste en estimar (calcular) los parámetros
poblacionales β0 y β1 a partir de un conjunto de datos sobre Y y
sobre X1.
• Supondremos que nuestros datos son una realización de una muestra
aleatoria de tamaño n de una población. ¿Es esto realista?
– Con datos de consumo y renta de un conjunto de individuos en un
año es razonable suponer que (Y1, X1),…,(Yn , Xn) sea una muestra
aleatoria.
– Con datos de consumo y renta de un país, de un conjunto de años,
5
ya no es fácil suponer que (Y1, X1),…,(Yt, Xt) sean independientes.
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
Supongamos que tenemos datos (xi ,yi) de 4 individuos.

x
Se busca la recta que pasa lo más cerca posible de
todos los datos. La que mejor se ajusta a los datos.
6
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)

y
y4 .
û4 {
yˆ = βˆ0 + βˆ1 x
y3 .} û3
y2 û2 {.

y1 .} û1
x1 x2 x3 x4 x
18

La recta azul es la que pasa los más cerca posible de todos

los datos. ¿Qué caracteriza a la recta azul? 7
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
Yi=β0+ β1X1i+εi i=1…n
• Definiciones previas:
1. Valor ajustado de Yi: 𝑌𝑌�𝑖𝑖 = 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋𝑖𝑖

Es la predicción de Yi cuando X=Xi.

2. Residuo: 𝑢𝑢� 𝑖𝑖 = 𝜀𝜀𝑖𝑖̂ = 𝑒𝑒𝑖𝑖 = 𝑌𝑌𝑖𝑖 − 𝑌𝑌�𝑖𝑖 = 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋𝑖𝑖

• El criterio de MCO consiste en buscar: 𝑌𝑌�𝑖𝑖 = 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋𝑖𝑖

o valor predicho, que mejor se ajusta los datos en el sentido de
que minimiza: 𝑛𝑛 𝑛𝑛 2

� 𝑢𝑢� 𝑖𝑖 2 = � 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 − 𝛽𝛽̂1 𝑋𝑋𝑖𝑖

𝑖𝑖=1 𝑖𝑖=1 8
 1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
𝑛𝑛 2

𝑀𝑀𝑀𝑀𝑀𝑀 � 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋𝑖𝑖

𝑖𝑖=1
y
y4 .
û4 {
yˆ = βˆ0 + βˆ1 x
y3 .} û3
y2 û2 {.

y1 .} û1
x1 x2 x3 x4 x
18

Buscamos la recta que mejor se ajusta a los datos en el sentido de minimizar la suma de
cuadrados de las distancias verticales entre los puntos y la recta. 𝑢𝑢� 𝑖𝑖 = 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋𝑖𝑖 9
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
Para obtener los estimadores MCO de 𝛽𝛽̂0 𝑦𝑦𝛽𝛽̂1 tenemos que:
𝑛𝑛 2

𝑀𝑀𝑀𝑀𝑀𝑀 � 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋𝑖𝑖

𝑖𝑖=1
Para ello se calculan las derivadas respecto a 𝛽𝛽̂0 𝑦𝑦𝛽𝛽̂1 se igualan a
cero obteniéndose el sistema de ecuaciones normales:
𝑛𝑛

−2 � 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 − 𝛽𝛽̂1 𝑋𝑋𝑖𝑖 = 0

𝑖𝑖=1
A partir de la primera ecuación:
𝑛𝑛

−2 � 𝑋𝑋𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 − 𝛽𝛽̂1 𝑋𝑋𝑖𝑖 = 0

𝑖𝑖=1
𝑛𝑛 𝑛𝑛 𝑛𝑛

−2 � 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 − 𝛽𝛽̂1 𝑋𝑋𝑖𝑖 = 0 ⇒ � 𝑌𝑌𝑖𝑖 = 𝑛𝑛𝛽𝛽̂0 + 𝛽𝛽̂1 � 𝑋𝑋𝑖𝑖

𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1
∑𝑛𝑛𝑖𝑖=1 𝑌𝑌𝑖𝑖 ∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖
⇒ 𝛽𝛽̂0 = − 𝛽𝛽̂1 𝛽𝛽̂0 = 𝑌𝑌̄ − 𝛽𝛽̂1 𝑋𝑋̄ 10
𝑛𝑛 𝑛𝑛
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
Podríamos, así mismo, demostrar que:
∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄ 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄ 𝑆𝑆𝑌𝑌𝑌𝑌
𝛽𝛽̂1 = = 2
∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄ 2 𝑆𝑆 𝑋𝑋

Nótese que:
1. La recta de regresión pasa por el centro de los datos: 𝑋𝑋,̄ 𝑌𝑌̄
𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋̄ = 𝑌𝑌̄
2. La pendiente de la recta tiene el mismo signo y es
proporcional a la covarianza entre las variables: 𝑆𝑆𝑌𝑌𝑌𝑌

3. Para que existan los estimadores de MCO sólo es necesario

que S2X>0 11
 1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
Ejemplo: Se desea estudiar la relación entre el salario-hora de los
individuos y sus años de estudio. Para ello se plantea el siguiente
modelo:
Yi =β0+ β1 Xi +εi
donde Yi es el salario-hora en decenas de euros del individuo i y Xi
son los años de estudio del individuo i. Empleando una muestra de
528 asalariados se han realizado los siguientes cálculos:
𝑛𝑛 𝑛𝑛 𝑛𝑛

� 𝑋𝑋𝑖𝑖 = 6910 � 𝑌𝑌𝑖𝑖 = 4777,1 � 𝑋𝑋𝑖𝑖 𝑌𝑌𝑖𝑖 = 65176,83

𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1
𝑛𝑛 𝑛𝑛

� 𝑋𝑋 2 𝑖𝑖 = 93698 � 𝑌𝑌 2 𝑖𝑖 = 57166,245
𝑖𝑖=1 𝑖𝑖=1
12
Estimar los coeficientes del modelo por MCO.
 1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
𝑛𝑛 𝑛𝑛 𝑛𝑛 𝑛𝑛

� 𝑋𝑋𝑖𝑖 = 6910 � 𝑌𝑌𝑖𝑖 = 4777,1 � 𝑋𝑋𝑖𝑖 𝑌𝑌𝑖𝑖 = 65176,83 � 𝑋𝑋 2 𝑖𝑖 = 93698

𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1
𝑛𝑛

� 𝑌𝑌 2 𝑖𝑖 = 57166,245
𝑖𝑖=1

∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝑛𝑛𝑌𝑌̄ 𝑋𝑋� 65176,83 − 528 × 528 × 528

4777,1 6910
∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄ 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄
𝛽𝛽̂1 = = 𝑛𝑛 =
∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄ 2 ∑𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑛𝑛𝑋𝑋� 2
2
93698 − 528 ×
6910 2
528
= 0,8139

∑𝑛𝑛𝑖𝑖=1 𝑌𝑌𝑖𝑖 ∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 4777,1 6910

̂
𝛽𝛽0 = ̂
− 𝛽𝛽1 = − 0,8139 = −1,605
𝑛𝑛 𝑛𝑛 528 528
�
El modelo estimado sería: 𝑌𝑌i=-1,605+0,8139Xi

13
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
1.2. Estimación MCO en el modelo lineal general:
Yi=β0+ β1X1i+… + βkXki+εi i=1…n
¿Cómo podemos estimar los parámetros β0, β1 , …, βk y σ2 ?
Análogamente a lo que vimos en el modelo de regresión simple, se busca:

𝑌𝑌�𝑖𝑖 = 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋1𝑖𝑖 +. . . +𝛽𝛽̂𝑗𝑗 𝑋𝑋𝑗𝑗𝑗𝑗 +. . . +𝛽𝛽̂𝑘𝑘 𝑋𝑋𝑘𝑘𝑘𝑘

o valor predicho, que mejor se ajusta a los datos en el sentido de:

𝑛𝑛

𝑀𝑀𝑀𝑀𝑀𝑀 � 𝜀𝜀𝑖𝑖̂ 2
𝑖𝑖=1

Siendo 𝜀𝜀𝑖𝑖̂ = e𝑖𝑖 = 𝑌𝑌𝑖𝑖 − 𝑌𝑌�𝑖𝑖 = 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋1𝑖𝑖 +. . . +𝛽𝛽̂𝑘𝑘 𝑋𝑋𝑘𝑘𝑘𝑘 = residuo
14
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)

Para obtener los estimadores MCO de 𝛽𝛽̂0 . . . 𝛽𝛽̂𝑘𝑘 tenemos que:

𝑛𝑛 2

𝑀𝑀𝑀𝑀𝑀𝑀 � 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 + 𝛽𝛽̂1 𝑋𝑋1𝑖𝑖 +. . . +𝛽𝛽̂𝑗𝑗 𝑋𝑋𝑗𝑗𝑗𝑗 +. . . +𝛽𝛽̂𝑘𝑘 𝑋𝑋𝑘𝑘𝑘𝑘

𝑖𝑖=1
Para ello se calculan las derivadas respecto a 𝛽𝛽̂0 , 𝛽𝛽̂1 , . . . , 𝛽𝛽̂𝑘𝑘
Y se igualan a cero obteniéndose el sistema de ecuaciones
normales: 𝑛𝑛

−2 � 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 − 𝛽𝛽̂1 𝑋𝑋1𝑖𝑖 −. . . −𝛽𝛽̂𝑘𝑘 𝑋𝑋𝑘𝑘𝑘𝑘 = 0

𝑖𝑖=1
𝑛𝑛

−2 � 𝑋𝑋1𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 − 𝛽𝛽̂1 𝑋𝑋1𝑖𝑖 −. . . −𝛽𝛽̂𝑘𝑘 𝑋𝑋𝑘𝑘𝑘𝑘 = 0

𝑖𝑖=1
.
𝑛𝑛

−2 � 𝑋𝑋𝑘𝑘𝑘𝑘 𝑌𝑌𝑖𝑖 − 𝛽𝛽̂0 − 𝛽𝛽̂1 𝑋𝑋1𝑖𝑖 −. . . −𝛽𝛽̂𝑘𝑘 𝑋𝑋𝑘𝑘𝑘𝑘 = 0

15
𝑖𝑖=1
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)

Las condiciones de primer orden son:

𝑛𝑛

� 𝜀𝜀𝑖𝑖̂ = 0
𝑖𝑖=1
𝑛𝑛

� 𝑋𝑋1𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0
𝑖𝑖=1
⋮
𝑛𝑛

� 𝑋𝑋𝑘𝑘𝑘𝑘 𝜀𝜀𝑖𝑖̂ = 0
𝑖𝑖=1

Es el sistema de ecuaciones normales

16
1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
• Tenemos un sistema con k+1 ecuaciones lineales donde las
k+1 incógnitas son los coeficientes de la regresión.
• El sistema tendrá solución única bajo los supuestos del modelo
vistos en el tema 2 (que no exista multicolinealidad exacta).
• Si existiera multicolinealidad exacta el sistema tendría infinitas
soluciones.
• Veamos un ejemplo sencillo:

17
 1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
Ejemplo: Y=β0+ β1X1i+ β2X2i+εi
siendo: X1i =λX2i
Sustituimos esta igualdad en las condiciones de primer orden:
𝑛𝑛 𝑛𝑛 𝑛𝑛 𝑛𝑛

� 𝜀𝜀𝑖𝑖̂ = 0 1 � 𝜀𝜀𝑖𝑖̂ = 0 1 � 𝜀𝜀𝑖𝑖̂ = 0 1 � 𝜀𝜀𝑖𝑖̂ = 0 1

𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1
𝑛𝑛 𝑛𝑛 𝑛𝑛 𝑛𝑛

� 𝑋𝑋1𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0 2 ⇒ � 𝜆𝜆𝑋𝑋2𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0 2 ⇒ 𝜆𝜆 � 𝑋𝑋2𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0 2 ⇒ � 𝑋𝑋2𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0 2

𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1
𝑛𝑛 𝑛𝑛 𝑛𝑛 𝑛𝑛

� 𝑋𝑋2𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0 3 � 𝑋𝑋2𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0 3 � 𝑋𝑋2𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0 3 � 𝑋𝑋2𝑖𝑖 𝜀𝜀𝑖𝑖̂ = 0 3

𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1

- Las ecuaciones [2] y [3] establecen las mismas condiciones.

- El sistema no tiene solución única porque tenemos 3 incógnitas y 2 ecuaciones.
18
- Podríamos estimar una combinación lineal de parámetros: β1λ+ β2
 2. Propiedades de los estimadores MCO
2.1 Propiedades del estimador de la pendiente
1. Linealidad en Y
2. Normalidad
3. Esperanza del estimador
4. Varianza del estimador
2.2 Propiedades del estimador del término constante
1. Linealidad en Y
2. Normalidad
3. Esperanza del estimador
4. Varianza del estimador
2.3 Eficiencia de los estimadores de MCO
Teorema de Gauss-Markov
19
 2. Propiedades de los estimadores MCO
2.4 Consistencia y normalidad en muestras grandes
1. Estimador consistente
2. Ley de los Grandes Números
3. Normalidad asintótica
4. Teorema Central del Límite
5. Consistencia de los estimadores MCO
6. Distribución asintótica de los estimadores MCO

20
 2. Propiedades de los estimadores de MCO
Por simplificar el análisis vamos a ver el caso del modelo lineal
simple: Yi=β0+ β1X1i+εi i=1…n, aunque los resultados son
extrapolables al modelo lineal general.
2.1 Propiedades del estimador de la pendiente
1. Linealidad en Y
Podemos demostrar que el estimador MCO de la pendiente
puede escribirse como:
𝑛𝑛
∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄ 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄ 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄
𝛽𝛽̂1 = = � 𝑤𝑤𝑖𝑖 𝑌𝑌𝑖𝑖 Donde 𝑤𝑤𝑖𝑖 = 𝑛𝑛
𝑛𝑛 ̄
∑𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋 2 ∑𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄ 2
𝑖𝑖=1

Por tanto es lineal en Yi

21
 2. Propiedades de los estimadores de MCO
2 Normalidad
Bajo el supuesto de distribución normal de ε que vimos en el tema 2,
teníamos que entonces: Y/X~ N(𝛽𝛽0 + 𝛽𝛽1 X,𝜎𝜎 2 )

Como 𝛽𝛽̂1 es una función lineal de Y tendrá una distribución

condicionada normal.
3 Esperanza del estimador:
Utilizando el supuesto visto en el tema 2 de que E(εi/Xi)=0 que
implica que E(Yi/Xi) =β0+β1Xi podemos demostrar que:

𝐸𝐸 𝛽𝛽̂1 /𝑋𝑋𝑖𝑖 = 𝛽𝛽1

𝛽𝛽̂1 es un estimador insesgado de 𝛽𝛽1

22
 2. Propiedades de los estimadores de MCO
4 Varianza del estimador:
Utilizando el supuesto visto en el tema 2 de que V(εi/Xi)=σ2
(homocedasticidad) que implica que V(Yi/Xi,)=σ2, podemos
demostrar en el modelo lineal simple que:
𝜎𝜎 2
𝑉𝑉 𝛽𝛽̂1 /𝑋𝑋𝑖𝑖 =
𝑛𝑛𝑆𝑆𝑋𝑋 2
La precisión en la estimación de β1 (menor varianza) aumentará:
1. al aumentar la dispersión de los valores de X ( SX2)
2. al disminuir σ2 (varianza de la perturbación ε)
3. al aumentar n (tamaño de la muestra)
Dado que σ2 es desconocido, tenemos que estimarlo. 23
 2. Propiedades de los estimadores de MCO
Estimación de la varianza σ2 :
Empleamos como estimador de σ2 la varianza residual o varianza de
los residuos:
2 ∑ 𝜀𝜀𝑖𝑖̂ 2
𝜎𝜎� 2 = 𝑆𝑆̂𝑅𝑅 =
𝑛𝑛 − 𝑘𝑘 − 1

Podemos demostrar que la esperanza de este estimador es: 𝐸𝐸(𝜎𝜎� 2 ) = 𝜎𝜎 2

Por tanto es un estimador insesgado del parámetro σ2
¡Ojo, es la varianza
estimada!
𝜎𝜎� 2
𝑉𝑉� 𝛽𝛽̂1 /𝑋𝑋𝑖𝑖 =
𝑛𝑛𝑆𝑆𝑥𝑥2
24
 2. Propiedades de los estimadores de MCO
2.2 Propiedades del estimador del término constante de la
regresión
1. El estimador MCO de la constante es lineal en Yi .
Se puede demostrar que:
𝑛𝑛
1
𝛽𝛽̂0 = 𝑌𝑌̄ − 𝛽𝛽̂1 𝑋𝑋̄ = � 𝑟𝑟𝑖𝑖 𝑌𝑌𝑖𝑖 Donde 𝑟𝑟𝑖𝑖 = ̄ 𝑖𝑖
− 𝑋𝑋𝑤𝑤
𝑛𝑛
𝑖𝑖=1
𝑋𝑋𝑖𝑖 − 𝑋𝑋̄
y donde, como vimos: 𝑤𝑤𝑖𝑖 = 𝑛𝑛
∑𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄ 2

2. Normalidad:
Como 𝛽𝛽̂0 es combinación lineal de variables normales
tendrá una distribución condicionada normal.
25
 2. Propiedades de los estimadores de MCO
3 Esperanza del estimador:
Utilizando el supuesto visto en el tema 2 de que E(εi/Xi)=0 que implica
que E(Yi/Xi) =β0+β1Xi podemos demostrar que la esperanza del
estimador del término constante es: 𝐸𝐸 𝛽𝛽̂0 /𝑋𝑋𝑖𝑖 = 𝛽𝛽0
Por tanto 𝜷𝜷� 𝟎𝟎 es un estimador insesgado de β0

26
 2. Propiedades de los estimadores de MCO
4 Varianza del estimador: Utilizando el supuesto de que V(εi/Xi)=σ2
(homocedasticidad) 2
𝜎𝜎
Podemos demostrar que: 𝑉𝑉 𝛽𝛽̂0 /𝑋𝑋𝑖𝑖 = + 𝑉𝑉 𝛽𝛽̂1 /𝑋𝑋𝑖𝑖 𝑋𝑋̄ 2
𝑛𝑛
La precisión en la estimación de β0 (menor varianza) aumentará:
1. Cuando aumente la precisión en la estimación de la media de Y,
𝜎𝜎 2
̄ 𝑖𝑖 ) =
ya que V(Y/𝑋𝑋
𝑛𝑛
2. Cuando aumente la precisión en la estimación de β1, 𝑉𝑉 𝛽𝛽̂1 /𝑋𝑋𝑖𝑖

27
 2. Propiedades de los estimadores de MCO
2.3 Eficiencia de los estimadores de MCO
Teorema de Gauss-Markov:
En el contexto del modelo de regresión lineal simple o múltiple
(bajo los supuestos realizados en el tema 2) los estimadores
MCO de β0 y β1 son los de menor varianza entre los estimadores
lineales e insesgados.

28
 2. Propiedades de los estimadores de MCO
2.4. Consistencia y normalidad en muestras grandes
Vamos a estudiar las propiedades de los estimadores cuando el tamaño
muestral es cada vez mayor (n→∞ ).
1. Estimador consistente:
Una secuencia de estimadores de un parámetro θ obtenidos con
muestras cada vez más grandes es consistente si esta secuencia
converge en probabilidad a θ.
Esto significa que las distribuciones de los estimadores que obtenemos
con muestras cada vez más grandes se concentran cada vez más cerca
del verdadero valor del parámetro, de tal forma que la probabilidad de
que el estimador sea arbitrariamente diferente de θ converge a cero.
𝜃𝜃̂ es un estimador consistente de 𝜃𝜃, si para todo 𝜀𝜀 > 0,
limn→∞ Pr � 𝜃𝜃̂ − 𝜃𝜃 >𝜀𝜀 } = 0 ̂ = 𝜃𝜃
𝑃𝑃 lim( 𝜃𝜃)
29
 2. Propiedades de los estimadores de MCO
2. Ley de los Grandes Números:
Sean Y1,…,Yn variables aleatorias idéntica e independientemente
distribuidas con media μ y varianza σ2.
̄ = 𝜇𝜇
Entonces, se cumple que: 𝑃𝑃 lim( 𝑌𝑌)
¿Qué significa esto?
La media muestral es un estimador consistente de la media
poblacional.
∑ 𝑛𝑛
𝑖𝑖=1 𝑌𝑌
𝑖𝑖 − ̄ 2
𝑌𝑌
Así mismo, se cumple para S2 que: 𝑃𝑃 lim( 𝑆𝑆 2 ) = 𝜎𝜎 2 𝑆𝑆 2 =
𝑛𝑛
¿Qué significa esto?
La varianza muestral es un estimador consistente de la varinza
poblacional. S2 es un estimador consistente de σ2
Los momentos muestrales son estimadores consistentes de sus
análogos poblacionales. 30
 2. Propiedades de los estimadores de MCO
3. Normalidad asintótica:
Sea G1…, Gn una sucesión de estadísticos (nuestros
estimadores MCO son estadísticos), cada uno de ellos
dependientes de su correspondiente muestra y1, …, yn (nuestros
estimadores MCO dependen de una muestra).
Gn es asintóticamente normal cuando, para n grande, su
función de distribución es una N(0,1).
Habitualmente se expresa este hecho como:
𝑑𝑑
𝐺𝐺n → 𝑁𝑁(0,1) 𝑜𝑜 𝐺𝐺n ~𝑁𝑁(0,1)
𝑎𝑎

Gn se distribuye asintóticamente como una normal N(0,1).

31
 2. Propiedades de los estimadores de MCO
4. Teorema Central del Límite (TCL):
El teorema del límite central establece que la media de un número
suficientemente grande de variables aleatorias, idéntica e
independientemente distribuidas, cada una con la misma media y varianza,
se distribuye aproximadamente normal.
Sean Y1, …, Yn variables aleatorias idéntica e independientemente distribuidas con
media μ y varianza σ2. ¿Cómo se distribuye la media de las Y?
∑ 𝑌𝑌𝑖𝑖 𝑛𝑛𝑛𝑛
𝜎𝜎 2 ̄
Ya que: E 𝑌𝑌 = E = = 𝜇𝜇
̄𝑌𝑌~𝑁𝑁(𝜇𝜇, ) 𝑛𝑛 𝑛𝑛
𝑎𝑎 𝑛𝑛
∑ 𝑌𝑌𝑖𝑖 ∑ 𝑉𝑉 𝑌𝑌𝑖𝑖 𝑛𝑛𝜎𝜎 2 𝜎𝜎 2
Y que: V 𝑌𝑌̄ = V = = =
𝑛𝑛 𝑛𝑛2 𝑛𝑛2 𝑛𝑛
Para conseguir una distribución N(0,1) tenemos que tipificar (consiste en restar la
media y dividir por la desviación típica)
𝑛𝑛 𝑌𝑌̄ − 𝜇𝜇
~𝑁𝑁(0,1)
𝜎𝜎 𝑎𝑎
32
 2. Propiedades de los estimadores de MCO
• El Teorema Central del Límite justifica que se emplee la
distribución normal para construir intervalos de confianza y
realizar contrastes (lo veremos en el tema 4) sin necesidad
de conocer el proceso que genera los datos siempre que el
tamaño de la muestra sea suficientemente grande.
• La mayoría de los estimadores que se emplean en
econometría pueden ser expresados como función de
medias muestrales, por lo que podremos emplear la Ley de
los Grandes Números y el Teorema Central del Límite para
analizar la consistencia de los estimadores MCO y su
distribución asintótica.
• Una vez repasados estos conceptos vamos a analizar las
propiedades en muestras grandes de los estimadores MCO de
los coeficientes βi . 33
 2. Propiedades de los estimadores de MCO
5. Consistencia de los estimadores MCO
En el contexto del modelo de regresión, bajo los supuestos
realizados, se puede demostrar que:

𝛽𝛽̂𝑖𝑖 es un estimador consistente del parámetro poblacional βi

plim(𝛽𝛽̂i ) = 𝛽𝛽i

34
 2. Propiedades de los estimadores de MCO
6. Distribución asintótica de los estimadores MCO:
En el contexto del modelo de regresión lineal simple,

Donde 𝛽𝛽̂i es un estimador de 𝛽𝛽i con E 𝛽𝛽̂i /𝑋𝑋𝑖𝑖 = 𝛽𝛽i y V 𝛽𝛽̂i /𝑋𝑋𝑖𝑖 = 𝑠𝑠 𝛽𝛽̂i

¿Cuál es la distribución asintótica de los estimadores de MCO?

El teorema central del límite nos permite obtener (sin necesidad de
suponer que los errores siguen una distribución condicionada normal
siempre que el tamaño de la muestra sea suficientemente grande):

𝛽𝛽̂i − 𝛽𝛽i 𝛽𝛽̂i − 𝛽𝛽i

~¿ ? ~𝑁𝑁(0,1)
̂
s(𝛽𝛽i ) 𝑎𝑎 ̂
s(𝛽𝛽i ) 𝑎𝑎
35
 3. Ajuste

3.1 El coeficiente de determinación

3.2. El coeficiente de determinación corregido
3.3. Error estándar de la regresión
3.4 Ejemplo de cálculo de R2 en un modelo lineal simple

36
 3. Ajuste
3.1. Coeficiente de determinación R2:
- Queremos medir de alguna forma la capacidad que tienen las
variables independientes de explicar la variable dependiente.
- Buscamos un número que resuma hasta qué punto el modelo es
capaz de explicar las variaciones de la variable dependiente.
- En el Modelo Lineal Simple esa medida resume hasta qué punto
la recta de regresión MCO se ajusta a los datos.
- Queremos explicar la variabilidad de “y” (Variabilidad Total, VT)
explicada por la recta de regresión lineal (Variabilidad explicada,
VE) . Donde: VT=∑𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄ 2 VE=∑𝑖𝑖 𝑌𝑌�𝑖𝑖 − 𝑌𝑌̄ 2

- ¿Cómo podemos calcular ese número?

37
 3. Ajuste
- El coeficiente de determinación, R2,nos proporciona una medida
de la “bondad” del ajuste.
- Es la proporción de la variabilidad de “y” (Variabilidad Total, VT)
explicada por la recta de regresión lineal (Variabilidad explicada,
VE) .
2
2
𝑉𝑉𝑉𝑉 ∑𝑖𝑖 𝑌𝑌�𝑖𝑖 − 𝑌𝑌̄
𝑅𝑅 = =
𝑉𝑉𝑉𝑉 ∑𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄ 2

38
 3. Ajuste
- El R2 toma valores entre 0 (ninguna explicación lineal de las
variaciones de Y) y 1 (total explicación de las variaciones de Y)
ya que:
𝑉𝑉𝑉𝑉
𝑅𝑅2 = y dado que VT=VNE+VE donde VNE es la variabilidad
𝑉𝑉𝑉𝑉
no explicada

VNE = � 𝜀𝜀𝑖𝑖̂ 2 𝑉𝑉𝑉𝑉 ≥ 0, 𝑉𝑉𝑉𝑉𝑉𝑉 ≥ 0 y 𝑉𝑉𝑉𝑉 ≥ 0

𝑖𝑖
𝑉𝑉𝑉𝑉
por tanto: 𝑉𝑉𝑉𝑉 ≥ 𝑉𝑉𝑉𝑉 ⇒ 1 ≥ ≥0 Así pues 1 ≥ 𝑅𝑅 2 ≥ 0
𝑉𝑉𝑉𝑉

2
𝑉𝑉𝑉𝑉 𝑉𝑉𝑉𝑉 − 𝑉𝑉𝑉𝑉𝑉𝑉 𝑉𝑉𝑉𝑉𝑉𝑉 ∑𝑖𝑖 𝜀𝜀𝑖𝑖̂ 2
Aplicando esto: 𝑅𝑅 = = =1− =1−
𝑉𝑉𝑉𝑉 𝑉𝑉𝑉𝑉 𝑉𝑉𝑉𝑉 𝑛𝑛𝑆𝑆𝑦𝑦2

Veamos cómo es el R2 en el modelo lineal simple: 39

 3. Ajuste
El coeficiente de determinación R2 en el modelo lineal simple:
Podemos demostrar que:
2 2
2
𝑉𝑉𝑉𝑉 ∑𝑖𝑖 𝑌𝑌�𝑖𝑖 − 𝑌𝑌̄ 𝛽𝛽̂12 ∑𝑖𝑖 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄ 𝛽𝛽̂12 𝑆𝑆𝑋𝑋2 2 2
𝑆𝑆𝑋𝑋𝑋𝑋 𝑆𝑆𝑋𝑋
𝑅𝑅 = = = = 2 = 2 2 2
𝑉𝑉𝑉𝑉 ∑𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄ 2 ∑𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄ 2 𝑆𝑆𝑌𝑌 𝑆𝑆𝑋𝑋 𝑆𝑆𝑌𝑌

2
𝑆𝑆𝑋𝑋𝑋𝑋 𝑆𝑆𝑋𝑋𝑋𝑋
= 2 2 = 𝑟𝑟 2 𝛽𝛽̂1 =
𝑆𝑆𝑋𝑋 𝑆𝑆𝑌𝑌 𝑆𝑆𝑋𝑋2

El R2 es el cuadrado del coeficiente de correlación entre Y y X

(r).

40
 3. Ajuste
• El R2 o coeficiente de determinación es una medida descriptiva
del ajuste global del modelo.
• El R2 mide el porcentaje de variación de Y que se explica
linealmente con las variaciones de todas las X.
• El R2 aumenta de valor al aumentar de número de
regresores sean estos relevantes o no.
• Para eliminar éste fenómeno se define el R2 “ajustado o corregido
de grados de libertad”:

41
 3. Ajuste
3.2. El R2 “ajustado o corregido de grados de libertad”:

2
𝑛𝑛 − 1 ∑ 𝜀𝜀
𝑖𝑖 𝑖𝑖̂ 𝑛𝑛 − 1
𝑅𝑅̄ 2 = 1 − =1− (1 − 𝑅𝑅 2 )
𝑛𝑛 − 𝑘𝑘 − 1 ∑𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄𝑖𝑖 2 𝑛𝑛 − 𝑘𝑘 − 1

∑𝑖𝑖 𝜀𝜀𝑖𝑖̂ 2
= 1 − 𝑅𝑅 2
∑𝑖𝑖 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄𝑖𝑖 2

• que puede tomar valores negativos.

• En cualquier caso, para tamaños muestrales grandes: 𝑅𝑅̄ 2 ≈ 𝑅𝑅2

42
 3. Ajuste
3.3. Error estándar de la regresión
• El S.E (Standart Error en Eviews o Gretel) de la regresión es una
medida de la bondad del ajuste de la estimación.
• Se define como:

∑𝑖𝑖 𝜀𝜀𝑖𝑖̂ 2
𝜎𝜎� =
𝑛𝑛 − 𝑘𝑘 − 1

• Su valor disminuye al aumentar el número de regresores, por lo

que tiene el mismo problema que el R2.

43
 1. El estimador de Mínimos Cuadrados Ordinarios (MCO)
3.4. Ejemplo de cálculo de R2 en un modelo lineal simple:
Se desea estudiar la relación entre el salario-hora de los individuos y
sus años de estudio. Para ello se plantea el siguiente modelo:
Yi =β0+ β1 Xi +εi
donde Yi es el salario-hora en decenas de euros del individuo i y Xi
son los años de estudio del individuo i. Empleando una muestra de
528 asalariados se han realizado los siguientes cálculos:
𝑛𝑛 𝑛𝑛 𝑛𝑛

� 𝑋𝑋𝑖𝑖 = 6910 � 𝑌𝑌𝑖𝑖 = 4777,1 � 𝑋𝑋𝑖𝑖 𝑌𝑌𝑖𝑖 = 65176,83

𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1
𝑛𝑛 𝑛𝑛

� 𝑋𝑋 2 𝑖𝑖 = 93698 � 𝑌𝑌 2 𝑖𝑖 = 57166,245
𝑖𝑖=1 𝑖𝑖=1

Calcule e interprete el coeficiente de determinación R2 44

 3. Ajuste
El coeficiente de determinación R2 en el modelo lineal simple:
𝑛𝑛 𝑛𝑛 𝑛𝑛 𝑛𝑛

� 𝑋𝑋𝑖𝑖 = 6910 � 𝑌𝑌𝑖𝑖 = 4777,1 � 𝑋𝑋𝑖𝑖 𝑌𝑌𝑖𝑖 = 65176,83 � 𝑋𝑋 2 𝑖𝑖 = 93698

𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1 𝑖𝑖=1
𝑛𝑛

� 𝑌𝑌 2 𝑖𝑖 = 57166,245 𝛽𝛽̂1 = 0,8139

𝑖𝑖=1

̂12 𝑆𝑆𝑋𝑋2
𝛽𝛽 ̂12 ∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 − 𝑋𝑋̄
𝛽𝛽 2
𝛽𝛽̂12 ∑𝑛𝑛𝑖𝑖=1 𝑋𝑋𝑖𝑖 2 − 𝑛𝑛 𝑋𝑋̄ 2
𝑅𝑅 2 = 2 = =
𝑆𝑆𝑌𝑌 ∑𝑛𝑛𝑖𝑖=1 𝑌𝑌𝑖𝑖 − 𝑌𝑌̄ 2 ∑𝑛𝑛𝑖𝑖=1 𝑌𝑌𝑖𝑖 2 − 𝑛𝑛 𝑌𝑌̄ 2

2
6910
0,81392 93698 − 528
528
𝑅𝑅 2 = 2 = 0,1551
4777,1
57166,245 − 528
528 45
 3. Ajuste

• El R2 mide el porcentaje de variación de Y que se explica

linealmente con las variaciones de X.
• Por tanto, en este caso, las variaciones en los años de estudio
del individuo explican el 15,51% de las variaciones en el
salario-hora en decenas de euros del individuo.

46