Modelos Multinivel
Modelos Multinivel
Modelos Multinivel
la investigacin educativa
Escrito por F.
Resumen Los modelos multinivel, o modelos jerrquico-lineales, se constituyen como uno de los mtodos de anlisis en investigacin cuantitativa ms interesantes de los generados en los ltimos aos. En este artculo se pretende realizar una introduccin a los mismos a travs de su aplicacin en una investigacin concreta. De esta forma se presenta un anlisis de los fundamentos de los modelos multinivel, se analiza el proceso de modelaje con un ejemplo real, y se finaliza reflexionando sobre de las aportaciones y utilidades de esta metodologa de anlisis. Palabras clave Modelos multinivel, mtodos de investigacin, investigacin educativa, anlisis estadstico, eficacia escolar. Palabras clave descriptor Investigacin pedaggica, metodologa cientfica, efectividad de la educacin, anlisis estadstico.
Transferencia a la prctica
Los modelos multinivel constituyen la metodologa de anlisis ms adecuada para tratar datos jerarquizados o anidados (por ejemplo, los estudiantes en aulas, o las aulas en escuelas), lo que la convierte en una estrategia imprescindible para la investigacin educativa de carcter cuantitativo. as, adems de mejorar la calidad de los resultados, posibilita realizar anlisis novedosos, tales como estimar la aportacin de cada nivel de anlisis (la del efecto del aula o la escuela) o las interacciones entre variables de distintos niveles. De esta forma se est en mejores condiciones de realizar estudios sobre factores asociados, sobre valor agregado o sobre equidad educativa, entre otros.
Para citar este artculo | To cite this article | Para citar este artigo: Murillo torrecilla, F. J. (2008). Los modelos multinivel como herramienta para la investigacin educativa. Magis, Revista Internacional de Investigacin en Educacin, 1, 45-62.
magis
2
PagINa
46
Key words author Multilevel Models, Research Methodology, Educational Research, Statistical analysis, School Efficacy Key words plus Educational Research, Scientific Methodology, Educational Efficiency, Statistical analysis Palavras chaves Modelos Multi-Nvel, Mtodos de Pesquisa, Pesquisa Educativa, anlise Estadstico, Eficcia Escolar Palavras chaves descritor Pesquisa Pedaggica, Metodologia Cientfica, Eficincia da Educao, anlise Estadstico
Summary Multilevel models, or hierarchiclineal models, are one of the most interesting models generated in recent years in quantitative research analysis methodologies. this article aims to present these models through their application in research. In this manner, the study presents an analysis of the foundations for multilevel models. the modeling process is analyzed in a real-life sample, concluding with a reflection about the contributions and utilities of this methodology of analysis.
Transference to practice Multilevel models are the most appropriate analysis methodology for hierarchical data (for example, students in a class, or classes in a school), which makes it an indispensable strategy for quantitative educational research. Besides improving the quality of the results, it allows for innovative analyses, such as estimating the contribution of each level of analysis (the effect of the class or school) or the interactions between variables of different levels. In this manner, it is possible to realize better studies about associated factors, about aggregate value, or about educational equality, among others.
magis
Resumo Os modelos multi-nvel, ou modelos hierrquico-lineais, so um dos mtodos de anlise mais interessantes na pesquisa quantitativa produzidos nos ltimos anos. O objetivo deste artigo apresentar os mtodos atravs da sua aplicao numa pesquisa concreta. Desta forma, apresenta-se uma anlise dos fundamentos dos modelos multi-nvel, analisa-se o processo de modelagem com um exemplo real, e finaliza-se com uma reflexo sobre os aportes e utilidades desta metodologia de anlise.
Transferncia pratica Os modelos Multi-nvel constituem a metodologia de anlise mais adequada para tratar dados hierarquizados ou nivelados (por exemplo, os alunos numa aula, ou as aulas numa escola), o que a converte numa estratgia essencial para a pesquisa educativa de carter quantitativo. assim, alem de melhorar a qualidade dos resultados, possibilita realizar anlises inovadores, tais como estimar o aporte de cada nvel de anlises (do efeito da aula ou da escola) ou as interaes entre variveis de diferentes nveis. Desta forma, tem melhores condies para realizar pesquisas sobre fatores associados, sobre valor agregado o sobre equidade educativa, entre outros.
Introduccin Hace ms de dos dcadas, aitkin y Longford (1986), dos matemticos ingleses, escribieron un sencillo artculo que revolucion el mundo de la investigacin educativa. En l demostraban que los modelos de regresin lineal, tcnica usualmente utilizada para estudiar cmo un conjunto de variables explicaban una variable producto, slo poda ser empleada en un caso muy especial: cuando las observaciones eran independientes (gelman & Hill, 2006; goldstein 2003; Heck & thomas, 2000; Hox, 1998). Sin embargo, la realidad de nuestros sistemas educativos, donde los estudiantes estn agrupados en aulas o cursos, distintas aulas estn agrupadas en escuelas y las escuelas en distritos o provincias o regiones o pases, hace que esto no sea cierto. Efectivamente, los estudiantes de un mismo grupo comparten una serie de experiencias diferentes a los de otras aulas, al igual que las aulas de una escuela tienen la misma direccin o el mismo clima escolar, instalaciones generales, etc., y anlogos comentarios pueden ser dichos de las esuelas de un pas que se ven afectadas por determinadas polticas educativas. a partir de este anlisis crtico, aitkin y Longford (1986) propusieron una tcnica de anlisis que ha marcado la investigacin educativa desde entonces: los Modelos Multinivel (o Modelos Jerrquico-Lineales). stos reconocen y manejan la organizacin jerrquica de los sistemas educativos (estudiantes en aula, aulas en escuelas, escuelas en pases) y ofrecen resultados con una menor incidencia de los errores de estimacin (p.ej. goldstein, 2003; Raudenbush & Bryk, 2002). tradicionalmente una de las decisiones ms importantes al desarrollar investigaciones cuantitativas en las que se analizan conjuntamente variables de estudiantes junto con otras de aula (por ejemplo, la metodologa docente) o de escuela, era seleccionar la unidad de anlisis que se va a utilizar. Bsicamente, se tenan dos alternativas: por una parte, que la unidad sea el estudiante individual, con lo cual se recogeran los datos de cada sujeto de manera independiente. Con ello, la base de datos estara conformada por un conjunto amplio de sujetos de los cuales tenemos una serie de variables, entre las que estarn los datos referidos al aula, por ejemplo: las caractersticas del profesor y las del centro donde cursa sus estudios. La otra posibilidad es que la unidad de anlisis sea el centro o el aula. En ese caso los datos de los alumnos se agrupan (normalmente promedindolos) y se incluyen en los datos de cada aula o centro. ambas opciones resultan errneas. aquellos que utilizan las puntuaciones de los sujetos directamente pueden caer en la llamada falacia atomstica, por la cual se atribuyen las diferencias en las variables de los sujetos a las aulas o los centros. adems, los modelos de regresin lineales descansan en el supuesto de independencia de las observaciones y, como compartir el mismo contexto causa su dependencia, los errores estndar estimados de las pruebas estadsticas tradicionales aparecern claramente subestimados y ello conducir irremisiblemente a que la mayora de los resultados sean significativamente espurios (Hox, 1995). La alternativa de trabajar con los datos agrupados es incluso peor: se pierde una gran cantidad de informacin, con lo que disminuye la potencia del anlisis estadstico. adems, se puede caer en la llamada falacia ecolgica por la cual se otorgan incorrectamente las caractersticas del contexto a los sujetos (Hill & Rowe, 1996; Hox, 1998; goldstein, 2003). La alternativa para esta disyuntiva son los llamados Modelos Multinivel. Los mismos trabajan con ambas (o tres, o ms) unidades de anlisis de forma simultnea. Efectivamente, proponen una estructura de anli-
PagINa
Descripcin del artculo | Article description | Artigo Descrio: artculo meta-investigativo centrado en la presentacin e ilustracin de metodologas de anlisis de datos para investigaciones en el rea educativa.
magis
47
PagINa
48
sis dentro de la cual se pueden reconocer los distintos niveles en que se articulan los datos, pues cada subnivel est representado por su propio modelo. Con ello, los Modelos Multinivel respetan la organizacin jerrquica que presentan los datos educativos de forma natural, los alumnos estn agrupados en aulas, las aulas en centros docentes y los centros en contextos (distritos escolares, comunidades autnomas, pases, etc.), elaborando un submodelo diferente para cada nivel. Cada uno de estos submodelos expresa la relacin entre las variables dentro de un determinado nivel y especifica cmo las variables de ese nivel influyen en las relaciones que se establecen en otros niveles (Murillo, 1999). En este artculo se pretende realizar una introduccin a los Modelos Multinivel a travs de su aplicacin en una investigacin concreta. De esta forma, hemos organizado este artculo en tres apartados: en la primera hacemos un anlisis de los fundamentos de los modelos multinivel; en segundo trmino, analizamos el proceso de modelaje multinivel con un ejemplo real; por ltimo, reflexionamos acerca de las aportaciones y utilidades de esta metodologa de anlisis.
Fundamentos de los Modelos Multinivel Los modelos multinivel son, en esencia, ampliaciones de los modelos de regresin lineal clsicos; ampliaciones mediante las cuales se elaboran varios modelos de regresin para cada nivel de anlisis (Reise & Duan, 2003; Bickel, 2007). Con ello los modelos del primer nivel estn relacionados por un modelo de segundo nivel en el que los coeficientes de regresin del nivel 1 se regresan en un segundo nivel de variables explicativas, y as sucesivamente para los diferentes niveles. Pero antes de profundizar mnimamente en el desarrollo formal de los modelos multinivel vamos a prestar atencin a tres conceptos fundamentales y sus implicaciones: correlacin intraclase, coeficiente fijo y aleatorio, e interaccin internivel.
los modelos resultantes son innecesaria y falsamente complejos, dado que aparecen relaciones significativas inexistentes. Otro concepto fundamental, y que supone la gran aportacin de los modelos multinivel, es el de coeficiente fijo y coeficiente aleatorio. En los modelos de regresin clsicos los parmetros que se estiman son el intercepto (o punto de corte) y las pendientes. Desde una perspectiva clsica, estos coeficientes se asumen como fijos, es decir, comunes a todos los sujetos y son estimados a partir de los datos. Los coeficientes aleatorios, sin embargo, son variables y se distribuyen segn una funcin de probabilidad. En una estructura multinivel los coeficientes del primer nivel (alumnos) son tratados como aleatorios en el segundo nivel (centros o aulas). En los modelos multinivel se permite a los grupos desviarse de la solucin central o global, tanto en el intercepto como en la pendiente. O, lo que es lo mismo, los modelos multinivel estn compuestos por dos partes, una general, comn a todos los contextos, que es la llamada parte fija, y otra que representa lo especfico de cada contexto, que vara y que se estima a travs de la varianza en los distintos niveles. Un tercer concepto importante es la interaccin internivel o la interaccin entre variables que estn medidas en diferentes niveles de una estructura jerrquica de datos. Ello hace referencia a la interaccin que puede haber entre variables de diferentes niveles, por ejemplo, determinada metodologa docente puede ser mejor con ciertos estudiantes (el llamado efecto aptitude treatment Interaction-atI), o un estilo directivo con profesores de determinadas caractersticas. La comprobacin de este tipo de hiptesis necesita un modelo de anlisis que no slo d cuenta de la estructura jerrquica de los datos, sino que tambin permita estimar las interacciones interniveles.
magis
Si permitimos que el intercepto pueda tomar diferentes valores en funcin de un segundo nivel, la ecuacin quedar:
Nivel 1: Nivel 2:
Con Nivel 1: donde es el rendimiento, en cualquier variable cognitiva o no-cognitiva, que tiene un alumno i en una escuela j, y es el error y se distribuye normalmente con una varianza constante e igual a es el promedio de y de la escuela j-sima. Es decir, Nivel 2: El proceso de modelizacin mediante un ejemplo El meollo de la cuestin de tipo tcnico de este trabajo es realizar el proceso de modelado multinivel. Fundamentalmente se trata de obtener el modelo que, partiendo de la propuesta terica, mejor se ajuste a los datos (Murillo, 2004a). Para ilustrar dicho proceso vamos a utilizar los datos de un estudio ortodoxo de eficacia escolar, en el cual se busca conocer los factores escolares asociados al rendimiento de los estudiantes. Para ello, se cuenta con una variable producto: el rendimiento en Matemticas, y una serie de variables explicativas agrupadas segn la funcin que realizan: variables de proceso y de contexto y entrada. En este artculo nos centramos en el anlisis metodolgico y dejaremos de lado la interpretacin de los resultados (el lector interesado puede consultar los resultados de la investigacin en Murillo, 2006, 2008). donde representa el gran promedio de y para la poblacin, y y es el efecto aleatorio asociado a la escuela j-sima y se supone que tiene media cero y una varianza . Los elementos que se estiman son: , (varianza del nivel 1) y (varianza del nivel 2) y la razn de verosimilitud. es la varianza de la verdadera media de la escuela respecto a la media de todas las escuelas de la muestra (la gran media). La razn de verosimilitud: servir para ir evaluando las diferentes aportaciones al modelo. En este ejemplo, el modelo nulo que vamos a estimar es: Nivel 1: Nivel 2:
donde es la variable respuesta que tiene un alumno i en una escuela j es el error y se distribuye normalmente con una varianza constante e igual a , es el promedio de y de la escuela j-sima representa el gran promedio de y para la poblacin, y y es el efecto aleatorio asociado a la escuela j-sima y se supone que tiene media cero y una varianza . Si, adems de hacer variar el intercepto, permitimos que las pendientes sean diferentes para cada escuela, tenemos la siguiente ecuacin:
Bsicamente, podemos establecer en cuatro pasos dicho proceso. Cada uno de ellos dar lugar a uno o varios modelos estadsticos: 1. Modelo Nulo (modelo I) 2. Modelo con las variables de ajuste (modelo II) 3. Conjunto de modelos para los factores de proceso (modelo IIIa) y de entrada y contexto (modelo IIIb) 4. Modelo final (modelo IV) 5. Verificacin del cumplimiento de los supuestos
Modelo nulo
El modelo nulo (null model) o modelo vaco es el punto de partida del proceso modelado. Contiene nicamente una variable respuesta y la constante (o intercepto o punto de corte), es decir, ninguna variable predictora. De esta forma, el modelo posee efectos aleatorios en los dos niveles y no incluye variables explicativas en ninguno de ellos. El modelo nulo se establece como lnea de base para la estimacin de la varianza explicada a partir de la cual se van evaluando las aportaciones de modelos ms elaborados. Para nuestro caso, de modelo con dos niveles, la ecuacin sera:
PagINa
magis
49
Y los resultados son: = 51,054, con error estndar = 100,407, con error estndar = 233,455, con error estndar = 0,585 = 8,818 = 4,171
50
La segunda fase es la estimacin del modelo II, o modelo con variables de ajuste. Este modelo se construye a partir del modelo nulo pero incorporndole, tanto en la parte fija como en la aleatoria, las cuatro variables consideradas en nuestro trabajo como variables de ajuste. De esta forma, y para el caso de tres variables de ajuste, el Modelo Multinivel que se espera conseguir es: Nivel 1:
magis
Nivel 2:
Con
Los pasos a seguir para estimarlo son los siguientes: a) Incorporacin de las cuatro variables de ajuste en la parte fija del modelo. De esta forma, las ecuaciones se convertirn en: Nivel 1:
Nivel 2: es la ordenada promedio de las unidades de nivel 2, y son las pendientes promedio de la regresin de las unidades de nivel 1, y es el incremento nico del intercepto asociado a la unidad jsima del nivel 2. donde
Para todo el proceso se utilizar la estimacin mediante el procedimiento de mnimos cuadrados iterativos generalizados (iterative generalised least squares-IgLS) (goldstein, 2003). Para el ejemplo seguido, el modelo a estimar es el siguiente: Nivel 1:
Nivel 2:
PagINa
Nivel 1:
Nivel 2: Los resultados de la estimacin son los siguientes (tabla 1): = 51,130079, con error estndar = 4,037, con error estndar = 0,170, con error estndar = 1,078, con error estndar = 1,308, con error estndar = 70,992, con error estndar = 222,581, con error estndar = 0,543 = 0,220 = 0,393 = 0,215 = 0,277 = 6,467 = 3,977
tabla 1 Resultados brutos del modelo multinivel con variables de ajuste slo en la parte fija para matemticas Est. Parte fija Intercepto SES Varn-Mujer aos-preesc SES-escuela Parte aleatoria Entre escuelas Entre alumnos 70,99 222,58 6,47 3,98 51,08 4,04 0,17 1,08 1,31 0,54 0,22 0,39 0,22 0,28 SE
Nota: SES: Socio Economical Status (Estatus Socio Econmico) SE: Standar Error (Error Estndar)
magis
51
El primer paso es la introduccin de las variables en la parte fija del modelo. El modelo sera:
El segundo paso es decidir sobre la inclusin o no de cada una de las cuatro variables explicativas introducidas en el modelo. Para ello, aplicando la t de Student, se observa que las pendientes de todas ellas, excepto la de la variable gnero, son significativas (tabla 2).
tabla 2 Resultados de la t de student para las pendientes de las variables del modelo i con variables de ajuste slo en la parte fija para matemticas y decisin t Decisin Rechazo H0 Incluyo acepto H0 Elimino Rechazo H0 Incluyo Rechazo H0 Incluyo
magis
PagINa
52
De esta forma, se elimina la variable gnero del modelo con variables en la parte fija y se vuelve a estimar (tabla 3).
tabla 3 Resultados limpios del modelo multinivel con variables de ajuste slo en la parte fija Est. Parte fija Intercepto SES Varn-Mujer aos-preesc SES-escuela Parte aleatoria Entre escuelas Entre alumnos 71,06 222,58 6,47 3,98 51,078 4,03 NS 1,09 1,31 0,21 0,28 0,54 0,22 SE
Nota: SES: Socio Economical Status (Estatus Socio Econmico) SE: Standar Error (Error Estndar)
El siguiente paso es aadir, una a una, las dos variables del nivel 1 que permanecen en la parte aleatoria del modelo. Es decir, se trata de estimar: Nivel 1:
Nivel 2:
tras incluir la variable Situacin socioeconmica de las familias en la parte aleatoria del modelo y realizar la estimacin se observa que , con lo que no es estadsticamente significativa su aportacin. Ello tambin se verifica si se analiza la variacin de la razn de verosimilitud, dado que permanece exactamente igual. as, queda clara su no incorporacin en el modelo. La inclusin de la variable aos de preescolarizacin en la parte aleatoria del modelo no ofrece resultados tan sencillos de observar a simple vista. Para verificar su estimacin tenemos que realizar una prueba de con las razones de verosimilitud obtenidas para comprobar si exis-
Nivel 1:
Nota: SES: Socio Economical Status (Estatus Socio Econmico) SE: Standar Error (Error Estndar)
ten diferencias significativas. Estas razones son 55.034,150 y 55.030,820 respectivamente. Con 1 grado de libertad, la probabilidad es de 0,06827. Asumiendo, como siempre, un = 0,05, se acepta la hiptesis nula, con lo que tampoco se incluye esa variable en la parte aleatoria del modelo. Con ello, se debera tener el modelo II final; sin embargo, si se incorpora la variable gnero, anteriormente eliminada en la parte aleatoria, se observa que su aportacin es significativa. Efectivamente, si se utiliza de nuevo la prueba con las estimaciones de las razones de verosimilitud (55.034,150 y 55.021,810 respectivamente), con 1 grado de libertad, la probabilidad es de 0,00044. asumiendo, como siempre, un = 0,05, se rechaza la hiptesis nula, con lo que queda incluida en el modelo. Como luego se ver, esto significa que existe un efecto diferencial de los centros respecto al gnero de los alumnos en su rendimiento matemtico. El modelo resultante, con esta curiosa situacin, es:
PagINa
magis
53
Nivel 2:
magis
PagINa
54
Nivel 2:
Mientras que los modelos I y II se estimarn para cada una las nueve variables de producto que tenemos, esta tercera fase slo se estimar para aquellas variables respuesta que resulten interesantes. Los criterios de seleccin sern: la disponibilidad de datos y que dichas variables respuesta tengan efectos escolares significativos. El procedimiento a seguir para su estimacin ser anlogo al de la fase anterior. En primer lugar se introducir cada una de las variables en el modelo y se analizar si su aportacin es significativa. a continuacin, se elaborar un modelo con todas las variables que han resultado significativas. Para el ejemplo utilizado, los resultados son los siguientes: para el modelo IIIa, con variables de proceso:
tabla 5 Resultados del modelo multinivel IIIa (con variables de proceso), para rendimiento en matemticas Est. Parte fija Intercepto SES aos-preesc SES-escuela Metodologa trab. individual Clima escolar Compromiso familias Recursos Parte aleatoria Entre escuelas Entre alumnos 67,20 219,50 7,18 4,02 50,73 4,00 1,09 1,12 1,24 1,37 2,40 1,17 0,50 0,22 0,21 0,27 0,56 0,50 1,16 0,49 SE
Nota: SES: Socio Economical Status (Estatus Socio Econmico) SE: Standar Error (Error Estndar)
SE 0,66 0,22 0,21 0,29 0.11 0,33 1,05 6,34 4,02 0,28
50,38 3,9 1,07 0,64 0,66 -0,63 0,68 2,84 56,39 219,50
PagINa
Nivel 2:
Sin embargo, dicho modelo lo consideramos provisional dado que es posible optimizarlo mediante una doble estrategia: por un lado incorporemos efectos de interaccin en el modelo y estudiaremos si su aportacin es significativa. Por otro, estudiaremos la existencia de outliers que pudieran estn ensuciando el modelo con su extrao comportamiento. as, poniendo en marcha la primera de las estrategias, dado que tenemos dos variables dummy (gnero y titularidad), incorporaremos 17 nuevas variables construidas a partir de la interaccin de cada variable dummy con cada una de las otras (8+8+1). En la tabla 8 se presentan los resultados. Como se puede observar, una nica variable de interaccin, titularidad/ nivel socioeconmico de los alumnos, realiza una aportacin significativa. tambin verificamos esta interaccin con otras variables, pero ninguna hace una aportacin significativa. Con ello tenemos una variable ms para incluir en el modelo. Este modelo provisional 2 se presenta en la tabla 9.
magis
55
tabla 7 Resultados del modelo multinivel Iv provisional 1, para rendimiento en matemticas Est. Parte fija Intercepto SES aos-preesc SES-escuela Clima aula Compromiso padres Experiencia docente Numero de repetidores tamao del centro titularidad Parte aleatoria Entre escuelas Entre alumnos 53,71 219,54 6,34 4,02 50,30 3,94 1,09 0,68 1,71 1,99 0,71 -0,45 0,71 2,81 0,65 0,22 0,21 0,27 0,48 1,00 0,28 0,11 0,32 1,02 SE
tabla 8 Resultados de la incorporacin de cada una de las variables de interaccin y decisin, para rendimiento en matemticas Est. Mujer/ SES aos-preesc SES-escuela Clima aula Compromiso padres Experiencia docente Nmero de repetidores tamao del centro titularidad Privado/ SES aos-preesc SES-escuela Clima aula Compromiso padres Experiencia docente Numero de repetidores tamao del centro -1,06 0,12 -0,37 -0,81 -0,17 -0,44 0,11 -0,35 0,44 0,43 0,54 1,02 2,51 0,56 0,23 0,64 -2,41 0,28 -0,69 -0,79 -0,07 -0,79 0,48 -0,55 S No No No No No No No 0,17 -0,23 -0,09 -0,30 1,39 -0,15 0,19 0,03 0,70 0,40 0,40 0,24 0,44 1,07 0,26 0,12 0,28 0,70 0,43 -0,58 -0,38 -0,68 1,30 -0,58 1,58 0,11 1,00 No No No No No No No No No SE t de student Decisin: Incluir?
PagINa
magis
56
Nota: SES: Socio Economical Status (Estatus Socio Econmico) SE: Standar Error (Error Estndar)
La segunda estrategia de optimizacin es hacer un anlisis para detectar la existencia de outliers que pudieran estar alterando el ajuste del modelo. Para ello, un buen camino es realizar una exploracin grfica de la relacin entre los residuales estandarizados y las dos variables incluidas en la parte aleatoria (el intercepto y el gnero) (Figura 1). En dicho anlisis detectamos la existencia de cuatro centros docentes que podemos considerar como outliers. Dos de ellos aparecen en la relacin entre la puntuacin normalizada y la desviacin estndar del intercepto y los otros dos en la relacin entre los residuales normalizados y la desviacin estndar del gnero. Para la optimizacin del modelo vamos a sacar estos centros del conjunto de los centros para incorporarlos de forma independiente. Los resultados de la estimacin de su aportacin se ofrecen en la tabla 10. De esta forma encontramos que, efectivamente, dos centros realizan una aportacin significativa al modelo al ser introducidos de forma individual, y esos dos mismos centros junto con otros dos realizan una aportacin significativa en interaccin con la variable gnero. Sin embargo, al incorporar conjuntamente las seis nuevas variables en el modelo, desaparece la aportacin de dos de ellas. Con todo ello tenemos, por fin, el modelo IV final (tabla 11). Pero antes de analizarlo con detalle, vamos a verificar que se cumplen los supuestos y, por ltimo, valoraremos su calidad predictiva.
Nota: SES: Socio Economical Status (Estatus Socio Econmico) SE: Standar Error (Error Estndar)
Figura 1. Relacin entre los residuales estandarizados y las desviaciones estndar del intercepto y la variable gnero, para el modelo IV para matemticas.
tabla 9 Resultados del modelo multinivel Iv provisional 2, para rendimiento en matemticas Est. Parte fija Intercepto SES aos-preesc SES-escuela Clima aula Compromiso padres Experiencia docente Nmero de repetidores tamao del centro titularidad Privado/SES Parte aleatoria Entre escuelas Entre alumnos 53,61 219,37 6,10 4,01 50,43 4,43 1,09 0,68 1,71 1,99 0,71 -0,45 0,71 2,81 -1,06 0,65 0,31 0,21 0,27 0,48 1,00 0,28 0,11 0,32 1,02 0,44 SE
tabla 11 Resultados del modelo multinivel Iv final para rendimiento en matemticas Modelo IV. Rdto. en Matemticas Parte fija Intercepto SES aos-preesc SES-escuela Clima aula Compromiso de los padres Experiencia docente Numero de repetidores tamao del centro titularidad Privado/SES Escuela 325 Escuela 156 Escuela 233/mujer Escuela 299/mujer Parte aleatoria Entre escuelas Entre alumnos 50,43 4,43 1,09 0,68 1,71 1,99 0,71 -0,45 0,71 2,81 -1,06 -20,10 27,38 -20,65 25,57 51,36 219,40 0,65 0,31 0,21 0,27 1,00 0,28 0,11 0,32 1,02 0,44 7,87 8,24 7,16 6,43 5,91 4,01 0,48 Est. SE
PagINa
Nota: SES: Socio Economical Status (Estatus Socio Econmico) SE: Standar Error (Error Estndar)
tabla 10 Resultados de la incorporacin de cada una de las variables pertenecientes a escuelas individuales y decisin para rendimiento en matemticas t de Student -2,56 3,30 0,15 -0,93 -2,38 2,77 -2,79 3,94 Decisin: Incluir? S S No No S S S S
Est. Escuela 325 Escuela 156 Escuela 233 Escuela 299 Escuela 325/mujer Escuela 156/mujer Escuela 233/mujer Escuela 299/mujer -20,28 27,43 1,27 -7,48 -15,77 20,28 -20,72 26,00
3. El error debe tener una distribucin Normal para que se puedan inferir los resultados de la muestra a la poblacin. En trminos matemticos:
Nota: SES: Socio Economical Status (Estatus Socio Econmico) SE: Standar Error (Error Estndar)
Los Modelos Multinivel, como cualquier modelo de regresin, tienen algunos supuestos de partida, sin cuyo cumplimiento las estimaciones obtenidas no son correctas. Los principales supuestos recaen sobre el error del modelo, , y su certificacin se realiza a travs del anlisis de los residuos . Estos supuestos son los siguientes: 1. El error tiene media nula y varianza constante, es decir, el error es homocedstico. 2. Los componentes aleatorios y el valor previsto son ortogonales.
Una estrategia habitualmente utilizada para comprobar los supuestos 2 y 3 (independencia y normalidad del error) es mediante un anlisis grfico de los residuos. De esta forma se representan, mediante un grfico de dispersin, la relacin entre los elementos del error de dos en dos y se verifica si hay alguna relacin. Para verificar la normalidad del error habitualmente se analiza el grfico QQ (o QQ-plot). En este grfico, en el eje de ordenadas se representan los residuos escolares estandarizados y, en el eje de abscisas, el respectivo valor esperado de la distribucin Normal
magis
57
PagINa
58
estandarizada. Cuando los residuos estn normalmente distribuidos, los puntos del grfico se sitan en la lnea diagonal. El ltimo paso es evaluar la calidad del modelo final. Bsicamente lo que nos importa es conocer cunta varianza de la escuela y del alumno es explicada por el modelo. Sera un valor de su capacidad explicativa. Se estima a travs del llamado Coeficiente de determinacin R 2 (Longford, 1993). Si el intercepto apenas tiene varianza aleatoria la varianza total ser la suma de las varianzas de los niveles 1 y 2 ( ). De esta forma, podremos estimar el coeficiente de determinacin total R 2, as como el coeficiente de determinacin para el nivel 1 (alumno), R12, para el 2 (escuela), R22, con la siguiente frmula:
entre el valor previsto y el componente aleatorio del intercepto es de 0,0424 y entre el valor previsto y el componente aleatorio de la variable gnero de 0,0433. Es decir, podemos afirmar que se cumple el segundo supuesto.
Figura 3. Relacin entre el valor previsto y los componentes aleatorios del intercepto y la el gnero para rendimiento en matemticas
magis
donde var(final) representa la varianza residual en el modelo cuyo poder explicativo se pretende evaluar a travs de R 2, y var(nulo) es la varianza del modelo nulo. Con los datos del ejemplo, el primer supuesto se verifica fcilmente calculando los estadsticos descriptivos de los residuales. as, la media para los residuales del nivel 1 es -0,0000042 y de los residuales de nivel 2 -0,00294, con lo que, efectivamente se cumple. Como vimos anteriormente, una estrategia para analizar los otros dos supuestos es mediante un estudio grfico. Para los supuestos del nivel 1, en la figura 2 se muestra, por un lado, el QQ-plot, que nos confirma la distribucin Normal de los residuales y, por otro, la relacin entre el valor previsto y los residuales. Se verifican los supuestos
Figura 2. Qq-plot y relacin entre el valor previsto y los residuales de nivel 1 para rendimiento en matemticas
El tercer supuesto para los errores de nivel 2 tambin va a ser verificado mediante el anlisis grfico. La figura utilizada para ello ya fue mostrada para hacer un anlisis de outliers (Figura 1) por lo que nos remitiremos a ella. Como se puede observar, los puntos siguen con una gran aproximacin la diagonal, por lo que se verifica el supuesto de su distribucin Normal. Por tanto, el modelo final cumple perfectamente los supuestos. Slo nos resta hacer un anlisis de la calidad del modelo resultante en trminos de su capacidad predictiva. Como hemos visto, sta se estima mediante el llamado Coeficiente de determinacin, R2. En el tabla 12 se han recogido tanto las razones de verosimilitud como los Coeficientes de determinacin totales de segundo y primer nivel. El modelo final explica el 19% de la varianza total, casi el 50% de la varianza entre centros y apenas el 6% de la varianza entre alumnos. La escasa variabilidad de los alumnos explicada por el modelo tiene su causa principal en que se estn buscando factores de centro y aula asociados con el rendimiento. Si hemos visto que estos factores explican algo ms del 9% de la varianza total, la cifra alcanzada es razonable.
Para verificar los supuestos relativos al nivel 2, en la Figura 3 se ha representado la relacin entre los componentes aleatorios del intercepto y el gnero y el valor previsto. Visualmente se puede apreciar la independencia. Sin embargo, tambin hemos calculado la correlacin entre esos valores. El ndice de correlacin
tabla 12 valoracin del proceso de modelizacin y del resultado final: razones de verosimilitud y varianza explicada en cada modelo para rendimiento en matemticas Razn de verosimilitud Modelo I (Nulo) Modelo II (con variables de ajuste) Modelo IIIa (II+variables de proceso) Modelo IIIb (II+var. contexto y entrada) Modelo IV provisional 1 Modelo IV provisional 2 Modelo IV (final) 55.434,72 55.021,81 54.998,59 54.968,98 54.952,39 54.946,48 54.906,53 20 100,41 70,13 67,20 56,69 53,71 53,62 51,36 2e1 233,46 219,50 219,50 219,50 219,54 219,37 219,41 13,25 14,13 17,28 1,06 18,23 18,90 30,16 33,07 43,54 46,51 46,60 48,85 5,98 5,98 5,98 5,96 6,04 6,02 % var. total % var. centros % var. alumnos
PagINa
Conclusiones finales
fluenciados por el centro al que asisten, pero tambin por el contexto familiar. Una segunda aportacin sustantiva a considerar es que los modelos multinivel permiten analizar simultneamente contextos y heterogeneidad individual, ya que no slo se deben considerar las diferencias entre contextos. Por ejemplo (siguiendo a Coleman et al., 1966), las personas de nivel sociocultural bajo no slo pueden diferir en la media de rendimiento acadmico, sino que tambin pueden ser ms o menos variables en sus puntuaciones. Un tercer elemento a tener en cuenta en el cajn de las aportaciones es que permiten combinar la investigacin intensiva con la extensiva o, lo que es lo mismo, cualidad y cantidad. Las conductas y las acciones de los individuos tienen ambos componentes, uno cualitativo (ocurre) y otro cuantitativo (cunto, qu tan frecuente...). ambos elementos deben considerarse simultneamente (por ejemplo, el fracaso escolar es muy bajo en algunos centros, pero aquellos alumnos que fracasan lo hacen estrepitosamente). La investigacin extensiva permite identificar patrones, pero al mismo tiempo posibilita reconocer grupos especficos que necesitan estudios intensivos. Aportaciones tcnicas La principal caracterstica de los modelos multinivel es que aportan un entorno natural dentro del cual se pueden comparar teoras sobre relaciones estructurales entre variables en cada uno de los niveles en los que se organizan los datos. Los modelos multinivel ofrecen una estructura de anlisis dentro de la cual se pueden reconocer los distintos niveles en los que se articulan los datos, al estar representados cada uno con su propio submodelo (Draper, 1995). Cada submodelo expresa la relacin entre las variables dentro de un determinado nivel y especifica cmo las variables de un nivel influyen en las relaciones que se establecen en los otros niveles.
magis
59
PagINa
60
Ya hemos analizado las aproximaciones metodolgicas tradicionales para el estudio de la eficacia escolar que conllevaban una serie de problemas tcnicos cuando abordaban datos de estructura jerrquica (Bryk & Raudenbush, 1992; Hox & Kreft, 1994). Entre esas aportaciones se encuentra, en primer lugar, el hecho de que mejoran la estimacin de los efectos entre las unidades individuales (por ejemplo, desarrollar una estimacin mejorada del modelo de regresin para un centro apoyndose en las estimaciones similares que existen para otros centros). Igualmente, los modelos multinivel permiten formular y probar hiptesis sobre los efectos cruzados entre niveles (por ejemplo, estudiar la relacin entre la titularidad del centro y el rendimiento de los alumnos en funcin de su nivel sociocultural). La posibilidad de interacciones entre las variables definidas en distintos niveles de la jerarqua es una cuestin importante, ya que de no considerarse pueden llevar a inferencias inadecuadas (usar datos del nivel de contexto para inferencias individuales y que las variables puedan tener diferentes significados en niveles distintos). Los modelos multinivel resuelven este problema. En tercer lugar, permiten realizar la particin de componentes de varianza y covarianza entre niveles (por ejemplo, descomponer las correlaciones entre las variables relacionadas con los alumnos en componentes intra e inter centros). En claro contraste con los procedimientos clsicos de regresin aplicados a datos agrupados, estos modelos ofrecen una estimacin adecuada de los parmetros en presencia de correlaciones intragrupos (autocorrelacin). La caracterstica de los datos es la no independencia de las observaciones. Las observaciones dentro de un grupo estn prximas en el tiempo o en el espacio, y se espera, por tanto, que sean ms similares que las observaciones de diferentes grupos, dado el conjunto de estmulos y experiencias compartidas y la no asignacin aleatoria de los sujetos a los grupos. La cantidad de covariacin entre las observaciones que comparten el mismo contexto, suele expresarse por medio de la correlacin intraclase. Cuando se emplean los estadsticos de contraste ordinario, que consideran al individuo como unidad de anlisis, suele violarse el supuesto de independencia de los errores. Incluso pequeos valores de correlacin intraclase conllevan errores de tipo I mayores que el nivel del alpha nominal. Realmente la no dependencia de las observaciones y la heterogeneidad no son fallos de nuestros datos, sino sus caractersticas, por tanto son esperados y modelados. De igual forma, los modelos multinivel ofrecen una estructura explcita dentro de la cual expresar la similitud de los juicios destinados a combinar la informacin entre unidades (distintos niveles) para producir
mejores estimaciones y predicciones a partir de las observaciones realizadas. Por ltimo, permiten la posibilidad de incorporar efectos aleatorios. Los modelos de efectos fijos permiten que las generalizaciones derivadas de sus inferencias afecten slo a los tratamientos incluidos en el estudio. El modelo de regresin asume coeficientes fijos. En cambio, los modelos multinivel asumen un muestreo aleatorio de individuos en contextos tambin aleatorios. Consecuentemente, los anlisis de los modelos multinivel pueden incorporar efectos aleatorios.
magis
gelman, a. & Hill, J. (2006). Data Analysis Using Regression and Multilevel /Hierarchical Models. Cambridge: Cambridge University Press. goldstein, H. (1997). Methods in school effectiveness research. School Effectiveness and School Improvement, 8(4), 69-395. goldstein, H. (2003). Multilevel Statistical Models. New York: arnold. Heck, R. H. & thomas, S. L. (2000). An Introduction to Multilevel Modeling Techniques. Hillsdale, NJ: Lawrence Erlbaum associates. Hill, P. W. & Rowe, K. J. (1996). Multilevel modelling in school effectiveness research. School Effectiveness and School Improvement, 17(1), 1-34. Hox, J. J. (1995). Applied Multilevel Analysis. amsterdam: tt-Publikaties. Hox, J. J. (1998). Multilevel modeling: when and why. En I. Balderjahn & M. Schader (Eds.), Classification, data analysis and data highways (pp. 147154). New York: Springer Verlag. Hox, J. J. (2002). Multilevel Analysis: Techniques and Applications. Hillsdale, NJ: Lawrence Erlbaum associates. Hox, J. J. & Kreft, I. g. g. (1994). Multilevel analysis methods. Sociological Methods and Research, 22(3), 238-299. Longford, N. t. (1993). Random Coefficient Models. Oxford: Oxford University Press. Murillo, F. J. (1999). Los modelos jerrquicos lineales aplicados a la investigacin sobre eficacia escolar. Revista de Investigacin Educativa, 17(2), 453-460. Murillo, F. J. (2004a). La metodologa de investigacin en Eficacia Escolar. En L. J. Pieros (Ed.), Dimensiones del mejoramiento escolar. La escuela alza el vuelo (pp. 153-193). Bogot: Convenio andrs Bello.
Sobre el autor
F. Javier Murillo Torrecilla es Profesor titular en Mtodos de Investigacin y Evaluacin en Educacin, Universidad autnoma de Madrid. Doctor en Ciencias de la Educacin de la Universidad Complutense de Madrid, Licenciado en Ciencias Matemticas y Licenciado en Ciencias de la Educacin. Es Coordinador de la Red Iberoamericana de Investigacin sobre Cambio y Eficacia Escolar (RINaCE), Director/Editor de la Revista Electrnica Iberoamericana sobre Calidad, Eficacia y Cambio en Educacin (REICE) y co-director de la Revista Iberoamericana de Evaluacin Educativa. Fue Director de Estudios del Centro de Investigacin y Documentacin Educativa, Ministerio de Educacin (Espaa) y Coordinador general del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE) de la UNESCO. Ha trabajado como consultor experto en Investigacin y Evaluacin Educativas en diferentes pases de amrica Latina y con distintas agencias internacionales. autor de ms de un centenar de publicaciones sobre Calidad, eficacia y mejora de la educacin. Ms informacin en www.uam.es/javier.murillo [email protected]
Referencias aitkin, M. & Longford, N. (1986). Statistical modelling issues in school effectiveness studies. Journal of the Royal Statistical Society, Ser A, 149, 1-43.
es imprescindible que utilicemos los recursos metodolgicos ms adecuados. En la investigacin amparada en el paradigma emprico-positivista, el camino se llama Modelos Multinivel. Cierto es que su utilizacin supone un importante cambio en la forma de trabajar de los investigadores y que exige un sobre-esfuerzo de formacin en metodologa de su parte. Cierto es tambin que nuestro pas tiene una escasa tradicin en investigacin en Organizacin Escolar y un nivel bajo en desarrollo metodolgico que hace difcil poner en prctica los nuevos avances en este terreno. Pero su conocimiento y utilizacin debe constituirse en un deber para los investigadores en organizacin escolar, para aquellos de tradicin ms cuantitativa, pero tambin para los ms proclives a la investigacin de carcter fenomenolgico. Si exigimos a los docentes una formacin constante, con ms razn hemos de ser exigentes con nosotros mismos para estar al da con los avances sustantivos y metodolgicos que se producen en nuestra disciplina. En juego est la calidad de la investigacin, y con ello, la calidad de la educacin.
Bickel, R. (2007). Multilevel Analysis for Applied Research: Its Just Regression. New York: guilford Press. Bryk, a. S. & Raudenbush, S. W. (1992). Hierarchical linear models. Applications and data analysis methods. Newbury Park, Ca: SagE. Coleman, J. S., Campbell, E. Q., Hobson, C. J., McPartland, J., Mood, a. M., Weinfeld, F. D. & York, R. L. (1966). Equality of educational opportunity. Washington: US government Printing Office. Draper, D. (1995). Inference and hierarchical modeling in the Social Sciences. School Effectiveness and School Improvement, 20, 115-147.
PagINa
magis
61
Murillo, F. J. (2004b). Los modelos multinivel: avances metodolgicos en la investigacin sobre organizacin escolar. Organizacin y Gestin Educativa, 1, 23-27. Murillo, F. J. (2006). Un estudio multinivel sobre los efectos escolares y los factores de eficacia de los centros docentes de primaria en Espaa. En F. J. Murillo (Coord.), Estudios sobre eficacia escolar en Iberoamrica. 15 buenas Investigaciones (pp. 345-372). Bogot: Convenio andrs Bello. Murillo, F. J. (2008). Hacia un Modelo de Eficacia Escolar. Estudio Multinivel sobre los Factores de Eficacia de las Escuelas Espaolas. Revista Electrnica Iberoamericana sobre Calidad, Eficacia y Cambio en Educacin, 6(1), 4-28. Raudenbush, S. W. & Bryk, a. S. (2002). Hierarchical Linear Models: Applications and Data Analysis Methods. London: SagE. Reise, S.P. y Duan, N. (2003). Multilevel Modeling: Methodological Advances, Issues, and Applications. Hillsdale, NJ: Lawrence Erlbaum associates.
PagINa
magis
62