Los modelos de ecuaciones estructurales y su aplicacin en el ndice Europeo de Satisfaccin del Cliente

Mercedes Casas Guilln Facultad de Econmicas Universidad San Pablo CEU Julin Romea 23 91 456 63 00 Ext. 424 [email protected] Las empresas elaboran planes estratgicos que requieren conocer el grado de satisfaccin que sus productos y servicios provocan en los clientes, esto ha llevado a las instituciones de los pases desarrollados a elaborar indicadores estadsticos que midan la satisfaccin. La elaboracin del ndice Europeo de Satisfaccin del Cliente (ECSI) tiene su origen en la necesidad de disponer de informacin peridica, desglosada y comparable, relativa a la calidad de los diferentes sectores econmicos europeos, desde la perspectiva de la satisfaccin del cliente en las empresas de servicios. El ECSI se construye a partir de un modelo de ecuaciones estructurales que relaciona los componentes de la satisfaccin. Las diferentes variables del modelo estructural subyacente en el ECSI, toman como variable principal o resultado, la componente satisfaccin, y consideran adems, la imagen, las expectativas del cliente, la calidad percibida hardware y software, el valor percibido y la fidelizacin del cliente. La estimacin de los parmetros del modelo se realiza empleando ecuaciones lineales simultneas (Partial Least Squares. PLS). Palabras resumen: ECSI, satisfaccin, fidelizacin, calidad, modelos estructurales, ecuaciones lineales simultneas, anlisis causal, PLS. 1. INTRODUCCIN: CAUSALIDAD INVESTIGACIN NO EXPERIMENTAL Y

Una de las finalidades de las investigaciones empricas es el descubrimiento de relaciones causales entre las variables objeto de estudio, lo cual es asequible cuando trabajan con conceptos experimentalmente controlables como los fenmenos fsicos, sin embargo sobre las variables analizadas en las ciencias sociales y del comportamiento no es posible ejercer un control, por lo que es necesario desarrollar otro tipo de anlisis metodolgico. Las ciencias sociales estudian con frecuencia conceptos no fsicos y abstractos denominados constructos, que slo pueden medirse de forma indirecta a travs de indicadores. Los Modelos de Ecuaciones Estructurales constituyen una herramienta til para el estudio de relaciones causales de tipo lineal sobre estos conceptos. Estos modelos no prueban la causalidad, pero ayudan al investigador en la toma de decisiones, rechazando las hiptesis causales cuando se contradicen con los datos, esto es, con la estructura de covarianzas o correlaciones subyacente entre las variables.

1.1 Nocin de causalidad Existen muchas variables que tienden a moverse conjuntamente pero la mera asociacin estadstica entre variables no es una condicin suficiente para que exista causalidad. La condicin suficiente y necesaria del principio de causalidad podra ser expresada en estos trminos: una variable A es causa de B si siempre que se da A acontece B, y nunca acontece B si previamente no se ha dado A1. nicamente existe relacin causal en el sentido A B, puesto que la causalidad es asimtrica. Sin embargo, no es posible distinguir entre regularidades aisladas en la ocurrencia de dos fenmenos y una relacin causal, por lo que, podemos decir que existe causalidad cuando se halla una relacin entre dos variables y se ha podido descartar que sea esprea o no causal. 1.2 Tipos de relaciones causales. Anlisis Path El concepto de anlisis causal en las ciencias sociales hace referencia al conjunto de estrategias y tcnicas de elaboracin de modelos causales que expliquen los fenmenos, con objeto de contrastarlos empricamente. Sus orgenes se encuentran en el path-analysis, literalmente traducido como anlisis de senderos, cuyo objeto es el estudio de los efectos de unas variables consideradas como causas sobre otras tomadas como efectos. La variable que es efecto se denomina variable dependiente, endgena o explicada y las que originan o causan a la anterior, son las variables independientes, exgenas o explicativas. El anlisis path es una tcnica similar a la regresin pero con poder explicativo, que estudia los efectos directos e indirectos en el conjunto de las variables observables, asumiendo la existencia de relaciones lineales entre ellas, la incorrelacin de los errores de regresin y la ausencia de errores de medicin de las variables. Los coeficientes path (Cij: donde i se refiere a la variable efecto y j a la variable causa) explican el impacto de una variable en otra mediante la descomposicin de los mismos en tres bloques: path de la variable independiente a la intermedia, path de la intermedia a la dependiente y resto de path que llevan a la variable final, que no incluyen a la interviniente. Se pueden obtener las diferentes correlaciones entre las variables analizando el conjunto de los efectos, sean directos, indirectos o espreos, empleando los coeficientes path 2. Los efectos causales entre las variables podemos agruparlos en directos, indirectos y espreos, considerando para esta investigacin solamente aquellos que no contemplan reciprocidad entre las variables se pueden representar empleando diagramas de rutas: a) Relacin directa: e1 causa e2
e1 e2

b) Relacin causal indirecta: e1 causa e2 a travs del efecto de e3

c) Relacin esprea o no causa entre e1 y e2: e3 provoca efecto sobre e1 y e2

2. MODELIZACIN CON ECUACIONES ESTRUCTURALES Y VARIABLES LATENTES El estudio de las relaciones causales tiene su origen en la tcnica del anlisis multivariante planteado para trabajar con datos experimentales, que examina el efecto de una variable explicativa sobre la explicada, y en qu medida la variacin observada de sta es debida a los cambios producidos en aqulla. Tanto las tcnicas de regresin como el path-anlisis son categoras de lo que se han denominado de forma global modelos de ecuaciones estructurales, que analizan las relaciones causales y no causales entre variables tomadas como indicadores de medida de los constructos, excluyendo del anlisis el error de medicin. El investigador, basndose en su conocimiento terico, disea el modelo que intenta representar de forma sencilla la realidad subyacente en las variables latentes, especificando las relaciones entre ellas. La hiptesis de partida de todos estos modelos es que reproducen exactamente la estructura de varianzas y covarianzas de las variables objeto de estudio, aunque no corroboran ni contradicen la existencia de causalidad. Para la estimacin y contrastacin de estos modelos, se han desarrollado diferentes aplicaciones o programas, de los que destacan LISREL, EQS o AMOS, siendo este ltimo el utilizado en la elaboracin del Modelo ECSI. La modelizacin segn ecuaciones estructurales sigue una metodologa que pasa por diferentes etapas: especificacin, identificacin, estimacin de parmetros, evaluacin del ajuste, reespecificacin del modelo e interpretacin de resultados. 2.1 Especificacin del modelo En esta fase el investigador aplica sus conocimientos tericos del fenmeno estudiado al planteamiento de las ecuaciones matemticas relativas a los efectos causales de las variables latentes y a las expresiones que las relacionan con los indicadores o variables observables. Adems se formulan enunciados sobre el conjunto de parmetros, decidiendo entre los que sern libres para ser estimados o fijos, a los que se les asignar un valor dado, normalmente cero. Asimismo, en esta etapa se especifican los supuestos estadsticos sobre las fuentes de variacin y en concreto sobre la forma de distribucin conjunta, que en la mayora de las tcnicas empleadas se considera normalidad multivariante. Por ltimo se precisar el comportamiento de las variables no incluidas en el modelo, cuyo efecto se recoge en los trminos del error de medida o de perturbacin. La claridad del modelo viene determinada por el grado de conocimiento terico que posea el investigador sobre el tema de estudio, si la informacin es poco exhaustiva o detallada, la asignacin de los parmetros ser confusa a priori, por lo que el investigador debe realizar diversos anlisis exploratorios de los datos hasta configurar el modelo, y efectuar el anlisis confirmatorio del mismo.

2.1.1 Diagrama, modelo de medida y modelo estructural Podemos plantear el modelo de ecuaciones estructurales de distintas formas, complementarias entre s, mediante diagrama, matricialmente y proponiendo un sistema de ecuaciones simultneas. Los elementos que componen un modelo causal hipottico son los siguientes:

1 2

X1 11 X2 21

Y1

1
21

11

1
21 1 2

Y2 21

12

2
-

Variables latentes: endgenas , exgenas Variables observadas: endgenas Y, exgenas X. Errores de medida: variables observadas endgenas , variables observadas exgenas . Trmino de perturbacin: , que incluye los efectos de las variables omitidas, los errores de medida y la aleatoriedad del proceso especificado. La variacin en el trmino de perturbacin se simboliza por y la covariacin entre los trminos de perturbacin i-simo y j-simo se denota por i j Coeficiente de regresin: , que relaciona las variables latentes con los indicadores. Coeficientes de regresin , , que relacionan las variables latentes entre s, y las variables observadas entre s.

El modelo de ecuaciones estructurales est compuesto por dos sub-modelos que pueden expresarse de forma matricial, por ser la ms abreviada, segn la formulacin LISREL como:3 I. Modelo estructural: ETA = BE * ETA + GA * KSI + ZE
Matriz de variables latentes endgenas (ETA) Matriz de variables latentes exgenas (KSI) Matriz de coeficientes de regresin entre variables endgenas (BE), los coeficientes de regresin entre variables exgenas y variables endgenas (GA), Coeficientes residuales (ZE).

II. Modelo de medicin: x = LX * KSI + D;

y = LY * ETA + E

Matriz de indicadores exgenos (x) y endgenos (y) Matriz de factores latentes exgenos (KSI) y endgenos (ETA) Coeficientes de regresin entre factores exgenos y sus indicadores (LX), entre factores endgenos y sus indicadores (LY) Errores de medicin para los indicadores exgenos (D), y para los indicadores endgenos (E).

2.1.2 Supuestos previos a la estimacin Como supuestos de partida hay que considerar cero las covarianzas entre los factores exgenos y los trminos de perturbacin aleatoria, y las covarianzas de los factores exgenos y errores de medida, al igual que se hacen cero el valor esperado de los errores de medicin y de los trminos de perturbacin aleatoria. Las variables independientes se toman centradas (no estandarizadas), es decir, su valor esperado es cero. Las distribuciones de las variables explicativas, trminos de perturbacin y errores de medida, se asumen normal multivariante, y la ausencia de este supuesto no lleva a sesgos en la estimacin, pero s afecta a la eficiencia de los estimadores y a los contrastes de hiptesis. 2.2 Identificacin del modelo Si el modelo terico creado es correcto, se procede a la identificacin del modelo, en donde nos debemos asegurar que pueden ser estimados los parmetros del modelo. El modelo est identificado si todos los parmetros lo estn4, es decir, si existe una solucin nica para cada uno de los parmetros estimados. Determinar si un modelo est identificado debe estudiarse antes de la recogida de datos, en donde se debe comprobar que al menos se dispone para cada parmetro de una expresin algebraica que lo exprese en funcin de las varianzas y covarianzas muestrales. Si llamamos p al nmero de variables observadas o indicadores, cuando *[p*(p+1)] es mayor o igual al nmero de parmetros a estimar, no hay seguridad sobre la identificacin del modelo. Existen una serie de reglas generales aplicables para identificar un modelo, una de ellas es la regla de los grados de libertad, obtenidos como la diferencia entre el nmero de varianzas y covarianzas (ecuaciones) y el nmero de parmetros a estimar. Es una condicin necesaria pero no suficiente. Cuando g<0, sern modelos infraidentificados, cuando g=0, los modelos son posiblemente identificados, y cuando g>0 el modelo est sobreidentificado. Otra regla que es condicin suficiente pero no necesaria, es que si el modelo es recursivo est identificado, siendo este tipo de modelos aquellos que no contienen efectos circulares o recprocos entre sus variables. 2.3 Etapa de estimacin del modelo Partiendo de que el modelo est identificado, cada uno de los parmetros tendr un valor nico. Si conocisemos los valores de los parmetros del modelo correcto y las varianzas y covarianzas poblacionales, entonces cada elemento de esta matriz sera idntico al reproducido en la matriz del modelo, pero como la poblacional no es conocida la aproximamos por la matriz de varianzas y covarianzas muestral. El proceso de estimacin consiste en la obtencin de aquellos valores p de los parmetros que ajusten lo mejor posible a la matriz observada, por la que aquellos reproducen. La estimacin de coeficientes se realiza mediante procedimientos iterativos de minimizacin de desviaciones, bajo la hiptesis de que nuestro modelo es correcto. Tras la fase de estimacin, los tests de bondad del ajuste nos permitirn decidir si la falta de identidad entre la matriz de varianzas y covarianzas muestral y la generada por el modelo, se debe al azar o a la inadecuacin del modelo.

Se pueden emplear diferentes funciones de ajuste entre las matrices implicada y observada, aunque todas siguen una estructura similar, la expresin genrica que se minimiza es del tipo:5 F = (S-(p)) W (S-(p)), en donde S es la matriz observada, (p) la matriz implicada, (S-(p)) son los vectores de residuos y W es la matriz de ponderacin. Segn el mtodo de estimacin mnimos cuadrados no ponderados, la matriz de ponderacin es la matriz identidad, W = I. Si empleamos el procedimiento de mnimos cuadrados ponderados bajo normalidad la matriz de ponderacin es la inversa de la matriz observada W=(SS)-1. Otro criterio seguido es el de mxima verosimilitud, bajo el supuesto de normalidad multivariante, en donde la matriz de ponderacin es la inversa de la matriz implicada, W=(S(p)(p))-1. En el caso del mtodo de distribucin libre asinttica, la matriz de ponderacin es la inversa de una funcin de los momentos de cuarto orden de las variables observables. 2.4 Evaluacin del modelo La etapa de diagnstico de la bondad del ajuste se refiere a la exactitud de los supuestos del modelo especificado para determinar si el modelo es correcto y sirve como aproximacin al fenmeno real precisando as su poder de prediccin. Si el modelo es correcto y la muestra suficientemente grande, existe una transformacin del mnimo de la funcin de ajuste, llamada estadstico 2 de bondad del ajuste, que sigue una distribucin chi-cuadrado con los mismos grados de libertad g que el modelo. La hiptesis nula a contrastar es que el modelo es bueno, y cuanto mayor sea el valor obtenido del estadstico 2 en comparacin con los grados de libertad, peor ser el ajuste. Las tcnicas de evaluacin del modelo pueden ceirse a una valoracin global de la bondad del ajuste o extenderse al anlisis detallado de los parmetros y residuos del modelo, con el objetivo de determinar si se han impuesto las restricciones necesarias al modelo, y si las estimaciones de los parmetros son susceptibles de interpretacin plausible y til para el investigador. A partir del estadstico chi-cuadrado podemos obtener otros indicadores de bondad de ajuste que comparan el valor obtenido de 2 para el modelo, con el del modelo base que supone la no-asociacin entre las variables del modelo (caso peor). Entre estas medidas encontramos el ndice de ajuste normado (NFI), el ndice de ajuste no normado (NNFI) y el ndice de no centralidad relativo (RNI). Si realizamos un diagnstico detallado, podemos emplear otros contrastes para ver la significacin de parmetros adicionales, como por ejemplo el test de razn de verosimilitud, el test de los multiplicadores de Lagrange, test de Wald, etc. 4. MODELO ESTRUCTURAL SUBYACENTE DEL ECSI El modelo E.C.S.I. mide la satisfaccin del cliente en el el campo de la calidad percibida de los servicios, proporcionando un nivel global de la satisfaccin y explicando las relaciones de causalidad con sus componentes. El fundamento terico de la elaboracin de un indicador de la satisfaccin radica en el paradigma de la

desconfirmacin, mediante el cual el cliente configura su nivel de satisfaccin, en funcin de la calidad percibida tras la experiencia de prestacin del servicio. 4.1 Definicin de las variables del modelo y sus relaciones causales El primer paso para elaborar el ECSI ha sido la conceptualizacin de las variables latentes y sus relaciones6: a) Expectativas: nivel de referencia que espera el consumidor del producto o servicio que adquiere, antes de efectuar la compra. La expectativa produce un efecto directo sobre la calidad percibida del servicio, en el valor del servicio y en la satisfaccin. b) La calidad percibida: componente clave que determina la satisfaccin del cliente segn la forma en que ste haya experimentado el servicio; influye en la satisfaccin a travs de dos vas, una directa y otra indirecta va valor del servicio, en funcin de la evaluacin de la calidad-precio del servicio que realice el cliente. El modelo diferencia entre dos subcomponentes de calidad percibida: 1. Calidad percibida hardware o calidad del producto: ncleo duro del servicio en cuanto a las caractersticas genricas del servicio que se ofrece. 2. Calidad percibida software o calidad del servicio: aspectos especficos de la prestacin del servicio en s mismo como la atencin personalizada, la distribucin, los servicios de informacin, etc. c) Valor del servicio: relacin calidad-precio que el cliente extrae tras el servicio recibido, acta como variable interviniente entre la calidad percibida y la satisfaccin del cliente. d) Imagen del servicio: componente intangible que evala la imagen de marca que tiene el consumidor sobre la empresa en su conjunto y los productos o servicios que ofrece. En el modelo es una variable exgena o independiente con efecto directo sobre todas las dems que a largo plazo incidir en la fidelizacin del cliente con la empresa. e) Satisfaccin del cliente: es la variable resultante que evala la actitud o estado psicolgico del consumidor tras su experiencia con el servicio. f) Fidelizacin del cliente: es la variable de rendimiento del ndice de satisfaccin y mide la capacidad que tiene la empresa de retener a sus clientes, en funcin del nivel alcanzado en ese ndice7.
Imagen

3.206

1.666

0.64

0.72

Expectativas
1.417 2.353 3.114 2.391

Valor Servicio

0.92

Satisfaccin

2.275

Fidelizacin

0.71 1.04

Calidad del Servicio

0.11

Calidad del Producto

4.2 Operacionalizacin de las variables latentes Los siete componentes del ndice son por tanto variables latentes, medidas cada una por dos o tres indicadores, en cada caso. El Plan de operacionalizacin de las variables latentes en indicadores, se ha realizado mediante la utilizacin de un cuestionario realizado a los usuarios de los servicios, de forma que los diferentes indicadores son los tems o preguntas efectuadas:
Variables latentes Indicadores (Items del cuestionario) Q3. Satisfaccin global Satisfaccin: variable principal Q6 Cumplimiento de expectativas Q16 Compaa respecto de la ideal Q4a Avanzada tecnologa Imagen: variable exgena Q4b Buen servicio al cliente Q4c Buena relacin calidad-precio Q5a Expectativas sobre la calidad de las llamadas Q5b Expectativas sobre la atencin al cliente Expectativas del cliente Q5c Expectativas globales Q7c Gama de servicios Calidad percibida del producto Q7d Calidad tcnica Hardware Q7b Atencin personal Calidad percibida del servicio Software Q8a Relacin atencin al cliente-precio Q8b Relacin funcionamiento de servicos-precio Valor percibido Q8c Relacin global calidad de servicio-precio Q10 Repeticin de compra/utilizacin Fidelizacin del cliente Q11 y Q12 Sensibilidad al precio

4.3 Formulacin del Modelo: Modelo de medicin + Modelo estructural Para poder obtener una medida de los constructos o variables latentes del ECSI, es necesario plantear las expresiones que relacionan cada uno de estos conceptos con sus indicadores, es decir, elaborar el modelo estructural y el modelo de medicin que subyacen en el ECSI. 1. Modelo de medicin: Especifica las ecuaciones que vinculan las variables latentes a las observadas o indicadores x e y, expresado de forma matricial sera:

x = x + y = y +
: imagen la variable latente exgena, : las variables latentes endgenas. x la matriz de coeficientes de los indicadores de la variable exgena y matrices de coeficientes de los indicadores de variables endgenas y son los errores de medida.
2. Modelo estructural: Especifica las ecuaciones causales lineales entre las variables latentes del modelo.

 = + +
Siendo: : variables endgenas : matriz de coeficientes de las variables endgenas : matriz de coeficiente de la variable exgena : variable exgena : trmino perturbacin aleatoria Las ecuaciones estructurales propuestas para el modelo seran las siguientes: Imagen Expectativa Calidad producto Calidad servicio Valor del servicio Satisfaccin Fidelizacin = Imagen = 10 Imagen + 1 = 31 Expectativa + 3 = 21 Expectativa + 2 = 41 Expectativa + 42 Cal servicio + 43 Cal producto + 4 = 50 Im + 51 Exp +5,4 Val + 52 Cal serv + 43 Cal prod + 5 = 60 Imagen + 65 Satisfaccin + 6

4.4 Estimacin de los parmetros del modelo En el modelo ECSI el criterio de estimacin seguido ha sido el de Mnimos Cuadrados Parciales, aunque previamente, han sido aplicados sobre los mismos datos otros tres mtodos de estimacin, con objeto de verificar la bondad del ajuste: Mxima Verosimilitud, Mnimos Cuadrados Generalizados, y Distribucin Libre Asinttica. El procedimiento ha sido estimar a la vez los valores de las variables independientes a partir de los valores estimados de la variables latentes dependientes, empleando un procedimiento de iteracin en el que el algoritmo asigna valores a los ponderadores de los indicadores, hasta encontrar una convergencia estable. Los resultados de la estimacin han sido obtenidos por la Escuela Estadstica de Estocolmo, depositaria del programa informtico necesario para tal fin. 4.5 Ajuste del modelo Existen diversos programas informticos para ajustar modelos: EQS, LISREL, AMOS, CALIS, etc. En la elaboracin del ECSI se ha seguido el programa AMOS por la posibilidad de trabajar con diagramas. La evaluacin del modelo se ha efectuado utilizando diversos ndices: - ndice de Ajuste Normado como medida de discrepancia entre el modelo ajustado y el modelo base (NFI: Normed Fit Index). - ndice de Bondad de Ajuste, similar al anterior, compara las discrepancias entre el modelo ajustado y el modelo anterior al ajuste (GFI: Goodness of Fit Index). - ndice ajustado de Bondad del Ajuste, es el mismo indicador que el anterior pero ponderado por un ratio de los grados de libertad del modelo base y ajustado (AGFI: Adjusted Goodness of Fit Index). - ndice del ajuste parsimnico, obtenido a partir del ndice NFI y ponderado por el cociente de los grados de libertad del modelo ajustado y el modelo base (PNFI: Parsimonius Normed Fit Index).

ndice del Radical del error de aproximacin medio, que se obtiene como la raiz cuadrada de la ratio del parmetro no central ajustado por los grados de libertad. (RMSEA: Root Mean Square Error Aproximation).

5. RESUMEN Y CONCLUSIONES La utilidad de los modelos de ecuaciones estructurales para el investigador social radica en la aportacin de una visin global de los aspectos del fenmeno estudiado, en contraposicin a otro tipo de herramientas estadsticas que se centran en el anlisis individual de cada factor. Asimismo, reducen la cantidad de informacin que debe ser analizada, ya que su fundamento es agrupar las relaciones entre un gran nmero de variables en unos pocos factores, poniendo de relieve los aspectos esenciales de la situacin explicada. En el caso del estudio de constructos o variables no medibles directamente, estos modelos tienen la ventaja de carecer del error de medicin, pero el inconveniente de que el investigador debe proceder a la explicacin objetiva de relaciones causales entre variables que se caracterizan por su abstraccin y subjetividad. En lo que respecta al estudio de la causalidad, la funcin de los modelos de ecuaciones estructurales no es corroborar las relaciones causales entre las distintas variables, sino facilitar su anlisis y toma de decisiones, para lo cual es necesario un anlisis exploratorio de los datos y que el proceso de modelizacin sea seguido con rigor. En ocasiones la confirmacin de un modelo de este tipo se ha considerado como una prueba de validez, sin tener en cuenta que podran ser igualmente vlidos otros modelos alternativos, puesto que las pruebas de significacin slo son efectivas cuando se cumplen las condiciones especificadas. 6. BIBLIOGRAFA - BATISTA FOGUET, Joan Manuel, COENDERS GALLART, Germ (2000). Modelos de Ecuaciones Estructurales. Cuadernos de Estadstica 6, Editorial La Muralla SA, Madrid - BISQUERRA, R. (1989). Introduccin conceptual al anlisis multivariable. Vol. II, PPU, Barcelona - CARRERAS, E. (1999). Fundamentos Metodolgicos de la Evaluacin. La evaluacin postpositiva: E.C.S.I., Tesis doctoral, Facultad de Ciencias Polticas y Sociologa, Universidad Complutense de Madrid - DEZ MEDRANO, J. (1992). Mtodos de anlisis causal. Cuadernos Metodolgicos, CIS, Madrid - LVY MANGIN, J.P. (1999). Modelizacin con Ecuaciones Estructurales y Variables Latentes. CD-Rom , Coleccin Universidad, Editorial Erica - LOEHLIN, JOHN C. (1998). Latent Variable Models. An Introduction to Factor, Path, and Structural Analysis. Lawrence Erlbaum Associates Inc., Publishers, New Jersey.
BISQUERRA, R. (1989). Introduccin conceptual al anlisis multivariable. Vol. II, PPU, Barcelona. Pg. 481 2 Vase: LVY MANGIN, J.P. (1999). Modelizacin con Ecuaciones Estructurales y Variables Latentes. CD-ROM , Coleccin Universidad, Editorial Erica, pgs. 217-218.
1

10

DEZ MEDRANO, J. (1992). Mtodos de anlisis causal. Cuadernos Metodolgicos, CIS, Madrid. Pg. 61. 4 BATISTA, J.M. y COENDERS, G. (2000). Modelos de ecuaciones estructurales. Cuadernos de estadstica, 6, La Muralla, Madrid, pg. 68. 5 BATISTA, J.M. y COENDERS, G. (2000). Modelos de ecuaciones estructurales. Cuadernos de estadstica, 6, La Muralla, Madrid, pg. 73. 6 Vase CARRERAS, E. (1999). Fundamentos Metodolgicos de la Evaluacin. La evaluacin postpositiva: E.C.S.I., Tesis doctoral, Facultad de Ciencias Polticas y Sociologa, Universidad Complutense de Madrid, pgs. 459-460. 7 Vase CARRERAS, E. (1999). Fundamentos Metodolgicos de la Evaluacin. La evaluacin postpositiva: E.C.S.I., Tesis doctoral, Facultad de Ciencias Polticas y Sociologa, Universidad Complutense de Madrid, pg. 493

11