Cours Meta-Analyses Paris V - STC 2010

Télécharger au format pdf ou txt
Télécharger au format pdf ou txt
Vous êtes sur la page 1sur 41

Les méta-analyses

Sibilia Quilici

Université René Descartes Paris V


Faculté de Pharmacie
Master Science de la vie et de la santé
13 Décembre 2010

Objectifs
 Comprendre le concept général des méta-
analyses
 Comment les faire
 Comment les interpréter
 A partir d’une problématique, savoir identifier
le besoin pour une méta-analyse
 A partir d’une revue de la littérature, savoir
lire, comprendre et interpréter les résultats de
la méta-analyse

1
Termes souvent rencontrés
 Effect size  DerSimonian & Laird
 Pool / Combined Method
 Fixed effect models  Heterogeneity
 Random effect models  Publication bias
 Direct comparison  Indirect comparison
 Bias  Mixed treatment
 Funnel plots comparison
 Q test  Forest plots
 I²
 Tau

Objectif de la présentation

Méta-analyses

2
Objectif du séminaire
 Part I: Meta-analyses des données
issues des essais cliniques

 Part II: Meta-analyses des données de


différentes sources / design

Part I: Meta-analyses des données


issues des essais cliniques
 Objectifs, sources des données, sélection des études
 Estimation des mesures d’effet de traitement
 Méthodes pour combiner les effets de traitement
 Modèle à effets fixes
 Modèle à effets aléatoires
 Hétérogénéité entre études
 Identification et source de biais potentiels
 Analyse comparative
 Comparaison directe
 Comparaison indirecte
 Comparaison multi-traitements

3
Part I: Meta-analyses des données
issues des essais cliniques
 Objectifs, sources des données, sélection des études
 Estimation des mesures d’effet de traitement
 Méthodes pour combiner les effets de traitement
 Modèle à effets fixes
 Modèle à effets aléatoires
 Hétérogénéité entre études
 Identification et source de biais potentiels
 Analyse comparative
 Comparaison directe
 Comparaison indirecte
 Comparaison multi-traitements

Objectifs, sources des données,


critère de sélection des études
 Important: définir les objectifs de l’étude
 Traitement(s)
 Aire thérapeutique

 Population(s)

 Mesures d’efficacité(s)

 …..

4
Objectifs, sources des données,
critère de sélection des études
 La qualité et validité de la méta-analyse dépend fortement des études
sélectionnées
 Importance d’une revue systématique de la littérature
 Sources de la littérature
 Medline (www.pubmed.com), EMBASE....
 Conférences (Abstracts / posters)
 Registres d’essais cliniques
 GlaxoSmithKline (GSK): http://ctr.gsk.co.uk/welcome.asp

 Eli Lilly & Company: http://www.lillytrials.com/

 Recherche manuelle sur internet


 Données non publiées
 Le plus difficile à obtenir

5
Objectifs, sources des données,
critère de sélection des études
 Fonction de l’objectif de l’analyse
 Définir les critères d’inclusion / d’exclusion des études
 Intêret traitement(s)
 Population (age, séverité, etc. )
 Design de l’étude (design, durée, etc.)
 Qualité de l’essai (Méthodes de randomisation, gestion
de l’aveugle, des déviances de protocol, etc.)
 Techniques de sélection
 Equipe de min. 2 experts pour la sélection des articles

Représentation de la sélection
des études

6
Extraction des données
 Lister tous les effets traitements recherchés et à
analyser
 Donner des définitions, si nécessaire
 Importance de l’effet traitement recherché:
 Primaire ou secondaire
 Période de temps
 ….
 Information à l’inclusion:
 Charactéristiques démographiques
 Facteur maladie (sévérité, …)
 ….

7
Objectifs, sources des données,
sélection des études

Objectifs, sources des données,


sélection des études

8
Sélection des études

Extraction des données

9
Part I: Meta-analyses des données
issues des essais cliniques
 Objectifs, sources de donnée, sélection des études
 Estimation de l’effet traitement
 Méthodes pour combiner les effets de taille
 Modèle à effets fixes
 Modèle à effets aléatoires
 Hétérogénéité entre études
 Identification et source de biais potentiels
 Analyse comparative
 Comparaison directe
 Comparaison indirecte
 Comparaison multi-traitements

Estimation de l’effet
traitement
 Définition de l’effet traitement
 Comparaisons de (au moins) 2 traitements à évaluer celon des effets
identiques
 Pour chaque mesure de l’effet: Estimation et inférence de la différence
de l’effet
 Types de données
 Des données d’essais cliniques
 Estimateur à partir de rapport d’études d’essais cliniques ou de publication
 Données individuelles de patients
 Des données épidémiologiques
 La méta-analyse est une mesure résumée de l’effet
traitement
 Plusieurs manières d’évaluer l’effet
 Odds-ratios  Différence de moyenne
 Risque relatif  Donnée de survie
 Différence de risque  Etc…..

10
Odds-ratio (OR)
 L’ Odds-Ratio est définit à partir d’un tableau de contingence
2x2:
Frequencies
Success Failure
ad
Treatment Group a b ES =
Control Group c d bc

 L’Odds-ratio: probabilité de succés dans un groupe de


traitement relativement à la probabilité de succès dans le
groupe control
 Si l’analyse porte sur un effet indésirable tel que le décès:
 OR < 1 => RR < 1 => Amélioration grace au traitement
 OR > 1 => le traitement est moins efficace que le comparateur
 Significativité: IC 95% exclu 1
 OR : 0,48 IC 95% (0,28 – 0,78)
 Test de la différence d’effet traitement via des statistiques de test (t-test)

Risques relatifs (RR)


 Similaire à l’OR, le risque relatif est définit par:
Frequencies
Success Failure a /(a + b)
ES =
Treatment Group a b
c /(c + d )
Control Group c d

 Interpretation similaire à celle de l’OR; Dans le cas


d’évènements rares: RR ~ OR
 C’est le ratio des probabilités
 Si l’analyse porte sur une effet indésirable tel que le déces:
 RR < 1 => Amélioration grace au traitement
 RR > 1 => Nouveau traitement moins efficace que le comparateur
 Significativité statistique: IC 95% doit exclure 1
 RR : 0,54 IC95% (0,36 – 0,83)
 Test de la difference de l’effet traitement via des statistiques de test (t-test)

11
La différence des moyennes
 Score de sévérité moyen; moyenne de la tension
arterielle, ….. etc…..
 Différence entre les deux traitements
 Différence de moyennes: d
 Si l’effet est une réduction du score de sévérité:
 Si d < 0 => nouveau traitement est plus efficace
 Si d > 0 => nouveau traitement est moins efficace que le
comparateur
 Significativité: IC95% doit exclure 0
 d : -5,45 95%CI (-7,7 ; -3,2)
 Test de la difference de l’effet traitement via des statistiques
de test (t-test)

Estimation de l’effet traitement

12
Part I: Meta-analyses des données
issues des essais cliniques
 Objectifs, sources de donnée, sélection des études
 Estimation de l’effet traitement
 Méthodes pour combiner les effets de traitements
 Modèle à effets fixes
 Modèle à effets aléatoires
 Hétérogénéité entre études
 Identification et source de biais potentiels
 Analyse comparative
 Comparaison directe
 Comparaison indirecte
 Comparaison multi-traitements

Combiner les effets de


traitements: Modèle à effets fixes
 Hypothèses:
 Absence d’hétérogénéité entre études
 L’effet traitement quelque soit la population est
supposé le même
 Approche générale des modèles à effets fixes
 Méthode de l’inverse de la variance
 Méthodes specific pour combiner des odds-ratios
 Méthode de Mantel-Haenszel
 Méthode de Peto’s
 Méthode de Maximum de Vraisemblance

13
Modèle à effets fixes
Etude 1

Etude 2


Etude n

Hypothèse: Le vrai effet traitement est supposé le même


pour toutes les études: θˆ ~ N θ ,ξ 2
i ( )

La méthode de l’inverse
de la variance
 Chaque estimateur d’étude à un poids directement
proportionel à sa variance
 L’estimateur de l’effet combiné est une moyenne
pondérée de l’effet traitement de toutes les études
 Poids: L’inverse de la variance de chaque étude

 Utilisée pour les données continues


 Pour les estimateurs catégoriels (i.e. odds-ratio,
utilisation d’une transformation logarithmique)

14
Modèle à effets fixes Estimateur réel de l’effet
traitement pour l’étude i

θˆi = θ + ε i
 Modèle θˆi N (θ , ξi 2 )
Estimateur « poolé » de
l’effet traitement

∑ θˆi wi
r

θˆ = i =1r
 Estimation ∑w
i =1
i
Erreur type de l’estimateur
« poolé » de l’effet
traitement
1
θˆi N (θ , w i−1 ) se(θˆ) = r

wi = 1 / var(θˆi ) ∑w
i =1
i Intervalle de confiance à
95% de l’estimateur
« poolé » de l’effet
traitement
Poids 95%CI : θˆ ± 1.96
1
r
Inverse de la variance de
chaque étude ∑w
i =1
i

Pool des “odds-ratio”


 Plusieurs méthodes disponibles sans la
nécessité d’utiliser la transformation en log
Pour Contre

Peut être biaisé et très sensible


Inverse de la Si peu d’études à combiner
aux valeurs minimales de
variance (IV) Si taille des l’échantillon importante
variance estimée des études

Mantel-Haenszel Si beaucoup d’études à combiner


(MH) Si taille des échantillons petite
Très biaisé si:
- Important déséquilibre dans
Peto Si évènements rares l’occurrence des évènements
entre les groupes
- Si OR loin de la valeur 1
Maximum de
Equivalent à MH and IV Niveau de calcul difficile
vraisemblance

15
Méthodes pour combiner les
effets de traitements

Combiner les effets de traitements:


Modèle à effets aléatoires
 Hypothèses:
 Chaque essai estime un effet différent qui prend en

compte la variation induite par cette hypothèse


 Ces effets sont supposés varier de manière

aléatoire et la distribution de ces effets est


supposée être normalement distribuée

 De fait le modèle inclu 2 sources de variation: La


variance inter-études et intra-études

16
Modèle à effets aléatoires
Etude 1

variance entre
études Etude 2

θi ∼ N (µ,τ,)

Etude n

Hypothèse: Le vrai effet de chaque étude: θi est supposé


échantillonné à partir d’une loi Normale
θˆi ~ N (θ i , ξ 2 ) = N (θ i , ξ 2 + τ 2 )

Modèles à effets aléatoires


Variance inter-
θˆi = θ + vi + ε i études.
 Modèle
θˆi N (θ , ξi 2 + τ 2 )
Estimateur « poolé » de
l’effet traitement

∑ θˆ w
r *

θˆ = i =1 i i
 Estimation r Erreur type de l’estimateur

∑w *
i
« poolé » de l’effet

θˆi N (θ , ( w *i ) − 1 )
traitement
i =1

1
w*i = ( wi −1 + τˆ 2 ) −1 se(θˆ) = r Intervalle de confiance à

∑w
i =1
*
i
95% de l’estimateur
« poolé » de l’effet
traitement

Poids 1
(100 − α )%CI : θˆ ± zα / 2 r
Inverse de la variance de ∑w *
i
chaque étude i =1

17
Evaluation de l’hétérogénéité
entre études
 Le modèle à effet aléatoire estime la variance
entre études caractérisée par Tau²

 Tau² est estimé le plus souvent par la


méthode dites des “moments”
 Tau² < 0 => Tau² = 0 => Absence
d’hétérogénéité
 Tau² > 0 => Présence d’hétérogénéité

Forest plot

18
Modèle à effets fixes vs.
Modèles à effets aléatoires
 Importance du poids
relatif des études
 poids des études larges
réduit
 poids des petites études
larges augmenté

 Tendance généralement
vraie pour toutes les
méta-analyses

Modèle à effets fixes vs.


Modèles à effets aléatoires
 Les intervalles de confiance sont:
 Plus étroits avec un modèle à effets fixe
 L’augmentation de l’intervalle est du à
l’intégration des variations entre études
 Le choix du modèle est critique car les
conclusions peuvent changer en
fonction des modèles utilisés

19
Présentation des résultats des
méta-analyses

Présentation des résultats des


méta-analyses

20
Part I: Meta-analyses des données
issues des essais cliniques
 Objectifs, sources de donnée, sélection des études
 Estimation de l’effet traitement
 Hétérogénéité entre études
 Méthodes pour combiner les effets de traitement
 Modèle à effets fixes
 Modèle à effets aléatoires
 Identification et source de biais potentiels
 Analyse comparative
 Comparaison directe
 Comparaison indirecte
 Comparaison multi-traitements

Hétérogénéité entre études


 Source d’hétérogénéité :
 L’aléa, des erreurs,
 Des caractéristiques de traitements, de patients
 Des covariables de patients
 Inexpliquée
 Caractéristiques du design de l’étude
 ……

 La présence d’hétérogénéité entre les études peut


induire des biais dans les résultats des analyses

21
Visualiser l’hétérogénité
Le “forest plot”
Forest plots for 34 cholestrol lowering trials

-5.5 -5.0 -4.5 -4.0 -3.5 -3.0 -2.5 -2.0 -1.5 -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0
Odds ratio - log scale

Evaluation de l’hétérogénéité
entre études
 X² ou Q-test
r r

 H 0 : θ = θ 1 = θ 2 = ... = θ r Q = ∑ w (θˆ i i − θˆ ) 2 = ∑ w θˆ i i
2
−U
 i =1 i =1

H1 :θi ≠ θ j Q χ 2 ( r − 1)

 P-value < 0,05 => rejette Ho => hétérogénéité


 P-value > 0,05 => accepte Ho => homogénéité
 Malheureusement :
 Test qui a peu de puissance, si peu d’études; utiliser un seuil
de 0,1 au lieu de 0,05
 Si la taille des études est généralement importante =>
tendance au rejet de H0
 Précaution nécessaire dans l’interprétation de la statistique Q

22
Evaluation de l’hétérogénéité
entre études
 (Q − d f ) 
 Mesure I2 Ι2 = 100% .  
 Q 

 Une classification de I² entre les valeurs


25%, 50%, and 75% représente une
hétérogénité faible, modérée, ou élevée.

 Que fait-on en présence d’un I² > 50% ??

Comment gérer la présence


d’hétérogénéité?
 Puissance limitée des tests statistiques
 Choix entre modèles à effets fixes ou aléatoires
 Peut-on toujours estimer une différence de traitement
poolé?
 Est-ce que le choix de l’échelle de mesure est
approprié
 Choix des critères de sélection
 Analyse de sous-groupe
 Modèles de régression (inclusion de covariables dans
les modèles)

23
Modèles et analyse de
l’hétérogénéité

Part I: Meta-analyses des données


issues des essais cliniques
 Objectifs, sources de donnée, sélection des études
 Estimation de l’effet traitement
 Méthodes pour combiner les effets de traitements
 Modèle à effets fixes
 Modèle à effets aléatoires
 Hétérogénéité entre études
 Identification et sources de biais potentiels
 Analyse comparative
 Comparaison directe
 Comparaison indirecte
 Comparaison multi-traitements

24
Sources de bias
 Biais de sélections
 Choix initial définit dans le protocol d’étude
 Peut-être contourné à l’aide d’analyse de sensibilité
 Bias de publication
 Recherches avec des résultats significatifs ont
davantage de chance d’être publiées
 Accent souvent mis sur les articles en anglais
 Ne prend pas en compte les travaux de recherches
en cours

Conséquences des biais de


publication
 Induit des estimateurs biaisés
 Conclusion sur l’effet du traitement à tendance trop
optimistes
 Sur la base d’études larges, les résultats peuvent
être extrement précis et convainquant tout en
étant biaisés
 L’existence des biais de publication est
reconnu cependant ses conséquences réelles
sur toutes nos analyses restent encore mal
connus

25
Identification des biais de
publication: Le “funnel plot”

Part I: Meta-analyses des données


issues des essais cliniques
 Objectifs, sources des données, sélection des études
 Estimation de l’effet traitement
 Hétérogénéité entre études
 Méthodes pour combiner les effets de traitements
 Modèle à effets fixes
 Modèle à effets aléatoires
 Identification et source de biais potentiels
 Analyse comparative
 Comparaisons directes
 Comparaisons indirectes
 Comparaisons multi-traitements

26
Comparaisons directes vs.
indirectes
 Comparison directe
 Toutes les études comparent le nouveau traitement
A à un même comparateur
 Que se passe-t-il si un nouveau traitement B est
testé?
 A est comparé à Placebo
 B est comparé à Placebo

⇒ Peut-on utiliser Placébo comme comparateur commun?


⇒ Peut-on estimer A vs. B?

Comparaisons directes VS.


indirectes

27
Comparaisons indirectes

Analysis Treatement Pooled estimates Se 95% CI


Direct comparison A vs. B -5.45 1.15 (-7.7; -3.2)
Direct comparison C vs. B -3.16 0.56 (-4.26; -2.05)

Indirect comparison A vs. C -2.29 1.28 (-4.79; 0.21)

De la comparaison par paires à la


comparaison multi-traitements
Evidence Comparaison directe Comparison indirecte

Analyse par paires


-Trial 1: Drug A vs. placebo Analyse par paires
-Trial 2: Drug A vs. placebo
-Trial 3: Drug B vs. placebo Drug A vs. placebo
-Trial 4: Drug A vs. placebo Drug A vs. Drug B
-Trial 5: Drug B vs. placebo
-Trial 6: Drub B vs. placebo Drug B vs. placebo
Drug A vs. Drug C
-Trial 7: Drug C vs. placebo
-Trial 8: Drug C vs. placebo
- …. Drug B vs. Drug C
Drug C vs. placebo

28
Comparaisons multi-traitements
 La comparaison multi-treatment (Mixed-treatment comparison)
est une généralisation des méta-analyses par paires
 Multiple traitement =>3 ou plus

A C D 1 trial Efficacy
B C D 1 trial drug A
13 4
A B 4 trials 2
A C 1 trial Efficacy Efficacy
drug D 2 drug B
A D 12 trials
B C 2 trials 4 3
B D 1 trial Efficacy
drug C
C D 2 trials

Comparaison multi-traitements
 Objectifs:
 Comparer simultanément plusieurs options de traitements
 Faire une seule analyse
 Déterminer quel traitement à quelle probabilité d’être le
meilleur
 Maintenir la randomisation
 Permet des comparaisons indirectes en absence
d’essais cliniques face-face
 Eviter l’investissement financier dans des études randomisées
 Gain de temps de l’analyse vs. essai clinique

29
Principes généraux
Do the patients in all trials match the target population
for decision / inference

Yes, all trials No, only a subset

Is there reasons to think that


Combine in MTC there are differences
in treatment effect

No Yes

1: Restrict MTC 2: Consider subgroup


to relevant trials analysis / meta-regression

Comparaison multi-traitements
 Quatre traitements A, B, C, D
 Paires disponible: AB, AC, BC, BD, CD
 => 6 log-odds ratio possibles :
 A vs. B, A vs. C, A vs. D
 B vs. C, B vs. D
 C vs. D
 Soit A le traitement de référence: les vrais effets traitement
relatifs à A sont:
 dAB, dAC, dAD
 Les 3 autres paires possibles sont:
 dBC = dAB – dAC
 dBD = dAB - dAD
 dCD = dAC - dAD

30
MTC regression approach (2)

Utilisation de l’approche bayesienne


 Les méthodes bayésiennes sont utilisées de plus en plus souvent dans le
cadre de la santé
 Conséquence de:
 L’avancée technologique des programmation des méthodes de calculs et de
l’informatique
 Facilement interprétable
 Avantage
 Evite les difficultés rencontrés avec les méthodes fréquentistes
 Permet d’ordonner les traitements sur la base du niveau comparatif d’efficacité
 Logiciel:
 WinBUGS
 Gratuit
 http://www.mrc-bsu.cam.ac.uk/bugs

31
Analyse bayesienne – concept
général
 Theorème de bayes
 P(A|B) = P(A∩B)/P(B)
= P(B|A)(P(A)/P(B))
DATA
BAYES POSTERIOR
THEOREM DIST.
PRIOR
DIST.

P (θ Data ) ∝ P(θ ) P( Data θ )

Analyse bayesienne – concept


général

P (θ Data ) ∝ P (θ ) P ( Data θ )
Fonction de densité Fonction de densité a
a posteriori priori
Fonction de
Vraisemblance

Tous les paramètres inconnus sont considérés comme


aléatoires

32
MCMC simulations

MCMC

33
Comparaisons multi-traitements
Modèle de regression
 Hypothèses:
 Traitement k
 Etude j
 Résultats: Les effets doivent être additifs
 Données binomiales:
 Difference des occurrences des événements
 Likelihood: rj,k ~ Binomial (pj,k,nj,k) Effet traitement
Effet étude
 Modèle:

 Modèle transposable sur tous types de données (continues,


binaires, de survie, etc….)

Hypothèse des modèles:


Effets fixes vs. effets aléatoires
 Modèles à effets fixes
 Effet traitement supposé identique dans chaque population
des études
 Modèles à effets aléatoires
 L’effet traitement est spécifique à l’étude et est estimé à
partir d’une population commune à toutes les (Hypothèse
d’échangeabilité)
 Hétérogénéité constante entre les différentes comparaisons
 Environnement bayesien
 Nécessité de spécifier les distributions à priori
 Modèle à effets aléatoires => distribution a priori pour la
variance entre études

34
Codes WinBUGS : Modèle à effets fixes

Codes WinBUGS : Modèle à effets aléatoires


vs. FE model

35
Récapitulatifs
 La meta-analyse des données d’essais cliniques est un outil statistique qui
permet de combiner les résultats de plusieurs études en un seul estimateur.

 Mise en évidence de
 l’importance d’une recherche de littérature exhaustive et rigoureuse
 l’importance de la prise en compte de l’héterogénéité
 l’importance de la prise en compte des risques des biais de publication

 Plusieurs méthodes sont disponibles


 Modèles:
 Comparaisons directes
 Comparaisons indirectes et multi-traitements
 Outils:
 Modèle a effets fixes
 Modèle à effets aléatoires
 Approche bayésienne

Références
 Sutton et al. Methods for meta-analysis in medical research. Ed. Wiley
 Higgins et al. Measuring inconsistency in meta-analyses. BMJ 2003; 327-557
 DerSimonian R, Laird N. Meta-analysis in Clinical Trials. Controlled Clinical Trials
1986;7:177-188.

36
Back-up

From several study estimates


to 1 pooled estimate
3 individual
study estimates

1 pooled estimate

37
EFFECT SIZE: THE KEY TO
META-ANALYSIS
 The effect size (ES) makes meta-analysis possible.
 The ES encodes the selected research findings on a numeric scale.
 There are many different types of ES measures, each suited to different
research situations.
 Each ES type may also have multiple methods of computation.
 The effect size makes meta-analysis possible
 it is the “dependent variable”
 it standardizes findings across studies such that they can be directly compared
 Any standardized index can be an “effect size” (e.g., standardized mean
difference, correlation coefficient, odds-ratio) as long as it meets the
following
 is comparable across studies (generally requires standardization)
 represents the magnitude and direction of the relationship of interest
 is independent of sample size
 Different meta-analyses may use different effect size indices

Empirical Bayes approach


(SAS)
 Example: analyse geographical RR of disease
 Oi : observed number of cases
 Ei : expected number of cases (adjusted for age and sex)
 λi : underlying RR in area i
 Oi ~ Poisson (λi Ei )
 Exchangeability: λi ~ Gamma(α, β)
 α, β unknown  estimated by maximum likelihood given the data
 Estimate the Oi
 Potential problems:
 Data used twice: for the prior and to estimate the θi
 Overestimate the precision of our inference
 Uncertainty related to the distribution of α and β is ignored

38
Full Bayes approach
(WinBugs)
 α, β unknown  uncertainty captured in a prior distribution
 Joint prior distribution for the entire set of parameters
 Apply Bayes theorem to estimate joint posterior distribution of
all unknown quantities
 N   N 
p ( λ , α , β / O , E ) =  ∏ p ( λi / α , β )  p (α ) p ( β )  ∏ p (Oi / λi , E i 
 i =1   i =1 
 Marginal posterior for each λi is obtained by integrating over the
other parameters, which is easy using MCMC
 “Learning from experience” approach

How to define priors?


 On “prior” knowledge
 Might be elicited from experts
 Based on historical data
 “Non-informative” prior / “vague” priors
 Normal(0,1000000) for a mean
 Gamma(0.001,0.001) for a precision
 “vague” relate to the scale of the data
 Improper prior: uniform (-∞, +∞)
 Inference is based on the likelihood
 Not really objective: flat prior on θ not a flat prior on g(θ)
 Jeffrey’s invariance prior: I(θ)1/2
  ∂ log p ( X / θ )  2 
I (θ ) = E X / θ    
  ∂θ  
 Ensure data dominate prior everywhere

39
Model validation
 Chain convergence
 Brooks German Rubin (BGR) diagnostic
 Two starting points: within vs between chains variance
 Autocorrelations
 History plots
 Model criticism
 Predictive approach, using validation data (easy using MCMC) or
deleting one unit at time (time consuming)
 Plot residuals vs covariates
 Plot model fit
 Assess predictive fit to the data: Deviance Information Criterion
(generalisation of AIC)
 Deviance distribution

Assessment of the model


 Model fit / consistency
 Residual Deviance (= to number of data points)
 DIC (Deviance Information Criterion) => Lower DIC
 Contribution to Deviance of individual data points
 Consistency between observed / predicted data
 Sensitivity to prior distributions
 In RE: Between-study variance/sd/precision is poorly estimated due
to small number of observations
=> importance of prior distributions for between-study variance
 Not as important in MTC than in pairwise meta-analyses
 On standard deviation scale:
 Uniform
 Half-normal prior

40
Possible assumptions for
clustered data analysis
 Identical parameters
 Pooling
 Independent parameters
 Independent analysis
 Exchangeable parameters
 Assuming the θi are drawn from a common distribution implies
exchangeability between units
 There is no systematic reason to distinguish between the different units
Units are similar but not identical
( )


 Labels are inter-changeables xij ~ p xij / θ i


θ i ~ p (θ i / ϕ )
 Example of exchangeability

ϕ ~ p(ϕ )

41

Vous aimerez peut-être aussi