Correções

Alternativas à Sidak e
Bonferroni
BELO MUETANENE ;
GEORGE LUCAS;
FLÁVIA LAZZARETTI ;
EDILAINE SILVA;

1
 Introdução
Em trabalhos de pesquisa, na área agropecuária e outras, vários experimentos são conduzidos,
muitas das vezes tais experimentos envolvem a realização de n testes de comparações múltiplas;

Testes de comparações múltiplas

Erro tipo I Erro tipo II
𝛼𝑖 = P(Erro tipo I) 𝛽 = P(Erro tipo II)
𝛼𝐹 = P(Erro tipo I em pelo menos um procedimento) Poder do teste= 1 − 𝛽

2
 Métodos de correção em procedimentos de
comparações múltiplas
Métodos de correção: Sidak e Bonferroni, Permutação de Westfall & Young, Benjamini &
Hochberg

Objetivo
O objetivo deste trabalho é abordar sobre os métodos de correção para procedimentos múltiplos,
nomeadamente: Sidak e Bonferroni, Holm, Permutação de Westfall & Young, Benjamini e
Hochberg, uma visão resumida é dada sobre o funcionamento de cada um desses procedimentos.

3
 Correção de Bonferroni
Conservador;
Divide o nível de significância global pelo número de procedimentos.

4
 Dedução da correção e
desigualdade de Bonferroni
Usaremos a desigualdade de Boole:

5
 Dedução da correção e
desigualdade de Bonferroni
Assim obtemos a desigualdade de Bonferroni:

Considerando:

Obtemos:

6
 Dedução da correção e
desigualdade de Bonferroni
O nível de confiança dos n procedimentos é dado pela desigualdade:

É desejável que

Temos:

Logo,

7
 Correção de Sidak
Válido para procedimentos independentes;
Menos conservador que a correção de Bonferroni.
Sabendo que
P Ai = 1 − 𝛼𝑖
A independência nos garante:

P 𝐴1 ∩ 𝐴2 = 𝑃 𝐴1 ⋅ 𝑃 𝐴2 = 1 − 𝛼 2

P ሩ 𝐴𝑖 = 1−𝛼 𝑘 ≤ (1 − 𝛼)
𝑖=1

8
 Correção de Sidak
Sabemos que: 1−𝛼 𝑘
= 𝑛𝑐𝑐
Façamos o nível de confiança(ncc) igual a 1 − 𝛼𝑓 que seria o valor desejado e 𝛼 ∗ o novo nível de
significância individual.
1 − 𝛼∗ k
= 1 − 𝛼𝑓
1
1 − 𝛼 ∗ = 1 − 𝛼𝑓 𝑘

Eis a correção de Sidak:

1
𝛼 ∗ = 1 − 1 − 𝛼𝑓 𝑘

9
Desigualdade de Sidak e Bonferroni
Existe uma desigualdade entre a correção de Sidak e de Bonferroni.

𝟏 𝜶𝒇
𝟏 − 𝟏 − 𝜶𝒇 𝒌 ≥
𝒌
𝟏
Correção de Sidak: 𝟏 − 𝟏 − 𝜶𝒇 𝒌

𝜶𝒇
Correção de Bonferroni:
𝒌

10
Demonstração da desigualdade

11
Demonstração da desigualdade
𝟏
𝜶𝒇
Sendo a desigualdade: 𝟏 − 𝟏 − 𝜶𝒇 𝒌 ≥
𝒌

com algumas operações básicas:

𝜶𝒇 𝟏
𝟏− ≥ 𝟏 − 𝜶𝒇 𝐤
𝒌

𝜶𝒇 𝒌
𝟏− ≥ (𝟏 − 𝜶𝒇 )
𝒌

12
 Demonstração da desigualdade
𝜶𝒇 𝒌
Para provar que 𝟏 − ≥ (𝟏 − 𝜶𝒇 )
𝒌

Usaremos a desigualdade de Bernoulli:

𝟏+𝒙 𝒌 ≥ 𝟏 + 𝒌𝒙
𝒙 ≥ −𝟏; 𝒌 ∈ ℕ

𝜶𝒇 𝜶𝒇
Fazendo 𝒙 = − e sabendo que −𝟏 ≤ − ≤𝟎
𝒌 𝒌
𝜶𝒇 𝒌 𝜶𝒇
Logo 𝟏 − ≥𝟏−𝒌⋅ = 𝟏 − 𝜶𝒇
𝒌 𝒌

13
 Teste de Bonferroni
𝑘
O nível de significância de cada procedimento para cada 2
procedimentos é
𝛼
𝛼∗ = 𝑘
2

2×𝑄𝑀𝑅
O LSD(Least Significant difference) de Fisher é: 𝐿𝑆𝐷 =𝑡 𝛼 ⋅
( 2 ,N−k) 𝑛

2×𝑄𝑀𝑅
O LSD de Fisher com correção Bonferroni é: 𝐿𝑆𝐷 = 𝑡 𝛼∗ ⋅
( 2 , N−k) 𝑛

𝐶෢
𝑖𝑖 ′ ≥ 𝐿𝑆𝐷, Consideramos as médias estatisticamente diferentes.

14
 Teste de Bonferroni
EXEMPLO 1. Seja um experimento instalado em DIC com 4 níveis de fator e 5 repetições, deseja-
se verificar qual o melhor tratamento(quanto maior Y melhor), com todas as pressuposições da
ANOVA satisfeitas e 𝛼 = 0,05.

15
 Teste de Bonferroni
∗ 𝛼 2⋅𝑄𝑀𝑅
Calculemos: 𝛼 = 𝑘 e 𝐿𝑆𝐷 = 𝑡 𝛼∗ ⋅
( 2 ,N−k) 𝑛
2
Temos:
•𝑘=4 0,05
𝛼∗ = 4 2 ⋅ 13,76
• 𝛼 = 0,05 2
𝐿𝑆𝐷 = 𝑡 0,05 ⋅
( 2⋅6 , 16) 5
• 𝑁 = 20
0,05
•𝑛=5 𝛼∗ =
6 𝐿𝑆𝐷 = 𝑡 (0,0042, ⋅ 5,504
• 𝑄𝑀𝑅 = 13,76 16)

16
 Teste de Bonferroni
Para calcularmos 𝑡 (0,0042, 16) podemos usar a tabela do Teste de Bonferroni ou o Excel

17
 Teste de Bonferroni
Pelo Excel basta inserir o seguinte comando: “INV.T.BC(0,05/6; 16)”
Ambos retornam o valor 3,008.
Logo,

𝐿𝑆𝐷 = 𝑡 (0,0042, 16) ⋅ 5,504

𝐿𝑆𝐷 = 3,008 ⋅ 5,504

𝐿𝑆𝐷 = 7,06

18
 Teste de Bonferroni
RESULTADOS:

19
 Correção de Holm
Nos testes de comparações múltiplas, quando 𝑛 hipóteses 𝐻1 , 𝐻2 , ..., 𝐻𝑛 com as estatísticas
associadas 𝑇1 , 𝑇2 , ..., 𝑇𝑛 estão para ser testadas, os correspondentes 𝑝 valores são usados (𝑝1 ,

20
 Método de Holm
Holm em 1979 introduziu uma classe sequencial de métodos de rejeição que incluem a modica
ção do procedimento de Bonferroni, tendo o método de Holm poder superior ao de Bonferroni
(Holm, 1979).

O método de Holm modica o método de Bonferroni em estágios, da seguinte forma:

𝛼
Seja 𝑦𝑖 = 𝑝 − 𝑣𝑎𝑙𝑜𝑟 de 𝐻𝑖 , sendo 𝑦𝑖 ≤ ⋯ ≤ 𝑦𝑛 sendo assim a 𝐻1 somente é rejeitada se 𝑦𝑖 ≤
𝛼 𝛼 𝑛
sendo a 𝐻1 , a 𝐻2 será rejeitada se 𝑦2 ≤ e 𝐻2 será rejeitada se 𝑦𝑗 ≤ assim por diante, ou
𝑛−1 𝑛−𝑗+1
seja, o critério de rejeição continua a ser modicado de forma sequencial, com a redução do
denominador em uma unidade cada vez que a 𝐻0 é rejeitada, sendo assim, os testes são
conduzidos sucessivamente em níveis de signicância superiores.

Step-wise tests: Holm ou Hommel, mais poderosos

21
Exemplo

22
Exemplo real para a correção de
Holm
Experimento de longa duração de uso e conservação do solo
Local: Estacão Experimental de Ituporanga-EPAGRI, SC, 2014
Tratamentos: 8 sistemas de manejo do solo
Variável resposta: teores de Al no solo

Anova
alanovaA=aov(alA~trat+rep,data=acid)
summary(alanovaA)
Df Sum Sq Mean Sq F value Pr(>F)
trat 7 2.547 0.3639 2.757 0.026 *
rep 4 0.436 0.1091 0.827 0.519
Residuals 28 3.696 0.1320

23
Exemplo real para a correção de
Holm
Pacote: Agricolae
LSD.test(y, trt, DFerror, MSerror, alpha = 0.05, p.adj=c("none","holm","hommel","hochberg",
"bonferroni", "BH", "BY", "fdr"), group=TRUE,console=)

Análise sem correção a 5%

outA=LSD.test(alA,trat,28,0.1320,alpha=0.05,p.adj="none",console=TRUE)

Análise com correção de Holm a 5%

outB=LSD.test(alA,trat,28,0.1320,alpha=0.05,p.adj="holm",console=TRUE)

24
Exemplo real para a correção de
Holm
Análise sem correção Análise com correção de Holm
T4 -1.06 a T4 -1.06 a
T6 -1.02 a T6- 1.02 a
T8 -0.82 a T8- 0.82 a
T1 -0.72 ab T1 -0.72 a
T3 -0.70 ab T3- 0.70 a
T5 -0.64 ab T5- 0.64 a
T2 -0.34 b T2- 0.34 a
PC- 0.34 b PC -0.34 a

25
 Permutação de Westfall e Young
- Referente a Holm;

- Método correlacionado a falsos positivos, que através da reamostragem realiza a permutação

entre os de Falsos Positivos( Erro Tipo I);

- N(Grandes X Pequenos);

26
Permutação de Westfall e Young
Permutação ocorre quando;
i)Os p-valores são computados com base em um conjunto de dados original e ordenados.
ii)A permutação cria um conjunto de pseudo – dados assumindo-os em tratamentos
artificiais e grupo de controle;
iii) Os p-valores são calculados em um conjunto de pseudo – dados.
iv) Os novos p-valores mínimos são fixados/mantidos quando e comparado aos originais
e;
v) Este processo é repetido consecutivamente inúmeras vezes, e os conjunto de dados
são redefinidos, na maneira que o pseudo-p-valor mínimo é menor do que o p-valor
original, que definido como p-valor ajustado.

27
 Permutação de Westfall e Young
- Não há exemplos na permutação, a menos que seja computado em softwares. Ex; Westfall,
Wolfinger(2000) – PROC MULTTEST, SAS/STAT , com intuito de verificar analisar o Erro Tipo
I(falsos positivos), ou seja qual seria máxima probabilidade para que a hipótese nula seja
rejeitada incorretamente;
- dados reais, variáveis G1, Y1,Y2,Y3, algumas hipóteses.

- jogada de B-H – ordenar os p-valores, não necessariamente computando todos os dados.

28
Permutação de Westfall e Young

29
Permutação de Westfall e Young

- Nota-se a diferenciação entre as metodologias anteriores é que o p-valor é menor, a medida

que ocorre a permutação ou seja, a metodologia aproxima-se muito dos falsos positivos.

30
 Benjamini e Hochberg (1995): False
Discovery Rate
Várias Hipóteses Testadas;

Taxa de Descoberta Falsa (FDR);

Journal of the Royal Statiscal Society. Series B (Methodological), Vol.57, No, 1(1995), 289-300;

“Controlling the False Discovery Rate: A Pratical and Powerful Approach to Multiple Testing”;

31
 Procedimento proposto por
Benjamini e Hochberg
Step-Down;

Bonferroni Sequencial;

32
Procedimento proposto por
Benjamini e Hochberg
ETAPAS:

1) Ordenar os p-valores;
2) Definir a desigualdade;
3) O procedimento controla a FDR em q*;
4) Começar pela comparação de 𝑝(𝑚) com o 𝛼 ∗ da família de testes;
𝑚 ∗
5) Se 𝑝(𝑚) ≤ 𝛼 rejeitamos todas as hipóteses 𝐻0 com p-valores menores que𝑝(𝑚) ;
𝑚

33
 Procedimento proposto por
Benjamini e Hochberg
Exemplo:foram realizados 15 testes de hipóteses, com os seguintes pvalores ordenados: 0,0001;
0,0004; 0,0019; 0,0095; 0,0201; 0,0278, 0,0298; 0,0344; 0,0459; 0,3240; 0,4262; 0,5719;
0,6528;0,7590; 1,0000 (Benjamini e Hochberg,1995, p.295)

Além disso, vamos considerara que se deseja obter um nível de significância conjunto:𝛼 ∗ = 0,05

34
Considerações Finais

35