[T]

Estudos de revisão: implicações

conceituais e metodológicas
[I]

[A]
Dilmeire Sant’Anna Ramos Vosgerau[a], Joana Paulin Romanowski[b]

[R]
Resumo
166

Palavras-chaves

Abstract

Keywords:

Introdução

As pesquisas em educação, no Brasil, passaram a assumir destaque

no espaço universitário a partir da criação dos programas de pós-graduação,
em 1965, e sua ampliação na década de 1970 e com a institucionalização dos
grupos de pesquisa e formação de pesquisadores de alto nível, ainda que com
apoio limitado dos órgãos de fomento, como afirma André (2006).
A contínua expansão dos programas de pós-graduação, na atu-
alidade com mais de duas centenas de cursos de mestrado e doutorado
 167

recomendados, aumento significativo do número de grupos de pesquisa,

que somam milhares, programas de apoio e fomento à pesquisa, gera in-
tensa produção de pesquisa. Anualmente, são milhares de teses e disser-
tações defendidas; por exemplo, em 2012 somam 6.186 teses e disserta-
ções defendidas, na área da educação, de acordo com o banco de resumos
disponível na CAPES, totalizando aproximadamente 60.000 estudos rea-
lizados ao longo das quase cinco décadas da existência desses programas.
Do mesmo modo, multiplica-se o número de periódicos e eventos cientí-
ficos na área, favorecendo a publicação dos resultados dessas pesquisas.
Essa contínua expansão da pesquisa que aponta expressivo
crescimento quantitativo suscita a realização de estudos que permitam
levantamentos, balanços, mapeamentos, análises críticas, buscando
colocar em evidência os temas e assuntos focalizados, as abordagens
metodológicas, procedimentos e análises, os aportes teórico-metodo-
lógicos, resultados que possam ser replicados ou evitados (THOMAS,
2007), bem como as lacunas que podem estimular a produção de novas
pesquisas. Com efeito, esses estudos favorecem examinar as contribui-
ções das pesquisas, na perspectiva da definição da área, do campo e das
disciplinas que o constituem, avaliação do acumulado da área, apon-
tando as necessidades de melhoria do estatuto teórico metodológico, e
mesmo as tendências de investigação.
Nessa perspectiva, os estudos que têm por finalidade a realiza-
ção desta revisão permitem a compreensão do movimento da área, sua
configuração, propensões teóricas metodológicas, análise crítica indican-
do tendências, recorrências e lacunas.
Os estudos de revisão consistem em organizar, esclarecer e resumir as
principais obras existentes, bem como fornecer citações completas abrangendo
o espectro de literatura relevante em uma área. As revisões de literatura podem
apresentar uma revisão para fornecer um panorama histórico sobre um tema
ou assunto considerando as publicações em um campo. Muitas vezes uma aná-
lise das publicações pode contribuir nareformulação
ção histórica do diálogo aca-
dêmico por apresentar uma nova direção, configuração e encaminhamentos.
168

As revisões são necessárias para pesquisadores iniciantes em uma

determinada área do conhecimento. Esses estudos podem conter, análi-
ses destinadas a comparar pesquisas sobre temas semelhantes ou relacio-
nados; apontar a evolução das teorias, dos aportes teórico metodológi-
cos e sua compreensão em diferentes contextos, indicar as tendências e
procedimentos metodológicos utilizadas na área, apontar tendências das
abordagens das práticas educativas.
Assim, este artigo tem por finalidade discutir e apontar indica-
ções para a realização de estudos dessa natureza. Foi organizado a partir
de práticas de realização de estudos nessa abordagem, apontando suges-
tões de procedimentos, critérios na sua elaboração e finaliza com indica-
ções de possíveis limites.

Tipo de estudos de revisão

A necessidade de realizar análises sobre os conhecimentos

resultantes de pesquisa já havia sido indicada desde o seminário
“A Didática em questão”, na década de 1980. Para Soares e Maciel (2000,
p. 4) esses estudos são necessários “no processo de evolução da ciência,
a fim de que se ordene periodicamente o conjunto de informações e
resultados já obtidos”, favorecendo a organização que mostre a integração
e a configuração emergentes, as diferentes perspectivas investigadas, os
estudos recorrentes, as lacunas e as contradições.
Ao fazer um levantamento na base de periódicos nacionais e in-
ternacionais da Capes, encontramos diferentes tipos de estudos que reali-
zam revisões de literatura e de produções científicas com as mais variadas
denominações: levantamento bibliográfico (MORAIS; ASSUMPÇÃO, 2012;
SANTOS, 2013), revisão de literatura (MIRANDA; FERREIRA, 2009), revi-
são bibliográfica (FRANÇA; MATTA; ALVES, 2012), estado da arte (ISOTANI
et al., 2009), revisão narrativa (ELIAS et al., 2012), estudo bibliométrico
(SILVA; HAYASHI, 2013), revisão sistemática (DEPAEPE; VERSCHAFFEL;
KELCHTERMANS, 2013), revisão integrativa (SOBRAL; CAMPOS, 2012),
 169

meta-análise (KYRIAKIDES; CHRISTOFOROU; CHARALAMBOUS, 2013),

metassumarização (SANDELOWSKI; BARROSO; VOILS, 2007) e síntese
de evidências qualitativas (TONDEUR et al., 2011). Apesar de virem de di-
ferentes áreas todas as pesquisas referenciadas tratam de alguma forma de
temas relacionados à educação, o que pode levar um pesquisador em pro-
cesso de formação a caminhos diversos que nem sempre correspondem à
sua necessidade.
Portanto, esta diversidade de termos encontrada para denominar
os estudos que realizam revisões nos leva a questionar sobre a relação
existente entre eles: o que os distingue, quando as expressões represen-
tam o mesmo tipo de estudo?
Para responder essas questões neste estudo teórico, agrupamos
os tipos de revisões citadas em dois grupos: as revisões que mapeiam e as
revisões que avaliam e sintetizam.

Estudos de revisão: mapeamento

Como uma primeira etapa de um mapeamento apresentamos

o Levantamento Bibliográfico, que tem por finalidade levantar todas as
referências encontradas sobre um determinado tema (CERVO; BERVIAN,
2002). Essas referências podem estar em qualquer formato, ou seja, li-
vros, sites, revistas, vídeo, enfim, tudo que possa contribuir para um pri-
meiro contato com o objeto de estudo investigado. Observa-se que não
existe nessa opção um critério detalhado e específico para a seleção da
fonte material, basta tratar-se do tema investigado.
Se esses levantamentos eram anteriormente feitos em fichas utili-
zando um editor de texto ou planilhas eletrônicas, atualmente este processo
é facilitado com a utilização de softwares específicos para tal, como o EndNote
e o Mendeley, que permitem a catalogação e o acesso via internet em compu-
tadores ou dispositivos móveis de todo o material catalogado.
Alguns dos estudos que citavam em seu título a realização
de um levantamento bibliográfico, como os apresentados por Morais e
170

Assumpção (2012) e Santos (2013), foram além de um levantamento,

pois produziram uma discussão sobre o material levantado em forma
de ensaio teórico, o que poderia ser caracterizado como uma Revisão de
Literatura (MIRANDA; FERREIRA, 2009) ou uma Revisão Bibliográfica
(FRANÇA; MATTA; ALVES, 2012).
A revisão de literatura ou revisão bibliográfica teria então dois
propósitos (ALVES-MAZZOTTI, 2002): a construção de uma contextuali-
zação para o problema e a análise das possibilidades presentes na literatu-
ra consultada para a concepção do referencial teórico da pesquisa.
Portanto, nesse tipo de produção, o material coletado pelo le-
vantamento bibliográfico é organizado por procedência, ou seja, fontes
científicas (artigos, teses, dissertações) e fontes de divulgação de ideias
(revistas, sites, vídeos etc.), e, a partir de sua análise, permite ao pesquisa-
dor a elaboração de ensaios que favorecem a contextualização, problema-
tização e uma primeira validação do quadro teórico a ser utilizado na in-
vestigação empreendida. Para este tipo de produção a organização física e
virtual dos documentos levantados é essencial. Tendo em vista que, atual-
mente, utilizamos material de origem física e virtual, por exemplo, livros
emprestados de bibliotecas e outras fontes, artigos baixados de base de
dados, informações contidas em sites, vídeos localizados no Youtube, faz-
-se necessários um sistema de classificação do material tanto em pastas
físicas quanto virtuais, com as mesmas denominações. Essa organização
de pastas no computador contendo o material consultado virtualmente
e cópias de capítulos de livros utilizados e organizados nas pastas físicas
facilita a utilização deste material na produção de análises mais refinadas
para seu futuro aprofundamento.
O aprofundamento da análise pode se constituir em estudo do
tipo estado da arte (PICHETH, 2007; ROMANOWSKI; ENS, 2006), deno-
minação comumente utilizada no campo educacional, ou como denomi-
nado na área da saúde, Revisão Narrativa (ELIAS et al. 2012), por permitir
estabelecer relações com produções anteriores, identificando temáticas
recorrentes, apontando novas perspectivas, consolidando uma área de
conhecimento e constituindo-se orientações de práticas pedagógicas para
 171

a definição dos parâmetros de formação de profissionais para atuarem na

área, segundo Rocha (1999).
Nesse tipo de estudo, são analisadas as produções bibliográficas em
“determinada área [...] fornecendo o estado da arte sobre um tópico especí-
fico, evidenciando novas ideias, métodos, subtemas que têm recebido maior
ou menor ênfase na literatura selecionada” (NORONHA; FERREIRA, 2000,
p. 191). Como o volume de produção pode ser grande, é usual, além de se
estabelecer o campo de pesquisa e o tema pesquisado, definir um período
de pesquisa, e estabelecer uma determinada fonte de dados, como artigos
de uma determinada revista, teses e dissertações (PICHETH, 2007), poden-
do ser desde uma base de dados ampla, como a de dissertações e teses da
Capes, ou um pouco mais restrita a uma ou mais revista científica ou a junção
de ambos, como o trabalho de Barreto (2006), que realizou um levantamen-
to da produção nacional na área de educação e tecnologia, no período en-
tre 1996-2000, no qual foram mapeadas dissertações e teses defendidas em
Programas de Pós-Graduação em Educação, respectivamente com conceitos 4
(Mestrado) e 5 ou 6 (Doutorado) na avaliação da Capes, e dois Artigos publi-
cados em revistas classificadas como “Nacional A” no Qualis da Capes.
Assim como indicam Soares e Maciel (2000) ao realizar estudos
dessa natureza no exame de perspectivas, multiplicidade e pluralidade de
enfoques, é possível inferir indicadores para esclarecer e resolver as pro-
blemáticas históricas, além de compreender os aportes significativos da
teoria e da prática pedagógicas, as restrições e “ilhas” de disseminação
sobre um tema ou área do conhecimento como propôs Messina (1998).
A expressão estado da arte, ou estado do conhecimento, segun-
do Brandão, Baeta, e Rocha (1986, p. 7), resulta de uma tradução literal do
Inglês, e conforme a autora tem por objetivo realizar levantamentos do que
se conhece sobre um determinado assunto a partir das pesquisas realizadas
em uma determinada área. Estado do conhecimento é um “estudo descritivo
da trajetória e distribuição da produção científica sobre um determinado
objeto, estabelecendo relações contextuais com um conjunto de outras va-
riáveis, como por exemplo, data de publicação, temas e periódicos, etc”
(UNIVERSITAS, 2000).
172

Um estado do conhecimento não se restringe a identificar a

produção, mas analisá-la, categorizá-la e revelar os múltiplos enfoques e
perspectivas. Segundo Soares e Maciel (2000, p. 4), num estado da arte é
necessário considerar “categorias que identifiquem, em cada texto, e no
conjunto deles as facetas sobre as quais o fenômeno vem sendo analisa-
do”. Para Messina (1998, p. 1),

um estado da arte é um mapa que nos permite continuar caminhando;

um estado da arte é também uma possibilidade de perceber discur-
sos que em um primeiro exame se apresentam como descontínuos ou
contraditórios. Em um estado da arte está presente a possibilidade de
contribuir com a teoria e prática [de uma área do conhecimento].

No Brasil, as expressões estado da arte e estado do conhecimento

têm sido empregados como semelhantes em várias investigações. Em
ensaio, Nóbrega-Therrien e Therrien (2004) buscam explicitar a com-
preensão de estudos dessa natureza, ao discutirem o estado da questão.
Esclarecem que o estado da questão tem por finalidade situar como se
encontram o tema ou objeto de investigação no estado atual da ciência,
o que “requer consulta a documentos substanciais” afeitos à construção
do objeto de investigação. Portanto, a finalidade é delimitar, clarificar
e caracterizar o objeto de estudo, realizada por meio de levantamen-
to bibliográfico seletivo, restrita aos estudos e parâmetros próximos às
especificidades do interesse do pesquisador (NÓBREGA-THERRIEN;
THERRIEN, 2004, p. 8).
Diferentes recursos e técnicas têm sido utilizados nas análises.
O trabalho de Zuffo (2011) apresenta detalhadamente o uso do editor de
planilhas Excel, que seria o recurso comumente utilizando, tanto na etapa
de coleta e seleção do material quanto na análise, por meio da criação de
colunas nas quais são copiadas os extratos do texto analisado que contém
a referência ao indicador analisado.
Já o trabalho de Milani (2013) complementa o processo de aná-
lise dos artigos com a utilização do software Atlas.ti, aplicando a técnica
de análise de conteúdo (BARDIN, 2011).
 173

No que se refere à apresentação dos resultados é usual a forma

textual, com gráficos que ilustram e comprovam os quantitativos obtidos.
Em alguns trabalhos as análises são efetuadas com recursos da estatística
descritiva, como, por exemplo, os estudos feitos por Barreto (2006).
Enfim, as pesquisas do tipo estado da arte focam sua análise na
problematização e metodologia, sua finalidade central é o mapeamento,
principalmente servindo ao pesquisador como uma referência para a jus-
tificativa lacuna que a investigação que se pretende realizar poderá pre-
encher, conforme encontramos nos trabalhos de Costa (2010), Pinheiro
(2012) e Milani (2013).
Um outro foco de análise da produção científica são os estudos
bibliométricos muito presentes nas áreas de Ciências Sociais e Ciências
da Saúde, mas ainda recentes no campo educacional. Neste, as pesqui-
sas que encontramos, normalmente fazem interseção com essas áreas,
como, por exemplo, o estudo de Silva e Hayashi (2013), que apresenta
um estudo bibliométrico da produção científica no campo da Educação
Especial.
A bibliometria tem sua origem no campo da Biblioteconomia,
caracterizando-se pela utilização “pelas práticas demensuração dos aspec-
tos quantitativos de conteúdo em qualquer formato” (BUFREN; PRATES,
2005; LOPES et al., 2012). Ou seja, os materiais a serem analisados po-
dem ser: livros, teses, capítulos de livros, artigos publicados em revistas
científicas, comunicações em atas de conferências, documentos, textos,
fontes ou bases de dados. O processo de análise recorre a métodos esta-
tísticos, “tais como modelo vetorial, modelos booleanos de recuperação,
modelos probabilísticos, linguagem de processamento, abordagens base-
adas no conhecimento e tesauros, com o objetivo de melhorar a eficiência
na recuperação” (BUFREN; PRATES, 2005, p. 11).
No estudo de Silva e Hayashi (2013), assim como em outros tra-
balhos (DIAS, 2009; MOSTAFA; MÁXIMO, 2003), observa-se que existe
uma definição mais restrita quanto à fonte de busca dos artigos. Existe
um critério explícito quanto à definição do periódico, que normalmente é
o impacto do periódico no campo de pesquisa definido pelo pesquisador.
174

Assim como nas pesquisas do tipo estado da arte, a busca parte de um

tema, como observamos no trabalho de Mostafa e Máximo (2003) ao bus-
car a publicação nos anais de dois eventos sobre o tema “comunicação
educativa” nos quais todos os documentos encontrados são recuperados e
utilizados independente do tipo de texto, seja um ensaio, um artigo cien-
tífico, revisão de literatura ou outros.
Lopes et al. (2012) definem quatro tipos de indicadores biblio-
métricos: indicadores de qualidade científica, indicadores de atividade
científica, indicadores de impacto científico e indicadores de associações
temáticas. Esses indicadores dariam origem às diversas variáveis conta-
bilizadas nos estudos bibliométricos, das quais destacamos: a quantida-
de e evolução dos artigos publicados, tipologia dos artigos, números de
páginas, autoria, colaboração científica entre as autorias, produtividade
dos autores; transitoriedade dos autores; gênero e afiliação institucional
e geográfica dos autores; citações realizadas pelos autores; temáticas dos
artigos; autoria das citações; tipologia das fontes citadas; nível de atua-
lização das fontes citadas; origem das fontes citadas; idiomas das fontes
citadas; abrangência das fontes bibliográficas (SILVA; HAYASHI, 2013).
Diversos softwares têm sido utilizados para a análise desse ma-
terial. Desde a simples utilização de editores de planilhas, como o Excel,
e ainda outros softwares que a partir de uma análise qualitativa permi-
tem mais facilmente a visualização e tratamento de resultados quantita-
tivos, como é o caso do Sphinxs (DIAS, 2009). Também o software NVivo
(WILSON et al., 2011) tem sido utilizado por oferecer a possibilidade de
geração de matrizes quantitativas, que podem facilmente ser importadas
pelos editores de planilhas e softwares específicos para tratamento e aná-
lise quantitativa como o SPSS (SEDIGHI, 2013). Para a identificação de re-
des de colaboração, o software Pajek tem sido utilizado (CATALÁ-LOPEZ
et al., 2012), dentre outros (COBO et al., 2011), por possibilitar também
a visualização gráfica e quantitativa da colaboração de autoria, uma das
variáveis analisadas em estudos bibliométricos.
Concluímos que as revisões de mapeamento têm como finali-
dade central levantar indicadores que fornecem caminhos ou referências
 175

teóricas para novas pesquisas. Esses indicadores podem ser constituídos

a partir de informação de ordem qualitativa, como é o caso das revisões
bibliográficas e pesquisas do tipo estado da arte e a partir de informa-
ções qualitativas que codificadas se transformam em dados quantitativos
como é o caso das revisões bibliométricas.
Contudo, além da necessidade de apontamentos para novas
pesquisas, observamosquecom o volume de evidências produzidas pelas
pesquisas, há necessidade de se verificar como e em que condições estas
evidências se repetem e mesmo sobre a aplicabilidade dessas tanto para a
formulação de políticas de fomento à pesquisa, como no processo de for-
mação dos profissionais da educação (THOMAS, 2007). Nessa perspectiva,
destacamos as revisões que avaliam e sintetizam resultados das pesquisas.

Estudos de revisão: avaliação e sínteses

Nesta categoria de revisão encontram-se as denominações

revisão sistemática (DEPAEPE; VERSCHAFFEL; KELCHTERMANS,
2013), revisão integrativa (SOBRAL; CAMPOS, 2012), síntese de evi-
dências qualitativas (TONDEUR et al., 2011), metassíntese qualitati-
va (MATHEUS, 2009), meta-análise (KYRIAKIDES; CHRISTOFOROU;
CHARALAMBOUS, 2013) e metassumarização (SANDELOWSKI;
BARROSO; VOILS, 2007). Essas revisões se distinguem das revisões que
mapeiam na formulação da questão de investigação, no estabelecimento
de estratégias de diagnóstico crítico e na exigência na transparência para
estabelecimento de critérios para inclusão e exclusão dos estudos, neces-
sariamente primários, ou seja, coletados pelo próprio pesquisador, tais
como surveys, entrevistas, observações, relatos etc. (DAVIES, 2007).
Estes estudos têm sua origem na área de ciências da saúde, pois
buscam identificar as condições em que determinadas evidências ocorrem
e a possibilidade de identificação de padrões de ocorrência. Atualmente,
nessa área, grande parte desses estudos seguem as indicações definidas
pelo UK Cochrane Centre (http://ukcc.cochrane.org), centro de referência
176

que congrega grupos de pesquisadores que realizam revisões cujos resul-

tados são sintetizados de acordo com padrões definidos pelo centro.
No campo educacional surgiu, no final dos anos 2000, a Campbell
Collaboration (http://www.campbellcollaboration.org) inspirada nas pes-
quisas produzidas pelo UK Cochrane Centre e pelas necessidades levanta-
das por seus pesquisadores na busca de evidências que pudessem não só
auxiliar as intervenções em saúde, mas também as intervenções sociais.
Atualmente, ele reúne seis grupos de pesquisas: crime e justiça,
educação, desenvolvimento internacional, métodos, bem-estar social e grupo
usuários. Os cinco primeiros seriam grupos sistematizadores de pesquisas,
os quais reúnem pesquisadores que se interessam pela realização das revisões
sistemáticas das pesquisas; o sexto, o grupo usuário, incorpora entidades,
profissionais de cada uma das áreas e/ou pesquisadores usuários das siste-
matizações produzidas pela Campbell Collaboration (CAMPBELL, 2013).
A instituição estimula e aceita a participação e colaboração de
pesquisadores do mundo inteiro, contanto que sigam o protocolo defi-
nido pela organização e tenham sua proposta de revisão aprovada pelo
comitê gestor da instituição.
Os estudos partem de uma questão central de pesquisa, bem
delimitada, e buscam identificar pesquisas que utilizam fontes primárias
que procuraram responder o mais próximo possível da questão formu-
lada pelo pesquisador. Na definição dos critérios de inclusão e exclusão
de artigos, é importante a presença de indicadores de avaliação quanto à
proximidade e ao distanciamento da questão formulada, que poderíamos
definir como critérios temáticos de proximidade; mas também são neces-
sários critérios de inclusão e exclusão sobre a qualidade metodológica ex-
plicitada no estudo, que poderíamos definir como critérios metodológicos
de inclusão ou exclusão das pesquisas inventariadas. A partir da seleção
dos artigos, o foco central da análise e sistematização são os resultados.
Na estrutura das publicações resultantes desses estudos, observa-se,
na introdução, a contextualização e problematização da questão investiga-
da, e em alguns casos, a apresentação dos quadros teóricos dos conceitos
abordados na questão, como é o caso da pesquisa apresentada por Depaepe,
 177

Verschaffel e Kelchtermans (2013), na revisão sistemática apresentada sobre

as apropriações feitas do conceito de conhecimento pedagógico do conteúdo
(pedagogical contente knowledge) pelas pesquisas de educação matemática.
Outras pesquisas, como exemplificado no trabalho de Tondeur et al.
(2011), o qual utiliza a expressão “síntese de evidências qualitativas” para a
revisão sistemática apresentada sobre a preparação de futuros professores
para integrar as tecnologias na educação, distribuem os mesmos tópicos em
quatro sessões. Na sessão denominada Introdução, apresentam a justifica-
tiva e contextualização do tema abordado; na sessão que traduzimos como
Quadro teórico (Background), apresentam o quadro teórico sobre a integração
das tecnologias na formação de professores, ou seja, qual a definição de inte-
gração aceita pelos pesquisadores; na sessão denominada Propósito do estudo,
apresentam o objetivo do estudo. Enfim, mesmo que a estrutura de tópicos
não seja a mesma, ambas as pesquisas trazem a informação essencial para
que a comunidade científica possa saber a delimitação conceitual e o quadro
teórico que sustenta a revisão apresentada.
Na sequência, na estrutura das publicações, encontramos o
encaminhamento metodológico da pesquisa. Nesse tópico, são apresen-
tados: o critério de seleção do periódico ou base de dados dos quais os
artigos serão selecionados; os critérios de inclusão e exclusão de artigos; a
abordagem de análise utilizada, por exemplo, a metaetnografia (NOBLIT;
HARE, 19881 apud TONDEUR et al., 2011, p. 136), a análise vertical defi-
nida por Miles e Huberman (1994), utilizada na revisão apresentada por
Depaepe, Verschaffel e Kelchtermans (2013); as categorias criadas duran-
te o processo de análise; e os critérios de avaliação metodológica dos arti-
gos selecionados (TONDEUR et al., 2011).
O processo de análise do material coletado, segundo Tondeur
et al. (2011), se dá em oito fases: (1) análise do objetivo do estudo apresen-
tado no artigo, ou seja se o objetivo focaliza a questão definida para a re-
visão; (2) identificação no texto de palavras-chave que deveria comportar
178

o estudo em questão; (3) avaliação da qualidade do estudo; (4) leitura

atenta do estudo para identificar os problemas levantado pelos autores;
(5) determinação da relação entre os estudos levantados; (6) identificação
de similaridades, diferenças e características únicas entre os estudos; (7)
elaboração de sínteses e explicações; (8) e elaboração de modelos a partir
dos resultados sintetizados. Matheus (2009), ao definir a metassíntese
qualitativa, agrupa essas fases em seis etapas, fazendo-nos concluir que é
um outro termo utilizado para a revisão sistemática.
Para a avaliação da qualidade metodológica do estudo, Tondeur
et al. (2011) sugerem que se respondam às seguintes questões: é uma pesquisa
qualitativa? As questões são claramente definidas? A abordagem qualitativa
adotada é claramente justificada? A abordagem selecionada é apropriada para
questão de pesquisa definida? O contexto do estudo está claramente defini-
do? O papel desempenhado pelo pesquisador durante o estudo é explicita-
do claramente? O método de amostragem é claramente definido? A estra-
tégia de seleção da amostragem é claramente definida? O método de coleta
de dados é claramente definido? O método de coleta de dados é apropria-
do para a questão investigada? O método de analise é claramente definido?
A análise empreendida é apropriada para a questão de pesquisa proposta? As
conclusões são embasadas em evidências suficientes?
Ainda na análise do material coletado, Depaepe, Verschaffel e
Kelchtermans (2013) elenca em seu estudo nove recortes principais que
orientam a análise do artigo e serão depois dissecados individualmente,
buscando aproximações e distanciamentos por agrupamentos semelhantes.
Destacamos aqui seis que, em nossa avaliação, podem ser aplicados genera-
lizadamente em qualquer revisão sistemática: (1) as definições do conceito
investigado apresentado nos estudos; (2) a questão de pesquisa; (3) o méto-
do de pesquisa empregado; (4) o país onde o estudo foi realizado; (5) o nú-
mero e origem dos participantes; (6) os principais resultados da pesquisa.
Para a realização dessa codificação, necessária para análise, os
softwares orientados para tratamento de dados qualitativos podem ofere-
cer uma grande contribuição, tais como NVivo (BAZELEY, 2007), Atlas.ti
(FRIESE, 2012), pois permitem a recuperação rápida de extratos codificados
 179

no texto, a criação de categorias e subcategorias de análise, a confecção de re-

des de relação entre os códigos, categorias e extratos do texto e ainda a expor-
tação para outros softwares de tratamento quantitativos, quando necessário.
Para sistematização dos resultados, duas visões dominantes de-
terminam os estudos de revisão que avaliam e sintetizam: a de integração e
agregação e a de interpretação das evidências encontradas nos resultados.
Os estudos que recorrem à visão interpretativa das evidências
encontradas nos resultados aparecem nas bases de dados de periódicos
sob diferentes denominações: revisão sistemática, revisão integrativa,
síntese de evidências qualitativas e metassíntese qualitativa.
Esses estudos analisam pesquisas primárias cujos dados têm
origem tanto de ordem qualitativa quanto quantitativa, e seu foco de aná-
lise são as conclusões extraídas a partir da análise empreendida.
Esses estudos partem do princípio de que uma visão interpre-
tativa das evidências seria mais adequada ao campo educacional, visto
que os achados, os instrumentos de coletas e sujeitos participantes nor-
malmente são variados, o que torna difícil a agregação ou contabilização
de resultados. Dessa forma, os resultados qualitativos e as condições de
aquisição desses resultados necessitam ser agrupados e reagrupados de
forma interpretativa, por semelhanças, para que possam responder à
questão central de pesquisaproposta.
Conforme podemos observar no trabalho de Tondeur et al.
(2011), que, para responder à questão central de pesquisa “quais conte-
údos e métodos de intervenção preparam melhor os futuros professores
para integrar a tecnologia em suas futuras salas de aula?”, agruparam os
resultados das pesquisas analisadas em duas grandes categorias: resulta-
dos relacionados à preparação dos professores e resultados relacionados
ao âmbito institucional. Cada uma dessas categorias foi reanalisada, e a
categoria de resultados relacionados à preparação dos professores se sub-
dividiu em sete novas subcategorias: 1) alinhamento entre teoria e prática;
2) uso do professor como modelo; 3) reflexão de suas atitudes sobre o
papel da tecnologia na educação; 4) aprendendo tecnologia por meio do
planejamento de suas aulas; 5) pela colaboração entre pares; 6) sendo
180

apoiado na realização de experiências autênticas com tecnologia; 7) oferta

de feedback contínuo, pelos formadores sobre o uso da tecnologia, em vez
de realização de avaliações somativas sobre o uso. Nessas sete categorias
foram descritas as condições em que cada uma das pesquisas selecionadas
apontava para tal resultado e especificidades da pesquisa que pudessem
levar à compreensão da mesma. Essa recategorização também ocorreu na
categoria de resultados relacionados ao âmbito institucional.
Observa-se então que, nesse tipo de sistematização, as categori-
zações por agrupamento e por semelhança ocorrem de forma sistemática,
permitindo a geração de modelos e esquemas para compreensão e discus-
são das propostas identificadas, conforme Tondeur et al. (2011) geram
em seu trabalho a partir das análises realizadas (Figura 1).

Figura 1
 181

Já a integração e agregação estão presentes nos estudos que ava-

liam e sintetizam estudos apenas quantitativos, tal como a meta-análise
(D’AGOSTINO; POWERS, 2009; KYRIAKIDES; CHRISTOFOROU;
CHARALAMBOUS, 2013), cujo critério inicial para seleção é ter resulta-
dos mensuráveis estatisticamente.
O termo foi cunhado por Glass (1976) quando, em um trabalho
de categorização das pesquisas segundo a origem do dado analisado, reali-
zadas até a década de 1970, classificou-as em pesquisas primárias, aquelas
em que os pesquisadores analisavam os dados coletados por eles mesmos;
secundárias, quando recuperavam dados de outra pesquisa e a validavam
aplicando outros métodos estatísticos; e utilizou o termo meta-análise
para se referir à análise estatística de uma ampla coleta de resultados de
análises oriundas de estudos individuais, tendo como propósito a integra-
ção de resultados (GLASS, 1976, p. 1).
Kyriakides, Christoforou e Charalambous (2013) descrevem a
meta-análise como uma poderosa ferramenta que por meio de cálculos
de médias de tamanho do efeito poderia colaborar para corrigir possíveis
distorções de resultados que ofereceriam ilusão e conflito de resultados
que podem obscurecer a real compreensão do problema.
No campo educacional, os autores Kyriakides, Christoforou e
Charalambous (2013) sugerem que ela seja utilizada para três finalidades:
descortinar o conhecimento acumulado em um determinado campo, permi-
tindo ser utilizado por pesquisadores ou por profissionais para avançar os
estudos ou aprimorar o trabalho; na construção de novas teorias, redefinir
existentes ou desenhar novos estudos; e na condução de testes que permitam
verificar a validade empírica de efetividade de modelos e quadros teóricos.
A meta-análise se assemelha às revisões sistemáticas da fase 1 –
análise dos objetivos do estudo apresentado no artigo até a fase 6 - identi-
ficação de similaridades, diferenças e características únicas entre os estu-
dos, das fases definidas por Tondeur et al. (2012). Contudo, a partir desta
fase inicia-se uma contabilização das variáveis quantitativas levantadas
e analisadas pelos estudos e aplicados a estes testes estatísticos. Isso é
necessário para verificar os resultados apontados após as integrações e
182

agregações dos resultados, tais como fatores de efeitos fixos, aleatórios e mul-
tiníveis, método ANOVA, dentre outros (MARSH et al., 2009), utilizando
softwares estatísticos como o SPSS (D’AGOSTINO; POWERS, 2009).
Contudo, a aplicação deste método analítico nas pesquisas
em educação ainda é um desafio, devido à ausência de informações
e de transparência nos artigos sobre os métodos estatísticos utiliza-
dos, impossibilitando uma meta-análise generalizável (D’AGOSTINO;
POWERS, 2009), permanecendo ainda o desafio apontado por Glass
(1976), de estarmos em uma embaraçosa posição sabendo menos do
que provamos.
Este desafio é ainda maior para os estudos que buscam integrar
e agregar tanto dados quantitativos quanto qualitativos em uma mesma
sistematização. É o caso dos estudos recentes na área de saúde denomina-
dos metasumatização (SANDELOWSKI; BARROSO; VOILS, 2007; SUGA,
2013) ou metassíntese qualitativa (MATHEUS, 2009).
Segundo Matheus (2009, p. 545), a transformação de um con-
junto de estudos qualitativos em um novo estudo “requer sensibilidade
teórica do pesquisador para desconstruir e analisar os dados das pesqui-
sas, a partir do processo indutivo e interpretativo”. Além disso, a própria
metodologia exige que seja um trabalho em equipe, devido à necessidade
de validação dupla ou até tripla das pesquisas levantadas, como explicita
o encaminhamento apresentado por Suga (2013).
A descrição minuciosa do processo de organização da seleção,
validação e análise e valoração das pesquisas utilizadas no estudo é es-
sencial, complexa e desafiadora, mas fundamentalmente necessária para
“assegurar para o processo deste tipo de estudo [...], exigindo a validade
da metassíntese qualitativa” (MATHEUS, 2009, p. 545).
Esta validação das pesquisas que avaliam e sintetizam os resul-
tados foi discutida no estudo de Ahn, Ames e Myers (2012), aos analisa-
rem 56 meta-análises publicadas nos anos 2000. Finalizam seu estudo
apresentando recomendações para este tipo de estudo em educação que
poderiam ser utilizadas como uma lista de verificação para os pesquisado-
res que se embrearem nesta seara.
 183

Esta lista compreende cinco estágios da realização de revisões: a

formulação do problema, a coleta dos dados, a avaliação dos dados, a aná-
lise e interpretação dos dados e o relatório dos resultados. Sintetizando
as observações levantadas para cada estágio, Ahn, Ames e Myers (2012)
informam que, de forma geral, os problemas são bem formulados e os
dados adequadamente coletados; contudo, indicam a necessidade de apri-
morar o processo de análise que vem sendo realizado neste tipo de pes-
quisa. Além disso, alertam que a falta de informação sobre os métodos es-
tatísticos utilizados dificulta a transformação dos resultados em estudos
meta-analíticos generalizáveis, que poderiam efetivamente contribuir
para a transformação de práticas educacionais.

Observamos, neste estudo, que podemos contar com tipos de pro-

cedimentos de revisão, que agrupamos segundo suas características: revisão
bibliográfica; estudos bibliométricos; pesquisas do tipo estado da arte; revi-
são narrativa; revisão sistemática, revisão integrativa; síntese de evidências
qualitativas; meta-análise; metassíntese qualitativa ou metassumarização.
Este trabalho permitiu com que observássemos a existência de
diversas nomenclaturas para o mesmo tipo de estudo, algumas vezes em
uma mesma área. Também pudemos constatar que diversos softwares são
utilizados para instrumentar o pesquisador na realização deste tipo de in-
vestigação; contudo, o valor e a credibilidade do estudo dependem funda-
mentalmente da transparência e do rigor empreendido pelo pesquisador.
É importante ressaltar que cada tipo de estudo possui uma
finalidade específica, que não corresponde a uma hierarquização de
qualidade e especificidade de sua aplicação.. O acesso e a realização des-
tes estudos podem contribuir sobremaneira na formação do pesquisador,
pois, analisando o processo de realização das pesquisas levantadas, pode-
rá desenvolver uma criticidade metodológica que poderá auxiliar na iden-
tificação de lacunas em sua própria pesquisa.
184

Na área da Educação, os estudos de revisão carecem de maior

aprimoramento, e na atualidade, devido ao número elevado de pes-
quisas empíricas realizadas são necessários e fundamentais para sin-
tetizar, avaliar e apontar tendências, mas principalmente para indicar
os pontos de fragilidade de modo a favorecer a análise crítica sobre o
acumulado da área.

Referências

AHN, S.; AMES, A. J.; MYERS, N. D. A Review of meta-analyses in education:

methodological strengths and weaknesses. Review of Educational Research, v. 82,
n. 4, p. 436-476, 2012.

ALVES-MAZZOTTI, A. J. A “revisão bibliográfica” em teses e dissertações: meus

tipos inesquecíveis – o retorno. In: BIANCHETTI, L.; MACHADO, A. M. N. (Org.).
A bússula do escrever: desafios e estratégias na orientação de teses e dissertações.
São Paulo: Cortez, 2002. p. 25-44

ANDRÉ, M. D. A jovem pesquisa educacional brasileira. Diálogo Educacional, v. 6,

n. 19, p. 11-24, set./dez. 2006.

BARDIN, L. Análise de conteúdo. Lisboa: Edições 70, 2011.

BARRETO, R. G. (Coord.). Educação e tecnologia (1996-2002). Brasília: MEC; Inep,

2006.

BAZELEY, P. Qualitative Data Analysis with Nvivo. 2nd ed. London: Sage
Publication, 2007.

BRANDÃO, Z.; BAETA, A. M. B.; ROCHA, A. D. C. Evasão e repetência no Brasil: a

escola em questão. 2. ed. Rio de Janeiro: Dois Pontos, 1986.

BUFREM, L.; PRATES, Y. O saber científico registrado e as práticas de mensura-

ção da informação. Ciência da Informação, v. 34, n. 2, maio/ago. 2005. Disponível
em:<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-
-19652005000200002&lng=pt&nrm=iso>. Acesso em: 6 nov. 2013.
 185

CAMPBELL Collaboration. 2013. Disponível em: <http://www.campbellcollabo-

ration.org>. Acesso em: 10 out. 2013.

CATALÁ-LOPEZ, F. et al. Coauthorship and institutional collaborations on

cost-effectiveness analyses: a systematic network analysis. PLoS ONE, v. 7, n. 5,
e38012, 2012.

CERVO, A. L.; BERVIAN, P. A. Metodologia científica. 5. ed. São Paulo: Prentice Hall,
2002.

COBO, M. J. et al. Science mapping software tools: review, analysis, and coopera-
tive study among tools. Journal of the American Society for Information Science and
Technology, v. 62, v. 7, p. 1382-1402, 2011.

COSTA, S. T. G. O imaginário do professor sobre o uso das tecnologias educati-

vas: pressupostos para uma proposta de formação. 2010. 255 f. Dissertação
(Mestrado em Educação) — Pontifícia Universidade Católica do Paraná, Curitiba,
2010 Disponível em: <http://www.biblioteca.pucpr.br/tede/tde_busca/arquivo.
php?codArquivo=1774>. Acesso em: 9 jun. 2011

D’AGOSTINO, J. V.; POWERS, S. J. Predicting teacher performance with test

scores and grade point average: a meta-analysis. American Educational Research
Journal, v. 46, n. 1, p. 146-182, 2009.

DAVIES, P. Revisões sistemáticas e a Campbell Collaboration. In: THOMAS, G.

et al. Educação baseada em evidências: atualização dos achados científicos para a
qualificação da prática pedagógica. Porto Alegre: Artmed, 2007. p. 31-43.

DEPAEPE, F.; VERSCHAFFEL, L.; KELCHTERMANS, G. Pedagogical content

knowledge: a systematic review of the way in which the concept has pervaded math-
ematics educational research. Teaching and Teacher Education, v. 34, p. 12-25, 2013.

DIAS, A. T. T. Pesquisando a relação família-escola: o que revelam as teses e dis-

sertações dos programas de pós-graduação brasileiros. 2009. 219 f. Tese
(Doutorado em Educação Escolar) – Universidade Estadual Paulista, Araraquara,
2009. Disponível em: <http://portal.fclar.unesp.br/poseduesc/teses/Andrea_
Theodoro_Toci_Dias.pdf>. Acesso em: 10 jul. 2013.
186

ELIAS, C. S. et al. Quando chega o fim? Uma revisão narrativa sobre terminalida-
de do período escolar para alunos deficientes mentais. SMAD: Revista Electrónica
en Salud Mental, Alcohol y Drogas, v. 8, n. 1, p. 48-53, 2012.

FRANÇA, C. L.; MATTA, K. W.; ALVES, E. D. Psicologia e educação a distância:

uma revisão bibliográfica. Psicologia: Ciência & Profissão, v. 32, n. 1, p. 4-15, 2012.

FRIESE, S. Qualitative data analysis with Atlas.ti. London: Sage Publications, 2012.

GLASS, G. V. Primary, secondary and meta-analysis of research. American

Educational Research Association, v. 5, n. 10, 3-8, 1976.

MARSH, M. W. et al. Gender effects in the peer reviews of grant proposals: a

comprehensive meta-analysis comparing. Review of Educational Research, v. 79,
n. 3, 1290-1326, 2009.

ISOTANI, S. et al. Estado da arte em web semântica e web 2.0: potencialidades e

tendências da nova geração de ambientes de ensino na internet. Revista Brasileira
de Informática na Educação, v. 17, n. 1, p. 30-42, 2009.

KYRIAKIDES, L; CHRISTOFOROU, C.; CHARALAMBOUS, C. Y. What matters

for student learning outcomes: a meta-analysis of studies exploring factors of
effective teaching. Teachingand Teacher Education, v. 36, p. 143-152, 2013.

LOPES, S. et al. A bibliometria e a avaliação da produção científica: indicadores

e ferramentas. CONGRESSO NACIONAL DE BIBLIOTECÁRIOS, ARQUIVISTAS
E DOCUMENTALISTAS, 11., 2012, Lisboa. Actas... Lisboa: Fundação Calouste
Gulbenkian, 2012. Disponível em: <http://www.bad.pt/publicacoes/index.php/
congressosbad/article/view/429 >. Acesso em: 10 ago. 2013.

MATHEUS, M. C. C. Metassíntese qualitativa: desenvolvimento e contribuições

para a prática baseada em evidências. Acta Paulista de Enfermagem, v. 22, Edição
Especial, p. 543-545, 2009.

MESSINA, G. Estudio sobre el estado da arte de la investigacion acerca de la formación

docente en los noventa. 1998. Trabalho apresentado à Reúnion de Consulta Técnica
sobre investigación en Formácion del Professorado, Organización de Estados
Ibero-Americanos para la Educación, la Ciência y la Cultura, México, 1998.
 187

MILANI, M. L. C. A presença das tecnologias educacionais no currículo dos cur-

sos de licenciatura em matemática. 2013. 114 f. Dissertação (Mestrado em
Educação) — Pontifícia Universidade Católica do Paraná, Curitiba, 2013.
Disponível em: <http://www.biblioteca.pucpr.br/tede/tde_busca/arquivo.
php?codArquivo=2594>. Acesso em: 5 dez. 2013.

MILES, M. B.; HUBERMAN, A. M. Qualitative data analysis. 2nd ed. Thousand

Oaks: Sage, 1994.

MIRANDA L. M. de; FERREIRA, S. F. As contribuições da internet para o idoso:

uma revisão de literatura. Interface: Comunicação, Saúde, Educação, v. 13, n. 29,
p. 383-395, abr./jun. 2009.

MORAIS, J. F. S.; ASSUMPÇÃO, R. P. S. Olhares para a produção bibliográfica

sobre educação física escolar: algumas reflexões a partir de um levantamento bi-
bliográfico. Acta Scientiarum: Education, v. 34, n. 1, p. 121-128, 2012.

MOSTAFA, S. P.; MÁXIMO, L. F. A produção científica da Anped e da Intercom

no GT da Educação e Comunicação. Ciência da Informação, v. 32, n. 1, 2003.
Disponível em:<http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0100-
-19652003000100010&lng=en&nrm=iso>. Acesso em: 6 nov. 2013.

NÓBREGA-THERRIEN, S.; THERRIEN, J. O estado da questão: sua compreensão

na construção de trabalhos científicos: reflexões teórico-metodológicas. Estudos
em Avaliação Educacional, v. 15, n. 30, p. 5-16, jul./dez. 2004.

NORONHA, D. P.; FERREIRA, S. M. S. P. Revisões de literatura. In: CAMPELLO,

B. S.V. C.; CENDÓN, B. V.; KREMER, J. M. (Org.). Fontes de informação para pes-
quisadores e profissionais. Belo Horizonte: UFMG, 2000.

PICHETH, F. M. PeArte: um ambiente colaborativo para a formação do pesquisador

que atua no ensino superior por meio da participação em pesquisas do tipo estado
da arte. 2007. 139 f. Dissertação (Mestrado em Educação) — Pontifícia Universidade
Católica do Paraná, Curitiba, 2007. Disponível em: <http://www.biblioteca.pucpr.br/
tede/tde_busca/arquivo.php?codArquivo=828>. Acesso em: 10 ago. 2013.
188

PINHEIRO, R. B. As representações sociais do projeto Ler e Pensar. 2012. 267 f.

Dissertação (Mestrado em Educação) — Pontifícia Universidade Católica do
Paraná, Curitiba, 2012. Disponível em: <http://www.biblioteca.pucpr.br/tede/
tde_busca/arquivo.php?codArquivo=2395>. Acesso em : 11 abr. 2013.

ROCHA, E. A. C. A pesquisa em Educação Infantil no Brasil: trajetória recente e pers-

pectiva de consolidação de uma pedagogia da educação infantil. Florianópolis:
UFSC, Centro de Ciências da Educação, Núcleo de Publicações, 1999.

ROMANOWSKI, J. P.; ENS, R. T. As pesquisas denominadas do tipo “estado da

arte” em educação. Diálogo Educacional, v. 6, n. 19, p. 37-50, set./dez., 2006.

SANDELOWSKI, M.; BARROSO, J.; VOILS, C. I. Using qualitative metasum-

mary to synthesize qualitative and quantitative descriptive findings. Research in
Nursing & Health, v. 30, n. 1, p. 99-111, 2007.

SANTOS, L. M. A. Panorama das pesquisas sobre TDIC e formação de professo-

res de língua inglesa em LA: um levantamento bibliográfico a partir da base de
dissertações/teses da Capes. Revista Brasileira de Linguística Aplicada, v. 13, n. 1,
p. 15-36, 2013.

SEDIGHI, M. Interdisciplinary relations in some high-priority fields of science and

technology: an analytical study. Library Review, v. 62, n. 6-7, p. 407-419, 2013.

SILVA, R. C.; HAYASHI, M. C. P. I. Revista Educação Especial: um estudo bibliométri-

co da produção científica no campo da Educação Especial. Revista Educação Especial,
v. 21, n. 31, p. 117-136, 2013. Disponível em: <http://cascavel.ufsm.br/revistas/ojs-
2.2.2/index.php/educacaoespecial/article/view/15>. Acesso em: 3 nov. 2013.

SOARES, M. B.; MACIEL, F. P. Alfabetização. Brasília: MEC; Inep; Comped, 2000.

(Estado do Conhecimento, n. 1). Disponível em: <http://www.publicacoes.
inep.gov.br/arquivos/%7BE35088B3-B51D-482A-827D-66061A4AE11E%7D_
alfabetiza%C3%A7%C3%A3o.pdf>. Acesso: 3 set. 2013.

SOBRAL, F. R.; CAMPOS, C. J. G. The use of active methodology in nursing care

and teaching in national productions: an integrative review. Revista da Escola de
Enfermagem da USP, v. 46, n. 1, p. 208-218, 2012.
 189

SUGA, U. S. G. Fatores que conduzem ou afastam os dentistas na realização de me-

didas preventivas em relação à cárie dentária: uma revisão sistemática e metassu-
marização. 2013. 90 f. Dissertação (Mestrado em Odontologia Integrada) —
Universidade Estadual de Maringá, Maringá, 2013.

THOMAS, G. Introdução: evidência e prática. In: THOMAS, G. et al. Educação

baseada em evidências: atualização dos achados científicos para a qualificação da
prática pedagógica. Porto Alegre: Artmed, 2007. p. 9-27.

TONDEUR, J. et al. Preparing pre-service teachers to integrate technology in

education: a synthesis of qualitative evidence. Computers & Education, n. 59,
p. 134 -144, 2011.

UNIVERSITAS.  A produção científica sobre educação superior no Brasil, 1968 –

2000. Porto Alegre: GT Política de Educação Superior; ANPEd, 2002. Disponível
em: <http://www:pucrs.br/faced/pos/universitas>. Acesso em: 10 dez. 2013.

WILSON, S. et al. Publications of Autralians LIS academics in databases.

Australian Academic & Research Libraries, v. 42, n. 3, p. 211-230, 2011.

ZUFFO, D. A formação de professores para o uso das tecnologias educacionais: o que

apontam as teses e dissertações defendidas no Brasil no período de 2003 a 2008.
2011. 149 f. Dissertação (Mestrado em Educação) — Pontifícia Universidade
Católica do Paraná, Curitiba, 2011. Disponível em: <http://www.biblioteca.pu-
cpr.br/tede/tde_busca/arquivo.php?codArquivo=1890>. Acesso em: 5 ago. 2011.

Recebido: 18/12/2013
Received: 12/18/2013

Aprovado: 25/01/2015
Approved: 01/25/2015