Guia para Realizar Uma Revisão Sistemática Da Literatura: A Guide To Conducting A Standalone Systematic Literature Review

View metadata, citation and similar papers at core.ac.
uk brought to you by CORE

provided by EAD em FOCO (Revista Cientifica em Educação a Distância)
Tradução Autorizada
Guia Para Realizar uma Revisão Sistemática da Literatura

A Guide to Conducting a Standalone
Systematic Literature Review
ISSN 2177-8310
DOI: 10.18264/eadf.v9i1.748
Resumo
Chitu Okoli1 Muitos pesquisadores não são bem treinados na realização de uma revisão
Concordia University –
1
de literatura autônoma, um documento acadêmico que resume e sintetiza
Montreal – Canadá. na sua totalidade o conhecimento anterior de um corpo de pesquisa. Nu-
merosos guias que existem para pesquisa em sistemas de informação (SI)
concentram-se somente em certas partes do processo; poucos abrangem
todo o processo. Este artigo apresenta uma metodologia rigorosa e padro-
nizada para a revisão sistemática de literatura (também chamada de revi-
são sistemática) para pesquisadores em SI. Este guia abrangente amplia a
metodologia básica das ciências da saúde e outros campos com numerosas
adaptações para atender às necessidades de campos metodologicamen-
te diversos, como a pesquisa em SI, especialmente aqueles que envolvem,
incluem e sintetizam estudos quantitativos e qualitativos. Além disso, este
guia fornece muitos exemplos da pesquisa em SI e referências a guias com
mais detalhes úteis para a realização de uma revisão de literatura rigorosa
e valiosa. Embora seja adaptado à pesquisa em SI, é suficientemente am-
plo para ser aplicável e valioso para pesquisadores de qualquer campo das
ciências sociais.
Palavras-chave: Revisões de literatura. Revisões sistemáticas. Revisão

sistemática de literatura. Pesquisa em sistemas de informação.
Tradução de:
OKOLI, Chitu. A guide to conducting a standalone systematic literature

review. Communications of the Association for Information Systems, v. 37, n.
David Wesley Amado Duarte
(tradução)2 43, p. 879–910, nov. 2015. Disponível em: <http://aisel.aisnet.org/cais/vol37/
2
Instituto Federal de Educação, Ciência iss1/43/>.
e Tecnologia do Ceará (IFCE), campus
Crato. Crato, CE – Brasil. Autorizada pela Association for Information Systems - Copyright © 2015
João Mattar (revisão)*3
3
Pontifícia Universidade Católica
(PUC–SP). São Paulo, SP – Brasil.
*
[email protected]
Recebido 23/ 08/ 2018 Como citar este artigo

Aceito 27/ 03/ 2019 ABNT: OKOLI, Chitu. Guia para realizar uma revisão sistemática da literatura. Tradução de David
Publicado 03/ 04/ 2019 Wesley Amado Duarte; Revisão técnica e introdução de João Mattar. EaD em Foco, 2019;9 (1):
e748. DOI: https://doi.org/10.18264/eadf.v9i1.748
A Guide to Conducting a Standalone Systematic

Literature Review
Abstract
Many scholars are not well trained in conducting a standalone literature review,
a scholarly paper that in its entirety summarizes and synthesizes knowledge
from a prior body of research. Numerous guides that exist for information
systems (IS) research mainly concentrate on only certain parts of the process;
few span the entire process. This paper introduces the rigorous, standardized
methodology for the systematic literature review (also called systematic review)
to IS scholars. This comprehensive guide extends the base methodology from the
health sciences and other fields with numerous adaptations to meet the needs of
methodologically diverse fields such as IS research, especially those that involve
including and synthesizing both quantitative and qualitative studies. Moreover,
this guide provides many examples from IS research and provides references
to guides with further helpful details for conducting a rigorous and valuable
literature review. Although tailored to IS research, it is sufficiently broad to be
applicable and valuable to scholars from any social science field.
Keywords: Literature reviews. Systematic reviews. Systematic literature

reviews. Information systems research.
Apresentação da Tradução
A pesquisa é essencial em todas as áreas do conhecimento, incluindo a educação. Sua
metodologia envolve etapas como a definição dos objetivos e do problema da pesquisa, a
elaboração dos instrumentos de coleta de dados e a definição de abordagens para a análise
e interpretação dos resultados. Mas é possível conceber a revisão de literatura como uma
etapa anterior a todas essas, que ajuda a moldá-las, servindo também para identificar lacu-
nas na literatura (e o que é repetição), orientando assim o pesquisador sobre os caminhos a
seguir. Creswell e Creswell (2018), no livro mais citado sobre pesquisas qualitativas, quanti-
tativas e mistas, posiciona a revisão de literatura logo no começo do processo da pesquisa,
assim como Creswell (2018), em um livro que é uma referência na pesquisa em educação.
Em Educação a Distância, um campo já composto por ampla quantidade de artigos, capí-

tulos, livros, dissertações e teses, dentre outras fontes, a revisão de literatura configura-se
como de extrema importância, apesar de muitos trabalhos ignorarem esse procedimento.
Há muitos trabalhos que se propõem a orientar a etapa da revisão de literatura de ma-

neira geral, mas uma atenta e trabalhosa leitura desses trabalhos me levou a este artigo
de Chitu Okoli, que citava, analisava e comparava sistematicamente os principais textos na
área. É um artigo fascinante, que passou a moldar meu trabalho como pesquisador. Fiz
então contato com o autor e posteriormente com o periódico em que ele estava publicado,
que gentilmente nos autorizaram a tradução em língua portuguesa. O David Duarte, antes
que eu iniciasse o empreendimento, um dia me enviou em um e-mail a tradução pronta.
O texto a princípio é focado em sistemas de informação, mas o autor informa que serve
a áreas mais amplas e gerais. Você perceberá que ele pode ser extremamente útil para a
Okoli, C. 02 EaD em Foco, 2019; 9(1): e748

pesquisa em Educação a Distância, orientando passo a passo, com vários exemplos, citações
e referências teóricas, como fazer uma revisão de literatura. É uma grande contribuição
para a nossa área. Boa leitura!
João Mattar
Diretor de Desenvolvimento Científico da ABED — Associação Brasileira de Educação a Distância e vice-pre-

sidente da ABT — Associação Brasileira de Tecnologia Educacional. Professor, pesquisador e orientador no
TIDD — Programa de Estudos Pós-Graduados em Tecnologias da Inteligência e Design Digital da Pontifícia
Universidade Católica de São Paulo (PUC–SP) e do PPGENT — Programa de Pós-Graduação em Educação e
Novas Tecnologias do Centro Universitário Internacional Uninter.
Referências
CRESWELL, John W.; CRESWELL, J. David. Research design: qualitative, quantitative, and
mixed methods approaches. 5th ed. Los Angeles: Sage, 2018.
CRESWELL, John W. Educational research: planning, conducting and evaluating quantitative

and qualitative research. 6th ed. New York: Pearson, 2018.
1. Introdução
Os pesquisadores que tentam escrever revisões de literatura autônomas pela primeira vez enfrentam
um paradoxo. Por um lado, a revisão de literatura é provavelmente a metodologia de pesquisa mais uti-
lizada, já que praticamente todos precisam preparar uma para quase todos os trabalhos que publicam.
Assim, muitas vezes têm uma falsa sensação de preparação para a considerável tarefa em mãos até que
comecem e percebam a enormidade do projeto. Por outro lado, o treinamento de estudantes de pós-
graduação na escrita de revisões de literatura é bastante esparso, resumindo-se em geral a uma ou duas
sessões de seminários que podem abordar brevemente o tópico (Boote & Beile, 2005; Hüttner, 2008;
Maxwell, 2006; Rempel & Davidson, 2008). Embora o primeiro grande projeto de revisão de literatura dos
estudantes de pós-graduação — suas teses de doutorado — dê-lhes alguma experiência, os padrões são
tipicamente muito baixos, e o que é aceitável para uma tese raramente é para um artigo de pesquisa pu-
blicado independentemente (Boote & Beile, 2005). Neste tutorial, preencho essa necessidade de melhor
conhecimento para a realização de uma revisão de literatura de alta qualidade fornecendo um guia claro
e detalhado usando a rigorosa metodologia de revisão sistemática de literatura (RSL).
Na área de sistemas de informação (SI), a última década assistiu a um fluxo sólido de documentos de
pesquisa dedicados a ajudar a melhorar a qualidade das revisões de literatura (Bandara; Furtmueller;
Gorbacheva; Miskon & Beekhuyzen, 2015; Levy & Ellis, 2006; Okoli, 2012; Sylvester; Tate & Johnstone,
2011; Vom Brocke et al., 2009, 2015; Webster & Watson, 2002; Wolfswinkel; Furtmueller & Wilderom,
2011). Embora cada um desses guias apresente contribuições excepcionalmente valiosas — que eu resu-
mi brevemente —, nenhum deles emprega metodologia rigorosa e padronizada para a revisão sistemá-
tica de literatura como desenvolvida para as ciências da saúde (Fink, 2005; Pope; Mays & Popay, 2007) e
para outras áreas (Kitchenham & Charters, 2007; Pawson; Greenhalgh; Harvey & Walshe, 2005; Petticrew
& Roberts, 2006). Assim, os guias de revisão de literatura em SI ficam aquém das inúmeras vantagens do
estado da arte da metodologia RSL. Explicarei isso em detalhes em breve. Embora se possa encontrar
uma abundância de fontes em outros campos de pesquisa, nenhuma vai inteiramente ao encontro das
necessidades gerais dos pesquisadores de SI. Sistemas de informação estão em um campo metodologi-
camente diverso e guias que se concentram apenas em estudos quantitativos ou apenas em estudos qua-
litativos não podem adequadamente sintetizar sua literatura. Em resposta a essa escassez de materiais

apropriados, compilei este guia para conduzir uma revisão sistemática de literatura, adaptando-o parti-
cularmente às diversas necessidades da pesquisa em SI. Essa diversidade não se limita de forma alguma
à pesquisa em SI, e este guia é bastante apropriado para todas as ciências sociais, especialmente aquelas
que empregam metodologias mistas.
Neste artigo, adapto a definição de Fink (2005, p. 3) de revisão de literatura de pesquisa como minha de-
finição operacional para revisão sistemática de literatura: “um método sistemático, explícito, (abrangente)
e reprodutível para identificar, avaliar e sintetizar o corpo existente de trabalhos completos e registrados
produzidos por pesquisadores, estudiosos e profissionais”. Uma revisão de literatura autônoma rigorosa
deve ser sistemática ao seguir uma abordagem metodológica; explícita na explicação dos procedimentos
pelos quais foi conduzida; abrangente em seu escopo ao incluir todo o material relevante; e, portanto,
reprodutível por outros que desejem seguir a mesma abordagem na revisão do tema. Enquanto o livro de
Fink é um guia para produzir tais revisões, seu foco nas ciências da saúde e seu tratamento superficial dos
estudos qualitativos limitam significativamente sua aplicabilidade para pesquisadores em administração
e ciências sociais. O apelo de Fink para uma abordagem estruturada encontra eco em Rousseau, Manning
e Denyer (2008, p. 7), que argumentam que as revisões de literatura devem ser um “acúmulo abrangente,
uma análise transparente e uma interpretação reflexiva de todos os estudos empíricos pertinentes a uma
questão específica”. Ao escreverem que a “realidade existe independentemente da condição humana
[...] e que todos os fatos, observações e dados são carregados de teorias” (Rousseau; Manning & Denyer,
2008, p. 20), eles o fazem para afirmar que as revisões da pesquisa não estão mais livres do impacto da
subjetividade das pessoas do que outras pesquisas e que exigem esforço igual para garantir sua objeti-
vidade. Assim, em vez de serem exercícios puramente subjetivos, as revisões de literatura têm princípios
objetivos para garantir seu rigor.
1.1 Guias de Revisão de Literatura para Pesquisas em Sistemas de Informação
Neste artigo, eu me junto à corrente de pesquisa em desenvolvimento que busca melhorar a qualidade
das revisões de literatura da pesquisa em SI. Todas essas obras anteriores fazem contribuições valiosas, e
eu me refiro frequentemente a elas neste artigo quando apropriado. No entanto, este guia vai significati-
vamente mais longe do que foi feito até agora, o que eu demonstro aqui resumindo as contribuições dos
trabalhos relacionados e destacando nossas contribuições adicionais. Webster e Watson (2002) lamen-
tam o fato de que pesquisadores em SI tendem a desconhecer a necessidade de estrutura nas revisões.
Seu guia breve e inspirador é particularmente notável por argumentar que as revisões não deveriam ser
apenas bibliografias extensas que listam uma sequência de artigos, mas se concentrar diretamente em
conceitos teóricos e desenvolver, a partir deles, uma história teórica coerente. Considerando que o edito-
rial de Webster e Watson apenas descreve brevemente indicadores valiosos, o presente guia descreve de
forma detalhada todos os passos necessários para uma revisão.
Levy e Ellis (2006) apresentam um guia passo a passo particularmente útil na identificação de fontes
bibliográficas específicas em SI e sua detalhada metodologia de síntese, orientando a escrita do relatório
de revisão com base na teoria da argumentação. O presente guia traz muito mais detalhes para a coleta
de dados: vou além desse tratamento para descrever um rigoroso quadro prático, o desenvolvimento de
um protocolo, o treinamento de revisores1 e a avaliação da qualidade. Esses elementos são críticos para
ter estudos primários de alta qualidade como base para uma efetiva análise da revisão. Além disso, meu
tratamento não é apenas “sistemático”, no sentido de um guia passo a passo, mas também “científico”, no
sentido de ser projetado para ser reprodutível (ou seja, cientificamente confiável) — eu discuto o signifi-
cado de “sistemático” nas RSL na Seção 1.6.
1 Ao longo deste trabalho, o termo “revisor” se refere a um pesquisador que está realizando uma revisão de literatura em
vez de alguém que analisa um artigo para considerar sua adequação à publicação. Neste artigo, eu me refiro a esse outro uso
comum como um “revisor de pares”.

Vom Brocke et al. (2009) discutem em detalhes a necessidade de rigor no processo de documentação
da revisão de literatura. Endosso sinceramente o seu clamor e vou mais longe para detalhar os muitos
passos em que o rigor é necessário e especifico princípios detalhados para alcançá-lo.
Bandara et al. (2015) demonstram como usar ferramentas eletrônicas — em particular, ferramentas
de codificação para a teoria fundamentada (grounded-theory) — para apoiar o processo de revisão de
literatura. Suas maiores contribuições estão na fase da extração de dados, cujo detalhe excede o que
normalmente é coberto. Além disso, sua abordagem de análise de conteúdo para síntese está de acordo
com sua metodologia de extração de dados. No entanto, o presente guia é muito mais geral, tanto por-
que cobre com mais detalhes todas as etapas de uma revisão de literatura como porque abrange muitas
outras abordagens de síntese além da análise de conteúdo.
Sylvester, Tate e Johnstone (2011) descrevem e ilustram uma abordagem de síntese que, em vez de
resumir uma única perspectiva cumulativa “verdadeira” de um corpo bibliográfico, propositadamente dis-
cute diferentes histórias e as apresenta de maneira rigorosa e esclarecedora. De forma semelhante, em-
bora Wolfswinkel et al. (2011) esbocem brevemente todas as etapas do processo de revisão de literatura,
sua principal contribuição é uma nova abordagem de síntese que usa técnicas de teoria fundamentada.
Em contraste com esses dois estudos, o guia aqui apresentado cobre detalhadamente todo o processo de
revisão e abrange muitas outras abordagens para síntese.
Okoli (2012) emprega um esboço baseado na metodologia RSL que fornece diretrizes para desenvol-
vimento de teoria nas revisões de literatura. Embora forneça detalhes sobre cada uma das etapas que
discuto neste artigo, seu tratamento não está completo para todas as etapas. Em vez de discutir o pro-
cedimento para conduzir a revisão, ele restringe sua discussão a pontos relevantes para a construção de
teoria. Embora valioso, esse tratamento é inadequado para orientar os revisores que não estão familiari-
zados com a metodologia RSL.
Eu me concentro aqui em revisões de literatura autônomas, em contraste com revisões de literatura

estabelecidas sobre teorias anteriores para um trabalho de pesquisa primária ou para a tese de um es-
tudante de pós-graduação. Enquanto me concentro nas necessidades de pesquisadores de sistemas de
informação, os princípios que descrevo aqui são facilmente aplicáveis a uma ampla gama de domínios, o
que é natural, dada a grande quantidade de domínios a partir dos quais eu extraio esses princípios. Em-
bora tenha estudado minuciosamente dezenas de livros e artigos na preparação deste guia (as citações
estão distribuídas por todo o artigo), tirei os principais pontos de seis fontes: o guia de Kitchenham e
Charters (2007) para RSL em engenharia de software; o livro de Petticrew e Roberts (2006) sobre RSL em
ciências sociais; o livro de Fink (2005) sobre RSL em ciências da saúde; o artigo de Rousseau et al. (2008)
sobre RSL em ciências de gestão e organização; o artigo de Levy e Ellis (2006) sobre a realização de revi-
sões de literatura em sistemas de informação; e o artigo de Webster e Watson (2002) sobre redação de
revisões de literatura em sistemas de informação.
Como tal, acredito que este guia apresenta várias contribuições de valor específico, além do que, de
outra forma, pesquisas similares alcançaram até então.
Em primeiro lugar, este é o primeiro guia que introduz uma metodologia formal de revisão sistemática
de literatura para a pesquisa em SI direcionada para a metodologia de revisão de literatura. Sistemas de
informação combinam ciências sociais, administração e ciência da computação, cujos métodos de pes-
quisa são diferentes dos das ciências da saúde, a partir dos quais a metodologia de revisão sistemática foi
amplamente desenvolvida. Uma característica primária da pesquisa em sistemas de informação que este
guia satisfaz é o equilíbrio entre as metodologias quantitativas e qualitativas. Alguns dos guias de referên-
cia dos diversos campos são excelentes no tratamento de pesquisas quantitativas, mas cobrem pesquisas
qualitativas apenas superficialmente (Fink, 2005), não reconhecendo as diferenças epistemológicas fun-
damentais entre essas metodologias. Assim, é preciso tratar essas abordagens de forma equilibrada com

um guia que seja igualmente confortável para qualquer tipo de pesquisa, que se destaca especialmente
na qualidade das seções de avaliação e síntese. Ao incorporar as recomendações de Kitchenham e Char-
ters (2007) da engenharia de software, este guia incorpora a revisão de estudos primários que utilizam
metodologias como ciência do design, que não se encontra nas ciências sociais. Além disso, embora não
tenha encontrado nenhum exemplo de RSL em sistemas de informação, faço referência a várias revisões
exemplares em SI para ilustrar os melhores exemplos de partes da revisão, se não do todo. Com essa
perspectiva, apresento a metodologia de revisão sistemática de literatura em SI e campos relacionados.
Mais uma vez, não afirmo que a pesquisa em SI seja única na sua diversidade. Em vez disso, argumento
que minha abordagem aqui é suficientemente ampla para atender às necessidades da pesquisa em SI.
Em segundo lugar, este artigo também serve como uma porta de entrada para localizar várias fontes
úteis para realizar uma revisão sistemática de literatura. A maioria dos princípios que apresento aqui
não é completamente nova. Entretanto, eu reúno todos em um só lugar. Assim, apresento aqui uma
abordagem científica rigorosa para a realização de uma revisão de literatura em um formato acessível,
passo a passo. Acredito que essa compilação abrangente e a apresentação dessas etapas de RSL são con-
tribuições novas e valiosas. Embora tenha me esforçado para escrever um guia abrangente sobre como
conduzir uma revisão de literatura autônoma, é impossível que um único artigo científico seja um guia
completo. Assim, em vez de tentar incluir todos os detalhes de cada procedimento necessário, a maior
parte da discussão neste artigo centra-se em itens que não foram adequadamente discutidos nas fontes
que examino ou que existem principalmente em pedaços tão fragmentados que é difícil para escritores
de revisões enxergarem o quadro geral. Ao longo do caminho, outros explicaram minuciosa e adequa-
damente muitos aspectos da redação de uma revisão de literatura. Nesses casos, depois de explicar cla-
ramente cada passo necessário e discutir seus elementos-chave, refiro-me a fontes úteis que explicam e
ilustram essas etapas em mais detalhes de forma prática.
Em terceiro lugar, cito exemplos de pesquisas de alta qualidade (geralmente de pesquisa em sistemas
de informação e em gestão) que ilustram os passos nas revisões de literatura publicadas. Assim, ainda
que as fontes não sejam revisões sistemáticas, muitas vezes contêm seções que fornecem bons exemplos
de certos passos da revisão sistemática.
Quando uma Revisão Sistemática de Literatura Pode Ser Útil e quando

1.2
Pode não Ser
É necessária uma abordagem metodológica detalhada em qualquer tipo de revisão de literatura. Eu

distingo entre três tipos gerais de revisões de literatura. A primeira e mais comum chamo de “referencial
teórico”: a seção de um artigo científico que traz os fundamentos teóricos e o contexto de uma questão
de pesquisa, ajudando a colocá-la em foco. Em um artigo, esta seção é mais comumente denominada
“revisão de literatura”, “fundamentação teórica” ou algo semelhante. A segunda é a revisão de literatura
como um capítulo de uma tese de pós-graduação. Denomino isso como “revisão de literatura de tese”. O
terceiro tipo é uma “revisão autônoma da literatura”, um artigo científico que analisa a literatura em um
campo sem que o autor colete ou analise quaisquer dados primários (ou seja, dados novos ou originais).
Existem inúmeras motivações para realizar uma revisão sistemática de literatura autônoma: podem
ser realizadas para descrever o conhecimento disponível para a prática profissional, para identificar pro-
jetos e técnicas de pesquisa efetivos, para identificar especialistas em determinado campo e para iden-
tificar fontes não publicadas (Fink, 2005). Embora essas motivações sejam amplamente compartilhadas
pelas outras duas categorias de revisão de literatura, uma revisão autônoma se distingue pelo alcance
e rigor. Na sua melhor forma, torna-se um trabalho muito citado que os pesquisadores buscam como
primeiro esboço claro da literatura ao realizar uma nova investigação. Essas avaliações independentes
resumem evidências existentes, identificam lacunas na pesquisa atual e fornecem um quadro geral para
o posicionamento dos esforços de pesquisa. São também valiosos em informar políticas e apoiar a prática

(Petticrew & Roberts, 2006). Embora certamente não sejam fáceis de realizar, o compromisso de comple-
tar uma revisão autônoma fornece à comunidade acadêmica um serviço valioso: tais revisões podem ser,
como foram no passado, verdadeiras “mudanças de paradigmas” (Petticrew & Roberts, 2006).
Conduzir uma RSL, como descrevo aqui, não é um exercício banal. Não é razoável — nem mesmo
aconselhável — esperar que, sempre que um artigo acadêmico seja escrito, sua seção de “fundamentação
teórica” envolva uma RSL. Embora essas diretrizes possam certamente ajudar a identificar a literatura (ver
Seções 4 e 5, em particular), o esforço envolvido para conduzir uma RSL completa seria um exagero para
a finalidade de suporte a um artigo acadêmico com contribuição primária que não seja para apresentar
a literatura. No entanto, considero que uma RSL é bastante apropriada para o capítulo de revisão de li-
teratura de uma tese de pós-graduação. Na verdade, abordo especificamente esse tópico na Seção 10.2.
No entanto, mesmo para revisões autônomas da literatura, seria inadequado exigir ou esperar que
toda revisão de literatura deva ser realizada com o grau de rigor exigido de uma RSL. Ao discutir o pro-
pósito de uma RSL, Petticrew e Roberts (2006) explicam que a revisão sistemática é essencialmente uma
ferramenta. Portanto, é preciso perguntar se é a correta para determinado trabalho. Antes de embarcar
na tarefa de conduzir uma RSL, eles recomendam primeiramente uma busca de alguma revisão sistemá-
tica existente. Em particular, sugerem que a revisão considere o estado atual de evolução do campo de
pesquisa: uma revisão sistemática não é muito valiosa no início, quando os estudos disponíveis podem
ser limitados, porque podem não representar o melhor conhecimento que poderia ser conseguido com
mais tempo. Uma revisão sistemática seria inapropriada se a questão de pesquisa for muito vaga ou ampla
(o que geraria centenas de estudos muito diferentes), mas também se a questão for muito limitada (o que
produziria poucos estudos úteis). Uma questão muito prática é se é possível justificar a quantidade de tem-
po, energia e o custo financeiro necessários para realizar a revisão sistemática (veja a Tabela 2.3 de Petticrew
e Roberts (2006) em particular para uma estimativa do tempo gasto em revisões sistemáticas baseadas em
27 meta-análises). Nos casos em que uma revisão sistemática pode ser inapropriada ou inviável, sugerem-
se inúmeros tipos alternativos de revisões de literatura menos ambiciosas, tais como revisões de escopo ou
do “estado da arte”.
1.3 Uma Defesa do Rigor na Revisão de Literatura
As revisões autônomas da literatura podem e são conduzidas com diferentes padrões de rigor, que
variam de pouco mais do que uma bibliografia anotada até sínteses cientificamente rigorosas de um
corpo de pesquisas primárias. É a essa abordagem mais rigorosa para realizar uma revisão autônoma da
literatura que eu me refiro como revisão sistemática de literatura e que é o assunto deste artigo.
Embora a maioria dos pesquisadores realize revisões de literatura principalmente para sua própria
aprendizagem e benefício, a publicação de uma revisão beneficia primordialmente a comunidade acadêmi-
ca. Qualquer revisão de literatura publicada tenta poupar tempo e esforço intensivo de outros estudiosos na
busca e síntese de um grande corpo de literatura. No entanto, para ter certeza de que não precisam repetir
tal esforço, a revisão publicada deve transmitir aos leitores confiança de que ela faz satisfatoriamente o
trabalho que, de outra forma, eles teriam que fazer. Assim, concordo com Vom Brocke et al. (2009, p. 2) que:
O processo de excluir e incluir fontes deve ser tão transparente quanto

possível para que a revisão seja de comprovada credibilidade. Só então
os leitores podem avaliar a exaustividade de uma revisão e outros estu-
diosos da área podem (re)utilizar com mais confiança os resultados em
suas próprias pesquisas.

Os revisores devem ser transparentes em como e por que escolheram o tópico, como o foco da revi-
são pode ter mudado ao longo do tempo e qual o papel potencial da revisão no apoio a seus trabalhos
futuros (Hart, 1998). Uma revisão publicada deve inclusive ser “vulnerável” ao publicar seus procedimen-
tos, porque essa transparência de vulnerabilidade ajuda a avançar o conhecimento acadêmico ao admitir
possíveis limitações no procedimento que possam afetar seu resultado. Assim, não apelo somente por
mais rigor em como os revisores executam revisões de literatura, mas também me junto a Vom Brocke et
al. (2009, p. 10) ao clamar por mais rigor sobre como relatam essa execução:
Apelamos aos autores de artigos sobre SI [...], bem como aos editores
de revistas de SI [...], a não só conduzir e escrever (ou apoiar a redação
de) revisões de literatura de alta qualidade, [...] mas também para do-
cumentar adequadamente o processo de revisão, incluindo os detalhes
do processo da pesquisa.
Ao clamar por um processo de revisão rigoroso, não seria suficiente meramente compilar uma simples
coleção ou resumo de outros documentos: também deve haver um elemento de análise crítica (Hart,
1998). Como peça acadêmica, a revisão não pode simplesmente regurgitar o assunto: deve contribuir
para o trabalho em sua dupla abordagem de sintetizar o material disponível e oferecer uma crítica aca-
dêmica da teoria (Kekäle; Weerd-Nederhof; Cervai & Borelli, 2009). Somente no preenchimento de ambas
as funções atende ao requisito de rigor acadêmico. Assim, embora me concentre no procedimento de
execução de uma revisão neste artigo, não posso enfatizar demais que seguir um conjunto de diretrizes
de forma meramente mecânica, como apresento aqui, é insuficiente para fornecer contribuições que
seriam valiosas para outros estudiosos. Na etapa final sobre a redação da revisão (Seção 9), volto a esse
ponto e forneço indicadores específicos para transformá-la de simples conjunto de etapas em trabalho
acadêmico valioso.
1.4 Um Guia de Oito Passos para realizar uma Revisão Sistemática de Literatura
O guia que apresento aqui tem oito passos principais (ver Figura 1) necessários para realizar uma revi-
são sistemática de literatura. Na verdade, essas etapas são muito valiosas para qualquer tipo de revisão
de literatura. No entanto, para que uma revisão seja cientificamente rigorosa, todas as etapas a seguir
são essenciais.
1. Identifique o objetivo: o primeiro passo em qualquer revisão exige que os revisores identifi-
quem claramente o propósito da revisão e os objetivos pretendidos, o que é necessário para
que a revisão seja explícita para seus leitores.
2. Planeje o protocolo e treine a equipe: para qualquer revisão que empregue mais de um re-
visor, os revisores precisam estar completamente esclarecidos e de acordo sobre o procedi-
mento que seguirão, o que exige tanto um detalhado protocolo escrito quanto treinamento
para todos os revisores a fim de garantir consistência em como executarão a revisão.
3. Aplique uma seleção prática: também chamada de seleção para inclusão, esta etapa exige
que os revisores sejam explícitos sobre quais estudos consideraram para a revisão e quais
eliminaram sem maior exame (uma parte muito necessária de qualquer revisão de litera-
tura). Para os estudos excluídos, os revisores devem indicar suas razões práticas para não
os considerar e justificar como o resultado da revisão ainda pode ser abrangente, dados os
critérios práticos de exclusão.
4. Busque a bibliografia: os revisores precisam ser explícitos ao descrever os detalhes da pes-

quisa bibliográfica e precisam explicar e justificar como garantiram a abrangência da pesquisa.
5. Extraia os dados: após os revisores identificarem todos os estudos que devem ser incluídos,
precisam extrair sistematicamente as informações aplicáveis de cada estudo.

6. Avalie a qualidade: também chamada de seleção para exclusão, os revisores precisam de-
clarar explicitamente os critérios utilizados para julgar quais artigos serão excluídos por
qualidade insuficiente. Os pesquisadores precisam classificar a qualidade de todos os arti-
gos incluídos, dependendo das metodologias de pesquisa que empregam.
7. Sintetize os estudos: também conhecido como análise, este passo envolve combinar os fatos
extraídos dos estudos, usando técnicas quantitativas ou qualitativas apropriadas ou ambas.
8. Escreva a revisão: além dos princípios e padrões a serem seguidos na escrita de artigos
científicos, o processo de uma revisão sistemática de literatura precisa ser descrito com
detalhes suficientes de maneira que outros pesquisadores possam, independentemente,
reproduzir seus resultados.
Figura 1: Guia sistemático para o desenvolvimento de revisões de literatura
1.5 Revisões de Literatura Exemplares em Sistemas de Informação
Neste guia para escrever uma revisão de literatura, não faço uma tentativa combinada de aplicar todos
os itens especificamente para o campo de SI. Em vez disso, mantenho as orientações tão gerais quanto
possível para serem aplicadas em vários campos. No entanto, devido a minha base de pesquisa ser em
sistemas de informação e gestão, selecionei guias de RSL em ciências sociais, gestão e engenharia de
software — campos que são pertinentes para pesquisadores em SI. Além disso, refiro-me a exemplos de

pesquisas de qualidade principalmente de publicações em SI. Com essa abordagem, este guia é geral o
suficiente para ser útil para pesquisadores em vários campos, em vez de ser de grande ajuda unicamente
para a pesquisa em SI.
Embora eu não conheça nenhum exemplo na pesquisa em SI que siga explicitamente a rigorosa me-
todologia da revisão sistemática de literatura, procurei em várias publicações, das mais lidas em SI, por
revisões de literatura de alta qualidade para demonstrar exemplos das melhores práticas em vários as-
pectos do processo de revisão. Pesquisei especificamente em: Information Systems Research, Journal of Ma-
nagement Information Systems, Journal of the Association of Information Systems e MIS Quarterly. Além disso,
pesquisei no Academy of Management Review. Embora não seja uma publicação de pesquisa em SI, acredito
que o campo vizinho de gestão seja suficientemente próximo para que os pesquisadores de SI aprendam
com esses exemplos de revisões. Nessas publicações, selecionei um total de 23 exemplos de 1976 a 2008
(ver Quadro 1) 2. Desses 23, três são meta-análises, dois contêm componentes meta-analíticos e narrativos
e o resto emprega exclusivamente discussão qualitativa. Os trabalhos incluem o desenvolvimento deta-
lhado de tópicos como: autoeficácia de computadores (Marakas; Yi & Johnson, 1998), sistemas de suporte
à negociação (Lim & Benbasat, 1992), sistemas interorganizacionais (Robey; Im & Wareham, 2008), adoção
de tecnologia (Venkatesh; Davis & Morris, 2007), iniciativas estratégicas dependentes da tecnologia da in-
formação (Piccoli & Ives, 2005) e a visão baseada em recursos (Wade & Hulland, 2004). Incluem revisões de
pesquisas existentes sobre fenômenos particulares como: rotatividade de funcionários (Cotton & Tuttle,
1986), trabalho em turnos (Dunham, 1977), gestão de recursos humanos em joint ventures internacionais
(Shenkar & Zeira, 1987) e o impacto de mudanças tecnológicas ou sociais sobre o desenvolvimento futuro
da estrutura e estratégia organizacional (Melville; Kraemer & Gurbaxani, 2004; Winter & Taylor, 1996).
Quadro 1: Práticas de revisão de literatura em 23 exemplos de revisões de sistemas de informação e gestão
Tipo de Passo Passo Passo Passo Passo Passo Passo Passo

Citação
síntese 1 2 3 4 5 6 7 8
Robey; Im & Wareham
(2008)
Qualitativa  ✔ ✔ ✔  ✔ ✔
Joseph; Ng; Koh & Ang
(2007)
Ambos 
✔    
Venkatesh; Davis &
Morris (2007)
Qualitativa 
✔ 
Leidner & Kayworth
(2006)
Qualitativa 
✔       
Piccoli & Ives (2005) Qualitativa 
✔     
Wade & Hulland (2004) Qualitativa 
✔  
Melville; Kraemer &
Gurbaxani (2004)
Qualitativa   
Dubé & Paré (2003) Qualitativa 
✔       
Jasperson et al. (2002) Qualitativa 
✔   
Alavi & Leidner (2001) Qualitativa 
✔ 
Te’eni (2001) Qualitativa 
✔   
Marakas; Yi; Johnson
(1998)
Qualitativa 
✔     
2 Não usei uma metodologia sistemática para selecionar estes exemplos porque selecionar exemplos ilustrativos não é uma
aplicação apropriada para a metodologia RSL que descrevo neste artigo.

Winter & Taylor (1996) Qualitativa 

✔ 
Alavi & Carlson (1992) Qualitativa 
✔     
Alavi & Joachimsthaler Meta-
(1992) análise      
Lim & Benbasat (1992) Qualitativa 
✔
Morrison & Bies (1991) Qualitativa   

Shenkar & Zeira (1987) Qualitativa 
✔    
Meta-
Cotton & Tuttle (1986)
análise 
✔     
Petty; McGee & Meta-
Cavender (1984) análise 
✔     
Griffin; Welsh &
Moorhead (1981)
Qualitativa 
✔   
Dunham (1977) 
✔ 
Pierce & Dunham
(1976) 
✔  
Como observo acima, há uma distinção importante entre o valor acadêmico de realizar uma revisão de
literatura e o rigor necessário para documentar seus procedimentos. Selecionei os exemplos no Quadro 1
porque são todos de alta qualidade acadêmica. No entanto, como Vom Brocke et al. (2009) descobriram
quando investigaram explicitamente o grau em que os revisores da literatura em SI documentam o rigor,
mesmo os artigos exemplares geralmente não o fazem de forma adequada. Assim, de acordo com meus
argumentos sobre a importância de documentar os procedimentos de revisão como aspecto inalienável
de rigor, critiquei a qualidade de sua documentação ao longo deste trabalho.
Notavelmente, não existe uniformidade em metodologia ou estrutura entre esses estudos, mesmo en-
tre aqueles publicados no mesmo periódico. Os autores de 15 dos 23 exemplos descrevem explicitamente
como pesquisaram a literatura. Esses autores geralmente indicam o nome dos periódicos e o procedi-
mento que usaram para recuperar esses periódicos por meio de bancos de dados específicos. Tendem
também a especificar se dependiam fortemente de fontes eletrônicas e se sempre recuperaram artigos
por meio de buscas digitais (Alavi & Joachimsthaler, 1992; Alavi & Leidner, 2001; Cotton & Tuttle, 1986;
Dubé & Paré, 2003; Griffin; Welsh & Moorhead, 1981; Joseph; Ng; Koh & Ang, 2007; Leidner & Kayworth,
2006; Marakas; Yi & Johnson, 1998; Petty; McGee & Cavender, 1984). Piccoli e Ives (2005) apenas mencio-
nam brevemente na seção de conclusões que revisaram resumos de 648 artigos de SI, gerenciamento
estratégico e literatura de marketing. Da mesma forma, Jasperson et al. (2001), Shenkar e Zeira (1987) e
Wade e Hulland (2004) não explicam como localizaram os artigos; em vez disso, apenas listam quantos
documentos encontraram. Wade e Hulland (2004), por sua vez, listaram esses documentos no apêndice.
No entanto, esses relatórios abreviados dificultam a repetição de quaisquer descobertas.
Neste guia, ao apresentar as nossas oito etapas em detalhes, demonstro com pesquisas publicadas de alta
qualidade que a maioria dessas etapas não são novas. Uso o que existe na literatura para ilustrar os melhores
exemplos de cada etapa e orientar os revisores a combiná-los para produzir avaliações de alta qualidade.

1.6 UmaNota sobre Terminologia: Sistemático como um Adjetivo Qualitativo

em vez de Classificador
Em seu guia de RSL, Kitchenham e Charters (2007) usam o termo “revisão sistemática” para se referir a
um tipo de revisão de literatura diferente do que chamam de revisão de literatura “tradicional” ou “con-
vencional”. No entanto, considero “sistemática” na “revisão sistemática de literatura” como um adjetivo
qualitativo. Um adjetivo qualitativo é aquele que descreve a natureza de uma coisa de uma forma que
pode ser qualificada por “mais” ou “menos”; ou seja, podemos falar de uma revisão como sendo mais sis-
temática ou menos sistemática ou muito sistemática. No entanto, Kitchenham e Charters parecem usar
o termo como um adjetivo de classificação; ou seja, um adjetivo que classifica as coisas em determinada
categoria. Assim, eles diferenciam uma revisão sistemática de uma revisão tradicional ou convencional.
Em contraste, Rousseau et al. (2008, p. 5, ênfase adicionada) dizem:
O tema deste capítulo, a síntese de pesquisa sistemática não deve ser

confundida com uma revisão de literatura convencional, sua contrapar-
tida menos sistemática e não representativa. As sínteses de pesquisa
sistemática montam, analisam e interpretam um conjunto abrangente
de evidências de uma forma altamente reflexiva de acordo com seis
critérios de evidência que descrevemos.
Assim, Rousseau et al. (2008) usam claramente o termo “menos sistemática”, que é claramente o uso
de sistemático como adjetivo qualitativo.
O problema de usar “sistemático” como adjetivo de classificação é que divide as revisões de literatura
em dois tipos: sistemático e tradicional (ou convencional). No entanto, não vejo isso como uma distinção
útil, uma vez que pode provocar tentativas artificiais de configurar um ponto de corte em que uma revisão
possa ser considerada sistemática ou não. Em vez disso, acho mais útil falar de uma revisão como sendo
mais ou menos sistemática. Assim, quando falo de uma revisão sistemática, refiro-me a uma revisão que
tem a intenção explícita de ser conduzida sistematicamente. Em contraste com Kitchenham e Charters,
que parecem implicar que os comentários convencionais merecem a designação “sistemática”, prefiro
considerar “sistemática” como um espectro no qual as revisões de literatura podem ter um grau maior
ou menor.
Agora, tendo claramente explicado o que quero dizer com uma revisão sistemática de literatura e ten-
do argumentado seu valor, passo para a parte principal deste trabalho: em oito seções consecutivas,
descrevo em detalhes as oito principais etapas de realização de uma RSL, como mostra a Figura 1. Antes
de concluir o artigo, discuto várias questões relativas à publicação de uma RSL que segue a metodologia
que descrevo, incluindo implicações para publicações de revisão de literatura que normalmente não são
consideradas revisões autônomas.
2. Identifique o Objetivo
Embora seja possível classificar as revisões de literatura de várias maneiras, geralmente as classifi-
camos como um de três tipos: uma seção introdutória da maioria dos trabalhos acadêmicos, utilizada
para dar apoio teórico ao resto do artigo; uma importante seção introdutória de uma tese ou dissertação
acadêmica (que é um caso especial da primeira categoria) ou um documento independente que analisa
específica e completamente a pesquisa sobre determinado assunto. Embora eu busque especificamente
o terceiro tipo, é importante discutir os outros tipos de revisões de literatura para que os leitores possam
ter uma compreensão semelhante de sua finalidade.

O primeiro passo para realizar uma revisão de literatura é claramente definir seu propósito. Estrita-
mente falando, esse primeiro passo não é tanto uma parte ativa do procedimento, mas a consideração
da técnica a ser utilizada. Como em todo trabalho empírico, o primeiro passo de um projeto deve ser con-
siderar se a metodologia a ser utilizada é a mais apropriada. Nesse caso, determinar o propósito de uma
revisão de literatura deve responder à pergunta: “Por que fazer uma revisão de literatura?”. Na Seção 1,
abordo essa questão ao defender a necessidade de revisões sistemáticas de literatura, então não repe-
tirei isso aqui. No entanto, discuto a necessidade de considerar os meios de divulgação desde o início do
processo de concepção da revisão.
2.1 Determinação dos Meios de Divulgação
Uma parte essencial da decisão sobre realizar uma revisão sistemática de literatura deve ser conside-
rar o público que se espera que leia e use os resultados finais da revisão. Kitchenham e Charters (2007)
enfatizam o desenvolvimento de uma estratégia de divulgação como passo importante no procedimento
de uma RSL — de fato, insistem que a estratégia de divulgação deve ser determinada como parte do
protocolo de pesquisa antes mesmo do início do estudo. Além de publicações acadêmicas, os alvos de
divulgação incluem revistas profissionais, comunicados à imprensa, folhetos resumidos, cartazes, sites e
comunicação direta. Kitchenham e Charters (2007) oferecem instruções de formatação e design para cada
tipo. Petticrew e Roberts (2006) também oferecem um guia útil para divulgação da revisão. Eles discutem
a possibilidade de a pesquisa entrar em políticas e práticas em que as informações sejam ativamente usa-
das e oferecem sugestões para uma divulgação efetiva. Entre as suas sugestões estão: envolver o público
com antecedência, disseminar para a mídia, publicar em periódicos acadêmicos e avaliar o impacto da
apresentação e do momento.
2.2 Guias e Exemplos de Definição do Objetivo de uma Revisão de Literatura
Embora os guias de revisão de literatura comecem sempre por explicar e justificar a revisão de lite-
ratura, o que é mais pertinente aqui é ser claro sobre o objetivo de realizar uma revisão sistemática de
literatura. Assim sendo, recomendo cinco fontes que fornecem algum esclarecimento. Fink (2005) não usa
o termo “sistemático”, mas o que chama de “revisão de literatura de pesquisa” é uma revisão sistemática
de literatura em todos os sentidos. O que ela apresenta é a melhor prática para realizar revisões de lite-
ratura tais como as desenvolvidas nas ciências da saúde. Três fontes são provavelmente mais relevantes
para pesquisadores em SI, dirigidas especificamente para algumas de suas mais importantes disciplinas
de referência de ciências sociais, engenharia de software e gestão. Petticrew e Roberts (2006) focam em
RSL nas ciências sociais em geral. Além de apresentar justificativas e argumentos claros para RSL, dedicam
um capítulo inteiro para dissipar mitos sobre RSL e esclarecer o que não são. Ao discutir revisões de litera-
tura, trazem a noção de viés nas análises tradicionais, sobrecarga de informação, oportunidades perdidas
(e às vezes recuperadas) em tais revisões e variações de qualidade nas revisões. De particular ajuda são
os seus apêndices, que oferecem exemplos de perguntas a serem feitas antes do processo de revisão
(Apêndice 1), um diagrama de fluxo de uma revisão sistemática e exemplos de variações de qualidade.
Kitchenham e Charters (2007) concentram-se em RSL em engenharia de software, campo que tem muita
sobreposição com sistemas de informação. Em particular, recomendam RSL como meio para garantir o
desenvolvimento de softwares e aplicações seguras. Descrevem também o mapeamento sistemático de
estudos como um caso especial de revisão sistemática de literatura. Rousseau et al. (2008) focam em RSL
em ciências de gestão e organização. Estritamente falando, seu estudo se concentra principalmente na
“síntese de pesquisa” (ou seja, síntese dos resultados do estudo obtido em uma RSL), mais do que no resto
do processo. Enquanto Fink (2005) e Kitchenham e Charters (2007) focam na revisão de estudos primários
quantitativos, Petticrew e Roberts (2006) e Rousseau et al. (2008) focam em avaliações de estudos pri-
mários quantitativos e qualitativos. Okoli (2012) restringe seu foco às revisões que procuram construir e
contribuir com a teoria e distingue três tipos de análises: panoramas teóricos, disputas teóricas e revisões

de testes de teorias. Além disso, discute o desenvolvimento de revisões sistemáticas com questões de
pesquisa orientadas à teoria e a identificação de alvos de divulgação orientados para teorias.
Todos os 23 exemplos que revisei para este guia abordam especificamente esse passo — de fato, é o
único dos oito passos que todos os artigos seguem. De modo geral, os autores realizaram uma revisão
de literatura:
a) para analisar o progresso de um fluxo de pesquisa específico (Alavi & Joachimsthaler, 1992;
Alavi & Leidner, 2001; Piccoli & Ives, 2005; Venkatesh; Davis & Morris, 2007);
b) para fazer recomendações de trabalhos futuros (Venkatesh; Davis & Morris, 2007);
c) para revisar a aplicação de um modelo teórico na literatura de SI (Alavi & Carlson, 1992;
Wade & Hulland, 2004);
d) para revisar as aplicações de uma abordagem metodológica na literatura de SI (Dubé & Paré,
2003);
e) para desenvolver um modelo ou framework (Joseph; Ng; Koh & Ang, 2007; Melville; Kraemer
& Gurbaxani, 2004; Morrison & Bies, 1991; Te’eni, 2001); ou
f) para responder a uma questão de pesquisa específica (Cotton & Tuttle, 1986; Dunham,
1977; Griffin; Welsh & Moorhead, 1981; Jasperson et al., 2002; Petty; McGee & Cavender,
1984; Shenkar & Zeira, 1987).
3. Planeje o Protocolo e Treine a Equipe

Uma vez que os revisores tenham claros o propósito e o escopo da RSL, precisam executar outro passo
crítico na fase de planejamento antes que o trabalho da revisão possa começar com seriedade. Uma das
recomendações mais importantes de Kitchenham e Charters (2007) é que um protocolo seja desenvolvido
antes da realização do estudo e que ele seja validado externamente para verificar seu rigor. Um protocolo
é “um plano que descreve a condução de uma proposta de revisão sistemática de literatura” (Kitchenham
& Charters, 2007, vi). Além de redigir o protocolo, que detalha as etapas e procedimentos específicos a se-
guir na revisão particular que está sendo realizada, os revisores também devem treinar cuidadosamente
todos os membros da equipe de revisão de acordo com o protocolo elaborado para assegurar que todos
estejam com o mesmo pensamento sobre o que está sendo realizado (Fink, 2005).
O protocolo inicial não pode ser chamado mais do que rascunho até que o treinamento seja concluído,
porque o processo de treinamento mostrará, sem dúvida, problemas que precisarão ser corrigidos antes
de o protocolo final ser concluído. Mesmo assim, como com qualquer tentativa de pesquisa, o processo
de realização da revisão de literatura certamente apresentará limitações e problemas com esse protocolo
inicial. No entanto, os pesquisadores precisam entrar em acordo e anotar sua estratégia antes de come-
çar. O curso da ação certamente pode mudar (Fink, 2005), mas somente documentando as mudanças
no protocolo os pesquisadores podem assegurar a natureza abrangente, explícita e reprodutível de seu
trabalho e, posteriormente, um alto nível de qualidade. Os detalhes da realização desse passo envolvem
o esboço da questão de pesquisa, a criação de um protocolo de pesquisa e o treinamento dos revisores.
3.1 Planejando a Questão de Pesquisa
Tal como acontece com qualquer pesquisa, os revisores devem ter uma questão de pesquisa clara e
concisa. Rousseau et al. (2008) assinalam que a formulação da questão requer reflexão, debate e reformu-
lação. A questão de pesquisa pode ser vista como a conclusão do primeiro passo que identifica o propó-
sito da revisão de literatura. Em última análise, a questão de pesquisa deve resultar em uma declaração

de uma ou duas frases que definem o público-alvo da revisão (por exemplo, pesquisadores, profissionais,
formuladores de políticas etc.), o propósito e a finalidade. Não trato de como desenvolver uma questão de
pesquisa apropriada porque esse é um tópico bem abordado, particularmente no treinamento de estu-
dantes de doutorado (por exemplo, veja Jaccard & Jacoby, 2010). No entanto, uma RSL responde somente
a uma categoria muito específica de pergunta de pesquisa. Uma vez que as revisões de literatura são
estudos secundários que dependem de pesquisa primária já realizada anteriormente, uma RSL não é apli-
cável quando ninguém pesquisou sobre o tema da investigação. Nessa linha, por favor veja a discussão
na Seção 1 sobre como a necessidade de metodologia de RSL e o primeiro passo em definir o propósito
da revisão de literatura são relevantes para esboçar a questão.
3.2 Planejando o Protocolo
Uma vez que uma questão foi formulada, o protocolo de pesquisa serve como um mapa rodoviário em
direção à sua resposta. No entanto, apenas três dos guias de revisão de literatura que identifiquei abor-
dam a questão de definir um protocolo de pesquisa de alguma forma. Alguns falam sobre a informação
que deve ser incluída em um protocolo, mas não descrevem a necessidade de um protocolo explícito.
Além disso, apenas cinco dos 23 exemplos que estudei mencionam alguma forma de protocolo adotado.
Os outros podem ter seguido protocolos, mas não os relatam em seus estudos publicados. No entanto,
mesmo que seja esse o caso, considero o protocolo como um passo tão importante para a garantia da
qualidade de uma RSL que me surpreende que tão poucos estudos se refiram a ele.
Considero que criar um protocolo prévio é um passo absolutamente crucial no processo de condução
e relato de uma revisão de literatura de alta qualidade. O protocolo define se a revisão será estreita ou
ampla (Petticrew & Roberts, 2006). Define os locais onde buscar a bibliografia e as várias leituras por que
cada artigo terá que passar para ser considerado para inclusão. Sem isso, não há consenso não apenas
entre vários pesquisadores sobre o trabalho a ser realizado, mas mesmo no trabalho de um pesquisador
ao longo do tempo. Turner, Kitchenham, Budgen e Brereton (2008) oferecem visões valiosas sobre suas
lutas pessoais para coletar informações para revisão de literatura; as lições aprendidas com os erros são
uma boa instrução para futuros revisores. A necessidade de um protocolo prévio surgiu como uma das
suas principais recomendações.
Assim como a construção de uma casa só pode começar depois de um arquiteto elaborar planos ex-
plícitos em acordo com um empreiteiro, o planejamento de um protocolo guia o resto do processo de re-
visão. Claro, com mais assunto descoberto, o foco de uma revisão de literatura pode mudar. No entanto,
para criar forte confiabilidade e consistência ao longo do processo, o procedimento de busca deve ser cui-
dadosamente documentado para que os revisores possam relatar detalhadamente como conduziram a
pesquisa. Além disso, a pesquisa precisa ser conduzida sistematicamente para garantir que os resultados
obtidos sejam abrangentes, ou seja, que abranjam todo o material existente no escopo da seleção prática
(Helmericks; Nelsen & Unnithan, 1991). A maior parte da lista de verificação da revisão deve permanecer
intacta e ser suficientemente específica sobre o critério de seleção prática, enquanto a seção de discussão
pode deixar espaço suficiente para interpretações subjetivas. Dito isto, os revisores deveriam estabelecer
as principais palavras-chave no protocolo, que determinam que material será recuperado (Bacharach,
1989; Thornley & Gibb, 2009).
Na prática, o protocolo compreende um esboço que é organizado de acordo com as etapas a serem se-
guidas para a revisão. Se um protocolo fosse escrito usando este guia, seria organizado de acordo com as
suas oito etapas. Os detalhes do protocolo compreenderiam as etapas específicas que realmente seriam
seguidas de acordo com a questão particular de pesquisa investigada. No final desta seção, dou alguns
exemplos de protocolos publicados para RSL.

3.3. Treinando os Revisores
O terceiro passo no desenvolvimento do protocolo de revisão é treinar os revisores. Entre as nossas

principais fontes, apenas Fink (2005) realmente discute essa questão. Um único pesquisador não pode
realizar a maioria das revisões de literatura, devido ao seu amplo escopo. Tanto no caso de campos aca-
dêmicos em rápida expansão quanto em campos que existem há muito tempo, é impraticável vasculhar
toda a literatura sozinho. Mesmo que fosse possível, o longo período de tempo que se gastaria certamen-
te levaria a mudanças e, portanto, inconsistências na interpretação dos revisores. Finalmente, os pes-
quisadores frequentemente defendem que a colaboração no trabalho acadêmico conduz a um trabalho
mais concentrado e proeminente (Figg et al., 2006). Por essas razões, todos os revisores envolvidos na
realização de uma revisão de literatura devem ter treinamento completo em técnicas de tomada de notas
e de revisão. Esse passo é fundamental para que a revisão seja executada em um nível consistente de
qualidade (Note que, embora eu costume me referir neste artigo à pessoa que conduz o estudo como “o
revisor”, na prática quase sempre haverá vários “revisores” que na verdade fazem o trabalho de revisão
de literatura).
3.3.1 Técnicas de tomada de notas
Ridley (2012, p. 63) explica detalhadamente várias técnicas de leitura e de tomada de notas em uso
atualmente (por exemplo, survey, question, read, recall e review3) para permitir aos revisores lidar com
grandes quantidades de trabalho, fazer conexões e lembrar de conteúdo para futura inclusão. A autora
assinala a necessidade de estratégias formais de tomada de notas que ajudem a evitar o plágio aciden-
tal. Os revisores devem concordar com um método de tomada de nota. Anotar em papel impresso é um
método popular predominantemente substituído por outros métodos, como mapas mentais, que usam
representações visuais que agrupam comentários em torno de uma ideia principal, ou notas lineares,
que “utilizam cabeçalhos e subtítulos para distinguir entre as ideias principais e a informação secundária”
(Ridley, 2012, p. 69). O consenso entre os revisores, a velocidade de leitura e a quantidade de trabalho
atribuído também terão impacto na uniformidade. Os revisores poderiam, por exemplo, ser treinados em
técnicas de leitura fenomenológica que lhes permitissem compartilhar habilidades básicas em sua capaci-
dade de integrar teoria e método (Hart, 1998). Mesmo a decisão sobre se as notas devem ser manuscritas
ou digitadas pode ter impacto significativo na quantidade de informações que estão sendo registradas e
no acordo entre os revisores (Ridley, 2012); assim, eles devem discutir isso.
3.3.2 Técnicas de revisão
Devido ao vasto número de decisões que precisam ser tomadas, pesquisadores criaram e aplicaram
manuais de treinamento ou rubricas (Green & Bowser, 2006) e sugerem que os revisores também o façam
(Fink, 2005; Hart, 1998; Ridley, 2012). Além das regras básicas sobre como ler e tomar notas, os revisores
procurariam o manual para decidir quais conteúdos poderiam fundamentar a tomada de notas. O manual
ditaria se os revisores poderiam tomar apenas decisões objetivas (tais como “o artigo está em inglês: sim
ou não”) ou se há espaço para juízo pessoal. Os revisores podem resumir todo o artigo ou extrair seções
específicas e diretas (Ridley, 2012). A sessão de treinamento e o manual devem incluir uma lista de verifi-
cação cuidadosamente elaborada para registrar as qualificações práticas de triagem de cada artigo e um
conjunto de padrões para a tomada de notas (Fink, 2005, p. 166-172).
Com revisores treinados, é significativo testar uma revisão em relação à confiabilidade. Fink (2005, p.
176-177) fornece diretrizes para medir a validade do resultado dos revisores. Os indivíduos podem reavaliar
3 N.T.: SQ3R é uma ferramenta de leitura que ajuda o leitor a absorver informações de livros e artigos, aumenta a retenção do
que lê organizando objetivos de estudo e fornece técnicas para ajudar a fixar a informação na mente. Disponível em: <https://
www.rlf.org.uk/resources/how-to-read-sq3r/>.

uma amostra dos artigos que lhes foram atribuídos com um intervalo de tempo entre revisões para es-
tabelecer a confiabilidade intrarrevisores (teste–reteste). Pelo menos alguns artigos devem ser revisados
por mais de um colaborador para estabelecer a confiabilidade entre revisores. Fink também defende que
os revisores usem um “padrão-ouro”, como líder do projeto, para resolver desentendimentos. Embora
seja sempre melhor ter mais revisores — desde que sejam devidamente treinados —, seu número está
sujeito às restrições orçamentárias (ou outras) do projeto de revisão.
Como mencionei antes, o processo de treinamento dos revisores, sem dúvida, descobrirá alguns pro-
blemas, inconsistências e impraticabilidades no protocolo original e mesmo nas questões de pesquisa. As-
sim, tanto o desenvolvimento do protocolo quanto o treinamento dos revisores são processos iterativos:
a revisão do protocolo requer atualizações no treinamento, o que pode revelar problemas no protocolo
que precisam ser ajustados, o que requer um refinamento adicional do protocolo. O trabalho efetivo de
realizar a revisão de literatura estará pronto para começar somente quando a versão final e estável do
protocolo for criada e quando os revisores forem treinados de acordo com essa versão final.
3.4 Guias e Exemplos de Protocolos e Treinamento de Revisores
Como mencionei, os protocolos de revisão e o treinamento de revisores, embora cruciais para assegu-
rar a qualidade de uma revisão, não são amplamente mencionados ou praticados. No entanto, existem
algumas fontes chave que fornecem excelente orientação sobre esse passo. Kitchenham e Charters (2007)
defendem fortemente a necessidade de protocolos de revisão, fornecendo exemplos de tais protocolos
em algumas de suas próprias pesquisas. Brereton et al. (2007) dão exemplos de campo que ilustram o
valor de usar um protocolo na realização de uma revisão. Okoli (2012) ressalta que a ordem “correta” na
organização das seções de uma revisão sistemática é diferente para a elaboração do protocolo, para a
execução efetiva da revisão e para o relatório do resultado final. No que diz respeito ao treinamento de
revisores, Fink (2005) é a única autora que detalha o procedimento e os passos a seguir, incluindo como
testar a confiabilidade entre revisores. No entanto, Ridley (2012) fornece dicas práticas para ler docu-
mentos e tomar notas ao revisá-los. Além disso, Brereton et al. (2007) fornecem dicas de campo sobre o
treinamento de revisores relacionadas ao desenvolvimento do protocolo.
Dos 23 estudos que revisei, cinco se referem explicitamente ao fato de que conduziram seu estudo uti-
lizando um protocolo que foi definido antes de o estudo realmente começar. Alavi e Carlson (1992) listam
especificamente as palavras-chave usadas para buscar a literatura e o sistema de classificação que utiliza-
vam para codificar o artigo de periódico que incluíam na revisão. Robey et al. (2008) explicam o procedi-
mento pelo qual leram e codificaram os 104 documentos que revisaram. Piccoli e Ives (2005) apresentam
um protocolo mais curto do que as outras revisões, mas confirmam que revisaram 117 artigos relevantes;
no entanto, não entram em detalhes muito além dessa descrição. Leidner e Kayworth (1992) descrevem
como encontraram e codificaram 82 artigos. Finalmente, Dubé e Paré (2003), que descrevem mais expli-
citamente o protocolo, tanto descrevem o procedimento como oferecem um exemplo em seu apêndice.
4. Aplique uma Seleção Prática

Com a fase de planejamento da revisão de literatura concluída com o protocolo e a etapa de treina-
mento, o próximo passo é a seleção prática (Fink, 2005), que envolve a decisão de quais estudos devem
ser considerados para a revisão. O objetivo da seleção prática é reduzir o número de estudos a serem
analisados para um número com o qual os revisores possam lidar. Ressalto particularmente que essa
determinação não se baseia em uma avaliação cuidadosa da qualidade dos documentos (que é um passo
subsequente: “Avalie a Qualidade” — Seção 7), mas em considerações pragmáticas para determinar se
merecem, ou não, ser lidos para os fins da revisão.

4.1 Critérios para Aplicar uma Seleção
Centenas ou mesmo milhares de artigos podem abranger um tema de interesse, e não é prático ler
e analisar todos em profundidade. A importância da seleção prática é que os revisores devem explicita-
mente decidir e explicar os critérios para selecionar ou excluir documentos da revisão. Para esse fim, de-
vem tomar várias decisões críticas sobre o tipo de trabalho que devem incluir ou excluir (Sterne; Egger &
Smith, 2001). Por exemplo, dependendo do campo e do tópico, os revisores podem optar por incluir ape-
nas estudos experimentais ou podem ampliar o escopo para incluir outros tipos de pesquisa. Os revisores
só poderão coletar dados uniformemente estabelecendo critérios de inclusão específicos para os tipos de
trabalhos que podem ser considerados úteis e aplicáveis.
Além de estabelecer qual trabalho a ser incluído, os revisores devem, nesse momento, considerar
também como encontrarão esse trabalho (ver Seção 5) (Barbour, 2001). O ponto crítico desta etapa não
envolve a determinação de critérios perfeitamente adequados para a inclusão de documentos para con-
sideração — embora os critérios sejam razoavelmente amplos se o estudo for abrangente —, mas que
preferencialmente seja explícito sobre esses critérios, de modo que a revisão de literatura resultante seja
reprodutível. Fink (2005, p. 55-56) lista vários critérios que os revisores podem usar para excluir razoavel-
mente os estudos, a fim de limitar o alcance de sua análise ao que é praticamente gerenciável:
a) conteúdo (tópicos ou variáveis): a revisão deve sempre estar limitada a estudos que te-
nham incidência sobre sua questão específica de pesquisa (Dawson & Ferdig, 2006);
b) idioma da publicação: os revisores só podem rever os estudos escritos em idiomas que

podem ler ou para os quais têm acesso a bancos de dados acadêmicos;
c) periódicos: o escopo da revisão pode limitar-se a um conjunto seleto de revistas de alta

qualidade ou incluir apenas revistas em um campo de estudo específico (Singh; Haddad &
Chow, 2007);
d) autores: a revisão pode ser restrita a trabalhos de certos autores proeminentes ou princi-
pais (potencialmente incluindo o revisor). O estudo extensivo de Hyland (2003) sobre auto-
citação em publicação acadêmica aponta para a prevalência de autorreferência nas ciências
sociais para estabelecer autoridade;
e) cenário: a revisão pode considerar apenas os estudos realizados em certos cenários, como
em instituições de saúde ou no setor de serviços financeiros;
f) participantes ou sujeitos: a revisão pode ser restrita a trabalhos que estudam assuntos de
determinado gênero, situação de trabalho (por exemplo, profissionais em tempo integral
em oposição aos alunos), idade ou outros critérios pertinentes;
g) programa ou intervenção: a revisão pode distinguir entre o uso de estudos tipo intervenção
(por exemplo, dados de questionários de autorrelato versus dados pesquisados e medidos)
ou se os indivíduos se autosselecionam dentro de grupos;
h) design da pesquisa ou metodologia de amostragem: a revisão pode restringir os estudos

com base no uso de determinado design de pesquisa. Note que há diferenças significati-
vas entre essas avaliações em ciências da saúde (Fink, 2005), gestão (Rousseau; Manning &
Denyer, 2008) e ciência da computação (Kitchenham & Charters, 2007) (ver Seção 7);
i) data de publicação/coleta de dados ou duração da coleta de dados: as avaliações geral-

mente se concentrarão em estudos em determinados intervalos de tempo;
j) fonte de financiamento: as revisões podem se concentrar em estudos que receberam fi-

nanciamento público (por exemplo, se houvesse preocupação de que isso poderia ser uma
fonte de viés nos resultados, como é por vezes o caso na pesquisa em saúde) (Fink, 2005).
Petticrew e Roberts (2006) e Kitchenham e Charters (2007) também oferecem listas para esta etapa. Eles
subdividem considerações de acordo com a população, a intervenção, a comparação, os resultados e o

contexto (Kitchenham e Charters adicionam o design experimental). Petticrew e Roberts (2006) abordam a
questão de quais documentos devem ser obtidos em cópia impressa. Embora este último ponto possa ser
menos considerado nesta era de acesso eletrônico a periódicos, pode ser relevante quando os revisores
só podem obter um documento por solicitação de empréstimo entre bibliotecas.
A seleção prática é uma parte bastante subjetiva da revisão de literatura. Não há erros e acertos absolu-
tos aqui. No entanto, há considerações sobre o que é razoável e justificável. Por um lado, a seleção deve ser
ampla o bastante para incluir um número suficiente de estudos que possam responder satisfatoriamente à
questão de pesquisa. Por outro lado, a revisão deve ser praticamente gerenciável e considerar as restrições
dos revisores em relação a tempo, dinheiro e pessoal. Em grande medida, são as decisões tomadas aqui
que fazem a diferença entre uma revisão de literatura abrangente e confiável e uma insatisfatória.
4.2 Dicas Práticas para a Seleção Prática
Kitchenham e Charters (2007) fornecem orientação útil para executar uma seleção prática. Os termos
chave na revisão de literatura devem deixar os revisores com grande quantidade de documentos que
atendam aos critérios de pesquisa. Ao usar um software de referência, recomendo criar pastas individuais
para cada fonte bibliográfica (cada banco de dados, recomendações de especialistas etc.). Uma vez que
os revisores coletem todos os artigos no software, podem distribuir os bancos de dados aleatoriamente
entre eles. Cada revisor deverá passar superficialmente pelos documentos atribuídos a ele e decidir se
cada um cumpre ou não os critérios de inclusão estabelecidos durante o protocolo. Esteja ciente de que,
nesta etapa, não se deve julgar a qualidade ou avaliar a informação encontrada nos estudos. Os critérios
devem ser simples o suficiente para se determinar apenas pelo título e resumo. Apenas ocasionalmente
o texto completo precisa ser examinado para tomar uma decisão. A partir da experiência do passado, a
seleção prática determina a inclusão com base em critérios como o idioma dos documentos (por exemplo,
se os documentos que não estão em inglês serão filtrados ou mantidos para tradução posterior) (Petticrew
& Roberts, 2006), tipo de publicação (para incluir proceedings de conferências com revisão por pares ou
apenas periódicos) (Levy & Ellis, 2006), ou intervalo de tempo (por exemplo, incluindo apenas artigos pu-
blicados após 2002) (Kitchenham & Charters, 2007).
Os revisores podem deixar de lado e salvar (ou seja, não excluir) documentos que não atendam a esses
critérios de inclusão específicos. Recomendo criar subpastas “excluir” em cada uma das pastas de origem
nas quais se podem colocar artigos que não atendem aos critérios de inclusão. Melhor ainda, em vez de
uma única subpasta “excluir” para cada pasta de banco de dados, pode haver várias “subpastas excluir”
que especifiquem o motivo da exclusão de seus documentos. Embora isso possa parecer oneroso, torna-
se crucial quando os revisores reavaliam o trabalho de cada usuário para controlar a qualidade do proces-
so de revisão. Essa reavaliação normalmente descobrirá incoerências no julgamento dos revisores, e os
documentos originais devem ser facilmente acessíveis para reinclusão, se necessário. Esse procedimento
permite aos revisores documentar explicitamente como executaram uma metodologia uniforme. Esse
procedimento tem dois propósitos: 1) mantém a explicitação e a replicabilidade do estudo, o que permite
que os revisores retrocedam e reavaliem seus critérios de inclusão e protocolo em qualquer ponto duran-
te a revisão; e 2) permite aos revisores avaliar e estabelecer a confiabilidade entre avaliadores (Fink, 2005).
Devido à subjetividade da seleção prática, recomendo testar a confiabilidade entre avaliadores durante
um teste piloto da seleção prática. Depois que todas as pastas de origem da literatura forem classificadas,
uma parte das pastas deve ser atribuída aleatoriamente a outro revisor. No melhor dos casos, os resulta-
dos estabelecerão um caso de uniformidade e mostrarão que ambos os revisores incluíram ou excluíram
os mesmos documentos. No pior dos casos, os dois revisores terão escolhido para incluir artigos muito di-
ferentes, e vasculhar a subpasta “excluir” irá esclarecer se a discrepância está no julgamento individual ou

na ambiguidade do protocolo de busca. Provavelmente todas as revisões, incluindo as da minha própria

experiência, posicionar-se-ão em algum lugar no meio e darão aos autores confiança em seu trabalho até
esse ponto, dando-lhes uma oportunidade inicial de discutir possíveis mudanças no protocolo.
4.3 Guias e Exemplos de Seleção Prática
Surpreendentemente, embora a seleção prática seja um passo implícito em cada revisão de literatura,
poucos guias abordam isso explicitamente. Os principais que identifiquei são Fink (2005) e Kitchenham
e Charters (2007), embora Petticrew e Roberts (2006) também ofereçam algumas dicas úteis sobre esse
assunto. Fink (2005) é particularmente útil por seus comentários sobre testes para confiabilidade entre
avaliadores. Okoli (2012) apresenta uma extensa lista de critérios de seleção prática e foca especificamen-
te em como decisões práticas de seleção ajudam ou comprometem a capacidade de uma revisão para
desenvolver uma contribuição teórica.
Vários dos exemplos de estudos que examinei relatam explicitamente seus critérios de seleção prática.
Esses estudos são notavelmente detalhados em sua descrição dos critérios de decisão (Alavi & Carlson,
1992; Alavi & Joachimsthaler, 1992; Robey; Im & Wareham, 2008; Te’eni, 2001) ou em sua síntese de qual
metodologia de pesquisa seria incluída (Cotton & Tuttle, 1986; Dubé & Paré, 2003; Griffin; Welsh & Mo-
orhead, 1981; Leidner & Kayworth, 2006; Petty; McGee & Cavender, 1984; Pierce & Dunham, 1976). Um
bom exemplo de relato conciso é Marakas et al. (1998, p. 130), que afirma que todos os artigos precisavam
“(1) incluir um material com foco no constructo da autoeficácia de computador, (2) [desenvolver] uma
medida ou avaliar o constructo como uma variável independente (VI) ou variável dependente (VD) de inte-
resse, e (3) [ser] publicado em um periódico ou compêndio acadêmico reconhecido”.
5. Busque a Bibliografia
O próximo passo na condução de uma RSL envolve a busca pela bibliografia. Esse estágio é análogo à
pesca com rede, em que se usa uma rede de arrasto para capturar um grande número de peixes, como um
cardume de atum (buscando a bibliografia), e remover espécies indesejadas, como golfinhos, que também
foram pegos (aplicando a seleção prática). Essa etapa deve seguir rigorosamente o protocolo predefinido
e, portanto, ser bastante direta. Neste artigo, foco principalmente em locais para busca de material.
As fontes tradicionais de literatura são periódicos e livros (incluindo livros de referência e, em alguns
casos, livros didáticos). Tradicionalmente, acessávamos essas fontes principalmente por meio de longas
visitas às bibliotecas, mas hoje estão amplamente disponíveis na internet (com exceção dos livros, que
ainda não são acessíveis eletronicamente como os artigos) (Fink, 2005); no entanto, operações de cata-
logação maciças, como o Google Books, estão tentando mudar isso. Além disso, a “literatura cinzenta”
(Anonymous, 1998; Petticrew & Roberts, 2006) tem se tornado cada vez mais acessível, principalmente
pela internet: essa literatura inclui fontes não revisadas por pares, tais como relatórios, teses e disserta-
ções, literatura de conferências, mídia popular, monografias, relatórios de trabalho em progresso, litera-
tura especializada e fontes de dados primários (Ridley, 2012).
Ridley (2012) recomenda que os revisores comecem conhecendo a biblioteca e sua bibliotecária. Embo-
ra isso possa parecer tradicionalista, Petticrew e Roberts (2006) argumentam que o volume de informação
disponível na sociedade da informação de hoje exige que uma RSL de alta qualidade envolva sempre a
consulta a um cientista da informação qualificado, como um bibliotecário. No entanto, observam que,
com as capacidades tecnológicas atuais, os revisores podem realizar uma revisão sistemática sem supor-
te experiente de biblioteca, desde que sigam um plano rigoroso (ou seja, o protocolo).

Da bibliotecária, os revisores podem avançar para recursos eletrônicos, que agora são a fonte predo-
minante de coleção bibliográfica. Os catálogos de acesso público online, como o Copac no Reino Unido,
“fornecem os detalhes bibliográficos e as localizações de todas as publicações realizadas em determinada
biblioteca” (Ridley, 2012, p. 49), enquanto os catálogos de editoras e livrarias oferecem listas e informa-
ções de conteúdo da maioria de suas publicações. Hoje, bancos de dados de acesso aberto (como o Google
Scholar e o Directory of Open Access Journal) e bancos de dados de assuntos específicos (como ProQuest,
Scopus, EBSCO, IEEE Xplore e a Biblioteca Digital da ACM) oferecem acesso eletrônico à maioria da litera-
tura publicada (Norris; Oppenheim & Rowland, 2008). É preciso entender como usar corretamente os ope-
radores booleanos para tirar vantagem particular desses bancos de dados (Fink, 2005). Embora ainda não
seja proeminentemente empregado, o mundo acadêmico também deve ver aumento no uso de minera-
ção de dados assistida por computador para revisões de literatura nos próximos anos, com potenciais
perigos e falhas (Bragge et al., 2007; Jacsó, 2007; Lee; Kang; Mitra; Giles & On, 2007). Com o aumento do
alcance da internet, os revisores devem atender ao alerta de Fink (2005) sobre a necessidade de discernir
cuidadosamente a qualidade de qualquer informação obtida a partir de sites que, embora “publicados” na
Web, muitas vezes não passaram por nenhum tipo de padrão de controle de qualidade.
Depois de completar a revisão na biblioteca e online, os revisores devem complementar a pesquisa

ainda mais para garantir que encontraram e esgotaram todas as fontes. Estudar a seção de referência
de peças importantes ou particularmente relevantes permite uma “busca para trás” (backward search) de
outros artigos pertinentes (Levy & Ellis, 2006). Certos recursos, como o Google Scholar e o ISI Citation In-
dex, também permitem uma “busca para a frente” (forward search) para encontrar todos os artigos que já
citaram artigos que os revisores podem achar particularmente relevantes (Levy & Ellis, 2006). Finalmente,
Petticrew e Roberts (2006) e Fink (2005) mencionam a importância de entrar em contato com especialistas
na área para receber sua avaliação da integridade da pesquisa depois de compilar a lista de trabalhos.
Esse passo na suplementação de pesquisas eletrônicas é particularmente crucial quando um assunto ain-
da não está estritamente definido, quando as informações podem vir de vários campos ou se os revisores
suspeitarem que muito trabalho relevante ainda não esteja disponível publicamente. Alguns guias salien-
tam que pesquisar apenas a internet é insuficiente. Essas pesquisas precisam ser complementadas manu-
almente em revistas impressas. No entanto, acredito que esse conselho já não seja necessário no nível de
desenvolvimento da internet hoje. Acredito que o contato com especialistas (como autores referenciados)
para perguntar sobre a integridade de uma pesquisa é suficiente (mas necessário), especialmente para
identificar materiais que não estão disponíveis facilmente por meio de fontes da internet.
A próxima questão pertinente diz respeito ao momento em que a busca da literatura é finalmente
concluída: quando pesquisas repetidas não fornecem novos resultados. Levy e Ellis (2006) apontam que o
protocolo não apenas guia o processo de revisão, mas também estabelece quando a revisão está concluí-
da. Por exemplo, sem um protocolo que indique claramente o período dos artigos buscados, os revisores
precisarão revisar continuamente a literatura para novas adições ou, pelo menos, permanecer ambíguos
quanto aos períodos de inclusão. Levy e Ellis (2006) sugerem que se deve parar de procurar quando as
buscas resultam nas mesmas referências sem novos resultados. No entanto, não obstante o ponto em
que os revisores devem passar ao próximo passo, novas pesquisas são continuamente publicadas. Uma
das razões pelas quais é crucial registrar a sequência da pesquisa e os procedimentos é para que possam
ser repetidos periodicamente nos mesmos bancos de dados e fontes para ver se novos materiais aparece-
ram desde a busca inicial. Essa é uma ocorrência comum tão frustrante quanto possível. No entanto, ape-
sar dos comentários de Levy e Ellis em contrário, acredito que uma revisão abrangente da literatura deve
incluir todas as evidências disponíveis até o momento em que é submetida à publicação (pelo menos).
Encontrar o assunto pode ser uma das partes mais longas e extenuantes da revisão de literatura e muitas
vezes inclui pesquisar centenas de artigos. No entanto, uma revisão rigorosa da literatura é impossível
sem um estudo minucioso e cuidadoso de todo o assunto.

Depois de encontrar todo o material aplicável, os revisores também precisam considerar como geren-
ciar as referências, que inclui desde gerenciar informações e manter registros até decidir um mecanismo
de citação e referenciamento (Hart, 1998). Fink (2005, p. 40) recomenda o uso de ferramentas eletrôni-
cas, como o software de gerenciamento de referência, para criar um “gabinete de arquivamento virtual”,
enquanto Ridley (2012) recomenda manter registros contínuos não apenas na informação de referência
de cada artigo, mas também na data de acesso, palavras-chave que levaram à recuperação e notas so-
bre qualquer outra informação pertinente. Em termos de pacotes de software bibliográfico, ela fornece
um breve tutorial sobre o EndNote (http://www.endnote.com) como uma biblioteca de referências que
permite ao usuário salvar pesquisas, importar referências, digitar manualmente dados e acessar todas
as informações de qualquer computador. Uma fonte equivalente aberta e gratuita, com funcionalidades
similares, é o Zotero (http://www.zotero.org). Levy e Ellis (2006) dão orientações sobre a organização de
sistemas de gerenciamento de referências eletrônicos ou em papel. Independentemente do sistema utili-
zado, o importante é ter um meio sistemático para registrar e armazenar referências e resumos, anotá-los
e até mesmo armazenar e organizar versões eletrônicas de artigos.
5.1 Guias e Exemplos de Busca da Bibliografia
Embora todos os guias que revisei mencionem algo sobre busca da literatura, os mais detalhados e
úteis que encontrei são capítulos de livros dedicados a esse tópico. Petticrew e Roberts (2006) respondem
a várias questões práticas, incluindo regras sobre parar a busca, quantos bancos de dados devem ser con-
sultados e quando procurar “à mão”. Oferecem também um exemplo de suas recomendações em ação
e discutem uma pesquisa bibliográfica abrangente sobre experiências de redução de criminalidade. Fink
(2005) e Ridley (2012) delineiam vários tipos de fontes de bancos de dados e fornecem guias sobre regras
de pesquisa, incluindo tutoriais breves sobre estratégias de pesquisa booleanas. Além desses livros, Levy
e Ellis (2006) fornecem guias específicos de pesquisa em SI, que incluem a identificação de bases de dados
de literatura pertinentes aos pesquisadores em SI. Para gerenciamento de referências, algumas fontes
com orientação prática são Ridley (2012) e Levy e Ellis (2006).
Entre os exemplos que estudei, vários se destacam em demonstrar como conduzir e relatar uma seção
de pesquisa bibliográfica em uma revisão. Alavi e Carlson (1992), Leidner e Kayworth (1992) e Petty et al.
(1984) explicitam muito detalhadamente as revistas que pesquisaram e justificam por que as escolheram.
Detalham também claramente suas palavras-chave e os limites de suas pesquisas.
6. Extraia os Dados
A extração de dados representa um passo crucial no procedimento da revisão sistemática. Nesta etapa,
após a obtenção de uma lista de artigos da pesquisa bibliográfica, os revisores tomam informações siste-
máticas de cada artigo para servir como matéria-prima para a etapa de síntese. O tipo de dado a extrair é
baseado na questão de pesquisa estabelecida durante a fase de protocolo. Recomendo que os revisores
utilizem um formulário de extração de dados que inclua espaços para armazenar os detalhes exigidos
pela questão de pesquisa e uma seção de comentários gerais. Os revisores combinam a informação des-
se formulário com as informações coletadas da seleção prática e da avaliação de qualidade subsequente
como um registro completo para cada estudo, para sintetizá-lo no passo de síntese (etapa 8).
6.1 Guias e Exemplos de Extração de Dados
A maioria dos 23 estudos que revisei não discute a extração de dados e, portanto, tomam como dado que
ocorreu. No entanto, existem algumas exceções notáveis a essa tendência. Em primeiro lugar, Kitchenham
e Charters (2007) dedicam uma seção inteira de seu artigo a esta etapa, apresentando o formulário de

extração de dados usado na revisão sistemática de Maxwell (2006) como exemplo. Esse formulário de
coleta de dados incluiu informações sobre modelos de empresas cruzadas, modelos dentro da empresa,
as medidas utilizadas para determinar a significância estatística, medidas para a precisão da predição,
medidas utilizadas para comparar os resultados e os resultados dos testes. Kitchenham e Charters (2007)
cobrem os procedimentos de extração de dados, o que fazer com múltiplas publicações dos mesmos da-
dos, como lidar com dados não publicados ou ausentes e comentam a manipulação de dados. Oferecem
também “lições aprendidas” reveladoras para ajudar os revisores a evitar certas armadilhas. Encontramos
um segundo tratamento, embora bastante superficial, com Petticrew e Roberts (2006), que oferecem um
exemplo de formulário de extração de dados (seu Apêndice 4) e discutem brevemente a confiabilidade da
avaliação crítica e extração de dados e os diferentes efeitos das intervenções.
Um terceiro tratamento notável da extração de dados é o guia de metodologia de Bandara et al. (2015).
Sua contribuição mais exclusiva e valiosa é a abordagem eletrônica baseada em ferramentas para codifi-
car e extrair dados das revisões de literatura. Sua abordagem é uma forma de análise de conteúdo quali-
tativo e é fortemente influenciada por técnicas de codificação da teoria fundamentada. Dos 23 estudos, o
deles é o único tratamento detalhado da extração de dados que se concentra em dados primários qualita-
tivos — os demais usam quase exclusivamente dados quantitativos. Finalmente, Okoli (2012) concentra-se
exclusivamente na extração dos elementos da teoria (ou seja, conceitos teóricos, relações, explicações e
condições–limite) dos estudos primários.
Seis dos exemplos de estudos mencionam explicitamente como extraíram dados. Alguns dedicam uma
seção completa de sua metodologia para retornar ao protocolo inicial e como o aplicaram na extração
de dados (Alavi & Carlson, 1992; Cotton & Tuttle, 1986; Dubé & Paré, 2003; Robey; Im & Wareham, 2008).
Piccoli e Ives (2005) e Leidner e Kayworth (1992) abordam brevemente como examinaram e codificaram
os trabalhos em seus estudos.
7. Avalie a Qualidade
A seleção prática exclui os artigos de uma revisão sem chegar a considerar sua qualidade, seja para
garantir que apenas os artigos relevantes sejam considerados ou, de forma mais pragmática, reduzir o
conjunto de artigos coletados para um número gerenciável. Uma vez que todos os artigos potencialmente
elegíveis tenham sido coletados, os revisores devem examiná-los mais de perto para avaliar sua qualida-
de. Nem todos os estudos primários são de igual qualidade. Portanto, os revisores precisam avaliar os
estudos de acordo com a medida em que atendam a vários padrões de qualidade.
Existem dois propósitos relacionados, ainda que distintos, para essa avaliação de qualidade: priorizar
artigos de acordo com sua qualidade e excluir aqueles considerados inúteis devido à baixa qualidade
metodológica. Embora pontuar artigos (classificar de acordo com critérios de qualidade) difira de selecio-
ná-los pela metodologia (eliminar artigos por deficiências de qualidade), as duas etapas estão obviamente
relacionadas. Assim, na prática, faz sentido que os revisores classifiquem a qualidade dos documentos
usando os mesmos critérios que usaram para selecioná-los pela metodologia. No entanto, a principal
diferença é que, uma vez que os revisores encontrem um artigo que não cumpre os padrões metodoló-
gicos mínimos, não precisam pontuá-lo posteriormente — eliminá-lo-iam imediatamente sem uma con-
sideração mais aprofundada. Como forma de cautela, excluir artigos que presumivelmente seriam de
baixa qualidade levou a sérios problemas nas revisões de literatura do passado (Rodgers & Hunter, 1994).
Nem todas as revisões de literatura precisam eliminar estudos com base na sua qualidade. Independen-
temente disso, os avaliadores precisam avaliar ou pontuar a qualidade dos trabalhos que permanecem
no estudo como base para a confiabilidade nos resultados finais. Embora eu certamente não defenda
manter documentos duvidosos, em caso de dúvida os revisores devem estar conscientes das implicações
de todas as suas escolhas e reportá-las explicitamente.

Geralmente, o processo de coleta de trabalhos primários já deu aos revisores uma ideia básica da
qualidade e do tipo de documentos disponíveis. Eles agora devem estabelecer critérios mais rigorosos
para determinar quais os artigos que devem considerar para a revisão de literatura. Como cada revisão
sistemática varia, não posso fornecer um guia definitivo para realizar a avaliação da qualidade ou mes-
mo especificar padrões mínimos de qualidade. Em vez disso, descrevo os vários critérios para avaliar
a qualidade dos trabalhos que diversos autores recomendam. Os revisores podem considerar essas
recomendações no desenvolvimento de seus padrões de avaliação de qualidade no protocolo de revisão
de literatura.
Para avaliar a qualidade dos documentos, os avaliadores devem desenvolver e distribuir entre si um
formulário padrão para avaliar cada artigo. Fink (2005) oferece um exemplo (neste caso, uma grade) que
transforma cada critério de qualidade em respostas sim ou não. Se um artigo não atende a um dos crité-
rios de qualidade predeterminados, os avaliadores encerram a avaliação e podem excluí-lo de uma avalia-
ção posterior. Se estiverem usando tal grade, os revisores também devem garantir que haja espaço para
escrever notas e comentários adicionais, tanto para os documentos incluídos como para os excluídos. Tal
como acontece com a seleção prática, recomendo que, ao invés de realmente excluir artigos, os autores
coloquem os documentos que não atendem aos padrões da seleção metodológica em uma subpasta se-
parada, categorizada pelo padrão de qualidade específico que não cumpriram. Como resultado, os avalia-
dores podem verificar seus julgamentos de triagem e testar a confiabilidade entre avaliadores. Depois de
esclarecer o protocolo, os avaliadores devem fazer um teste piloto do processo de avaliação para resolver
os problemas. Esse teste piloto envolve a aplicação da lista de verificação mencionada anteriormente para
vários documentos para determinar se o formato é adequado a eles ou se precisa ser revisado.
Talvez a diferença mais significativa entre as classes de métodos de avaliação de qualidade seja se os
estudos primários são quantitativos (ou seja, obtêm conhecimento por meio da medição de números) ou
qualitativos (ou seja, usam texto ou outros dados não numéricos como discussão e argumentação para
entender o fenômeno). Portanto, tratarei essas categorias de estudos separadamente.
7.1 Avaliação da Qualidade: Quantitativa
Trabalhos que avaliam a qualidade de estudos primários quantitativos empregaram quase universal-
mente o que é conhecido como “hierarquia de evidências” — um ranking de designs de pesquisa que orde-
na a generalização e a validade relativa de seus resultados. Os guias RSL que estudei fazem referência, de
uma forma ou de outra, à hierarquia de evidências. Por exemplo, Petticrew e Roberts (2006) apresentam
uma hierarquia de evidências típica que classifica os estudos da seguinte maneira (classificados dos me-
lhores para os piores):
1. Estudos que medem a eficácia com controles aleatórios.
2. Estudos que utilizam design quase experimental.
3. Estudos não controlados.
4. Estudos que avaliam relações etiológicas, como caso–controle e estudos de coorte prospectivos.
5. Estudos de coorte.
Para avaliar quantitativamente os trabalhos, Fink (2005) enfatiza que os revisores precisam julgar em
profundidade a metodologia de coleta de dados, as intervenções, a análise, os resultados e as conclusões
dos documentos. Ela recomenda que os revisores estabeleçam primeiro a confiabilidade do estudo. O
estudo exibe confiabilidade teste–reteste? Relata a confiabilidade inter ou intra-avaliadores, homogenei-
dade dos dados, equivalência ou formas alternativas de confiabilidade? Qual é o grau de validade de
conteúdo, solidez, critério, predição, oposição ou ideias do documento? Sempre que possível, os revisores

devem decidir se as intervenções ou programas aplicados em um documento específico são apropriados.

O artigo aplica métodos estatísticos aceitáveis? Em particular, emprega variáveis independentes e depen-
dentes confiáveis e válidas? Que tipos de escalas — categóricas, ordinais ou contínuas — o artigo usa (se
aplicável)? A análise estatística corresponde à natureza dessas escalas? Que tipo de nível de confiabilidade
os revisores julgam aceitáveis para qualificar um estudo para inclusão? Para a maioria dessas perguntas,
não existe resposta fixa ou difícil. Padrões aceitáveis para diferentes testes metodológicos às vezes variam
de área para área. Além disso, aqueles trabalhos em áreas de pesquisa mais recentes e emergentes po-
dem exigir padrões metodológicos mais brandos para incluí-los em uma revisão de literatura, a fim de não
excluir prematuramente os trabalhos em áreas que ainda não são bem compreendidas. Em última análise,
os revisores precisam estabelecer seus próprios critérios de inclusão e exclusão. Eu não enfatizo quais cri-
térios devem ser usados, mas que os revisores devem entender completamente seus critérios de inclusão
e torna-los explícitos para que outros pesquisadores possam reproduzir a revisão de literatura resultante.
A pesquisa em ciências da saúde é a que mais provavelmente estabelece seleções metodológicas ri-
gorosas — nesse campo, os pesquisadores frequentemente consideram estudos primários que não são
mais do que ensaios de controle aleatório como os de mais alta qualidade para RSL (Fink, 2005). No en-
tanto, estudos de ciências sociais, como os de SI, muitas vezes não tiveram o luxo de tratamentos idênti-
cos (medicamentos e outras intervenções de saúde) atribuídos a um número suficientemente grande de
pessoas para produzir poder estatístico suficiente (Kitchenham & Charters, 2007). Assim, não é surpreen-
dente que Petticrew e Roberts (2006), escrevendo sobre RSL em pesquisas de ciências sociais, defendam
um uso mais complacente da hierarquia de evidências. Ao contrário de Fink (2005), eles não defendem
o caminho de sim ou não para a inclusão de estudos com base em sua metodologia. Recomendam ge-
ralmente classificar os estudos com a consciência de suas diferenças de qualidade. Embora estejam em
desacordo que as revisões sistemáticas devam incluir apenas ensaios controlados aleatórios, advertem
contra a inclusão de artigos cujos contextos (decisão de implementação, integridade do tratamento, etc.)
não atinjam certo padrão. Recomendam também uma avaliação mais sofisticada dos artigos, que vá além
das informações encontradas na página impressa e avalie a influência subjetiva de seus autores. Sua dis-
cussão sobre o viés do autor e seus efeitos é particularmente esclarecedora.
Outros guias de RSL fora do domínio das ciências da saúde são semelhantes ao de Petticrew e Roberts
(2006) na avaliação da qualidade sem limitações metodológicas rigorosas. Kitchenham e Charters (2007)
argumentam que os revisores devem desenvolver instrumentos de qualidade que incorporem as predis-
posições subjetivas e os critérios objetivos que os pesquisadores estabeleceram. Em particular, os reviso-
res que desenvolvem os instrumentos devem considerar conscientemente o viés humano. Eles fornecem
dois exemplos de listas de verificação de qualidade, mas advertem que a avaliação da qualidade tem suas
limitações. Rousseau et al. (2008) identificam seis categorias gerais de critérios de avaliação de qualidade:
validade de construção, validade interna, tamanho do efeito, generalização, conformidade de intervenção
e contextualização.
7.2 Avaliação da Qualidade: Qualitativa
Fink (2005) não faz distinção entre a definição de padrões de qualidade para estudos quantitativos e
qualitativos: afirma que um critério poderia ser usado para ambas as categorias. Em extremo contraste,
Petticrew e Roberts (2006) questionam se revisões sistemáticas são mesmo possíveis com trabalho qua-
litativo ou se o uso de um procedimento sistemático inviabiliza nossa capacidade de analisar trabalhos
qualitativos. Eles se preocupam com o efeito nocivo das generalizações e das listas de verificação. Diferen-
temente, Rousseau et al. (2008) assumem uma abordagem intermediária: enquanto aplicam os mesmos
seis critérios gerais que utilizaram para estudos quantitativos, observam cuidadosamente as diferenças
na aplicação desses critérios a estudos qualitativos.

Acredito que o trabalho qualitativo se presta, tanto quanto o trabalho quantitativo, à rigorosa metodo-
logia empírica das revisões sistemáticas. Somente por meio dessa estrutura os revisores podem atender
aos quatro mandamentos de explicitude, abrangência, sistematicidade e reprodutibilidade. Como Fink
(2005) e Rousseau et al. (2008), acredito que os avaliadores podem e devem avaliar artigos qualitativos,
mas, ao contrário de Fink, acredito que esses estudos exigem um conjunto diferente de procedimentos.
Klein e Myers (1999) fornecem um guia detalhado para condução e avaliação de estudos interpretati-
vos e etnográficos em sistemas de informação. Além disso, Myers (2008) fornece um guia que abrange
algumas das principais categorias de pesquisa qualitativa: pesquisa-ação, estudos de caso, etnografia e
teoria fundamentada. Para cada tipo de estudo, inclui guias específicos para avaliar sua qualidade. Myers
escreve geralmente para pesquisadores em negócios e gestão, mas sua base em sistemas de informação
assegura a aplicabilidade de suas avaliações para a pesquisa em SI.
De maneira mais geral, existem guias de revisão de literatura para avaliar estudos primários qualitati-
vos. Embora Hart (1998) e Ridley (2012) planejem seus guias para revisões de literatura de teses de dou-
torado, suas seções de avaliação de qualidade para estudos qualitativos são também úteis para revisões
autônomas. Analisar o mérito qualitativo de um artigo é o primeiro passo necessário quando se ultrapas-
sa sua estrutura básica de design e se dissecam seus argumentos lógicos. Essa classificação qualitativa é
“a diferença entre leitura crítica e escrita crítica” (Ridley, 2012, p. 141). Hart (1998) destaca a importância
de analisar os argumentos dos artigos. Os revisores devem identificar se a argumentação de um artigo é
baseada em inferência, asserção ou suposição. Ou seja, como os autores construíram o argumento? Para
trabalhos teóricos que dependem exclusivamente de teoria ou da construção de modelos sem um com-
ponente empírico, é preciso descobrir se estão baseados em raciocínio dedutivo ou indutivo. Usando o
método de leitura crítica de Alec Fisher (que utiliza palavras estruturais como “assim” e preposições para
entender a lógica de uma peça — Hart, 1998, p. 393) e o método de análise de argumentação de Stephen
Toulimin (um dispositivo de mapeamento que quebra os argumentos em seus elementos básicos e cons-
trói suas inter-relações — Hart, 1998, p. 188), todo artigo deve ser analisado considerando quatro itens:
que alegações faz, quais provas fornece para apoiar essas alegações, se a evidência é garantida e como
fundamenta a evidência. Argumentos falaciosos nesse quesito podem levar a uma diminuição considerá-
vel no índice de qualidade de um artigo. A discussão de Hart sobre a análise da argumentação é extensa,
mas Levy e Ellis (2006) resumem de forma concisa e completa sua discussão.
7.3 Guias e Exemplos de Avaliação da Qualidade
A maioria dos guias sobre avaliação de qualidade para estudos primários em revisões de literatura
restringe seu foco a estudos quantitativos ou a estudos qualitativos, mas não a ambos. Uma exceção é a
classificação de Okoli (2012) de guias de avaliação de qualidade. Embora ele próprio não explique como
avaliar estudos, distingue claramente os diferentes critérios de avaliação necessários para estudos quan-
titativos, qualitativos e conceituais e fornece referências a artigos e livros que dão instruções de avaliação
detalhadas para cada um.
Para avaliar a qualidade dos estudos primários quantitativos, Fink (2005) apresenta os rigorosos pa-
drões utilizados na pesquisa em ciências da saúde, em que a qualidade da pesquisa é literalmente uma
questão de vida ou morte. Independentemente de os revisores optarem por excluir estudos com base
na hierarquia de evidências apresentada nessa área, os princípios de avaliação da qualidade são úteis.
Petticrew e Roberts (2006) também apresentam uma hierarquia de evidências de pesquisa, mas mais
adaptada à pesquisa em ciências sociais. Sua Tabela 5.1 é uma visão geral bem definida da avaliação da
qualidade e uma seção que discute o uso de ferramentas, escalas e listas de verificação no processo de
revisão. Em detalhes, sua revisão aborda os critérios de avaliação da qualidade em ensaios controlados
aleatórios, estudos observacionais, estudos de caso controle, estudos de séries temporais interrompidas

e pesquisas transversais. Kitchenham e Charters (2007) apresentam hierarquias valiosas de evidências

reunidas a partir de outros guias de RSL.
Para estudos primários qualitativos, os pesquisadores de SI têm a sorte de ter os estudos nativos de
Klein e Myers (1999) e Myers (2008). Embora sejam aplicáveis a muitos campos da administração e das
ciências sociais, suas avaliações levam em consideração as particularidades da pesquisa em SI. Mais
geralmente, Hart (1998) adota uma abordagem mais filosófica para avaliar a qualidade dos trabalhos,
enfatizando que os revisores analisem os argumentos críticos dos estudos.
Apenas cinco dos exemplos que revisei direcionam a avaliação da qualidade. Dubé e Paré (2003) e
Joseph et al. (1996) descrevem minuciosamente o que constitui qualidade e por que excluíram determina-
dos artigos. Robey et al. (2008) explicam como limitaram os 53 artigos da seleção prática a 51, com base
na qualidade metodológica. Leidner e Kayworth (1992) afirmam que classificaram artigos com base na
metodologia, mas não indicam quantos deles foram, se foram, excluídos. Por fim, Petty et al. (1984) fazem
um comentário passageiro de que tentaram corrigir erros de medição.
8. Sintetize os Estudos
Quando os revisores tiverem buscado, selecionado e classificado os artigos para sua revisão, precisam,
em seguida, combiná-los para obter um sentido abrangente do seu número (muitas vezes grande). Nessa
fase, os revisores agregam, discutem, organizam e comparam. No final desse estágio, os revisores devem
ter uma síntese completa e polida de informações e devem poder escrever a revisão (etapa 8) de forma re-
lativamente direta. Tal como acontece com a avaliação da qualidade, os procedimentos envolvidos nessa
etapa dependem de se os estudos a serem sintetizados são quantitativos, qualitativos ou contêm ambos
os tipos de elementos. Considerando que apenas os estudos quantitativos podem ser analisados quanti-
tativamente, estudos quantitativos e qualitativos precisam ser analisados qualitativamente.
Rousseau et al. (2008) apresentam uma classificação de diferentes tipos de síntese de pesquisas com
base na natureza dos estudos primários e na abordagem filosófica para a análise desses estudos. Eles
chamam a síntese quantitativa e positivista de estudos primários quantitativos de “síntese por agregação”
— comumente chamada meta-análise. Chamam a síntese positivista de estudos primários de diferentes
naturezas (como qualitativa e quantitativa) de síntese por “integração” — comumente chamada de trian-
gulação. Suas duas outras categorias de síntese se aplicam a estudos primários qualitativos com base
em abordagens filosóficas diferentes para análise. Quando uma abordagem interpretativa é adotada,
eles a chamam de síntese por “interpretação”; com uma abordagem crítica realista, eles a chamam de
síntese por “explicação”. No meu tratamento aqui, embora eu considere as classificações de Rousseau
et al. (2008), considero abordagens de síntese com base nas naturezas quantitativas ou qualitativas dos
estudos primários e da revisão em si, em vez de na abordagem filosófica adotada para a síntese.
8.1 Sínteses Quantitativas de Estudos Quantitativos: Meta-análises
Uma síntese quantitativa de estudos revisados envolve considerar cada estudo como um caso que pos-
sui certas variáveis independentes que se supõe ter efeito ou não sobre determinada variável dependente
(Green & Hall, 1984). Quando cada um desses casos (estudos individuais) é analisado quantitativamente
para derivar um resultado combinado, essa síntese é chamada de meta-análise. Como a meta-análise en-
volve uma análise quantitativa com base nos mesmos critérios quantitativos que os estudos primários, só é
possível realizar uma meta-análise em estudos primários quantitativos — não faz sentido no contexto dos
estudos primários qualitativos. Está além do meu objetivo aqui explicar o procedimento para realizar uma
meta-análise (no entanto, eu me refiro a alguns guias úteis a seguir). Em vez disso, considero a meta-análise
como uma abordagem de síntese no contexto maior da realização de revisões sistemáticas de literatura.

Rousseau et al. (2008) chamam a meta-análise de “síntese por agregação”. Eles observam que uma
limitação chave dessa abordagem em ciências de gestão e organização é que estudos primários nessa
área raramente são homogêneos. O campo de sistemas de informação tem um problema semelhante,
diferentemente das ciências da saúde (o principal domínio em que a meta-análise é praticada), em que a
replicação de estudos é uma norma e necessidade científica, o que facilita a meta-análise. Em tais áreas,
a realização de meta-análise no contexto das revisões sistemáticas de literatura é considerada uma pes-
quisa da mais alta qualidade — de fato, as revisões sistemáticas de literatura meta-analíticas de estudos
controlados aleatórios são a crème de la crème da hierarquia de evidências. Sem discutir a exaltação de
uma abordagem de pesquisa particular muito acima de todas as outras, observo principalmente que,
em sistemas de informação e nas ciências sociais relacionadas, a falta de circunstâncias para ensaios de
controle aleatórios e outros estudos altamente replicáveis limita a disponibilidade de condições para se
realizarem meta-análises robustas. Assim, as RSL em campos de ciência não médica tendem a não exaltar
meta-análises em tão alto nível.
Rousseau et al. (2008) argumentam que não existe um consenso único sobre a melhor evidência a ser
incluída, e o viés do revisor pode se infiltrar nos estudos selecionados. Para sintetizar o conhecimento
completamente, eles argumentam que a interpretação certamente não precisa parar na meta-análise,
mas pode incluir outros modos de síntese. Da mesma forma, Petticrew e Roberts (2006) não acreditam
que a meta-análise seja o fim de tudo e toda a síntese, defendendo fortemente a triangulação — o que
Rousseau et al. (2008) chamam de “integração”. Eles começam sua seção sobre síntese quantitativa discu-
tindo a síntese narrativa, que inclui a tabulação dos estudos incluídos e a triagem explícita da qualidade
dos estudos. Podemos equiparar a forma como tratam a síntese quantitativa com a seção de síntese de
qualquer estudo experimental em que a primeira discussão dos dados analisados revê e descreve am-
plamente a amostra do estudo. Seu tratamento é semelhante ao de Kitchenham e Charters (2007), que
defendem o início da síntese com síntese narrativa (independentemente do tipo de artigo), seguido de
síntese quantitativa. Em seguida, deve-se sintetizar a melhor evidência como uma conclusão extraída da
“contagem de votos”; só depois viria a meta-análise. Mesmo assim, Petticrew e Roberts são cautelosos
sobre a meta-análise: começam com a questão de saber se funciona mesmo, criticam a técnica como
uma “máquina de salsicha” acadêmica (no sentido de que carne podre produz linguiça podre) e oferecem
ideias concretas para melhoria. No entanto, não denigrem a meta-análise, mas definem claramente seus
limites antes de descrever a abordagem detalhadamente.
8.2 Síntese Qualitativa de Estudos Quantitativos ou Qualitativos
Embora sistemas de informação fosse inicialmente uma área de pesquisa com análise primariamente
quantitativa, a pesquisa qualitativa estabeleceu a mesma consideração, ainda que sem a mesma frequên-
cia de aplicação. Citando William Bruce Cameron, “nem tudo que pode ser contado conta, e nem tudo que
conta pode ser contado” 4. Assim, a importância da síntese qualitativa está bem estabelecida não apenas
em sistemas de informação, mas também em outras ciências sociais.
Webster e Watson (2002) descrevem o estágio de síntese como transição do foco do autor para um
conceito central. Recomendam mapear todas as informações fornecidas para avaliar melhor os dados,
ajustá-los à teoria da revisão e estruturar essa revisão.
Rousseau et al. (2008) referem-se à análise de material qualitativo como síntese por interpretação e
síntese por explicação. Essas abordagens realistas interpretativas e críticas estão associadas a epistemo-
logias relativistas, como fenomenologia ou construção social. Os autores descrevem como usar a meta-
etnografia e desenvolver modelos teóricos de como, por que e para quem as intervenções funcionam.
Assim, pode-se obter uma síntese preliminar e explorar relações nos dados e entre eles. Um passo final é,
4 http://quoteinvestigator.com/2010/05/26/everything-counts-einstein/

então, avaliar a robustez do resultado sintetizado. Como na sua discussão sobre meta-análise, Rousseau
et al. (2008) demonstram que não há consenso sobre quais são as melhores evidências e que uma revisão
sistemática sempre será moldada pela interpretação subjetiva. O que a revisão sistemática oferece para
combater isso, no entanto, é uma descrição explícita do procedimento metodológico para permitir que
futuros pesquisadores repliquem ou modifiquem o processo.
Petticrew e Roberts (2006) oferecem um guia simples de três passos para tabular os estudos incluídos
em uma síntese narrativa. De particular interesse sua Tabela 6.1, que oferece um exemplo de síntese
descritiva. Eles defendem que os revisores descrevam primeiro a síntese intraestudo e, em seguida, usem
esses vários tópicos para começar uma descrição qualitativa da pesquisa de métodos mistos.
Para diretrizes sobre a análise qualitativa de uma revisão, Hart (1998) é particularmente útil. Ele afirma
que os revisores deveriam primeiro classificar qualitativamente todo o material. Então, depois de julgar se
cada artigo corresponde aos padrões relativos estabelecidos anteriormente, os revisores devem começar
a traçar relações (Alias; Zurinah; Reiska; Åhlberg & Novak, 2008) entre os artigos de acordo com padrões
como a tradição metodológica em que se enquadram ou suas particularidades características de design.
Com base na análise de cada artigo, os revisores devem considerar como podem ser sintetizados. Hart
oferece uma lista completa de tais dispositivos retóricos, como metáfora, tropos, sinédoque, ironia, meto-
nímia e assim por diante, de maneira que os revisores possam considerar quais dispositivos predominam
em um artigo. Muitas vezes, o estilo de um artigo oferece uma visão clara da voz de seu autor. A maneira
mais fácil de chegar ao processo final de escrita é criar um mapa visual das ideias e do leiaute da revisão.
As estratégias potencialmente úteis incluem mapas de recursos, construções de árvores, mapas de con-
teúdo, mapas taxonômicos e mapas conceituais (Wu & Weld, 2008). Hart (1998, p. 146-157) oferece repre-
sentações visuais apropriadas de cada formulário. Em trabalhos relacionados, Erduran, Simon e Osborne
(2004) são particularmente provocadores em seu estímulo à argumentação no pensamento científico.
8.3 Síntese Combinada de Estudos Quantitativos e Qualitativos
Uma terceira abordagem, mais rara para estudos de síntese, existe para sintetizar uma mistura de es-
tudos quantitativos e qualitativos. Geralmente referido como triangulação, muitos pesquisadores anun-
ciaram tais revisões, mas poucos o fizeram. Rousseau et al. (2008) recomendam abordar esses raros
artigos combinando síntese por integração e síntese por explicação. A síntese por integração envolve a
coleta e comparação de evidências de dois métodos de coleta e emprega tipicamente perguntas predeter-
minadas e critérios de seleção. A síntese por explicação centra-se na identificação de mecanismos causais
e na forma como operam, mesmo reconhecendo a hierarquia de evidências. Como nas seções anteriores,
os revisores devem reconhecer sua própria subjetividade em ambas as abordagens.
8.4 Guias e Exemplos de Sínteses
Dois artigos notáveis fornecem estruturas úteis para compreender a grande diversidade de abordagens
para a síntese de estudos em uma revisão de literatura. Rousseau et al. (2008) classificam as abordagens
em nível elevado, dependendo de os estudos primários serem quantitativos ou qualitativos e dependendo
da própria abordagem epistemológica dos revisores. Okoli (2012) classifica e descreve brevemente inú-
meras abordagens de síntese, dependendo de os estudos primários serem quantitativos ou qualitativos e
de sua metodologia de síntese ter sido quantitativa, qualitativa ou mista. Ambos os modelos efetivamente
incorporam abordagens quantitativas e qualitativas e avaliam os prós e os contras de cada uma.
Fink (2005) e Petticrew e Roberts (2006) fornecem apresentações claras para os revisores que pro-
curam realizar uma meta-análise, suficientes para que determinem se devem ou não adotar essa abor-
dagem. No entanto, para implementar a meta-análise, essas visões gerais são insuficientes. Para obter

detalhes sobre como realizar uma meta-análise, Borenstein et al. (2009) fornecem uma boa introdução
com recomendações do estado da arte. Rosenthal (1995), Rosenthal e DiMatteo (2001) e Rosenthal (1991)
também são trabalhos úteis e competentes sobre meta-análise. Para síntese qualitativa, Hart (1998) for-
nece orientação detalhada sobre uma variedade de abordagens e técnicas de síntese. No contexto de um
guia de metodologia de revisão de literatura completa para sistemas de informação, Levy e Ellis (2006)
fornecem técnicas para síntese qualitativa que incluem muitas dicas tiradas de Hart. Suas seções “dicas da
área” e “quando a revisão termina” podem ser particularmente úteis.
Alguns estudiosos desenvolveram metodologias de revisão de literatura especialmente adaptadas às

particularidades da pesquisa em SI, ainda que gerais o suficiente para serem amplamente aplicáveis. Os
três que mencionei aqui tentam cobrir todo o processo de revisão de literatura. No entanto, suas contri-
buições mais importantes estão nas novas abordagens de síntese que propõem. Primeiro, comentei ante-
riormente a metodologia de extração de dados de Bandara et al. (2015). Eles apresentam uma abordagem
de síntese correspondente, fortemente sustentada por ferramentas de software, com base em análise de
conteúdo adequada para dados primários qualitativos. Em seguida, Sylvester et al. (2011) argumentam
que nem sempre é viável, nem desejável, tentar adotar um ponto de vista neutro na diversidade de litera-
tura e tentar forçar uma história comum para explicar tudo. Em vez disso, defendem e demonstram, com
um exemplo detalhado, uma abordagem historiográfica de síntese de pesquisa que identifica e destaca
vários pontos de vista conflitantes para apresentar várias histórias e uma perspectiva de múltiplas lentes
rica e diversificada em um fenômeno de interesse. Finalmente, Wolfswinkel et al. (2011) elaboram uma
abordagem de teoria fundamentada para sintetizar a literatura empregando codificação aberta, codifica-
ção axial e codificação seletiva para desvendar conceitos teóricos que os avaliadores podem extrair de um
corpo de literatura e desenvolver indutivamente uma nova teoria que possa efetivamente explicar esse
corpo de literatura. Embora a codificação de dados normalmente seja considerada um procedimento no
estágio de extração de dados, a codificação da teoria fundamentada é multinível e pesadamente iterativa,
de tal forma que se poderia considerar que a extração de dados é subsumida na fase de síntese.
Seis dos exemplos que consultei explicam suas abordagens de síntese. Marakas et al. (1998) e Dubé e
Paré (2003) são particularmente minuciosos nas suas descrições e detalham especificamente o procedi-
mento de extração de dados que utilizaram para as diferentes metodologias de estudo que encontraram.
Robey et al. (2008) são menos específicos, mas mencionam que acessaram os fundamentos teóricos de
cada estudo de acordo com revisões de literatura anteriores. Além desses, os estudos que seguiram uma
abordagem de síntese padronizada, notavelmente meta-análise (Alavi & Joachimsthaler, 1992; Cotton &
Tuttle, 1986; Joseph; Ng; Koh & Ang, 2007; Petty; McGee & Cavender, 1984) e metatriangulação (Jasperson
et al., 2002), dizem isso explicitamente.
9. Escreva a Revisão
O passo final do desenvolvimento de uma revisão de literatura de pesquisas é relatar os resultados e
efetivamente escrever a revisão. Embora já esteja claro como esse processo pode ser intenso em relação
a tempo e energia, assumindo que todas as etapas anteriores foram seguidas de forma ordenada, pode
ser realizado sistemática e confortavelmente (Kitchenham et al., 2009).
Como enfatizo na Seção 1, uma revisão sistemática rigorosa tem dois aspectos importantes: docu-
menta claramente os passos seguidos e traz uma valiosa contribuição acadêmica. Neste artigo, meu foco
está explicitamente no primeiro aspecto — o rigor do processo. Embora o segundo aspecto seja extrema-
mente importante, está além do meu alcance aqui. No entanto, Okoli (2012) o aborda em detalhes e se
concentra particularmente em como fazer uma contribuição teórica usando uma revisão sistemática. Na
Seção 9.1 eu destaco alguns artigos e livros que fornecem orientação mais detalhada sobre a criação de
valor acadêmico ao escrever uma revisão de literatura.

Ao relatar suas descobertas, os revisores devem documentar o processo de revisão de literatura com
detalhes suficientes, de modo que outros pesquisadores possam reproduzir todo o procedimento, no
sentido científico. Ou seja, outros pesquisadores que desejem replicar os resultados da revisão devem ser
capazes de seguir os passos descritos e chegar aos mesmos resultados. Além de simplesmente relatar os
procedimentos, a revisão de literatura deve concluir destacando quaisquer novas descobertas. A literatu-
ra apoia determinada teoria existente ou os revisores estabeleceram um novo modelo que se baseia na
teoria existente e contribui para futuras pesquisas? Em particular, os revisores devem destacar resultados
inesperados. Muitas revisões de literatura são mal conceituadas e escritas (Boote & Beile, 2005). Embora
o revisor médio possa não ter muita afinidade com este passo final, é necessário tanto esforço quanto nos
outros. Sem uma descrição clara e inteligível das descobertas, as chances de a revisão ser amplamente
disseminada diminuem. Tal como acontece com qualquer outra pesquisa, seria uma pena que os resulta-
dos não recebessem a atenção que merecem por causa de uma apresentação pobre.
Está além do meu escopo aqui fornecer um guia geral para escrever um artigo, mas existem várias fontes
que abordam questões de escrita que são particularmente pertinentes para escrever uma revisão de lite-
ratura. Ridley (2012) e Hart (1998) dedicam vários capítulos a muitas questões de escrita, especialmente as
revisões de literatura, como princípios de pré-escrita, como ser crítico, alegações com apoio de evidências,
como manter a legitimidade, o uso de verbos, a voz com que se deve escrever e muitas outras questões per-
tinentes. Outros recursos úteis ajudam os autores a escrever de uma maneira que priorize o público–alvo
(Donovan, 2007; Keen, 2007), apresentar a revisão considerando suas expectativas para cada seção (Ma-
xwell, 2006), garantir a estrutura e a consistência do texto (Hartley; Pennebaker & Fox, 2003) e estabelecer
uma voz definitiva para a revisão, especialmente no caso de múltiplos colaboradores (Allen et al., 1987).
Webster e Watson (2002) oferecem orientação geral sobre a fase escrita do desenvolvimento de uma
revisão de literatura, incluindo identificar o tópico, definir termos, esclarecer o escopo do estudo e escre-
ver a discussão e as conclusões. Oferecem também orientação útil sobre tempo verbal e o tom a adotar
na escrita.
9.1 Guias e Exemplos para Escrever uma Revisão de Literatura
Kitchenham e Charters (2007) oferecem um modelo claro de estrutura da revisão sistemática de litera-
tura e indicam o que deve ser relatado. Para obter dicas de estilo de escrita particulares para as revisões
de literatura, Bem (1995) e Webster e Watson (2002) fornecem orientação prática. Hart (1998) e Ridley
(2012) também apresentam longos tratamentos de críticas escritas, mas seus guias são direcionados para
revisões de literatura em teses de pós-graduação. Quanto ao rigor das revisões de literatura, Vom Brocke
et al. (2009) exigem explicitação na documentação dos detalhes metodológicos de um artigo de revisão.
Eles argumentam que não é suficiente apenas ser rigoroso de modo invisível, mas que qualquer rigor
em uma revisão deve ser declarado na documentação publicada. Como mencionei anteriormente, Okoli
(2012) se concentra especificamente em como elaborar e demonstrar uma contribuição teórica em uma
revisão sistemática.
Claro, o melhor guia sobre como relatar uma revisão de literatura é uma revisão publicada. Embora
nenhum dos 23 exemplos que analisei indique especificamente como se envolveram na fase escrita, po-
demos assumir que o fizeram, já que escrever é um passo implícito em qualquer publicação. Entre os 23
trabalhos, as redações abordam uma variedade de formas e indicam que não existe um único procedi-
mento aceitável para descrever os achados. Marakas et al. (1998) usam tabelas para classificar estudos e
explicam claramente todas as variáveis identificadas. Winter e Taylor (2002) classificam os artigos revistos
em ordem cronológica. Venkatesh et al. (2007) apresentam suas expectativas para desenvolvimentos fu-
turos em torno de uma discussão histórica do processo de pesquisa de adoção de tecnologia ao longo
das duas décadas anteriores. Piccoli e Ives (2005) inicialmente explicam as três principais contribuições
do seu modelo teórico e em seguida organizam a revisão de literatura em torno desse modelo. Wade e

Hulland (2004) indicam os três objetivos de pesquisa de suas revisões e em seguida respondem às res-
pectivas perguntas. Melville et al. (2004) constroem sua revisão em torno de um conjunto de proposições
e questões de pesquisa. Da mesma forma, Leidner e Kayworth (1992) propõem seis temas em torno dos
quais organizar artigos e construir proposições. Jasperson et al. (2001) discutem largamente a metatrian-
gulação. Joseph et al. (2007) começam com uma revisão narrativa, deslocam-se para uma meta-análise e,
finalmente, testam um modelo proposto. Cotton e Tuttle (1986) limitam-se a apresentar resultados quan-
titativos de sua meta-análise. Outros autores, no entanto, apresentam sua discussão por meio de uma
série de assuntos e rubricas, mas sem um modelo claro que descreva a estrutura do seu escrito.
10.Reflexões sobre a Possibilidade de Publicação de Revisões

Sistemáticas de Literatura
Neste guia, descrevo uma abordagem muito mais rigorosa para realizar revisões de literatura do que
aquela com que a maioria dos pesquisadores está familiarizada. Os que já publicaram revisões de litera-
tura (seja para suas teses ou como uma publicação independente) podem se perguntar se a abordagem
sistemática que defendo vale todas as dificuldades. Certamente acredito que sim. Embora essa aborda-
gem exija mais trabalho do que normalmente é gasto na redação de uma revisão de literatura, porque
apresento um guia passo a passo detalhado, isso não implica quantidade excessiva de trabalho extra. De
fato, as diretrizes detalhadas ajudam os pesquisadores a não perder tempo perguntando o que fazer ou
se já fizeram o suficiente. A recompensa desse esforço extra é dupla: em primeiro lugar, o pesquisador
pode facilmente produzir um trabalho de alta qualidade que seja mais valioso para pesquisas posteriores
suas ou de outros; além disso, o pesquisador pode esperar que seu trabalho resulte em publicações de
alta qualidade com benefícios diretos para sua carreira. Nesta seção, comento os possíveis canais de pu-
blicação resultantes da adoção de uma abordagem tão sistemática.
Uma recompensa para a realização de uma RSL, além daquela intrínseca, de produzir um trabalho de
pesquisa verdadeiramente valioso, é que as revisões de literatura bem executadas em áreas de interesse
emergentes ou perenes geralmente produzem muito mais citações do que a maioria dos estudos primá-
rios, porque autores de estudos primários na área do tópico tendem a se referir aos mesmos estudos de
base. Uma revisão de literatura bem executada faz muito do trabalho para eles e analisa estudos primá-
rios de maneira a ajudar outros pesquisadores a focar e enquadrar seu próprio trabalho. Os benefícios
de muitas citações incluem promoção e prazer pessoal, prêmios de pesquisa e bolsas e outros benefícios
profissionais relacionados.
10.1 Publicar o Protocolo
Criar um protocolo de revisão de literatura antes de realizar a revisão é um elemento que os revisores
raramente praticam e, portanto, pode parecer particularmente oneroso. No entanto, argumentei que
essa prática melhora consideravelmente a qualidade geral de uma revisão porque obriga os revisores
a elaborar o plano de antemão e, portanto, a pensar explicitamente no processo antes de começar. Um
protocolo de revisão é ideal para ser apresentado em uma conferência. Na verdade, o principal motivo
para a apresentação de um protocolo de revisão em uma conferência é obter validação externa por parte
dos avaliadores da submissão e, com sorte, obter feedback útil do público. Essa ajuda externa pode ser útil
para refinar o design da revisão. Além disso, dá aos revisores uma publicação antes mesmo de a revisão
começar, o que dificilmente pode ser considerado um desperdício de tempo.
Os estudantes de doutorado, além de obter uma publicação inicial em conferência antes da formatura,
podem empregar o protocolo diretamente na proposta de tese como parte de sua seção de metodologia.
No entanto, quando os estudantes de doutorado conduzem toda a sua tese com a metodologia de RSL,
acumulam benefícios significativos (ver Seção 10.2).

10.2 Revisão Sistemática de Literatura como Parte de Teses de Doutorado
Embora as revisões de literatura de dissertações e teses (especialmente para teses de doutorado) de-
vam manter altos padrões de rigor, normalmente não mantêm os mesmos padrões das revisões autôno-
mas. O primeiro motivo para isso é o mesmo que para as análises de fundamentação teórica: a revisão
de literatura não é o foco principal do estudo. Se o aluno está para se formar, o orientador deve deixá-lo
“chegar às coisas boas”, ou seja, prosseguir na coleta e análise de dados para um estudo primário. A
segunda razão para os baixos padrões está relacionada ao primeiro: as teses não possuem os mesmos
padrões que os artigos acadêmicos em periódicos de maior qualidade produzidos por pesquisadores
muitos anos depois de seus doutorados. No caso das dissertações de mestrado em particular, a maioria
dos orientadores consideraria uma revisão rigorosa da literatura, como proposta aqui, excessivamente
onerosa para o aluno (A exceção notável é quando a análise da dissertação é uma meta-análise; em tal
caso, seria esperada a rigorosa metodologia RSL. No entanto, muitos orientadores preferem claramente
que os alunos demonstrem sua capacidade de realizar um estudo primário). Do mesmo modo, orienta-
dores de doutorado e membros da banca raramente levariam seus alunos a um padrão mais alto do que
aquele realizado pelos avaliadores dos principais periódicos.
No entanto, embora eu compreenda essas considerações pragmáticas, ofereço um argumento obje-

tivo para que estudantes de doutorado usem os padrões de uma revisão de literatura independente na
revisão de literatura de suas teses: do ponto de vista da carreira do aluno, a tese de doutorado tem dois
propósitos. Primeiro, a melhor tese é uma tese concluída — seu principal objetivo é obter um doutorado.
O conselho comum, embora controverso, é que a melhor estratégia para uma tese de doutorado é fazer
o mínimo necessário para obtê-la rapidamente e, em seguida, com um título e uma posição docente ou
um pós-doutorado na mão, começar a trabalhar em obras-primas acadêmicas. Esse conselho tenderia a
retirar a ênfase de uma revisão de literatura altamente rigorosa. Paradoxalmente, o segundo objetivo de
uma tese é gerar uma ou mais publicações rápidas após sua conclusão. Uma tese minimalista resultaria
em publicações minimalistas. Assim, este segundo propósito equilibra o primeiro, o que motiva o aluno
a se dedicar a uma maior qualidade do que o que sua banca poderia lhe exigir (Claro, os alunos que pre-
tendem trabalhar em uma indústria em que as publicações de pesquisa não são altamente valorizadas
normalmente visam o mínimo necessário para publicar as letras “Dr.” antes do seu nome, com pouco
incentivo extrínseco para se empenhar para maior qualidade na tese).
Seguir um procedimento conforme descrito aqui para uma revisão de literatura pode ajudar um aluno
de doutorado a atingir os dois fins. Embora os padrões para uma revisão de literatura de doutorado não
sejam normalmente tão rigorosos como apresentados aqui, as revisões de literatura de teses normalmen-
te são significativamente mais longas e abrangentes do que os fundamentos teóricos padrão para artigos
de periódicos. As revisões de literatura de tese normalmente devem demonstrar amplo conhecimento da
literatura relacionada e compreensão completa da teoria que está subjacente ao tema. No entanto, Boote
e Beile (2005) lamentam os baixos padrões das revisões de literatura de doutorado, que atribuem à baixa
prioridade atribuída a esse aspecto do treinamento no doutorado. Embora falem sobre teses de doutora-
do no campo da educação, seus argumentos são amplamente aplicáveis a muitos campos. Sem um guia
sistemático, muitos estudantes de doutorado tropeçam ao fazer uma revisão de literatura de qualidade.
Por esse motivo, vários livros se dedicam a essa seção de uma tese (Hart, 1998; Ridley, 2012). Embora
úteis, esses guias geralmente conduzem a revisões de literatura de teses que eventualmente serão corta-
das em pedaços para se tornar o arcabouço teórico de uma eventual submissão.
Na minha opinião, existe uma quantidade incrível de desperdícios de pesquisa no setor acadêmico, que
resultam da maneira ineficiente com que os estudantes de doutorado tipicamente conduzem revisões de
literatura para doutorado. Milhares de estudantes de doutorado gastam centenas de horas todos os anos
em suas revisões de literatura de teses. A maior parte desse tempo é gasta tropeçando sem rumo, porque
a maioria dos alunos não sabe o que está fazendo e a maioria dos orientadores não tem um modelo para

orientá-los sobre como proceder de forma sistemática. Assim, suas centenas de horas resultam, ineficaz-
mente, em revisões de literatura de talvez 40 a 80 páginas na sua forma final. No entanto, poucas dessas
revisões de literatura são realizadas com rigor suficiente para serem publicadas como revisões de litera-
tura autônomas. Assim, quando chega o tempo de publicação, essas revisões de literatura geralmente são
reduzidas para não mais que duas a cinco páginas de um artigo de periódico. Assim, a falta de um sistema
resulta em consideráveis desperdícios acadêmicos.
A metodologia que apresento aqui ajudaria o estudante de doutorado a estruturar sua revisão de
literatura de forma suficientemente rigorosa para satisfazer as demandas de uma proposta de tese e,
ao mesmo tempo, ser suficientemente rigorosa e estruturada para ser publicada como uma revisão au-
tônoma, distinta da principal questão de pesquisa do artigo. Por um lado, a adoção de uma abordagem
rigorosa pode exigir mais trabalho do que normalmente é exigido na criação de uma revisão de literatura
de tese, especialmente nas etapas de planejamento e coleta de artigos. Por outro lado, dando aos alunos
um sistema detalhado, eles podem realmente gastar muito menos tempo se debatendo, e todo o tempo
que gastaram seria muito mais eficiente e efetivo. Assim, o aluno poderia obter benefícios significativos
para produzir uma tese de alta qualidade e, ao mesmo tempo, produzir um artigo pronto para submissão
a uma revista antes que o resto da tese seja concluída.
Alguns programas de doutorado exigem que os alunos escrevam um trabalho de síntese, que geral-
mente é uma revisão geral da literatura que cobre a teoria e a metodologia em sua área de interesse geral.
O valor dessa abordagem é que os alunos são orientados para uma questão de pesquisa específica e uma
metodologia de pesquisa específica para sua tese. Tão logo conheçam sua área de interesse, essa síntese
os expõe ao que já foi realizado na área de pesquisa (e o que não foi) e os métodos que foram utilizados
para realizar pesquisas nessa área (e métodos potencialmente frutíferos que ainda não foram empre-
gados). A metodologia RSL é novamente útil na realização de tal estudo. Especificamente, o que está
envolvido aqui é o que Kitchenham e Charters (2007) descrevem como um “mapeamento sistemático” ou
“estudo de escopo”. A metodologia é a mesma da RSL. A diferença é que, ao invés de agregar as respostas
dos estudos primários a uma questão de pesquisa comum, um mapeamento sistemático coleta e classi-
fica estudos que tratam de um assunto de interesse, geralmente com diferentes questões de pesquisa.
A metodologia RSL dá foco e direção para a preparação para um exame de síntese e, da mesma forma,
resulta em um estudo publicável de um exercício que muitas vezes é um empreendimento descartável.
Revisão Sistemática de Literatura Autônoma como Iniciação para um

10.3
Programa de Pesquisa
Na realização de um programa de pesquisa que envolva mais do que apenas um estudo, primeiro se
deve estar ciente de quais estudos foram realizados nessa área ou em áreas relacionadas. Para isso, é
útil que o estudo inicial no programa seja um estudo de escopo que mapeie as diversas áreas e questões
envolvidas no programa. Esse estudo é semelhante ao descrito na seção 10.2 para um exame de sínte-
se de doutorado. Muitas revisões de literatura autônomas são dessa natureza: ao invés de investigar a
resposta ligada a uma questão de pesquisa específica, classificam e comparam estudos que tratam o
mesmo assunto geral de interesse. O valor desse estudo inicial é que ajuda a mapear as áreas que fo-
ram bem trabalhadas e as que não possuem cobertura. As áreas bem trabalhadas, se esmagadoramente
conclusivas, talvez não precisem de mais pesquisas. No entanto, se os resultados forem contraditórios
ou inconclusivos, apesar da presença de vários estudos primários empíricos, uma revisão sistemática e
formal sistemática de literatura pode ser requerida. Por outro lado, se houver falta de estudos em uma
área, o estudo de escopo destacaria essa escassez e orientaria os pesquisadores na concepção de estudos
primários que preenchessem as lacunas identificadas.
Essa estratégia é ideal para desenvolver propostas para solicitar fomento de pesquisa. A maioria dos prin-
cipais órgãos governamentais de financiamento procuram financiar não estudos de pesquisa individuais,

mas sim programas de pesquisa mais amplos. Um estudo de escopo inicial como descrevo aqui poderia
ser usado para desenvolver a revisão de literatura do pedido de subsídio, identificar questões importan-
tes não respondidas na área do tópico e propor estudos e questões de pesquisa específicos para maior
compreensão do fenômeno de interesse.
11. Conclusão
Neste artigo, apresento um guia detalhado para o desenvolvimento de uma revisão sistemática de
literatura. Delineio os passos para assegurar uma revisão rigorosa — que resuma e discuta de forma
abrangente a literatura existente sobre uma questão de pesquisa de interesse. Enfatizo a necessidade de
tal revisão ser explícita ao descrever os procedimentos seguidos, na medida em que pesquisadores inde-
pendentes que realizem o mesmo processo de revisão possam reproduzir os resultados.
Este guia apresenta uma abordagem passo a passo para a realização da rigorosa metodologia científica
de uma revisão sistemática de literatura. Embora seja escrito de forma geral o suficiente para ser aplicável
a uma ampla gama de campos, tem um foco específico em sistemas de informação: incorpora guias RSL
de campos relacionados — ciências sociais, gerenciamento e engenharia de software; abrange a síntese
de estudos primários quantitativos e qualitativos; e usa exemplos de revisões de literatura de sistemas
de informação como ilustração. Além disso, para cada etapa do processo, fornece referências a recursos
úteis que dão mais detalhes sobre a realização de cada etapa da RSL.
Embora a reprodutibilidade seja uma marca importante de um estudo rigoroso, o valor de um estudo
depende principalmente de ser abrangente na incorporação de toda a literatura relevante. Para garantir
isso, a seleção prática deve ter cuidado para não excluir injustificadamente estudos que possam ser signi-
ficativos para o conhecimento geral sobre o assunto. Além disso, a busca da bibliografia deve ser comple-
ta e de grande alcance, para não deixar de incluir estudos potencialmente importantes.
Embora eu descreva cada passo em detalhes razoáveis, é impossível incluir todos os detalhes neces-
sários para criar uma revisão de literatura em um único artigo. Os estudos citados abordam mais deta-
lhadamente os procedimentos, as considerações e as avaliações específicos que devem ser realizados ao
longo de cada etapa. Espero que, em conjunto com essas fontes adicionais, este guia possa servir à sua
finalidade de ajudar a desenvolver revisões de literatura rigorosas e valiosas.
Agradecimentos (do autor)

Agradeço a Kira Schabram por sua inestimável ajuda na preparação de uma versão anterior deste tra-
balho, um working paper (Okoli & Schabram, 2010). Este estudo foi financiado pelo Social Sciences and
Humanities Research Council of Canada.
Referências Bibliográficas
ALAVI, M. & CARLSON, P. A review of MIS research and disciplinary development. Journal of Management
Information Systems, v. 8(4), p. 45-62, 1992.
ALAVI, M. & JOACHIMSTHALER, E. A. Revisiting DSS implementation research: a meta-analysis of the

literature and suggestions for researchers. MIS Quarterly, v. 16(1), p. 95-116, 1992.
ALAVI, M. & LEIDNER, D. E. Review: knowledge management and knowledge management systems:
conceptual foundations and research issues. MIS Quarterly, v. 25(1), p. 107-136, 2001.

ALIAS, M.; ZURINAH, C.; REISKA, A. J.; ÅHLBERG, M. & NOVAK, J. D. (2008). Concept mapping: A tool for
creating a literature review. Proceedings of the 3rd International Conference on Concept Mapping.
2008.
ALLEN, N.; ATKINSON, D.; MORGAN, M.; MOORE, T. & SNOW, C. What experienced collaborators say about
collaborative writing. Journal of Business and Technical Communication, v. 1(2), p. 70-90, 1987.
ANONYMOUS. “Gray literature” forces new role on librarians (sidebar). Chemical & Engineering News, v.
76(20), n. 12, 1998.
BACHARACH, S. B. Organizational theories: Some criteria for evaluation. Academy of Management

Review, v. 14(4), p. 496-515, 1989.
BANDARA, W.; FURTMUELLER, E.; GORBACHEVA, E.; MISKON, S. & BEEKHUYZEN, J. Achieving rigor in
literature reviews: insights from qualitative data analysis and tool-support. Communications of the
Association for Information Systems, v. 37, p. 154-204, 2015.
BARBOUR, R. S. Checklists for improving rigor in qualitative research: A case of the tail wagging the dog?
British Medical Journal, v. 322(7.294), p. 1.115-1.117, 2001.
BEM, D. J. Writing a review article for Psychological Bulletin. Psychological Bulletin, v. 118, p. 172-172,
1995.
BOOTE, D. N. & BEILE, P. Scholars before researchers: On the centrality of the dissertation literature review
in research preparation. Educational Researcher, v. 34(6), p. 3-15, 2005.
BORENSTEIN, M.; HEDGES, L. V.; HIGGINS, J. P. T. & ROTHSTEIN, H. R. Introduction to meta-analysis.

Chichester: Wiley, 2009.
BRAGGE, J.; RELANDER, S.; SUNIKKA, A. & MANNONEM, P. Enriching literature reviews with computer-
assisted research mining. Case: Profiling group support systems research. 40th Annual Hawaii
International Conference on System Sciences (v. 40, p. 243a-243a). New York: IEEE, 2007.
BRERETON, P.; KIKCHENHAM, B. A.; BUDGEN, D.; TURNER, M. & KHALIL, M. Lessons from applying the
systematic literature review process within the software engineering domain. The Journal of Systems
& Software, v. 80(4), p. 571-583, 2007.
COTTON, J. L. & TUTTLE, J. M. Employee turnover: A meta-analysis and review with implications for research.
Academy of Management Review, v. 11, p. 55-70, 1986.
DAWSON, K. & FERDIG, R. E. Commentary: Expanding notions of acceptable research evidence in educational
technology: A response to Schrum et al. Contemporary Issues in Technology and Teacher Education,
v. 6(1), p. 133-142, 2006.
DONOVAN, S. K. The importance of resubmitting rejected papers. Journal of Scholarly Publishing, v. 38(3),
p. 151-155, 2007.
DUBÉ, L. & PARÉ, G. Rigor in information systems positivist case research: Current practices, trends, and
recommendations. MIS Quarterly, v. 27(4), p. 597-636, 2003.
DUNHAM, R. B. Shift work: A review and theoretical analysis. The Academy of Management Review, v.
2(4), p. 624-634, 1977.
ERDURAN, S.; SIMON, S. & OSBORNE, J. TAPping into argumentation: Developments in the application of
Toulmin’s argument pattern for studying science discourse. Science Education, v. 88(6), p. 915-933,
2004.

FIGG, W. D.; DUNN, L.; LIEWEHR, D. J.; STEINBERG, S. M.; THURMAN, P. W.; BARRET, J. C. & BIRKINSHAW,
J. Scientific collaboration results in higher citation rates of published articles. Pharmacotherapy, v.
26(6), p. 759-767, 2006.
FINK, A. Conducting research literature reviews: From the Internet to paper (2nd ed.). Thousand Oaks:
Sage, 2005.
GREEN, B. F. & HALL, J. A. Quantitative methods for literature reviews. Annual Reviews in Psychology, v.
35(1), p. 37-54, 1984.
GREEN, R. & BOWSER, M. Observations from the field: Sharing a literature review rubric. Journal Of Library
Administration, v. 45(1/2), p. 185-202, 2006.
GRIFFIN, R. W.; WELSH, A. & MOORHEAD, G. Perceived task characteristics and employee performance: A
literature review. The Academy of Management Review, v. 6(4), p. 655-664, 1981.
HART, C. Doing a literature review: Releasing the social science research imagination. Thousand Oaks:
Sage, 1998.
HARTLEY, J.; PENNEBAKER, J. W. & FOX, C. Abstracts, introductions and discussions: How far do they differ
in style? Scientometrics, v. 57(3), p. 389-398, 2003.
HELMERICKS, S. G.; NELSEN, R. L. & UNNITHAN, N. P. The researcher, the topic, and the literature: A
procedure for systematizing literature searches. The Journal of Applied Behavioral Science, v. 27(3),
p. 285-294, 1991.
HÜTTNER, J. The genre(s) of student writing: Developing writing models. International Journal of Applied
Linguistics, v. 18(2), p. 146-165, 2008.
HYLAND, K. Self-citation and self-reference: Credibility and promotion in academic publication. Journal of
the American Society for Information Science and Technology, v. 54(3), p. 251-259, 2003.
JACCARD, J. & JACOBY, J. Theory construction and model-building skills: A practical guide for social
scientists. New York: The Guilford Press, 2010.
JACSÓ, P. The dimensions of cited reference enhanced database subsets. Online Information Review,
v. 31(5), p. 694-705, 2007.
JASPERSON, J.; CARTE, T. A.; SAUNDERS, C. S.; BUTLER, B. S.; CROES, H. J. P. & ZHENG, W. Review: Power and
information technology research: A metatriangulation review. MIS Quarterly, v. 26(4), p. 397-459, 2002.
JOSEPH, D.; Ng, K. Y.; KOH, C. & ANG, S. Turnover of information technology professionals: a narrative
review, meta-analytic structural equation modeling, and model development. Management
Information Systems Quarterly, v. 31(3), n. 7, 2007.
KEEN, S. Strategies for disseminating qualitative research findings: Three exemplars. Forum: Qualitative
Social Research, v. 8(3), 2007. Retrieved from http://www.qualitativeresearch.net/index.php/fqs/
article/view/285/625
KEKÄLE, T.; WEERD-NEDERHOF, P. de; CERVAI, S. & BORELLI, M. The “dos and don’ts” of writing a journal
article. Journal of Workplace Learning, v. 21(1), p. 71-80, 2009.
KITCHENHAM, B. & CHARTERS, S. Guidelines for performing systematic literature reviews in software
engineering (Technical Report No. EBSE-2007-01). Keele: Keele University, 2007.

KITCHENHAM, B.; BRERETON, O. P.; BUDGEN, D.; TURNER, M.; BAILEY, J. & LINKMAN, S. Systematic
literature reviews in software engineering — a systematic literature review. Information and Software
Technology, v. 51(1), p. 7-15, 2009.
KLEIN, H. K. & MYERS, M. D. A set of principles for conducting and evaluating interpretive field studies in
information systems. MIS Quarterly, v. 23(1), p. 67-93, 1999.
LEE, D.; KANG, J.; MITRA, P.; GILES, C. L. & ON, B.-W. Are your citations clean? Communications of the ACM,
v. 50(12), p. 33-38, 2007.
LEIDNER, D. E. & KAYWORTH, T. A review of culture in information systems research: Toward a theory of
information technology culture conflict. MIS Quarterly, v. 30(2), p. 357-399, 2006.
LEVY, Y. & ELLIS, T. J. A systems approach to conduct an effective literature review in support of information
systems research. Informing Science, v. 9, p. 181-212, 2006.
LIMM L. H. & BENBASAT, I. A theoretical perspective of negotiation support systems. Journal of Management
MARAKAS, G. M.; YI, M. Y. & JOHNSON, R. D. The multilevel and multifaceted character of computer self-
efficacy: Toward clarification of the construct and an integrative framework for research. Information
Systems Research, v. 9(2), p. 126-163, 1998.
MAXWELL, J. A. Literature reviews of, and for, educational research: A Commentary on Boote and Beile’s
“scholars before researchers”. Educational Researcher, v. 35(9), p. 28-31, 2006.
MELVILLE, N.; KRAEMER, K. & GURBAXANI, V. Review: Information technology and organizational
performance: An integrative model of IT business value. MIS Quarterly, v. 28(2), p. 283-322, 2004.
MORRISON, E. W. & BIES, R. J. Impression management in the feedback-seeking process: A literature review
and research agenda. Academy of Management Review, v. 16(3), p. 522-541, 1991.
MYERS, P. M. D. Qualitative research in business & management (illustrated edition). Thousand Oaks:
Sage, 2008.
NORRIS, M.; OPPENHEIM, C. & ROWLAND, F. Finding open access articles using Google, Google Scholar,
OAIster and OpenDOAR. Online Information Review, v. 32(6), p. 709-715, 2008.
OKOLI, C. A critical realist guide to developing theory with systematic literature reviews. SSRN eLibrary,
2012. Retrieved from http://ssrn.com/abstract=2115818.
OKOLI, C. & ABRAMSCH, K. A guide to conducting a systematic literature review of information systems
research. SSRN eLibrary, 2010. Retrieved from http://ssrn.com/abstract=1954824.
PAWSON, R.; GREENHALGH, T.; HARVEY, G. & WALSHE, K. Realist review-a new method of systematic
review designed for complex policy interventions. Journal of Health Services Research & Policy, v.
10, p. 21-34, 2005.
PETTICREW, M. & ROBERTS, H. Systematic reviews in the social sciences: A practical guide. Oxford:
Blackwell, 2006.
PETTY, M. M.; McGEE, G. W. & CAVENDER, J. W. A meta-analysis of the relationships between individual job
satisfaction and individual performance. Academy of Management Review, v. 9(4), p. 712-721, 1984.
PICCOLI, G. & Ives, B. Review: IT-dependent strategic initiatives and sustained competitive advantage: A
review and synthesis of the literature. MIS Quarterly, v. 29(4), p. 747-776, 2005.

PIERCE, J. L. & DUNHAM, R. B. Task design: A literature review. Academy of Management Review, v. 1(4),
p. 83-97, 1976.
POPE, C.; MAYS, N. & POPAY, J. Synthesizing qualitative and quantitative health evidence: A guide to
methods. New York: McGraw-Hill International, 2007.
REMPEL, H. G. & DAVIDSON, J. Providing information literacy instruction to graduate students through
literature review workshops. Issues in Science and Technology Librarianship. 2008.
RIDLEY, D. The literature review: A step-by-step guide for students. London: Sage, 2012.
ROBEY, D.; IM, G. & WARAMEH, J. D. Theoretical foundations of empirical research on interorganizational
systems: Assessing past contributions and guiding future directions. Journal of the Association for
RODGERS, R. & HUNTER, J. E. The discard of study evidence by literature reviewers. The Journal of Applied
Behavioral Science, v. 30(3), p. 329-345, 1994.
ROSENTHAL, R. Meta-analytic procedures for social research. Thousand Oaks: Sage, 1991.
ROSENTHAL, R. Writing meta-analytic reviews. Psychological Bulletin, v. 118, p. 183-183, 1995.
ROSENTHAL, R. & DIMATTEO, M. R. Meta-analysis: Recent developments in quantitative methods for

literature reviews. Annual Reviews in Psychology, v. 52(1), p. 59-82, 2001.
ROUSSEAU, D. M.; MANNING, J. & DENYER, D. Evidence in management and organizational science:
Assembling the field’s full weight of scientific knowledge through syntheses. SSRN eLibrary, 2008.
Retrieved from http://ssrn.com/abstract=1309606.
SHENKAR, O. & ZEIRA, Y. Human resources management in international joint ventures: Directions for
research. Academy of Management Review, v. 12(3), p. 546-557, 1987.
SINGH, G.; HADDAD, K. M. & CHOW, C. W. Are articles in “top” management journals necessarily of higher
quality? Journal of Management Inquiry, v. 16(4), p. 319-331, 2007.
STERNE, J. A. C.; EGGER, M. & SMITH, G. D. Investigating and dealing with publication and other biases in
meta-analysis. BMJ, 323(7303), 42-46, 2001.
SYLVESTER, A.; TATE, M. & JOHNSTONE, D. Beyond synthesis: Re-presenting heterogeneous research
literature. Behaviour & Information Technology, v. 32(12), p. 1-17, 2011.
TÉENI, D. Review: A cognitive-affective model of organizational communication for designing IT. MIS
Quarterly, v. 25(2), p. 251-312, 2001.
THORNLEY, C. & GIBB, F. Meaning in philosophy and meaning in information retrieval (IR). Journal of
Documentation, v. 65(1), p. 133-150, 2009.
TURNER, M.; KITCHENHAM, B.; BUDGEN, D. & BRERETON, O. P. Lessons learnt undertaking a largescale
systematic literature review. In Proceedings of EASE (vol. 8), 2008.
VTSHENKA, V.; DAVIS, F. D. & MPRRIS, M. G. Dead or alive? The development, trajectory and future of
technology adoption research. Journal of the Association for Information Systems, v. 8(4), p. 267-
286, 2007.
VOM BROCKE, J.; SIMONS, A.; NIEHAVES, B.; RIEMER, K.; PLATTFAUT, R. & CLEVEN, A. Reconstructing the
giant: On the importance of rigour in documenting the literature search process. In Proceedings of
the 17th European Conference on Information Systems, 2009.

VOM BROCKE, J.; SIMONS, A.; RIEMER, K.; NIEHAVES, B.; PLATTFAUT, R. & CLEVEN, A. Standing on the
shoulders of giants: Challenges and recommendations of literature search in information systems
research. Communications of the Association for Information Systems, v. 37, p. 205-224, 2015.
WADE, M. & HULLAND, J. Review: The resource-based view and information systems research: Review,
extension, and suggestions for future research. MIS Quarterly, v. 28(1), p. 107-142, 2004.
WEBSTER, J. & WATSON, R. T. Analyzing the past to prepare for the future: Writing a literature review. MIS
Quarterly, v. 26(2), p. xiii-xxiii, 2002.
WINTER, S. J. & TAYLOR, S. L. The role of IT in the transformation of work: A comparison of postindustrial,
industrial, and proto-industrial organization. Information Systems Research, v. 7(1), p. 5-21, 1996.
WOLFSWINKELl, J. F.; FURTMUELLER, E. & WILDEROM, C. P. M. Using grounded theory as a method for
rigorously reviewing literature. European Journal of Information Systems, v. 22(1), p. 45-55, 2011.
WU, F. & WELD, D. S. Automatically refining the Wikipedia infobox ontology. In Proceedings of the 17th
International Conference on World Wide Web (pp. 635-644). ACM, 2008.

Guia para Realizar Uma Revisão Sistemática Da Literatura: A Guide To Conducting A Standalone Systematic Literature Review

Enviado por

Direitos autorais:

Formatos disponíveis

Guia para Realizar Uma Revisão Sistemática Da Literatura: A Guide To Conducting A Standalone Systematic Literature Review

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Guia para Realizar Uma Revisão Sistemática Da Literatura: A Guide To Conducting A Standalone Systematic Literature Review

Enviado por

Direitos autorais:

Formatos disponíveis

View metadata, citation and similar papers at core.ac.

uk brought to you by CORE

Guia Para Realizar uma Revisão Sistemática da Literatura

Palavras-chave: Revisões de literatura. Revisões sistemáticas. Revisão

OKOLI, Chitu. A guide to conducting a standalone systematic literature

Recebido 23/ 08/ 2018 Como citar este artigo

A Guide to Conducting a Standalone Systematic

Keywords: Literature reviews. Systematic reviews. Systematic literature

Em Educação a Distância, um campo já composto por ampla quantidade de artigos, capí-

Há muitos trabalhos que se propõem a orientar a etapa da revisão de literatura de ma-

Okoli, C. 02 EaD em Foco, 2019; 9(1): e748

Diretor de Desenvolvimento Científico da ABED — Associação Brasileira de Educação a Distância e vice-pre-

CRESWELL, John W. Educational research: planning, conducting and evaluating quantitative

Okoli, C. 03 EaD em Foco, 2019; 9(1): e748

1.1 Guias de Revisão de Literatura para Pesquisas em Sistemas de Informação

Okoli, C. 04 EaD em Foco, 2019; 9(1): e748

Eu me concentro aqui em revisões de literatura autônomas, em contraste com revisões de literatura

Okoli, C. 05 EaD em Foco, 2019; 9(1): e748

Quando uma Revisão Sistemática de Literatura Pode Ser Útil e quando

É necessária uma abordagem metodológica detalhada em qualquer tipo de revisão de literatura. Eu

Okoli, C. 06 EaD em Foco, 2019; 9(1): e748

1.3 Uma Defesa do Rigor na Revisão de Literatura

O processo de excluir e incluir fontes deve ser tão transparente quanto

Okoli, C. 07 EaD em Foco, 2019; 9(1): e748

4. Busque a bibliografia: os revisores precisam ser explícitos ao descrever os detalhes da pes-

Okoli, C. 08 EaD em Foco, 2019; 9(1): e748

Figura 1: Guia sistemático para o desenvolvimento de revisões de literatura

1.5 Revisões de Literatura Exemplares em Sistemas de Informação

Okoli, C. 09 EaD em Foco, 2019; 9(1): e748

Quadro 1: Práticas de revisão de literatura em 23 exemplos de revisões de sistemas de informação e gestão

Tipo de Passo Passo Passo Passo Passo Passo Passo Passo

Okoli, C. 10 EaD em Foco, 2019; 9(1): e748

Winter & Taylor (1996) Qualitativa 

Morrison & Bies (1991) Qualitativa   

Okoli, C. 11 EaD em Foco, 2019; 9(1): e748

1.6 UmaNota sobre Terminologia: Sistemático como um Adjetivo Qualitativo

Em contraste, Rousseau et al. (2008, p. 5, ênfase adicionada) dizem:

O tema deste capítulo, a síntese de pesquisa sistemática não deve ser

Okoli, C. 12 EaD em Foco, 2019; 9(1): e748

2.1 Determinação dos Meios de Divulgação

2.2 Guias e Exemplos de Definição do Objetivo de uma Revisão de Literatura

Okoli, C. 13 EaD em Foco, 2019; 9(1): e748

3. Planeje o Protocolo e Treine a Equipe

3.1 Planejando a Questão de Pesquisa

Okoli, C. 14 EaD em Foco, 2019; 9(1): e748

3.2 Planejando o Protocolo

Okoli, C. 15 EaD em Foco, 2019; 9(1): e748

3.3. Treinando os Revisores

O terceiro passo no desenvolvimento do protocolo de revisão é treinar os revisores. Entre as nossas

3.3.1 Técnicas de tomada de notas

3.3.2 Técnicas de revisão

Okoli, C. 16 EaD em Foco, 2019; 9(1): e748

3.4 Guias e Exemplos de Protocolos e Treinamento de Revisores

4. Aplique uma Seleção Prática

Okoli, C. 17 EaD em Foco, 2019; 9(1): e748

4.1 Critérios para Aplicar uma Seleção

b) idioma da publicação: os revisores só podem rever os estudos escritos em idiomas que

c) periódicos: o escopo da revisão pode limitar-se a um conjunto seleto de revistas de alta

h) design da pesquisa ou metodologia de amostragem: a revisão pode restringir os estudos