Combinação de Previsão
Combinação de Previsão
Combinação de Previsão
Porto Alegre
2013
2
Porto Alegre
2013
3
Esta dissertação foi julgada adequada para a obtenção do título de Mestre em Engenharia de
Produção na modalidade Acadêmica e aprovada em sua forma final pelo Orientador e pela
Banca Examinadora designada pelo Programa de Pós-Graduação em Engenharia de Produção
da Universidade Federal do Rio Grande do Sul.
__________________________________
Prof. Liane Werner, Drª.
Orientadora PPGEP/UFRGS
___________________________________
Prof. José Luis Duarte Ribeiro, Dr.
Coordenador PPGEP/UFRGS
Banca Examinadora:
AGRADECIMENTOS
Agradeço à amigos e familiares pelo apoio constante e por não medirem esforços nos
momentos mais difíceis. Ao meu marido e aos meus pais, em especial, por enfrentarem
conjuntamente os obstaculos de minha trajetória.
RESUMO
ABSTRACT
LISTA DE FIGURAS
CAPÍTULO II – ARTIGO 1
CAPÍTULO IV – ARTIGO 3
LISTA DE TABELAS
CAPÍTULO II – ARTIGO 1
CAPÍTULO IV – ARTIGO 3
SUMÁRIO
I. INTRODUÇÃO ........................................................................................................... 12
1. Tema e Objetivos...................................................................................................... 13
2. Justificativa .............................................................................................................. 14
3. Método de Trabalho.................................................................................................. 14
4. Delimitações do Trabalho ......................................................................................... 15
5. Estrutura do Trabalho ............................................................................................... 16
1. Introdução ................................................................................................................ 18
2. Procedimentos Metodológicos .................................................................................. 19
4. Artigos Mapeados..................................................................................................... 24
1. Introdução ................................................................................................................ 46
2. Técnicas para Previsão de Demanda ......................................................................... 47
5. Conclusões ............................................................................................................... 58
Referências ........................................................................................................................ 58
1. Introdução ................................................................................................................ 62
2. Previsão de Demanda ............................................................................................... 63
5. Conclusões ............................................................................................................... 72
Referências ........................................................................................................................ 73
REFERÊNCIAS.................................................................................................................... 78
12
I. INTRODUÇÃO
1. TEMA E OBJETIVOS
2. JUSTIFICATIVA
3. MÉTODO DE TRABALHO
demanda. Na segunda etapa foi elaborado e analisado um estudo comparativo com 500 séries
simuladas. E, na terceira etapa, a comparação foi estendida para dados de uma empresa de
auditoria médica. Os recursos computacionais utilizados para a realização das modelagens dos
dados e das análises foram os softwares SPSS Statistics 18.0 e R-Project 2.15.0.
A pesquisa bibliográfica (artigo 1) contém o mapeamento dos artigos com a abordagem
em combinação de previsões, publicados entre 1989 e 2012 em periódicos nacionais e
internacionais. Assim, foram analisadas 174 publicações, descrevendo suas principais
características. Após este mapeamento, foram identificadas as abordagens estudadas nos artigos e,
em seguida, classificados de acordo com as abordagens identificadas. Com esta classificação, foi
possível realizar o trabalho de análise, que envolveu o número de artigos por ano, por periódico e
por abordagem. Este artigo foi submetido em língua inglesa para publicação no Journal of
Forecasting.
Na etapa de investigação exploratória (artigo 2), foram simuladas 500 séries temporais e
modeladas por três diferentes técnicas individuais (as modelagens foram realizadas sem
tratamento diferenciado ): redes neurais (RNA), Box-Jenkins (ARIMA) e alisamento
exponencial. Para cada série simulada, as três previsões individuais foram combinadas via
média simples, variância mínima e modelos de regressão. A fim de indicar o método mais
acurado, os seis modelos (três técnicas individuais e três combinações) foram analisados e
comparados em termos das medidas de acurácia MAE (Mean Absolute Error), MAPE (Mean
Absolute Percentage Error), RMSE (Root Mean Square Error) e o coeficiente U de Theil.
Este artigo será submetido em língua inglesa para publicação no periódico Expert Systems with
Applications.
Na etapa de aplicação e comparação dos métodos explorados (artigo 3), os mesmos seis
modelos analisados na etapa anterior foram aplicados para a previsão de demanda na área de
auditoria médica. No entanto, nesta etapa, deseja-se averiguar a hipótese de que o melhor
método (mais acurado) encontrado em Mancuso (2013) para a previsão em séries temporais
estacionárias é também o melhor quando aplicado a uma série com tendência (dados reais).
Este artigo será submetido para publicação na revista Produto e Produção.
4. DELIMITAÇÕES DO TRABALHO
O objetivo dos métodos para previsão de demanda é descobrir o padrão histórico que
existe nos dados e projetar esse padrão para o futuro. Entretanto, um dos fatores que podem
deteriorar o desempenho da previsão são as mudanças no relacionamento dos dados, visto que
os modelos estatísticos assumem que os padrões de relacionamento são constantes
(MAKRIDAKIS, 1988). Assim, a acurácia dos processos avaliados está relacionada ao padrão
16
dos dados. Se o comportamento dos dados for alterado, o nível de precisão das técnicas,
consequentemente, será afetado.
Em termos da revisão da literatura sobre as abordagens da combinação de previsões, a
pesquisa não abordou todos os trabalhos desenvolvidos e publicados nesta área. Delimitando-
se aos periódicos registrados no portal da Capes (www.periodicos.capes.gov.br) que, em seu
título ou palavras-chave, mencionassem as palavras “combining” AND “forecast” ou
“combine” AND “forecasting”. Sendo compilados apenas os estudos publicados a partir de
1989, excluindo-se os trabalhos já contemplados por Clemen (1989).
Outra delimitação do trabalho está na escolha das técnicas individuais de previsão
(redes neurais, Box-Jenkins e alisamento exponencial) e dos métodos de combinação (média
simples, variância mínima e modelos de regressão). A verificação da eficiência das
modelagens e a comparação dos métodos também foram delimitadas a quatro medidas de
acurácia: MAE, MAPE, RMSE e coeficiente U de Theil.
5. ESTRUTURA DO TRABALHO
COMBINAÇÃO DE PREVISÕES
Abstract
The first review of the literature on the subject combination of forecasts is due to
Robert Clemen in 1989. Since that, several other papers have been published with new
theories and applications, but no similar review was performed. This paper reviews the
literature on the approaches of combining forecast after the survey conducted by Clemen
(1989), covering various fields of knowledge. For that matter, this paper analyzes 174 articles
collected on the subject, describing their main characteristics. As main contributions, this
paper brings a summary of current literature on the topic, a classification of articles
according to the approaches, a subdivision of items within each approach, analysis of
classification and identification of the most common methods, new methods, and future
research.
KEYWORDS: combining forecast; review, forecasting.
18
1. INTRODUÇÃO
2. PROCEDIMENTOS METODOLÓGICOS
Revisar a literatura tem como objetivo fazer um levantamento e analisar o que já foi
publicado sobre determinado tema, quais as lacunas existentes e onde se encontram os
principais entraves teóricos ou metodológicos. Tal levantamento permite um mapeamento do
que já foi escrito e quem já escreveu (SILVA e MENEZES, 2001). Por sintetizar estudos
primários semelhantes, os estudos secundários servem como apoio à busca direcionada,
resumindo o volume de bibliografia.
Desta forma, esta seção apresenta o detalhamento das etapas utilizadas na condução da
revisão de literatura. A elaboração do projeto garante a reprodutibilidade da pesquisa, além de
permitir comentários, sugestões e críticas ao método usado.
A busca de estudos foi realizada on-line, durante o ano de 2012. Através da exploração
das dez áreas do conhecimento registradas no Portal de Periódicos da Capes foram filtradas
83 bases de dados a serem pesquisadas, em periódicos com textos completos. Na consulta aos
periódicos destas bases de dados, foram selecionados os artigos que, em seu título ou
palavras-chave, mencionassem as palavras “combining” AND “forecast” ou “combine” AND
“forecasting”. Visto que o objetivo principal deste trabalho é fazer um levantamento dos
estudos sobre combinação de previsões, dando continuidade à revisão realizada por Clemen
(1989), foram compilados apenas estudos publicados a partir de 1989. A busca resultou em
256 artigos, mas, excluindo-se os trabalhos já contemplados por Clemen (1989) e os estudos
focados na combinação de modelos e na inferência sobre combinação (combinação de
intervalos e de densidades), considerados fora do escopo da pesquisa, o número de artigos
identificados foi reduzido para 174. O total de artigos resultantes da busca, conforme as
estratégias utilizadas, para cada base de dados pode ser observada na Tabela 1.
classificação dos artigos em abordagens (etapa IV) e a análise da classificação das abordagens
(etapa V).
3. COMBINAÇÃO DE PREVISÕES
Na área de produção de bens, previsão de demanda pode ser entendida como uma
função que se preocupa em predizer o consumo de produtos, de maneira que eles possam ser
manufaturados adiantadamente e nas quantidades apropriadas para aquisição. Entretanto, esta
função pode ser descrita por diversos métodos que vão desde o julgamento, intuição e opinião
informal, passando por fatores macro econômicos, até técnicas de previsão baseada em dados
históricos.
A grande maioria dos métodos empregados analisa as informações utilizando uma
única técnica de previsão e, consequentemente, algumas das informações provenientes de
outras técnicas acabam sendo desconsideradas (WERNER e RIBEIRO, 2006). Como já
mencionado, a complexidade do mercado faz necessário o uso de toda e qualquer informação
disponível à previsão, e uma única técnica pode não utilizar de modo eficiente todas estas
informações. Desde Bates e Granger (1969) estuda-se o fato de que a previsão pode se tornar
mais acurada quando se realiza combinação de técnicas de previsão. Independente do modo
como a combinação será obtida, seu resultado visa trazer um aumento da precisão sobre as
previsões individuais. Isto porque as técnicas de previsão individuais são procedentes de
diferentes abordagens, podendo assim capturar características distintas da série
(ARMSTRONG, 2001).
A ideia de combinar previsões é simples, como descrito na Figura 1. Com base em um
conjunto de informações, geram-se os modelos de previsões baseados em diferentes técnicas
(técnica 1, técnica 2, ... , técnica ), obtendo-se previsões. Estas previsões são então
combinadas, gerando-se uma única previsão final. Armstrong (2001) discute o número de
técnicas a serem consideradas na combinação, concluindo que, em relação à eficiência, o
adequado seria cinco previsões. O autor baseia sua sugestão no comportamento exponencial
dos ganhos da combinação. Na combinação de cinco previsões ganha-se com a redução dos
erros; porém, quando são combinadas mais de cinco técnicas, os ganhos são pequenos e
menores a cada acréscimo.
22
mínima), a otimização com restrição de pesos e sem constante (que corresponde à estimativa
dos pesos pelo método de mínimos quadrados, com restrição de pesos e sem constante) e a
otimização sem restrição de pesos e com constante.
Várias formas de combinação de previsões foram desenvolvidas desde a publicação do
artigo de Bates e Granger (1969), se estendendo desde a simples média aritmética aos
métodos mais sofisticados como redes neurais para combinações não-lineares ou estudos que
utilizam análises bayesianas para a combinação de previsões, que em linhas gerais pondera
cada previsão com base no valor esperado. Chan et al. (1999) lista alguns trabalhos clássicos
neste enfoque. Contudo, na literatura não existe um consenso de que algum método de
combinação sofisticado seja superior aos mais simples, como a média das previsões
individuais. Assim como Clemen (1989), Werner (2004) enfatiza a combinação via média
simples que, embora não tenha pesos ótimos, pode apresentar resultados melhores que os
métodos mais sofisticados. Já Martins (2011), por exemplo, disserta sobre o desempenho
superior da combinação via variância mínima.
Ainda na abordagem objetiva, para se ter uma ideia do quanto uma previsão é acurada,
é necessário uma forma de estimar o quanto se está errando. Paliwal e Kumar (2009)
observaram a utilização das medidas MAPE (Mean Absolute Perceptual Error), MSE (Mean
Square Error) e MAE (Mean Absolute Error) como principal forma de medir o desempenho
das modelagens em diversos estudos. No entanto, variações como a Raiz do Erro Quadrático
Médio (RMSE – Root Mean Square Error) também são comumente empregadas, entre outras.
subjetiva). Estas previsões são, então, combinadas e com base nas informações contextuais
gera-se uma única previsão final (WEBBY e O’CONNOR, 1996 e WERNER, 2005). Werner
(2005) comenta algumas publicações baseadas na combinação subjetivas, concluindo que as
previsões individuais combinadas são influenciadas pelas características dos previsores e por
aspectos do contexto de previsão.
4. ARTIGOS MAPEADOS
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
Total
(%)
Applied Economics 1 1 1 3 (1,72)
Applied Economics Letters 1 1 2 (1,15)
Computers and Industrial Engineering 1 1 2 (1,15)
Conferência 1 1 1 4 1 1 2 11 (6,32)
Decision Sciences 1 1 2 (1,15)
European Journal of Operational Research 1 1 1 1 1 1 6 (3,45)
Expert Systems with Applications 1 2 1 4 (2,30)
Hydrological Processes 1 1 2 (1,15)
International Journal of Forecasting 6 1 1 4 1 1 3 1 3 2 1 2 1 2 1 1 2 3 1 7 1 45 (25,86)
International J. of Production Economics 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 2 (1,15)
J. Computational Statistics & Data Analysis 0 0 0 0 0 0 0 0 0 0 0 1 1 2 (1,15)
Journal Decision Analysis 1 1 2 (1,15)
Journal Management Science 1 1 1 1 4 (2,30)
Journal of Applied Statistics 1 1 1 1 4 (2,30)
Journal of Forecasting 2 2 3 2 1 1 1 1 3 1 2 19 (10,92)
Journal of Hydrology 1 1 2 (1,15)
Journal of the Operational Research Society 1 2 3 (1,72)
Journal of Time Series Analysis 1 1 2 (1,15)
Management Science 1 1 2 (1,15)
Mathematical and Computer Modeling 1 1 2 (1,15)
Meteorological Applications 1 1 2 (1,15)
Oxford Bulletin of Economics and Statistics 2 1 3 (1,72)
Technological Forecasting and Social Change 1 1 2 (1,15)
Tourism Management 1 1 2 (1,15)
Outros 1 1 1 1 3 1 1 1 3 1 2 1 1 2 3 3 6 3 5 3 1 44 (25,29)
8 4 2 8 4 3 7 7 5 5 12 5 5 4 3 7 7 5 14 14 10 6 23 6
(13,22)
Total (%) 174
(4,60)
(2,30)
(1,15)
(4,60)
(2,30)
(1,72)
(4,02)
(4,02)
(2,87)
(2,87)
(6,90)
(2,87)
(2,87)
(2,30)
(1,72)
(4,02)
(4,02)
(2,87)
(8,05)
(8,05)
(5,75)
(3,45)
(3,45)
26
Negative Restricted Least Squares (Mínimos Quadrados Restritos Não - Negativos). Taylor e
Bunn (1999) comparam a capacidade de métodos teóricos, empíricos e uma proposta não
paramétrica para medidas de precisão. No campo da subjetividade, Goodwin (2000) compara
a exatidão da combinação de previsões com outros dois métodos de integração. Jeong e Kim
(2009), a partir de ângulos teóricos, comparam os dois métodos mais populares de
combinação, média simples e média ponderada, com outros seis. Os autores também
desenvolvem uma diretriz para a escolha do método de combinação usando derivações
analíticas.
Num contexto mais atual, alguns autores utilizam a comparação entre métodos como
base de exploração. Martins e Werner (2011) visam identificar diferenças na precisão das
previsões obtidas com e sem a consideração da correlação entre os erros, comparando as
previsões individuais com a combinação por média simples e por variância mínima com e
sem correlação. Já Hsiao e Wan (2011) sugerem duas correções para a combinação via média
simples, confrontando modelos em cenários propensos à ruptura estrutural.
Inclui-se ainda nesta classe uma competição de previsões extremamente conhecida: a
M-Competition (MAKRIDAKIS et al., 1982) e suas subsequentes versões, a M2-Competition
(MAKRIDAKIS et al., 1993) e a M3-Competition (MAKRIDAKIS e HIBON., 2000) . A
ideia principal dos autores foi realizar uma competição com o maior número de séries e
modelos possíveis. Na M-Competition foi utilizado um conjunto de 1001 séries temporais,
com modelos de interesse na previsão destas séries (24 modelos diferentes). As versões
posteriores incluíram novas séries e novos modelos na competição. Entretanto, estas três
publicações da série Competition não fazem parte do grupo de trabalhos rastreados, pois foge
do escopo desta pesquisa. Contudo, abordá-las é imprescindível em qualquer trabalho
referencial sobre combinação de previsões.
4.1.3. Aplicação
Área
Mercado Referência Especificação
eleitoral
Berg et al. (2008)
4.1.4. Exploração
A maior parte dos artigos mapeados identifica um caráter exploratório. Nesta classe os
autores preocupam-se em estudar e analisar diversos e diferentes critérios da combinação de
previsões. Os 80 artigos selecionados neste atributo foram classificados em dois quadros
(Figura 6 e Figura 7), conforme o foco de exploração.
Foco de exploração
Hogarth (1989) Harries et al. (2004)
McNees (1992) Harvey e Harries (2004)
Sanders e Ritzman (1995) Winkler e Clemen (2004)
Maines (1996) Richard e Soll (2006)
Subjetividade
Vokurka et al. (1996) Franses (2011)
Kamstra e Kennedy (1998) Franses e Legerstee (2011)
Fischer e Harvey (1999) Wang (2011)
Zhou et al. (1999)
Aussem e Murtagh (1997) Szupiluk et al. (2006)
Fromm et al. (1998) Shi (2009)
Redes Neurais Donaldson e Kamstra (1999) Aladag et al. (2010)
Jing-Rong (2000) Ranjan e Gneiting (2010)
Magalhaes et al. (2004) Wichard (2011)
Palm e Zellner (1992) Félix e Rodríguez (2008)
Métodos Bayesianos Tibiletti (1994) Cai et al. (2012)
Faria e Souza (1995)
Clemen et al. (1995) Costantini e Kunst (2011)
Seleção de modelo Zou e Yang (2004) Franses (2011b)
Costantini e Pappalardo (2010)
Figura 6: Artigos mapeados no atributo Exploração: modelos subjetivos, redes neurais,
estatísticas bayesianas e teorias para a seleção de modelos.
Fonte: elaborada pela autora
33
Foco de exploração
Gunter (1992) Propriedades teóricas
Winkler e Clemen (1992) Instabilidade dos pesos
Chandrasekharan et al. (1994) Pesos e matriz de covariância
Mostaghimi (1996) Sensibilidade dos pesos
Ponderação
4.2. ANÁLISE
Além das abordagens, segue o interesse de analisar os dados coletados em função dos
autores. A Tabela 3 relaciona o número de publicações de cada autor, considerando todas as
autorias de um mesmo trabalho.
Como pode ser visto na Tabela 3, não há muitos trabalhos publicados por um mesmo
autor. Dos 321 autores registrados, R. L. Winkler lidera o ranking com seis publicações,
seguido por R. T. Clemen e J. S. Armstrong com cinco publicações. Dos demais autores, não
contemplados na Tabela 3, 29 apresentaram duas publicações e 273 apenas uma.
35
5. CONSIDERAÇÕES FINAIS
REFERÊNCIAS
AKSU, C.; GUNTER, S. I. An empirical analysis of the accuracy of SA, OLS, ERLS and NRLS combination
forecasts. International Journal of Forecasting, v.8, 1992, p. 27-43.
ALADAG, C.; EGRIOGLU, E.; YOLCU, U. Forecast Combination by Using Artificial Neural Networks.
Neural Processing Letters, v. 32, 2010, p. 269-276.
AMENDOLA, A.; STORTI G. A GMM procedure for combining volatility forecasts. Journal Computational
Statistics & Data Analysis, v. 52, 2008, p. 3047-3060.
ARMSTRONG, J. S. Combining forecasts: The end of the beginning or the beginning of the end? International
Journal of Forecasting, v.5, 1989, p. 585-588.
ARMSTRONG, J. S. Principles of Forecasting: A Handbook for Researchers and Practitioners. Kluwer
Academic Publishers. 2001.
ARMSTRONG, J. S. Findings from evidence-based forecasting: Methods for reducing forecast error.
International Journal of Forecasting, v.22, 2006, p. 583-598.
ARMSTRONG, J. S. Significance tests harm progress in forecasting. International Journal of Forecasting,
v.23, 2007, p. 321-327.
AUSSEM, A.; MURTAGH, F. Combining Neural Network Forecasts on Wavelet-transformed Time Series.
Connection Science, v.9, 1997, p. 113-122.
BATCHELOR, R.; DUA, P. Forecaster Diversity and the Benefits of Combining Forecasts. Management
Science, v.41, 1995, p. 68-75.
BATES, J. M.; GRANGER, C. W. J. The Combining of Forecasts. Operational Research Quarterly, v.20,
1969, p. 451-468.
BERG, J. E.; NELSON, F. D.; RIETZ, T. A. Prediction market accuracy in the long run. International Journal
of Forecasting, v.24, 2008, p. 285-300.
BEZERRA, A. C. N.; PEZZI, L. P.; KAYANO, M. T. Esquema Estatístico de Combinação e Correção de
Previsões Climáticas – ECCOCLIM. Rev. Bras. Meteorologia, v.23, 2008, p. 347-359.
BJORNLAND, H. C.; GERDRUP, K.; JORE, A. S.; SMITH, C.; THORSRUD, L. A. Does Forecast
Combination Improve Norges Bank Inflation Forecast? Oxford Bulletin of Economics and Statistics, v. 74,
2012, p. 163-179.
BROWN, B. G.; MURPHY, A. H. Improving forecasting performance by combining forecasts: The example of
road-surface temperature forecasts. Meteorological Applications, v.3, 1996, p. 257-265.
CAI, Y.; STANDER, J.; DAVIES, N. A new Bayesian approach to quantile autoregressive time series model
estimation and forecasting. Journal of Time Series Analysis, v. 33, 2012, p. 684-698.
CAIADO, J. Performance of Combined Double Seasonal Univariate Time Series Models for Forecasting Water
Demand. Journal of Hydrologic Engineering, v.15, 2010, p. 215-222.
CASAGRANDE, L. F.; HOSS, O. Métodos de Forecasting Conjugado com um Método Qualitativo e um
Método com a Média das Previsões Quantitativas e Qualitativas. CAP – Accounting and Management, v. 4,
2010, p. 94-100.
CHAN, C. K.; KINGSMAN, B. G.; WONG, H. A comparison of unconstrained and constrained OLS for the
combination of demand forecasts: A case study of the ordering and stocking of bank printed forms. Annals of
Operations Research, v.87, 1999, p. 129-140.
CHAN, C. K.; KINGSMAN, B. G.; WONG, H. The value of combining forecasts in inventory management - a
case study in banking. European Journal of Operational Research, v. 117, 1999b, p. 199-210.
CHAN, C. K.; KINGSMAN, B. G.; WONG, H. Determining when to update the weights in combined forecasts
for product demand--an application of the CUSUM technique. European Journal of Operational Research, v.
153, 2003, p.757-768.
CHANDRASEKHARAN, R.; MORIARTY, M. M.; WRIGHT, G. P. Testing for unreliable estimators and
insignificant forecasts in combined forecasts. Journal of Forecasting, v. 13, 1994, p. 611-624.
37
CHEN, K. Y. Combining linear and nonlinear model in forecasting tourism demand. Expert Systems with
Applications, v. 38, 2011, p. 10368-10376.
CHO, V.; WÜTHRICH, B. Combining Forecasts from Multiple Textual Data Sources. Methodologies for
Knowledge Discovery and Data Mining, v. 1574, 1999, p. 174-179.
CHRISTODOULOS, C.; MICHALAKELIS, C.; VAROUTAS, D. On the combination of exponential smoothing
and diffusion forecasts: An application to broadband diffusion in the OECD area. Technological Forecasting
and Social Change, v. 78, 2011, p.163-170.
CLARK, T. E.; MCCRACKEN, M. W. Combining Forecasts from Nested Models†. Oxford Bulletin of
Economics and Statistics, v. 71, 2009, p. 303-329.
CLEMEN, R. T. Combining forecasts: A review and annotated bibliography. International Journal of
Forecasting, v. 5, 1989, p. 559-583.
CLEMEN, R. T.; MURPHY, A. H.; WINKLER, R. L. Screening probability forecasts: contrasts between
choosing and combining. International Journal of Forecasting, v. 11, 1995, p. 133-145.
CLEMENTS, M. P.; HARVEY, D. I. Combining probability forecasts. International Journal of Forecasting,
v. 27, 2011, p. 208-223.
COLLOPY, F.; ARMSTRONG, J. S. Rule-based forecasting: development and validation of an expert systems
approach to combining time series extrapolations. Journal Management Science, v. 38, 1992, p. 1394-1414.
COSHALL, J. T. Combining volatility and smoothing forecasts of UK demand for international tourism.
Tourism Management, v. 30, 2009, p. 495-511.
COSTANTINI, M.; PAPPALARDO, C. A hierarchical procedure for the combination of forecasts.
International Journal of Forecasting, v. 26, 2010, p. 725-743.
COSTANTINI, M.; KUNST, R. M. Combining forecasts based on multiple encompassing tests in a
macroeconomic core system. Journal of Forecasting, v. 30, 2011, p. 579-596.
COX, L. A. Jr.; POPKEN, D. A. A hybrid system-identification method for forecasting telecommunications
product demands. International Journal of Forecasting, v. 18, 2002, p. 647-671.
DOBLAS-REYES, F. J.; HAGEDORN, R.; PALMER, T. N. The rationale behind the success of multi-model
ensembles in seasonal forecasting – II: Calibration and combination. Tellus A, v. 57, 2005, p. 234-252.
DONALDSON, R. G.; KAMSTRA, M. Forecast combining with neural networks. Journal of Forecasting, v.
15, 1996, p. 49-61.
DONALDSON, R. G.; KAMSTRA, M. Neural network forecast combining with interaction effects. Journal of
the Franklin Institute, v. 336, 1999, p. 227-236.
DRECHSEL, K.; SCHEUFELE, R. The performance of short-term forecasts of the German economy before and
during the 2008/2009 recession. International Journal of Forecasting, v.28, 2012, p. 428–445.
DREGER, C.; SCHUMACHER, C. Out-of-sample Performance of Leading Indicators for the German Business
Cycle: Single vs. Combined Forecasts. Journal of Business Cycle Measurement and Analysis, v. 2005, 2005,
p.71-87.
ELLIOTT, G.; TIMMERMANN, A. Optimal Forecast Combination Under Regime Switching. International
Economic Review, v. 46, 2005, p. 1081-1102.
FAN, W. G.; DENG, F. Variable Weight Combining Forecasts Based on Forecasting Error. International
Conference on Control and Automation, v.5, 2007, p.1610-1613.
FANG, Y. Forecasting combination and encompassing tests. International Journal of Forecasting, v. 19, 2003,
p. 87-94.
FARIA, A. E.; SOUZA, R. C. A re-evaluation of the quasi-bayes approach to the linear combination of
forecasts. Journal of Forecasting, v. 14, 1995, p. 533-542.
FÉLIX, J. A.; RODRÍGUEZ, F. F. Improving moving average trading rules with boosting and statistical learning
methods. Journal of Forecasting, v. 27, 2008, p. 433-449.
FISCHER, I.; HARVEY, N. Combining forecasts: What information do judges need to outperform the simple
average? International Journal of Forecasting, v. 15, 1999, p. 227-246.
38
FRANSES, P. H. Averaging Model Forecasts and Expert Forecasts: Why Does It Work? Journal Interfaces, v.
41, 2011, p. 177-181.
FRANSES, P. H. Model selection for forecast combination. Applied Economics, v. 43, 2011b, p. 1721-1727.
FRANSES, P. H.; LEGERSTEE, R. Combining SKU-level sales forecasts from models and experts. Expert
Systems with Applications, v. 38, 2011, p. 2365-2370.
FROMM, J.; FEI, H.; FIORDALISO, A. A nonlinear forecasts combination method based on Takagi-Sugeno
fuzzy systems. International Journal of Forecasting, v. 14, 1998, p. 367-379.
GARAND, L.; GRASSOTTI, C. Toward an objective analysis of rainfall rate combining observations and short-
term forecast model estimates. Journal of Applied Meteorology, v. 34, 1995, p. 1962-77.
GARDNER, E. S. Jr. Forecasting the failure of component parts in computer systems: A case study.
International Journal of Forecasting, v. 9, 1993, p. 245-253.
GARDNER, E. S. Jr. Note: Rule-Based Forecasting Vs. Damped-Trend Exponential Smoothing. Journal
Management Science, v. 45, 1999, p. 1169-1176.
GMEZ, M. I.; GONZLEZ, E. R.; MELO, L. F. Forecasting Food Inflation in Developing Countries with
Inflation Targeting Regimes. American Journal of Agricultural Economics, v. 94, 2012, p. 153-173.
GONG, K.; LIU, M.; FANG, Y.; ZHANG, X. A Hybrid Model of Rough Sets and Shannon Entropy for Building
a Foreign Trade Forecasting System. Computational Sciences and Optimization, 2011, p. 7-11.
GOODWIN, P. Correct or combine? Mechanically integrating judgmental forecasts with statistical methods.
International Journal of Forecasting, v. 16, 2000, p. 261-275.
GREEN, K. C.; ARMSTRONG, J. S. Role thinking: Standing in other people’s shoes to forecast decisions in
conflicts. International Journal of Forecasting, v. 27, 2011, p. 69-80.
GREER, M. Combination forecasting for directional accuracy: An application to survey interest rate forecasts.
Journal of Applied Statistics, v. 32, 2005, p. 607-615.
GUNTER, S. I. Nonnegativity restricted least squares combinations. International Journal of Forecasting, v.
8, 1992, p. 45-59.
GUNTER, S. I.; AKSU, C. The usefulness of heuristic N(E)RLS algorithms for combining forecasts. Journal of
Forecasting, v. 16, 1997, p. 439-462.
HARRIES, C.; YANIV, I.; HARVEY, N. Combining advice: the weight of a dissenting opinion in the
consensus. Journal of Behavioral Decision Making, v. 17, 2004, p. 333-348.
HARVEY, N.; HARRIES, C. Effects of judges' forecasting on their later combination of forecasts for the same
outcomes. International Journal of Forecasting, v. 20, 2004, p. 391-409.
HE, C.; XU, X. Combination of forecasts using self-organizing algorithms. Journal of Forecasting, v. 24,
2005, p. 269-278.
HE, Z.; ZHAO, W.; LIU, H. Comparing the performance of empirical black-box models for river flow
forecasting in the Heihe River Basin, Northwestern China. Hydrological Processes (in press), 2012.
HIERNAUX, A. G. Forecasting linear dynamical systems using subspace methods. Journal of Time Series
Analysis, v. 32, 2011, p. 462-468.
HOGARTH, R. M. On combining diagnostic ‘forecasts’: Thoughts and some evidence. International Journal
of Forecasting, v. 5, 1989, p. 593-597.
HOLDEN, K.; THOMPSON, J. Combining forecasts, encompassing and the properties of UK macroeconomic
forecasts. Applied Economics, v. 29, 1997, p. 1447-1458.
HOLLAUER, G.; ISSLER, J. V.; NOTINI, H. H. Prevendo o crescimento da produção industrial usando um
número limitado de combinações de previsões. Economia Aplicada, v. 12, 2008, p. 177-198.
HOST, O.; LAHAV, O.; ABDALLA, F. B.; EITEL, K. Forecasting neutrino masses from combining KATRIN
and the CMB observations: Frequentist and Bayesian analyses. Physical Review, 2007, D76: 113005.
HSIAO, C.; WAN, S. K. Comparison of forecasting methods with an application to predicting excess equity
premium. Mathematics and Computers in Simulation, v. 81, 2011, p. 1235-1246.
39
HU, M. Y.; TSOUKALAS, C. Combining conditional volatility forecasts using neural networks: an application
to the EMS exchange rates. Journal of International Financial Markets, v. 9, 1999, p. 407-422.
HYNDMAN, R. J.; AHMED, R. A.; ATHANASOPOULOS, G.; SHANG, H. L. Optimal combination forecasts
for hierarchical time series. Journal Computational Statistics & Data Analysis, v. 55, 2011, p. 2579-2589.
JEONG, D.; KIM, Y. Combining single-value stream flow forecasts – A review and guidelines for selecting
techniques. Journal of Hydrology, v. 377, 2009, p. 284-299.
JIANG, M.; YUAN, X. Personal Credit Scoring Model of Non-linear Combining Forecast Based on GP. Third
International Conference on Natural Computation, v. 4, 2007, p. 408-414.
JING-RONG, D. Research on the method of nonlinear combining forecasts based on fuzzy-neural systems.
Third World Congress on Intelligent Control and Automation, v. 2, 2000, p. 899-903.
JING-RONG, D. A nonlinear combining forecast method based on fuzzy neural network. International
Conference on Machine Learning and Cybernetics, v. 4, 2002, p. 2160-2164.
JING-RONG, D. Combining Stock Market Volatility Forecasts Using an EWMA Technique. International
Conference on Wireless Communications, Networking and Mobile Computing (WiCom), 2007, p. 5277-
5280.
JING-RONG, D. Combining Stock Market Volatility Forecasts Using a Bayesian Technique. International
Conference on Wireless Communications, Networking and Mobile Computing (WiCom), 2008, p. 1-5.
JOHNSTON, F. R.; BOYLAN, J. E.; SHALE, E.; MEADOWS, M. A robust forecasting system, based on the
combination of two simple moving averages. Journal of the Operational Research Society, v. 50, 1999, p.
1199-1204.
JONES, R. J. Jr. The state of presidential election forecasting: The 2004 experience. International Journal of
Forecasting, v. 24, 2008, p. 310-321.
JORGENSEN, M. Forecasting of software development work effort: Evidence on expert judgement and formal
models. International Journal of Forecasting, v. 23, 2007, p. 449-462.
JOSE, V. R. R.; WINKLER, R. L. Simple robust averages of forecasts: Some empirical results. International
Journal of Forecasting, v. 24, 2008, p. 163-169.
KAMSTRA, M.; KENNEDY, P. Combining qualitative forecasts using logit. International Journal of
Forecasting, v. 14, 1998, p. 83-93.
KAMSTRA, M.; KENNEDY, P.; SUAN, T. K. Combining Bond Rating Forecasts Using Logit. Financial
Review, v. 36, 2001, p. 75-96.
KIM, J. R. K. Combining forecasts using optimal combination weight and generalized autoregression†. Journal
of Forecasting, v. 27, 2008, p. 419-432.
KLEIN, L. R.; PARK, J. Y. Economic forecasting at high-frequency intervals. Journal of Forecasting, v. 12,
1993, p. 301-319.
KLOPPER, E.; LANDMAN, W. A.A simple approach for combining seasonal forecasts for southern Africa.
Meteorological Applications, v. 10, 2004, p. 319-327.
KOLASSA, S. Combining exponential smoothing forecasts using Akaike weights. International Journal of
Forecasting, v. 27, 2011, p. 238-251.
LAM, K. F.; MUI, H. W.; YUEN, H. K. A note on minimizing absolute percentage error in combined forecasts.
Computers and Operations Research, v. 28, 2001, p. 1141-1147.
LARRICK, R. P.; SOLL, J. B. Intuitions About Combining Opinions: Misappreciation of the Averaging
Principle. Journal Management Science, v. 52, 2006, p. 111-127.
LEUNG, M. T.; DAOUK, H.; CHEN, A. Using investment portfolio return to combine forecasts: A multi
objective approach. European Journal of Operational Research, v. 134, 2001, p. 84-102.
LIANG, K. Y.; LEE, J. C.; SHAO, K. S. H. On the Distribution of the Inverted Linear Compound of Dependent
F-Variates and its Application to the Combination of Forecasts. Journal of Applied Statistics, v. 33, 2006, p.
961-973.
LIN, C. C.; TANG, Y. H.; SHYU, J. Z.; LI, Y. M. Combining forecasts for technology forecasting and decision
making. Journal of Technology Management in China, v. 5, 2010, p. 69-83.
40
LIU, J.; KRENZ, D. C.; GALVEZ, A. F.; LUMEN, B. O.; MENEZES, L. M.; BUNN, D. W. The persistence of
specification problems in the distribution of combined forecast errors. International Journal of Forecasting, v.
14, 1998, p. 415-426.
LOBO, G. J.; NAIR, R. D. Combining Judgmental and Statistical Forecasts: An Application to Earnings
Forecasts. Decision Sciences, v. 21, 1990, p. 446-460.
LOBO, G. J. Alternative methods of combining security analysts' and statistical forecasts of annual corporate
earnings. International Journal of Forecasting, v. 7, 1991, p. 57-63.
LUBECKE, T. H.; NAM, K. D.; MARKLAND, R. E.; KWOK, C. C. Y. Combining foreign exchange rate
forecasts using neural networks. Global Finance Journal, v. 9, 1998, p. 5-27.
LUCIO, P. S.; SANTOS, L. A.; SILVA, F. D.; BALBINO, H. T.; FERREIRA, D. B.; SALVADOR, M. A.
Combining stochastic forecasts of attributes based on the Standardized Precipitation Index transformation
design. Geophysical Research Abstracts, v. 9, 2007, p. 10266.
MACDONALD, R.; MARSH, I. W. Combining exchange rate forecasts: What is the optimal consensus
measure? Journal of Forecasting, v. 13, 1994, p. 313-332.
MAGALHAES, M. H.; BALLINI, R.; MOLCK, P.; GOMIDE, F. Combining forecasts for natural stream flow
prediction. Annual Meeting of the Fuzzy Information, v. 1, 2004, p. 390-394.
MAHMOUD, E. Combining forecasts: Some managerial issues. International Journal of Forecasting, v. 5,
1989, p. 599-600.
MAINES, L. A. An experimental examination of subjective forecast combination. International Journal of
Forecasting, v. 12, 1996, p. 1178-1195.
MAKRIDAKIS, S.; ANDERSON, A.; CARBONE, R.; FILDES, R.; HIBON, M.; LEWANDOSKI, R.;
NEWTON, J.; PARZEN, E.; WINKLER, R. The accuracy of extrapolation (time series) methods: Results of a
forecasting competition. Journal of Forecasting, v. 1, 1982, p. 111-153.
MAKRIDAKIS, S.; CHATFIELD, C.; HIBON, M.; LAWRENCE, M.; MILLS, T.; ORD, K.; SIMMONS, L. F.
The M2-Competition: a real-time judgmentally based forecasting study. International Journal of Forecasting,
v. 9, 1993, p. 5-22.
MAKRIDAKIS, S.; HIBON, M. The M3-Competition: results, conclusions and implications. International
Journal of Forecasting, v. 16, 2000, p. 451-476.
MARQUES, E. B. Combinação de Previsões de Índices de Preços. Dissertação (mestrado), Escola de Pós-
Graduação em Economia, Fundação Getúlio Vargas. Rio de Janeiro, 2005.
MARTINS, V. L. M. Comparação de combinação de previsões correlacionadas e não correlacionadas com as
suas previsões individuais: um estudo com séries industriais. Dissertação (mestrado), Escola de Engenharia,
UFRGS, 2011.
MARTINS, V. L. M.; WERNER, L. Forecast combination in industrial series: A comparison between individual
forecasts and its combinations with and without correlated errors. Expert Systems with Applications, v. 39,
2012, p. 11479-11486.
MCINTYRE, S. H.; ACHABAL, D. D.; MILLER, C. M. Applying case-based reasoning to forecasting retail
sales. Journal of Retailing, v. 69, 1993, p. 372-398.
MCNEES, S. K. The uses and abuses of ‘consensus’ forecasts. Journal of Forecasting, v. 11, 1992, p. 703-710.
MEADE, N.; ISLAM, T. Technological Forecasting - Model Selection, Model Stability, and Combining Models.
Management Science, v. 44, 1998, p. 1115-1130.
MENEZES, L. M.; BUNN, D. W. Diagnostic tracking and model specification in combined forecasts of U.K.
inflation. Journal of Forecasting, v. 12, 1993, p. 559-572.
MENEZES, L. M.; BUNN, D. W.; TAYLOR, J. W. 2000. Review of guidelines for the use of combined
forecasts. European Journal of Operational Research, v. 120: 190-204.
METZGER, S.; LATIF, M.; FRAEDRICH, K. Combining ENSO Forecasts: A Feasibility Study. Monthly
Weather Review, v. 132, 2004, p. 456-72.
MILLER, C. M.; CLEMEN, R. T.; WINKLER, R. L. The effect of nonstationarity on combined forecasts.
International Journal of Forecasting, v. 7, 1992, p. 515-529.
41
MORENO, B.; LÓPEZ, A. J. Combining economic forecasts through information measures. Applied
Economics Letters, v. 14, 2007, p. 899-903.
MORENO, B.; LÓPEZ, A. J. Combining Economic Forecasts by Using a Maximum Entropy Econometric
Approach. Journal of Forecasting (in press), 2011.
MOSTAGHIMI, M. Combining ranked mean value forecasts. European Journal of Operational Research, v.
94, 1996, p. 505-516.
MUKHOPADHYAY, S. K.; YUE, X.; ZHU, X. A Stackelberg model of pricing of complementary goods under
information asymmetry. International Journal of Production Economics, v. 134, 2011, p. 424-433.
NEWBOLD, P.; GRANGER, C. W. J. Experience with Forecasting Univariate Time Series and the Combination
of Forecasts. Journal of Royal Statistical Society (A), v. 137, 1974, p. 131-165.
NIELSEN, H. A.; NIELSEN, T. S.; MADSEN, H.; PINDADO, M. J. S. I.; MARTI, I.; Optimal combination of
wind power forecasts. Wind Energy, v. 10, 2007, p. 471-482.
ÖLLER, L. E. Forecasting the business cycle using survey data. International Journal of Forecasting, v. 6,
1990, p. 453-461.
PALM, F. C.; ZELLNER, A. To combine or not to combine? Issues of combining forecasts. Journal of
Forecasting, v. 11, 1992, p. 687-701.
PERRY, C.; EULER, T. Cost-effective forecasting: Lessons my computer programs never taught me. Omega, v.
18, 1990, p. 241-246.
PALIWAL, M.; KUMAR, U. A Neural networks and statistical techniques: A review of applications. Expert
Systems with Applications, v. 36, 2009, p. 2-17.
PONCELA, P.; SENRA, E. A two factor model to combine US inflation forecasts. Applied Economics, v. 38,
2006, p. 2191-2197.
PONCELA, P.; RODRÍGUEZ, J.; MANGAS, R. S.; SENRA, E. Forecast combination through dimension
reduction techniques. International Journal of Forecasting, v. 27, 2011, p. 224-237.
PREMINGER, A.; ZION, U. B.; WETTSTEIN, D. The extended switching regression model: allowing for
multiple latent state variables. Journal of Forecasting, v. 26, 2007, p. 457-473.
RAMNATH, S.; ROCK, S.; SHANE, P. Value Line and I/B/E/S earnings forecasts .International Journal of
Forecasting, v. 21, 2005, p. 185-198.
RANJAN, R.; GNEITING, T. Combining probability forecasts. Journal of the Royal Statistical Society, v. 72,
2010, p. 71-91.
RAPACH, D. E.; STRAUSS, J. K. Forecasting US employment growth using forecast combining methods.
Journal of Forecasting, v. 27, 2008, p. 75-93.
RAPACH, D. E.; STRAUSS, J. K.; ZHOU, G. Out-of-Sample Equity Premium Prediction: Combination
Forecasts and Links to the Real Economy. Review of Financial Studies, v. 23, 2009, p. 821-862.
RAPACH, D. E.; STRAUSS, J. K. Forecasting US state-level employment growth: An amalgamation approach.
International Journal of Forecasting, v. 28, 2012, p. 315-327.
REEVES, G. R.; LAWRENCE, K. D. Combining forecasts given different types of objectives. European
Journal of Operational Research, v. 51, 1991, p. 65-72.
RIDLEY, D. Combining Global Antithetic Forecasts. International Transactions in Operational Research, v.
2, 1995, p. 387-398.
RIDLEY, D. Optimal weights for combining antithetic forecasts. Computers and Industrial Engineering, v.
32, 1997, p. 371-381.
RIDLEY, D. Combining heteroscedastic antithetic forecasts. Computers and Industrial Engineering, v. 36,
1999, p. 227-230.
RIEDEL, S. Pooling for Combination of Multilevel Forecasts. Transactions on Knowledge and Data
Engineering, v. 21, 2009, p. 1753-66.
RINGUEST, J. L.; TANG, K. An empirical comparison of five procedures for combining (or selecting)
forecasts. Socio-Economic Planning Sciences, v. 23, 1989, p. 217-225.
42
SANCETTA, A. Recursive Forecast Combination for Dependent Heterogeneous Data. Econometric Theory, v.
26, 2009, p. 598-631.
SANDERS, N. R.; RITZMAN, L. P. Bringing judgment into combination forecasts. Journal of Operations
Management, v. 13, 1995, p. 311-321.
SCHMITTLEIN, D. C.; KIM, J.; MORRISON, D. G. Combining forecasts: operational adjustments to
theoretically optimal rules. Journal Management Science, v. 36, 1990, p. 1044-1056.
SHEN, C. H. Forecasting macroeconomic variables using data of different periodicities. International Journal
of Forecasting, v. 12, 1996, p. 269-282.
SHEN, S.; LI, G.; SONG, H. An Assessment of Combining Tourism Demand Forecasts over Different Time
Horizons. Journal of Travel Research, v. 47, 2008, p. 197-207.
SHI, S. M.; XU, L. D.; LIU, B. Improving the accuracy of nonlinear combined forecasting using neural
networks. Expert Systems with Applications, v. 16, 1999, p. 49-54.
SHI, S. Y. Study on the Technique and Error Analysis of Nonlinear Combining Forecasts Based Fuzzy System.
International Conference on Electronic Computer Technology, 2009, p. 385-387.
SILVA, E. L.; MENEZES, E. M. Metodologia da Pesquisa e Elaboração de Dissertação. Laboratório de Ensino à
Distância da UFSC / PPGEP: 3ª Ed, 2001.
SMITH, S. K. Further thoughts on simplicity and complexity in population projection models. International
Journal of Forecasting, v. 13, 1997, p. 557-565.
SMITH, J.; WALLIS, K. F. A Simple Explanation of the Forecast Combination Puzzle. Oxford Bulletin of
Economics and Statistics, v. 71, 2009, p. 331-355.
SPANN, M.; SKIERA, B. Sports forecasting: a comparison of the forecast accuracy of prediction markets,
betting odds and tipsters. Journal of Forecasting, v. 28, 2009, p. 55-72.
SPIRO, P. S. Improving a group forecast by removing the conservative bias in its components. International
Journal of Forecasting, v. 5, 1989, p. 127-131.
STATHOPOULOS, A.; DIMITRIOU, L.; TSEKERIS, T. Fuzzy Modeling Approach for Combined Forecasting
of Urban Traffic Flow. Computer-Aided Civil and Infrastructure Engineering, v. 23, 2008, p. 521-535.
STRIJBOSCH, L. W. G.; HEUTS, R. M. J.; SCHOOT, E. H. M. A combined forecast - inventory control
procedure for spare parts. Journal of the Operational Research Society, v. 51, 2000, p. 1184-1192.
SUMI, S. M.; ZAMAN, F.; HIROSE, H. A novel hybrid forecast model with weighted forecast combination
with application to daily rainfall forecast of Fukuoka city. ACIIDS’11 Proceedings of the Third international
conference on Intelligent information and database systems, 2011, p. 262-271.
SZUPILUK, R.; WOJEWNIK, P.; ZABKOWSKI, T. Combining forecasts with blind signal separation methods
in electric load prediction framework. 24th IASTED international conference on Artificial intelligence and
applications table of contents, 2006, p. 439-444.
TANG, X.; ZHOU, Z.; SHI, Y. The error bounds of combined forecasting. Mathematical and Computer
Modeling, v. 36, 2002, p. 997-1005.
TANG, X.; ZHOU, Z.; SHI, Y. The variable weighted functions of combined forecasting. Computers and
Mathematics with Applications, v. 45, 2003, p. 723-730.
TAYLOR, J. W.; BUNN, D. W. Investigating Improvements in the Accuracy of Prediction Intervals for
Combinations of Forecasts: A Simulation Study. International Journal of Forecasting, v. 15, 1999, p. 325-339.
TAYLOR, J. W.; MAJITHIA, S.; JAMES, W. Using combined forecasts with changing weights for electricity
demand profiling. Journal of the Operational Research Society, v. 51, 2000, p. 72-82.
TERREGROSSA, S. J. On the efficacy of constraints on the linear combination forecast model. Applied
Economics Letters, v. 12, 2005, p. 19-28.
TERUI, N.; DIJK, H. K. Combined forecasts from linear and nonlinear time series models. International
Journal of Forecasting, v. 18, 2002, p. 421-438.
THEODOSIOU, M. Forecasting monthly and quarterly time series using STL decomposition. International
Journal of Forecasting, v. 27, 2011, p. 1178-1195.
43
THOMAS, R. J. Estimating demand for services: issues in combining sales forecasts. Journal of Retailing and
Consumer Services, v. 3, 1996, p. 241-250.
TIBILETTI, L. A non-linear combination of experts' forecasts: A Bayesian approach. Journal of Forecasting,
v. 13, 1994, p. 21-27.
TSANGARI, H. An Alternative Methodology for Combining Different Forecasting Models. Journal of Applied
Statistics, v. 34, 2007, p. 403-421.
VOLKOV, V. Y.; GLADKOV, Y. U. M. Reconfigurable combined forecasts in a non-stationary inflationary
environment. Journal of Forecasting, v. 14, 1995, p. 395-403.
VOKURKA, R. J.; FLORES, B. E.; PEARCE, S. L. Automatic feature identification graphical support in rule-
based forecasting: a comparison. International Journal of Forecasting, v. 12, 1996, p. 495-512.
WALLIS, K. COMBINING FORECASTS - forty years later. Applied Financial Economics, v. 21, 2011, p. 33-
41.
WALZ, D. B.; WALZ, D. P. Combining Forecasts: Multiple Regression versus a Bayesian Approach†. Decision
Sciences, v. 20, 1989, p. 77-89.
WANG, M. Y.; LAN, W. T. Combined forecast process: Combining scenario analysis with the technological
substitution model. Technological Forecasting and Social Change, v. 74, 2007, p. 357-378.
WANG, W.; NIE, S. The Performance Evaluation and Choice of Combining Forecast Method. Second
International Symposium on Intelligent Information Technology Application, v. 1, 2008, p. 838-842.
WANG, W.; NIE, S. The Performance of Several Combining Forecasts for Stock Index. International Seminar
on Future Information Technology and Management Engineering, 2008b, p. 450-455.
WANG, G.; KULKARNI, S. R.; POOR, H. V.; OSHERSON, D. N. Aggregating Large Sets of Probabilistic
Forecasts by Weighted Coherent Adjustment. Journal Decision Analysis, v. 8, 2011, p. 128-144.
WEBBY, R.; O’CONNOR, M. Judgment and Statistical Time Series Forecasting: a Review of the Literature.
International Journal of Forecasting, v. 12, 1996, p. 91-118.
WENZEL, T. Hits-and-misses for the evaluation and combination of forecasts. Journal of Applied Statistics, v.
28, 2001, p. 759-773.
WERNER, L. Um modelo composto para realizar previsão de demanda através da integração da combinação de
previsões e do ajuste baseado na opinião. Tese (doutorado), Escola de Engenharia, UFRGS, 2005.
WERNER, L.; RIBEIRO, J. L. D. Modelo Composto para prever demanda através da integração de previsões.
Produção (São Paulo), v. 16, 2006, p. 493-509.
WHITE, E. M.; DATTERO, R.; FLORES, B. Combining vector forecasts to predict thoroughbred horse race
outcomes. International Journal of Forecasting, v. 8, 1992, p. 595-611.
WICHARD, J. D. Forecasting the NN5 time series with hybrid models. International Journal of Forecasting,
v. 27, 2011, p. 700-707.
WINKLER, R. L. Combining forecasts: A philosophical basis and some current issues. International Journal
of Forecasting, v. 5, 1989, p. 605-609.
WINKLER, R. L.; CLEMEN, R. T. Sensitivity of weights in combining forecasts. Operations Research, v. 40,
1992, p. 609-614.
WINKLER, R. L.; CLEMEN, R. T. Multiple Experts vs. Multiple Methods: Combining Correlation
Assessments. Journal Decision Analysis, v. 1, 2004, p. 167-176.
WINKLER, R. L.; MAKRIDAKIS, S. The Combination of Forecasts. Journal of the Royal Statistical Society,
Series A (General), v. 146, 1983, p.150-157.
WONG, K. K. F.; SONG, H.; WITT, S. F.; WU, D. C. Tourism forecasting: To combine or not to combine?
Tourism Management, v. 28, 2007, p. 1068-1078.
XIONG, L.; SHAMSELDIN, A. Y.; O’CONNOR, K. M. A non-linear combination of the forecasts of rainfall-
runoff models by the first-order Takagi-Sugeno fuzzy system. Journal of Hydrology, v. 25, 2001, p. 196-217.
YUFANG, C.; MINGHUI, J. Combining Forecasts of Personal Credit Scoring Based on RBF Neural Network.
Control Conference (Chinese), 2007, p. 250 – 252.
44
ZHANG, L.; ZHAO, W.; HE, Z.; LIU, H. Application of the Takagi - Sugeno fuzzy system for combination
forecasting of river flow in semiarid mountain regions. Hydrological Processes, v. 23, 2009, p. 1430-1436.
ZHANG, X.; LEI, Y.; CAO, Q. V. Compatibility of Stand Basal Area Predictions Based on Forecast
Combination. Forest Science, v. 56, 2010, p. 552-557.
ZHOU, Z.; SHI, Y.; HAO, X. An MC2 Linear Programming Approach to Combined Forecasting. Mathematical
and Computer Modelling, v. 29, 1999, p. 97-103.
ZHU, X.; MUKHOPADHYAY, S. K.; YUE, X. Role of forecast effort on supply chain profitability under
various information sharing scenarios. International Journal of Production Economics , v. 129, 2011, p. 284-
291.
ZOU, H.; YANG, Y. Combining time series models for forecasting. Journal of Forecasting, v.20, 2004, p. 69-
84.
45
Ao longo dos anos, foram publicados diversos estudos que comparam as previsões
individuais com a combinação de previsões. A fim de indicar o método de combinação mais
acurado, métodos como a média simples e a variância mínima são constantemente
confrontados com as técnicas de previsões individuais. No entanto, não há unanimidade nas
conclusões. Além disso, modelos como a combinação por regressão são pouco contemplados.
Sendo assim, este trabalho apresenta um estudo comparativo destes três modelos de
combinação e suas previsões individuais. Baseado em dados simulados, é avaliada a acurácia
das técnicas de redes neurais artificiais (RNA), dos modelos de Box-Jenkins (ARIMA) e dos
modelos de alisamento exponencial, calculando-se as previsões combinadas através da média
simples, da variância mínima e de modelos de regressão. As medidas empregadas para a
escolha do método mais preciso são MAE (erro absoluto médio), MAPE (erro percentual
absoluto médio), RMSE (raiz do erro médio quadrático) e o coeficiente U de Theil. Como
principal contribuição, destaca-se a preeminência das técnicas de RNA e a acurácia da
combinação por modelos de regressão.
PALAVRAS-CHAVE: previsão, combinação de previsões, medidas de acurácia.
Abstract
Over the years, several studies comparing the individual forecasts with the
combination of forecasts were published. In order to give the most accurate method, models
as simple average and minimum variance are constantly confronted with the individual
forecasts. However, there is no unanimity in the conclusions. Moreover, models such as the
combination by regression are not contemplated. Therefore, this paper presents a
comparative study of these three combination and their individual forecasts. Based on
simulated data, it evaluates the accuracy of the techniques of artificial neural networks
(ANN), Box-Jenkins (ARIMA) and exponential smoothing, calculating the forecasts combined
by simple averaging, minimum variance and regression models. The measures used to choose
the most accurate method are MAE (mean absolute error), MAPE (mean absolute percentage
error), RMSE (root mean square error) and Theil’s inequality coefficient (U). As main
contribution, we highlight the preeminence of the techniques of ANN and the accuracy of the
combination of forecasts by regression models.
KEYWORDS: forecasting, combined forecasts, measures of accuracy.
46
1. INTRODUÇÃO
A fim de reduzir custos e aumentar a qualidade dos produtos, diversas técnicas
aplicadas à gestão da produção vêm sendo desenvolvidas e aprimoradas. Dentre as diferentes
variáveis do planejamento e controle da produção, destaca-se o conhecimento prévio da
demanda futura do mercado, que afeta diretamente o sucesso empresarial (WANG e CHANG,
2010). No entanto, a realização de previsões é um processo que envolve incertezas; no intuito
de minimizar essa incerteza, existe uma gama variada de técnicas de previsão e de modelos
que incorporam estas diferentes previsões, método este, conhecido como combinação de
previsões (MARTINS e WERNER, 2012). Desde Bates e Granger (1969) técnicas de
combinação vêm sendo exaustivamente comparadas. Já é possível listar diversos autores que
concluíram que a combinação de previsões é mais acurada que o melhor modelo individual
(BATES e GRANGER, 1969; CLEMEN, 1989; TAYLOR e BUNN, 1999; PONCELA et al.,
2011; MARTINS e WERNER, 2012). Entretanto, não basta apenas combinar, é preciso saber
quais técnicas utilizar e como combiná-las (WERNER, 2005).
Em suma, a combinação de previsões consiste em utilizar diferentes previsões de
forma combinada, qualitativa ou quantitativamente. Sendo assim, é preciso selecionar as
melhores técnicas de previsão e, para tanto, se faz necessário investigar quais técnicas
apresentam melhor acurácia. Na última década as técnicas não lineares de previsão ganharam
destaque nas mais diversas áreas do conhecimento, mais especificadamente, a previsão por
Redes Neurais Artificiais (RNA) foi muito comparada com outras previsões individuais. No
entanto, são poucos os estudos que comparam estas com técnicas de combinação
(MANCUSO, 2013).
O objetivo deste artigo é contribuir no estudo da comparação de previsões individuais
e combinadas, de forma a avaliar a acurácia de cada método através de dados simulados.
Utilizando softwares estatísticos, este estudo analisa técnicas de redes neurais artificiais, Box-
Jenkins (ARIMA) e Alisamento Exponencial (AE); pois, além da popularidade, estes métodos
foram escolhidos pela sua capacidade de reconhecer padrões e regularidades em séries de
tempo. As previsões combinadas foram calculadas através da média simples, variância
mínima e da análise de regressão. Como o presente trabalho propõe um estudo comparativo
da acurácia de diferentes técnicas de previsão, a comparação será realizada diretamente com
medidas de acurácia. As métricas utilizadas correspondem ao erro absoluto médio (MAE),
erro percentual médio absoluto (MAPE), raiz do erro médio quadrático (RMSE) e o
coeficiente U de Theil.
47
Este artigo está estruturado em cinco seções, sendo esta introdução a primeira. A seção
dois apresenta um breve referencial teórico sobre as técnicas e os modelos utilizados. A seção
três apresenta os procedimentos metodológicos de simulação. Os resultados das comparações
são apresentados e discutidos na seção quatro. E, por último, na seção cinco encontram-se as
principais conclusões deste estudo.
Uma característica importante das séries temporais é que as observações vizinhas são,
em geral, dependentes. Portanto, um modo simples de se estudar o comportamento destas
séries é a partir da análise e da modelagem destas dependências. Neste trabalho, três técnicas
de previsão individual serão consideradas: ARIMA, Alisamento Exponencial e RNA. Dentre
os motivos das técnicas ARIMA e Alisamento Exponencial serem aqui explicitadas está o fato
48
de serem simples, de baixo custo e adequados para realizar previsões (MAKRIDAKIS et al.,
1998; MARTÍNEZ e ZAMPROGNO, 2003; MORETTIN e TOLOI, 2006;). Ademais, optou-
se pela técnica de redes neurais por apresentarem vantagens sobre as técnicas tradicionais
(CALÔBA et al., 2002; GUAN et al., 2004; TURE e KURT, 2006; PALIWAL e KUMAR,
2009;).
Os modelos mais populares para previsão de séries temporais são os Auto Regressive
Integrated Moving Average (ARIMA), propostos por Box e Jenkins (CHEN e WANG, 2007;
XU et al., 2010). Os modelos ARIMA se baseiam na teoria da modelagem estatística, onde
um algoritmo é utilizado para buscar um modelo acurado que apresente o menor número de
parâmetros possível, um modelo parcimonioso (LU e ABOURIZK, 2009). São modelos
matemáticos que visam capturar o comportamento da série por meio da correlação entre
valores passados (WERNER, 2005). Estes modelos resultam da combinação de três
componentes: auto-regressivo (AR), de Integração (I) e o de Médias Móveis (MA). O
algoritmo de Box-Jenkins auxilia na escolha do melhor modelo baseado nos gráficos da
função de autocorrelação e da função de autocorrelação parcial; porém, a identificação deste
melhor modelo exige experiência e subjetividade do analista (LU e ABOURIZK, 2009), pois
uma mesma série de dados pode apresentar diferentes modelos. Entretanto, comparada com
outras técnicas, esta metodologia ainda se sobressai quanto à facilidade de uso e,
principalmente, à acurácia dos modelos. A desvantagem desses modelos é que eles são
lineares, e a relação entre as variáveis é não linear para a maioria dos problemas reais. Mais
detalhes sobre esta técnica podem ser vistos em Makridakis et al. (1998).
Alisamento Exponencial ou Volatilidade Exponencialmente Ponderada (Exponentially
Weighted Volatility) é uma técnica que busca valorizar as ocorrências mais recentes. Segundo
Taylor (2003), a popularidade da técnica se deve à sua robustez e praticidade nas aplicações
em que um grande número de séries deve ser modelado. Dentre as técnicas disponíveis de
suavização exponencial, destacam-se o alisamento exponencial simples, o alisamento
exponencial duplo, o modelo linear de Holt (para as séries que apresentam o componente de
tendência) e o modelo de Holt-Winters (quando a série apresentar tanto o componente de
tendência quanto o componente sazonal). Assumindo que os valores extremos da série são
flutuações aleatórias, o propósito destas técnicas é identificar um padrão básico (MORETTIN
E TOLOI, 2006). Mais detalhes sobre métodos de alisamento podem ser vistos em Hyndman
et al. (2008).
As Redes Neurais Artificiais (RNA), propostas por McCullock e Pitts em 1943, são
técnicas computacionais que apresentam um modelo matemático baseado na estrutura neural
49
Modelo Fórmula
Média Simples ∑ ̂ ⁄
Variância Mínima ∑ ̂
Regressão ∑ ̂
Figura 1: Modelos de Combinação de Previsões
Fonte: elaborada pela autora
(∑ ) ⁄∑ (∑ ) (2)
a serem utilizadas: MAE (Mean Absolute Error), MAPE (Mean Absolute Perceptual Error),
RMSE (Root Mean Square Error) e o coeficiente U de Theil.
Sigla Fórmula
MAE ( ) ∑ |( ̂ )|
MAPE ( )∑ |( ̂) |
RMSE √( ) ∑ ( ̂)
U de Theil √( ) ∑ ( ̂ ) ⁄[√( ) ∑ ( ) √( ) ∑ (̂ ) ]
3. PROCEDIMENTOS METODOLÓGICOS
Esta seção visa apresentar a metodologia utilizada na análise dos dados, estruturada
em cinco etapas. O objetivo desta metodologia segue em simular séries temporais
estacionárias para comparar a acurácia das técnicas e métodos referenciados anteriormente,
buscando quais destes apresentam um melhor desempenho para a previsão.
A primeira etapa consiste na geração dos dados. Serão geradas 500 séries temporais
com 200 períodos de tempo (observações). Para tanto, no programa r-Project versão 2.15.0
(disponível gratuitamente em www.r-project.org), será utilizado o comando “ts” para criar
séries temporais através do somatório dos comandos “rpois”, “rbinom” e “rnorm” que geram
variáveis aleatórias com distribuição de Poisson, Binomial e Normal, respectivamente.
A modelagem das séries será realizada na segunda etapa. Para cada uma das séries
simuladas no estudo, serão realizadas as três modelagens individuais propostas com 180
52
4. RESULTADOS E DISCUSSÃO
Para cada uma das 500 séries foram obtidas as previsões de seis diferentes formas: três
previsões individuais e três combinações das previsões, conforme especificado anteriormente.
Cada uma destas foi avaliada quanto a sua acurácia por quatro medidas distintas: MAE,
MAPE, RMSE e U de Theil. Uma análise descritiva destas medidas foi realizada para cada
método de previsão, conforme apresentado na Tabela 1.
53
Todavia, o interesse segue, de forma pontual, na previsão mais acurada para as séries
de dados. Buscando-se qual método realiza a melhor previsão, por medida de acurácia, o
método por regressão foi o que apresentou os melhores resultados. A Tabela 2 apresenta as
frequências percentuais do melhor método para as quatro medidas. Tais frequências foram
obtidas considerando o número de vezes em que cada método possui a menor medida de
acurácia, enfatizando os resultados anteriormente encontrados.
Na Tabela 3 observa-se que, das 500 séries estudadas, 283 (56,6%) apresentaram o
modelo de regressão como o mais acurado nas quatro medidas de acurácia consideradas.
Outras 130 séries (26%) também registraram a análise de regressão para a previsão mais
acurada, porém apenas em três das medidas. Quando o critério é o mais acurado em duas das
57
medidas, 141 séries (28,2%) apresentaram esta condição, sendo, novamente, a técnica de
RNA a segunda mais cotada.
5. CONCLUSÕES
Foram simuladas 500 séries temporais com 200 elementos cada, sendo 180 para treino
e 20 para teste. Estas foram, então, modeladas em três técnicas de previsão individual:
ARIMA, alisamento exponencial e RNA. Na sequência, foram obtidas as combinações
utilizando os modelos de média aritmética, de variância mínima e de regressão. Com vista a
analisar o desempenho em termos de acurácia, foram utilizadas quatro medidas: MAE,
MAPE, RMSE e U de Theil; realizando-se um comparativo para indicar o melhor método.
Os resultados obtidos revelaram que as previsões mais acuradas são obtidas por meio
da combinação por regressão, observando-se um consenso entre as quatro medidas de
acurácia para 56,6% das séries simuladas. Em segundo lugar, destacaram-se as previsões
individuais realizadas via RNA, superando os demais modelos de combinação.
Entretanto, apesar da importância da escolha de qual método de previsão utilizar, a
questão segue em quais técnicas ajustar em um modelo de combinação de previsões. Como
levantado por Werner (2005), a popularidade da combinação se deve ao fato de que, ao invés
de tentar escolher a melhor técnica, formula-se o problema perguntando que técnicas
poderiam ajudar na melhoria da acurácia; visto que, uma técnica pouco qualificada pode
prejudicar a previsão combinada. Por isso, destaca-se a importância da escolha das técnicas
ajustadas.
Contudo, a combinação por regressão, apesar de não ser um método popular, destaca-
se pelo potencial apresentado neste trabalho. Assim como a preeminência das RNA frente às
demais técnicas de previsões individuais. Os resultados aqui apresentados servem como um
indicativo para a consideração destes modelos nos conjuntos de validação dos métodos de
previsão. Deixando-se como sugestão para futuros trabalhos o estudo destes métodos em
séries estacionárias geradas com passeio aleatório e em séries reais que contemplem outros
comportamentos.
REFERÊNCIAS
ARMSTRONG, J. S.; COLLOPY, F. Error Measures for Generalizing About Forecasting Methods: Empirical
Comparisons. International Journal of Forecasting, v.8, 1992, p. 69-80.
ARMSTRONG, J. S. Principles of Forecasting: A Handbook for Researchers and Practitioners. Kluwer
Academic Publishers, 2001.
BATES, J. M.; GRANGER, C. W. J. The Combining of Forecasts. Operational Research Quarterly, v. 20,
1969, p.451-468.
CAI, Y,; STANDER, J.; DAVIES, N. A new Bayesian approach to quantile autoregressive time series model
estimation and forecasting. Journal of Time Series Analysis, v. 33, 2011, p. 684-698.
59
CALÔBA, G. M.; CALÔBA, L. P.; SALIBY, E. Cooperação entre Redes Neurais Artificiais e técnicas
‘clássicas’ para previsão de demanda de uma série de vendas de cerveja na Austrália. Pesquisa Operacional,
v.22, 2002, p.345-358.
CHEN, K. Y.; WANG, C. H. A hybrid SARIMA and support vector machines in forecasting the production
values of the machinery industry in Taiwan. Expert Systems with Applications, v.32, 2007, p. 254-264.
CLEMEN, R. T. Combining forecasts: A review and annotated bibliography. International Journal of
Forecasting, v. 5, 1989, p. 559-583.
CRUZ, A. J. R.; CORTEZ, P. Data Mining via Redes Neuronais Artificiais e Máquinas de Vectores de
Suporte. Tékhne, v.12, 2009, p. 99-118.
FAIR, R. C. Evaluating the predictive accuracy of models. In: GRILICHES, Z.; INTRILIGATOR, M. D.
Handbook of Econometrics, Elsevier Science Publishers, v. 3, cap. 33, 1986,p. 1980-1995.
FERNANDES, L. G. L.; PORTUGAL, M. S.; NAVAUX, P. O. A. Previsão de Séries de Tempo: Redes Neurais
Artificiais e Modelos Estruturais. Pesquisa e Planejamento Econômico, v. 26, 1996, p. 253-276.
FOGLIATTO, F. S.; RIBEIRO, J. L. D.; WERNER, L. ; LEMOS, F. O.; BRUM, M. P. Previsão de demanda por
energia elétrica Método e aplicação. Revista Produção Online, v. 5, 2005, p. 1-12.
GUAN, P.; HUANG, D.; ZHOU, B. Forecasting model for the incidence of hepatitis A based on artificial neural
network. World Journal of Gastroenterology, v.10, 2004,p. 3579–3582.
GÜNTHER, F.; FRITSCH, S. Neuralnet: Training of Neural Networks. The R Journal, v. 2/1, 2010, p. 30-38.
GUPTA, M. M.; RAO, D. H. On the principles of fuzzy neural networks. Fuzzy Sets and Systems, v.61, 1994,
p. 1-18.
HYNDMAN, R. J.; KOEHLER, A. B. Another look at measures of forecast accuracy. International Journal of
Forecasting, v.22, 2006, p. 679-688.
HYNDMAN, R. J.; KOEHLER, A. B.; ORD, J. K.; SNYDER, R. D. Forecasting with exponential smoothing:
The State Space Approach. Springer Series in Statistics, 2008.
HAYKIN, S. Redes neurais: princípios e prática. Porto Alegre: Bookman, 2ª ed, 2001.
JEONG, D. I.; KIM, Y. Combining single-value stream flow forecasts: A review and guide lines for selecting
techniques. Journal of Hydrology, v. 377, 2009, p. 284-299.
KHASHEI, M.; BIJARI, M. A artificial neural network (p,d,q) model for time series forecasting. Expert
Systems with Applications, v.37, 2010, p. 479-489.
LU, Y.; ABOURIZK, S. M. Automated Box-Jenkins forecasting modeling. Automation in Construction, v. 18,
2009, p. 547-558.
MAKRIDAKIS, S.; WHEELWRIGHT, S.; HYNDMAN, R. Forecasting: Methods and Applications. New
York: John Wiley & Sons, 3 ed. 1998.
MANCUSO, A. C. B. Uma investigação do desempenho de métodos de Combinação de Previsões: simulado
e aplicado. Dissertação (mestrado). PPGEP, UFRGS. Porto Alegre, 2013.
MARTÍNEZ, R. O.; ZAMPROGNO, B. Comparação de algumas técnicas de previsão em análise de séries
temporais. Revista Colombiana de Estadística, v.26, 2003, p. 129-157.
MARTINS, V. L. M.; WERNER, L. Forecast combination in industrial series: A comparison between individual
forecasts and its combinations with and without correlated errors. Expert Systems with Applications, v. 39,
2012, p. 11479-11486.
MING SHI, S.; DA XU, L.; LIU. B. Improving the accuracy of nonlinear combined forecasting using neural
networks. Expert Systems with Applications, v.16, 1999, p. 49-54.
MORETTIN, P. A.; TOLOI, C. M. C. Análise de Séries Temporais. São Paulo: Edgard Blucher, 2ªed, 2006.
NEWBOLD, P.; GRANGER, C. W. J. Experience with forecasting univariate time series and the combination of
forecasts. Journal of the Royal Statistical Society. Series A (General), v. 137, 1974, p. 131-165.
PALIWAL, M.; KUMAR, U. A Neural networks and statistical techniques: A review of applications. Expert
Systems with Applications, v. 36, 2009, p. 2-17.
60
PONCELA P.; RODRÍGUEZ J.; MANGAS, R. S.; SENRA, E. Forecast combination through dimension
reduction techniques. International Journal of Forecasting, v. 27, 2011, p. 224-237.
SPENCER, D. E. Developing a Bayesian vector autoregression forecasting model. International Journal of
Forecasting, v. 9, 1993, p. 407-421.
TAYLOR, J. W.; BUNN, D. W. Investigating Improvements in the Accuracy of Prediction Intervals for
Combinations of Forecasts: A Simulation Study. International Journal of Forecasting, v. 15, 1999, p. 325-339.
TAYLOR, J. W. Exponential smoothing with a damped multiplicative trend. International Journal of
Forecasting, v.19, 2003, p. 715-725.
TURE, M.; KURT, I. Comparison of four different time series methods to forecast hepatitis A virus infection.
Expert Systems with Applications, v. 31, 2006, p. 41-46.
WANG, F. E.; CHANG, K. Adaptive neuro-fuzzy inference system for combined forecasts in a panel
manufacturer. Expert Systems with Applications, v.37, 2010, p. 8119–8126.
WERNER, L. Um modelo composto para realizar previsão de demanda através da integração da
combinação de previsões e do ajuste baseado na opinião. Tese (doutorado), 166f. PPGEP, UFRGS. Porto
Alegre, 2005.
WINKLER, R. L.; MAKRIDAKIS, S. The Combination of Forecasts. Journal of the Royal Statistical Society,
Series A (General), v. 146, 1983, p.150-157.
XU, X.; QU, Y.; HUA, Z. Forecasting demand of commodities after natural disasters. Expert Systems with
Applications, v.37, 2010, 4313–4317.
ZOU, H.; YANG, Y. Combining time series models for forecasting. International Journal of Forecasting,
v.20, 2004, p.69-84.
61
ABSTRACT
Demand forecasting is a major factor for the efficiency of the management of
organizations, directly affecting business profitability. The higher accuracy of the prediction,
the better the business performance. In this context, methods of combining individual
forecasts and their forecasts have been constantly compared. This paper is concerned with
the demand of services in the area of medical audit; its main objective is to ascertain how
individual forecasts techniques (artificial neural networks (ANN), Box-Jenkins (ARIMA) and
exponential smoothing), and combined methods (simple average (arithmetic mean), minimum
variance and regression) behave against a series of real data (non-stationary). The results
were similar to the study by simulation Mancuso (2013), presenting the forecasting from
combined regression as the most accurate method.
KEYWORDS: demand forecasting, combined forecast, medical audit.
62
1. INTRODUÇÃO
A competição empresarial cresceu significativamente nas últimas décadas. Muitas
empresas, se não todas, precisam lidar com novos e crescentes critérios para concorrer e
garantir a própria sobrevivência. Neste contexto, a previsão de demanda se tornou um dos
principais fatores na gestão das empresas, revelando-se uma alternativa estratégica para
enfrentar as oscilações da demanda e, assim, evitar prejuízos.
A previsão de demanda é, portanto, fundamental para o planejamento da demanda e,
por extensão, para a cadeia produtiva (WANG e CHANG, 2010). No entanto, esta alternativa
estratégica não é exclusiva das indústrias, empresas prestadoras de serviços também exigem
organização e planejamento. Em setores que possuem grande rotatividade e flexibilidade de
serviços, com “lead times” variados, exige-se uma habilidade dinâmica de resposta. O
negócio que possui estas características necessita de um elevado nível de precisão na previsão
de demanda, para evitar o desbalanceamento dos recursos (tanto humanos como de
equipamentos) e, consequentemente, os gastos desnecessários, além de buscar um
atendimento eficaz aos clientes.
Este é o caso da área de auditoria médica, onde a previsão de demanda é um desafio.
Empresas desta área necessitam de uma ação gerencial voltada à segurança das operadoras de
saúde associadas, garantindo 100% dos serviços solicitados. Para tanto, a previsão de
demanda é um recurso essencial ao seu gerenciamento. Contudo, os dados históricos
disponíveis para a previsão nesta área da saúde apresentam tendência, sazonalidade e fatores
não controláveis (fatores naturais). Busca-se, então, como alternativa para o gerenciamento
eficiente, a utilização de modelos estocásticos de previsão de séries temporais.
Neste sentido, o presente trabalho busca verificar como as técnicas de previsões
individuais e os métodos de combinação de previsões, comparados no estudo de simulação de
Mancuso (2013), se comportam quando aplicados a uma série real. A diferença segue no
comportamento dos dados, a simulação avalia séries estacionárias, enquanto uma série real
não apresenta estacionariedade. Aplicado aos dados de demanda dos serviços na área de
auditoria médica, são comparadas, em termos de acurácia, as seguintes técnicas de previsão:
redes neurais artificiais (RNA), alisamento exponencial (AE), Box-Jenkins (ARIMA) e
combinações. Calculando-se as previsões combinadas obtidas por meio da média simples, da
variância mínima e por regressão. Assim como em Mancuso (2013), as medidas empregadas
para a escolha do método mais preciso são MAE, MAPE, RMSE e o coeficiente U de Theil.
63
Este artigo está estruturado em cinco seções, sendo esta introdução a primeira. A seção
dois contextualiza alguns métodos de previsão de demanda. A seção três descreve os dados
utilizados e os procedimentos metodológicos desenvolvidos. Os resultados e discussões estão
apresentados na seção quatro. E por último, na seção cinco, encontram-se as principais
conclusões deste estudo.
2. PREVISÃO DE DEMANDA
Realizar previsões é necessário, pois as organizações operam em uma atmosfera de
incerteza. As decisões afetam o futuro da organização, porém devem ser tomadas com base
nas informações do presente. Uma suposição ponderada sobre o futuro se torna mais valiosa
do que uma suposição não ponderada. Além do mais, a previsão de demanda desempenha um
importante papel em diversas áreas da organização como, por exemplo, na área de recursos
humanos, planejando o nível da força de trabalho, e no setor financeiro, planejando o uso de
recursos (FOGLIATTO et al., 2005).
Contudo, a questão segue em que tipo de previsão (modelo) utilizar. Dado um
conjunto de dados históricos disponíveis, percebem-se na literatura diversos critérios a
considerar na seleção dos métodos, entre eles o padrão dos dados existentes e o grau de
acurácia desejado. Visto que, busca-se uma avaliação dos melhores métodos para previsão,
aplicados em uma série real, o presente referencial teórico será subdivido em duas partes: (i)
métodos de previsão e medidas de acurácia e (ii) previsão de demanda em auditorias médicas.
Taylor (2003) também valoriza o alisamento exponencial por sua robustez e praticidade nas
aplicações em que um grande número de séries é considerado. No entanto, estes métodos
sofrem a limitação de serem técnicas lineares, isto é, inadequadas para muitos problemas do
mundo real. Neste ponto, Zhang (2003) sugere que as RNA podem ser uma alternativa
promissora aos tradicionais métodos lineares por sua capacidade de modelação não-linear.
Todavia, desde Bates e Granger (1969) as técnicas de previsões deixaram de ser
estudas apenas de forma individual. Diversos métodos de combinação de previsões foram
ganhando destaque por seu desempenho. No entanto, ainda não há um consenso de que
algum método seja superior aos demais.
A média simples é um dos métodos mais conhecidos para combinação de previsões
(CLEMEN, 1989; MENEZES et al., 2000). Para diversos autores este método é muitas vezes
preferível à combinação ponderada (FIGLEWSKI E URICH, 1983; JEONG E KIM, 2009;
HSIAO E WAN, 2011). Stock e Watson (2004) já definem o desempenho da média simples
como um enigma da combinação de previsões. Jeong e Kim (2009) comparam teórica e
empiricamente a média simples e a média ponderada e Menezes et al. (2000) discutem o
desempenho da média aritmética em algumas situações específicas.
Superando o desempenho da média aritmética, Martins e Werner (2012) apontam a
combinação de previsões pelo método da variância mínima como mais acurado. Mas, além
dos métodos considerados usuais, a literatura apresenta uma grande variedade de estudos com
outros enfoques. Poncela et al. (2011), por exemplo, propõem a utilização de técnicas de
redução da dimensão, apontando a previsão de mínimos quadrados parciais (PLS), de
regressão por componentes principais e de análise fatorial como superiores aos modelos
usuais. Wang e Chang (2010) destacam a combinação por redes neurais (fuzzy neural
networks). Já Hsiao e Wan (2011) apresentam um enfoque Bayesiano como superior ao
clássico. Contudo, ainda no enfoque clássico, além da combinação via variância mínima,
ajustes por regressão também têm ganhado destaque pelo potencial apresentado em termos de
acurácia (WEATHERFORD e KIMES, 2003; CHEN, 2011; MANCUSO, 2013).
Diversos estudos que comparam o desempenho de diferentes combinações concluem
que nem sempre os métodos mais sofisticados são superiores aos mais simples (STOCK e
WATSON, 2004; KONING et al., 2005). Contudo, uma conclusão é unânime: a precisão das
previsões pode ser substancialmente melhorada através da combinação de previsões
individuais (CLEMEN, 1989). Segundo Hibon e Evgeniou (2005), a vantagem da combinação
está na seleção de diferentes técnicas ao invés de escolher uma única previsão, além do
melhor desempenho.
65
processo, além de se certificar sobre o cumprimento dos procedimentos padrões das rotinas
(NASCIMENTO, 2010).
Contudo, empresas deste nicho de mercado necessitam de uma ação gerencial voltada
à garantir a segurança das operadoras de saúde associadas. Assim, a previsão de demanda é
um recurso fundamental ao seu gerenciamento.
3. MATERIAIS E MÉTODOS
De forma aplicada a dados quantitativos reais de uma empresa de auditoria na área da
saúde, esta pesquisa se caracteriza como exploratória e descritiva: explora o uso dos métodos
de previsão em uma série temporal não estacionária, procurando descrever o conjunto de
dados com máxima precisão possível, descobrindo suas relações e conexões, sua natureza e
características, sem manipulá-los. Definindo-se um estudo de caso, por ser um procedimento
de pesquisa em um contexto local (GIL, 2002; LAKATOS e MARCONI, 2010).
A análise dos dados e dos métodos foi realizada com os softwares R-Project versão
2.15.0. Esta seção descreve o estudo de caso considerado e a metodologia empregada,
detalhando os passos básicos para a realização da análise comparativa dos métodos de
previsão (técnicas e combinações).
4. RESULTADOS E DISCUSSÃO
Como resultado desta pesquisa, descreve-se primeiramente o comportamento dos
dados modelados. Seguindo-se, então, com a análise comparativa dos seis modelos validados.
Ao analisar a Tabela 1 é necessário atentar para o fato de que o conjunto de dados tem
o seu início no mês de setembro de 2006 e seu término no mês de maio de 2012. Percebe-se,
entretanto, um crescimento na demanda histórica entre 2008 e 2010, assim como o aumento
da variabilidade nos anos subsequentes, 2011 e 2012. Esta estrutura comportamental da série
e melhor reconhecida pelo gráfico da Figura 2.
Ainda na Tabela 1, os valores para curtose e assimetria encontrados para esta série
variam entre negativos e positivos. A curtose, por ser uma medida que caracteriza o
“achatamento” da curva da função de distribuição, quando negativa indica um pico mais
tênue, um corpo mais grosso e uma cauda mais fina que a distribuição normal; e um valor
positivo costuma indicar um pico mais agudo, um corpo mais fino e uma cauda mais grossa.
Já a assimetria negativa representa a cauda esquerda da função maior que a do lado direito; e
um valor positivo indica a cauda direita maior que a do lado esquerdo. Logo, apenas no ano
69
de 2008 os dados apresentam ser simétricos (assimetria < 0,15), sendo que nos anos de 2006 e
2007, os dados apresentaram uma forte assimetria (>1,0). Referente à curtose, considerando
que a curva normal (Gaussiana) tem curtose igual a zero, os dados de 2008, 2011 e 2012
representam uma curva platicúrtica (mais achatada na sua parte superior), 2006 e 2010
(leptocúrtica) e 2007 e 2009 (mesocúrtica).
1000
800
600
400
200
0
set/06 set/07 set/08 set/09 set/10 set/11
1200
1000 2007
800 2008
600 2009
400 2010
2011
200
2012
0
jan fev mar abr mai jun jul ago set out nov dez
Conforme a Tabela 2, a menor média absoluta dos erros (MAE) foi obtida pela
combinação via Regressão, seguida pela combinação por Variância Mínima. A raiz quadrada
do erro quadrático médio (RMSE) e o coeficiente de desigualdade U de Theil também
obtiveram melhores resultados para a combinação via Regressão, seguida pela combinação
72
via Variância Mínima. Já a média percentual dos erros (MAPE) destaca o modelo de redes
neurais como o segundo melhor, sendo muito semelhante à combinação por regressão. No
entanto, é importante notar que o índice MAPE penaliza mais os erros de previsões de
pequenas demandas do que os erros de grandes demandas.
Contudo, verifica-se a superioridade dos métodos de combinação, em termos precisão,
comparados às previsões individuais. As combinações via variância mínima e por regressão
apresentaram maiores acurácias que as previsões individuais, sendo a média simples a menos
acurada das três e superada pela técnica RNA. No entanto, a combinação via média simples é
mais acurada que as técnicas ARIMA e AE, ou seja, não apresentou menores resultados que as
redes neurais, mas sua previsão é melhor que as piores previsões individuais, assim como descrito
por Jeong e Kim (2009).,. Assim como em Mancuso (2013), a combinação por regressão foi o
método mais preciso. Destacando-se, assim, a superioridade da combinação por regressão
frente à dados não estacionários. No entanto, a modelagem RNA apresentou melhores
medidas de acurácia do que na simulação de Mancuso (2013).
5. CONCLUSÕES
Aplicado aos dados de uma empresa da área de auditoria médica foi verificado como
três técnicas de previsões individuais e três modelos de combinação de previsões se
comportam frente a uma série de dados reais (não estacionários); visto que, os mesmos
métodos foram comparados no estudo de simulação (séries estacionárias) de Mancuso (2013).
Neste contexto, a hipótese sugerida foi a de que o método constatado como mais acurado para
as séries simuladas seria o mesmo para uma série real. Foram avaliadas três técnicas de
previsões individuais: ARIMA, alisamento exponencial e redes neurais artificiais; e três
modelos de combinação de previsões: média simples (aritmética), variância mínima e
regressão.
Baseando-se em quatro medidas de acurácia: MAE, MAPE, RMSE e U de Theil; o
processo de regressão para combinação de previsões foi o mais cotado, precedido pela
combinação via variância mínima. Constatando-se, então, a equivalência dos melhores
métodos de previsões para séries estacionárias. No entanto, o modelo RNA demonstrou
superioridade em relação às demais técnicas de previsão individuais. A respeito do modelo
RNA, destaca-se que esta é uma técnica para séries não lineares, ao contrário dos demais
métodos.
Ainda no conjunto de validação, observou-se uma resistência dos modelos no
acompanhamento das flutuações da série, selecionando-se os mais acurados. No entanto, estas
73
dificuldades são devidas ao número de períodos observados; visto que as observações foram
divididas em treinamento e teste.
Contudo, novamente a metodologia de combinação das previsões individuais destaca-
se perante as demais técnicas. O indicativo dos resultados deste estudo é, claramente, que a
combinação de previsões pelo método de regressão não deve ser ignorado pelos previsores.
Em suma, ainda que os ganhos da combinação sejam limitados, os riscos associados ao se
incorporar previsões de diferentes fontes a um modelo parecem ser baixos frente aos ganhos
em absorver informações complementares, desde que tratadas de forma adequada.
REFERÊNCIAS
ABDEL-AAL, R. E.; AL-GARNI, A. Z. Forecasting Monthely Electric Energy Consumption in Eastern Saudi
Arabia Using Univariate Time-Series Analysis. Energy, v. 22, 1997, p. 1059-1069.
ARMSTRONG, J. S.; BRODIE, R. J. Forecasting for Marketing. In: HOOLEY, G. J.; HUSSEY, M. K.
Quantitative Methods in Marketing. 2. ed., London: International Thompson Business Press, 1999.
ARMSTRONG, J. S.; COLLOPY, F. Error Measures for Generalizing About Forecasting Methods: Empirical
Comparisons. International Journal of Forecasting, v.8, n. 1, p. 69-80. Jun, 1992
BATES, J. M.; GRANGER, C. W. J. The Combining of Forecasts. Operational Research Quarterly, v. 20, n.
4, p. 451-468. Nottingham, 1969.
CALÔBA, G. M.; CALÔBA, L. P.; SALIBY, E. Cooperação entre Redes Neurais Artificiais e técnicas
‘clássicas’ para previsão de demanda de uma série de vendas de cerveja na Austrália. Pesquisa Operacional, v.
22, 2002, p. 345-358.
CHEN, K. Y. Combining linear and nonlinear model in forecasting tourism demand. Expert Systems with
Applications, v. 38, 2011, p. 10368-10376.
CHEN, K. Y.; WANG, C. H. A hybrid SARIMA and support vector machines in forecasting the production
values of the machinery industry in Taiwan. Expert Systems with Applications, v.32, 2007, p. 254-264.
CLEMEN, R. T. Combining forecasts: A review and annotated bibliography. International Journal of
Forecasting, v. 5, 1989, p. 559-583.
FIGLEWSKI, S.; URICH, T. Optimal Aggregation of Money Supply Forecasts: Accuracy, Profitability and
Market Efficiency. The Journal of Finance, v.38, 1983, p. 695-710.
FOGLIATTO, F. S.; RIBEIRO, J. L. D.; WERNER, L.; LEMOS, F. O.; BRUN, M. P. Previsão de demanda por
energia elétrica: método e aplicação. Anais do XXV Encontro Nac. de Eng. de Produção (ENEGEP), ABEPRO:
Porto Alegre, 2005, p. 3100-3107.
GIL, A. C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 4 ed. 2002.
HIBON, M.; EVGENIOU, T. To Combine or not to combine: selecting among forecasts and their combinations.
International Journal of Forecasting, v.21, 2005, p. 15-24.
HSIAO, C.; WAN, S. K. Comparison of forecasting methods with an application to predicting excess equity
premium. Mathematics and Computers in Simulation, v. 81, 2011, p. 1235–1246.
HYNDMAN, R. J.; KOEHLER, A. B. Another look at measures of forecast accuracy. International Journal of
Forecasting, v. 22, 2006, p. 679-688.
JEONG, D.; KIM, Y. Combining single-value stream flow forecasts: A review and guidelines for selecting
techniques. Journal of Hydrology, v.377, 2009, p. 284-299.
KERKKÄNEN, A.; KORPELA, J.; HUISKONEN, J. Demand forecasting errors in industrial context:
Measurement and impacts. Int. J. Production Economics, v. 118, p. 43-48. 2009.
74
KONING, A. J.; FRANSES, P. H.; HIBON, M.; STEKLER, H. O. The M3 competition: Statistical tests of the
results. International Journal of Forecasting, v.21, 2005, p. 397-409.
LAKATOS, E. M. MARCONI, M. A. Fundamentos de Metodologia Científica. São Paulo: Atlas, 7 ed. 2010
MAKRIDAKIS, S.; WHEELWRIGHT, S.; HYNDMAN, R. Forecasting: Methods and Applications. New
York: John Wiley & Sons, 3 ed. 1998.
MANCUSO, A. C. B. Uma investigação do desempenho de métodos de Combinação de Previsões: simulado
e aplicado. Dissertação (mestrado), PPGEP, UFRGS. Porto Alegre, 2013.
MARTÍNEZ, R. O.; ZAMPROGNO, B. Comparação de algumas técnicas de previsão em análise de séries
temporais. Revista Colombiana de Estadística, v.26, 2003, p. 129-157.
MARTINS, V. L. M. Comparações de combinação de previsões correlacionadas e não correlacionadas com
as suas previsões individuais: um estudo com séries industriais. Dissertação (mestrado), 100f. Programa de
Pós-Graduação em Engenharia de Produção, UFRGS. Porto Alegre, 2011.
MARTINS V. L. M, WERNER L. Forecast combination in industrial series: A comparison between individual
forecasts and its combinations with and without correlated errors. Expert Systems with Applications, v. 39,
2012, p. 11479-11486.
MENEZES, L. M.; BUN, D. W.; TAYLOR, J. W. Review of guidelines for the use of combined forecasts.
European Journal of Operational Research, v.120, 2000, p. 190-204.
MORETTIN, P. A.; TOLOI, C. M. C. Análise de Séries Temporais. São Paulo: Edgard Blucher, 2ª ed, 2006.
NASCIMENTO, F. M. S. A auditoria médica como referência para melhoria da qualidade da prestação dos
serviços de saúde. Dissertação (mestrado), 30f. Pós-Graduação em Gestão de Planos de Saúde, Universidade
Anhanguera / Uniderp. Belém, 2010.
PAES, P. P. L.; MAIA, J. R. Manual de Auditoria de Contas Médicas. Ministério da Defesa, Exército
Brasileiro, 4ª região militar / 4ª divisão de exército. Hospital Geral de Juiz de Fora, 2005.
PALIWAL, M.; KUMAR, U. A Neural networks and statistical techniques: A review of applications. Expert
Systems with Applications, v. 36, p. 2-17. 2009.
PONCELA P.; RODRÍGUEZ J.; MANGAS RS, SENRA E. Forecast combination through dimension reduction
techniques. International Journal of Forecasting, v. 27, 2011, p. 224-237.
STOCK, J. H.; WATSON, M. W. Combination Forecasts of Output Growth in a Seven-Country Data Set.
Journal of Forecasting, v.23, 2004, p. 405-430.
TAYLOR, J. W. Exponential smoothing with a damped multiplicative trend. International Journal of
Forecasting, v.19, 2003, p. 715-725.
THEIL, H.; SCHOLES, M. Forecasting Evaluation Based on a Multiplicative Decomposition of Mean Square
Errors. Econometrica, v. 35, n. 1, p. 70-88. Jan, 1967.
WANG, F. E.; CHANG, K. Adaptive neuro-fuzzy inference system for combined forecasts in a panel
manufacturer. Expert Systems with Applications, v.37, 2010, p. 8119-8126.
WEATHERFORD, L. R.; KIMES, S. E. A comparison of forecasting methods for hotel revenue management.
International Journal of Forecasting, v.19, 2003, p. 401-415.
WERNER, L.; RIBEIRO, J. L. D. Previsão de Demanda: Uma aplicação dos Modelos Box-Jenkins na área de
Assistência Técnica de Computadores Pessoais. Gestão & Produção, v. 10, 2003, p. 47-67.
Xu, X.; Qi, Y.; Hua, Z. Forecasting demand of commodities after natural disasters. Expert Systems with
Applications, v.37, 2010, 4313-4317.
ZHANG, G. P. Time series forecasting using a hybrid ARIMA and neural network model. Neurocomputing,
v.50, 2003, p. 159-175.
75
V. CONSIDERAÇÕES FINAIS
segunda mais acurada para a série divergente (em três das quatro medidas) e a previsão
individual RNA é a segunda melhor em séries convergentes. Observa-se também o baixo
desempenho da combinação via média simples.
2. CONCLUSÕES
3. TRABALHOS FUTUROS
REFERÊNCIAS
ANDRAWIS, R. R.; ATIYA, A. F.; EL-SHISHINY, H. Combination of long term and short term forecasts, with
application to tourism demand forecasting. International Journal of Forecasting, v.27, 2011, p. 870-886.
ARMSTRONG, J. S. Research Needs in Forecasting. International Journal of Forecasting, v.4, 1988, p. 449-
465.
ARMSTRONG, J. S. Principles of forecasting: A handbook for researchers and practitioners. Kluwer
Academic Publishers, 2001.
BARBALHO, C. R. S. Planejamento Estratégico: uma análise metodológica. Informação e Informação, v. 2,
1997, p. 29-44.
BATES, J. M.; GRANGER, C. W. J. The Combination of Forecasts. Operational Research Quarterly, v.20,
1969, p. 451-468.
BROWN, S.; LAMMING, R.; BESSANT, J.; JONES, P. Strategic Operations Management. Butterworth
Heinemann, 2 ed, 2005.
CLEMEN, R. T. Combining forecasts: A review and annotated bibliography. International Journal of
Forecasting, v.5, 1989, p. 559-583.
FILDES, R.; MAKRIDAKIS, S. The Impact of Empirical Accuracy Studies On Time Series Analysis and
Forecasting. International Statistical Review, v.63, 1995, p. 289-308.
FOGLIATTO, F. S.; RIBEIRO, J. L. D.; WERNER, L. ; LEMOS, F. O.; BRUM, M. P. Previsão de demanda por
energia elétrica Método e aplicação. Revista Produção Online, v. 5, 2005, p. 1-12.
HIBON, M.; EVGENIOU, T. To combine or not to combine: selecting among forecasts and their combinations.
International Journal of Forecasting, v.21, 2005, p. 15-24.
KIM, W. C.; MAUBORGNE, R. Blue Ocean Strategy: How to Create Uncontested Market Space and Make the
Competition Irrelevant. Harvard Business Review, v. 82, 2004, p. 71-80.
MAKRIDAKIS, S. Metaforecasting: Ways of Improving Forecasting Accuracy and Usefulness. International
Journal of Forecasting, v.4, 1988, p. 467-491.
MAKRIDAKIS, S. Forecasting: Its Role and Value For Planning and Strategy. International Journal of
Forecasting, v.12, 1996, p. 513-537.
MAKRIDAKIS, S.; WINKLER, R. L. Averages of Forecasts: Some Empirical Results. Management Science,
v. 29, 1983, p. 987-996.
MAKRIDAKIS, S.; HIBON, M. The M3-Competition: results, conclusions and implications. International
Journal of Forecasting, v. 16, 2000, p. 451-476.
MARTINS, V. L. M.; WERNER, L. Forecast combination in industrial series: A comparison between individual
forecasts and its combinations with and without correlated errors. Expert Systems with Applications, v.39,
2012, p. 11479-11486.
MOON, M. A.; MENTZER, J. T.; SMITH, C. D.; GARVER, M. S. Seven Keys to Better Forecasting. Business
Horizons, v.5, 1998, p. 44-52.
NEWBOLD, P.; GRANGER, C. W. J. Experience with Forecasting Univariate Time Series and the Combination
of Forecasts. Journal of the Royal Statistical Society (A), v.137, 1974, p. 131-165.
SILVA, E. L.; MENEZES, E. M. Metodologia da Pesquisa e Elaboração de Dissertação. Universidade
Federal de Santa Catarina. Florianópolis, 2005.
STOCK, J. H.; WATSON, M. W. Combination Forecasts of Output Growth in a Seven Country Data Set.
Journal of Forecasting, v.23, 2004, p. 405-430.
WANG, F. E.; CHANG, K. Adaptive neuro-fuzzy inference system for combined forecasts in a panel
manufacturer. Expert Systems with Applications, v.37, 2010, p. 8119–8126.
WEBBY, R.; O’CONNOR, M. Judgemental and statistical time series forecasting: a review of the literature.
International Journal of Forecasting, v.12, 1996, p. 91-118.