Cross evaluation of electric distribution utilities

Production doi: XX.XXXX/XXXXX-XXXXXXXXXXXXXXXXX Avaliação cruzada das distribuidoras de energia elétrica Sônia Maria de Rezendea, José Francisco Moreira Pessanhab*, Roberta Montello Amaralc [email protected], UERJ, Brasil *[email protected], UERJ, Brasil c [email protected], UCAM, Brasil b Resumo No terceiro ciclo de revisão tarifária, a Agência Nacional de Energia Elétrica (Aneel) adotou uma metodologia baseada na Análise Envoltória de Dados (DEA) para a definição dos níveis eficientes dos custos operacionais das distribuidoras. Neste trabalho são apresentadas propostas que aprimoram a metodologia da Aneel. Em particular, propõe-se a segmentação do conjunto de distribuidoras por técnicas de análise de agrupamentos, com a finalidade de estabelecer comparações justas entre as empresas. Adicionalmente, visando obter índices de eficiência que levem em conta as avaliações realizadas pelos pares de cada empresa, propõe-se o uso da avaliação cruzada na definição dos níveis eficientes dos custos operacionais. Palavras-chave Energia elétrica. Análise Envoltória de Dados. Avaliação cruzada. Análise de agrupamentos. 1. Introdução No Brasil, as tarifas de energia elétrica são revisadas periodicamente e reajustadas anualmente de acordo com o regime price cap (Siciliano, 2005), no qual o agente regulador fixa um valor máximo (teto) para a tarifa, válido por quatro ou cinco anos, dependendo do contrato de concessão. Ao longo desse período, o valor teto é reajustado anualmente por um índice de preços (IGP-M), descontado de um fator X predefinido na data da revisão tarifária, cuja finalidade é compartilhar os ganhos de produtividade com os consumidores. Ao final do período, outra revisão tarifária é realizada para reposicionar o preço teto e o fator X para os próximos quatro ou cinco anos, e assim as revisões periódicas são realizadas sucessivamente. Na distribuição de energia elétrica, os ganhos de produtividade decorrem principalmente do aumento do consumo das unidades consumidoras existentes e da ligação de novas unidades consumidoras. Em função da economia de escala, o crescimento do mercado é atendido com custos incrementais decrescentes, resultando em ganhos de produtividade para a distribuidora que não são decorrentes de uma gestão mais eficiente, logo esses ganhos de produtividade podem ser repassados aos consumidores a fim de promover a modicidade tarifária. Se o fator X é nulo, as empresas eficientes apropriam-se integralmente dos ganhos de produtividade, em caso contrário uma parte dos ganhos é compartilhada com os consumidores ao longo do ciclo de revisão tarifária. O cálculo do fator X depende dos níveis eficientes de custos operacionais definidos no benchmark regulatório (Agência Nacional de Energia Elétrica, 2011). No primeiro e segundo ciclos de revisão tarifária, iniciados em 2003 e 2007, respectivamente, os benchmarks regulatórios foram definidos por meio de uma empresa de referência, uma distribuidora virtual na qual se simula a prestação do serviço de distribuição de energia elétrica nas mesmas condições em que uma distribuidora real opera. A empresa de referência utiliza os recursos de forma eficiente e estabelece um benchmark para os custos, a ser perseguido pela empresa real, conforme um mecanismo de yardstick competition (Shleifer, 1985). A metodologia da empresa de referência (Agência Nacional de Energia Elétrica, 2008) segue uma abordagem tipo bottom-up que se inicia com a *UERJ, Rio de Janeiro, RJ, Brasil Recebido 22/12/2012; Aceito 31/05/2013 Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx identificação das atividades e processos executados nas distribuidoras, passa pela quantificação dos custos médios de cada atividade e processo e se encerra com uma estimativa do custo operacional global, que é reconhecido pela agência reguladora. A definição da empresa de referência segue uma metodologia complexa e com potencial de envolver o regulador na microgestão da distribuidora. Por essa razão, no terceiro ciclo de revisão tarifária periódica (3CRTP), iniciado em 2011 e com término previsto para 2014, o agente regulador adotou uma metodologia top-down, cujo foco reside no nível global dos custos operacionais a ser reconhecido. Na nova metodologia, o benchmark regulatório é definido por uma fronteira de eficiência identificada por Análise Envoltória de Dados (DEA – Data Envelopment Analysis), uma técnica não paramétrica, baseada em programação linear (Coelli et al., 2005; Cooper et al., 2000). Destaca-se que a DEA é um dos principais métodos utilizados por agências reguladoras em todo o mundo (Coelli et al., 2003; Haney & Pollitt, 2009; Jasmab & Pollitt, 2000; Plagnet, 2006). Apesar de algumas limitações e críticas apontadas por Stone (2002), Smith & Street (2005), Shuttleworth (2005) e Biesebroeck (2007), deve-se entender que a DEA é um método de apoio à decisão, logo ela não tem a pretensão de substituir o agente regulador e nem de decidir por ele. Contudo, a DEA é um método capaz de agregar conhecimento ao agente regulador, cuja atividade consiste em tomar decisões em um ambiente complexo e com remarcada assimetria de informação. Adicionalmente, conforme mostram Bogetoft & Nielsen (2003), a DEA fornece uma estrutura ideal para realizar a yardstick competition. Na metodologia adotada no 3CRTP, inicialmente as empresas são classificadas em apenas dois grupos, definidos em função do tamanho do mercado atendido (TWh). Na sequência, com o propósito de obter medidas dos níveis eficientes de custos operacionais das distribuidoras, cada grupo é analisado separadamente, por meio de um modelo DEA orientado ao insumo e com rendimentos não decrescentes de escala. Embora a nova metodologia represente um avanço para a atividade regulatória, alguns pontos devem ser aprimorados. Assim, o objetivo deste trabalho é propor contribuições para o aprimoramento da metodologia adotada pela Aneel na definição dos custos operacionais eficientes. Observa-se que a segmentação baseada apenas no tamanho do mercado atendido (TWh) não é suficiente para formar grupos de distribuidoras com características similares, um requisito para a regulação por comparação. Para contornar essa deficiência propõe-se a adoção do método de Ward ou qualquer outro método multivariado de análise de agrupamentos (Johnson & Wichern, 1998) na segmentação das distribuidoras. A classificação das empresas por técnicas multivariadas visa à obtenção de agrupamentos mais consistentes, favorecendo a realização de comparações mais justas entre as distribuidoras. Adicionalmente, nos resultados gerados pelo modelo DEA especificado pela Aneel observam-se esquemas de pesos com ponderações nulas em alguns produtos. A presença de pesos nulos pode sugerir que os índices de eficiência apresentados pelo agente regulador são decorrentes de ponderações irrealistas e que, em alguns casos, eles estão superestimados. Contudo, nenhuma afirmação pode ser feita nesse sentido, em função da multiplicidade dos pesos ótimos. Para contornar essa situação sem a necessidade de incluir restrições adicionais aos pesos, obter índices de eficiência que considerem avaliações realizadas pelos pares (peer evaluation) e melhorem a discriminação entre as distribuidoras, propõe-se a utilização do modelo DEA de avaliação cruzada (Estellita Lins & Angulo-Meza, 2002; Lim, 2010; Ruiz & Sirvent, 2012). O artigo está organizado em cinco seções. Na seção 2 são apresentados os modelos DEA clássicos e de avaliação cruzada. Na seção 3 é descrito o modelo DEA especificado pela Aneel. As propostas de aprimoramentos, acompanhadas dos resultados obtidos, são descritas na seção 4. Por fim, na seção 5 são apresentadas as principais conclusões do trabalho. 2. Análise Envoltória de Dados A eficiência de uma organização (Decisiom Making Unit – DMU) que transforma uma quantidade X de um tipo de insumo em uma quantidade Y de um tipo de produto pode ser avaliada pelo quociente de produtividade total, definido pela razão Y/X. A extensão para uma DMU que utilize s tipos de insumos X = (x1, ..., xs) na produção de m tipos de produtos Y = (y1, ..., ym) requer a ponderação dos elementos de ambos os vetores, de tal modo que a eficiência da DMU seja definida pelo seguinte quociente: u1 y1 + u2 y2 + ... + um ym U ⋅ Y = v1 x1 + v2 x2 + ... + vs xs V ⋅ X (1) onde os vetores V = (v1, ..., vs) e U = (u1, ..., um) correspondem ao peso dos inputs e dos outputs, respectivamente. Para obter os vetores U e V e determinar a eficiência θ de uma DMU j0 em um conjunto de N DMUs, Charnes et al. (1978) formularam o problema de programação linear (PPL) em (2) na Tabela 1, conhecido como modelo DEA CRS/M/I (retornos Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx Tabela 1. Modelos DEA clássicos orientados ao insumo. Modelo DEA CRS/M/I Modelo DEA VRS/M/I m m θ = Max ∑ ui yi, j 0 θ = Max ∑ ui yi, j 0 + u0 s.a. s.a. u, v u, v i =1 s s ∑ vi xi, j 0 = 1 (2) i =1 m s i =1 i =1 ∑ ui yij − ∑ vi xij ≤ 0 i =1 ∑ vi xi, j 0 = 1 m ∀j = 1,..., j 0,..., N s ∑ ui yij − ∑ vi xij + u0 ≤ 0 i =1 ui ≥ 0 ∀i = 1,m vi ≥ 0 ∀i = 1,s vi ≥ 0 ∀i = 1,s 2.1. Avaliação cruzada Os modelos DEA clássicos atribuem peso aos insumos e produtos com objetivo de maximizar o índice de eficiência da DMU avaliada, sem violar determinadas restrições. Assim, o modelo atribui ponderações maiores aos pontos fortes da DMU avaliada, ou seja, aos outputs com maiores níveis de produção e aos inputs com menores níveis de consumo, enquanto aos inputs com elevados níveis de consumo e outputs com reduzidos níveis de produção são atribuídos pesos menores ou nulos. Consequentemente, o peso de cada variável insumo ou produto varia amplamente entre as DMUs avaliadas (Angulo-Meza & Cunha, 2006). Tal desequilíbrio pode conduzir a esquemas de pesos inconsistentes com o conhecimento a priori acerca da importância relativa das variáveis insumos e produtos (Alcantara & Sant’Anna, 2002; Ramón et al., 2010; Ruiz & Sirvent, 2012). Uma forma de evitar pesos nulos e esquemas de pesos irrealistas consiste em incluir restrições aos pesos no modelo DEA. Cooper et al. (2000), Estellita Lins & Angulo-Meza (2002) e Ferreira & Gomes (2009) apresentam diferentes abordagens para a introdução de restrições aos pesos. Entretanto, a inclusão de ∀j = 1,..., j 0,..., N i =1 ui ≥ 0 ∀i = 1,m constante de escala, na versão dos multiplicadores e orientado ao insumo). Seja (θ*, u*, v*) a solução ótima de (2), a DMU j0 é considerada eficiente se e somente se θ* = 1 e todos os elementos de u* e v* são positivos. Caso contrário, quando a θ* < 1 ou quando θ* = 1 e há elementos nulos em u* e v*, a DMU é considerada ineficiente. A versão tipo multiplicador para o caso com rendimentos variáveis de escala (VRS) (Banker et al. 1984) é indicada no PPL (3) na Tabela 1, na qual a variável u0 é irrestrita e indica diferentes regimes de rendimento de escala: decrescente (u0 < 0), constante (u0 = 0) ou crescente (u0 > 0). (3) i =1 restrições aos pesos envolve alguma arbitrariedade e depende de informação a priori da importância relativa de cada variável (Angulo-Meza & Cunha, 2006), uma informação nem sempre disponível. Uma alternativa aos esquemas de restrições aos pesos consiste em determinar a eficiência por meio da avaliação cruzada ou cross evaluation (Estellita Lins & Angulo-Meza, 2002; Lim, 2010; Ramón et al. 2010) proposta por Sexton et al. (1986). Na avaliação cruzada a eficiência de cada DMU é avaliada segundo os esquemas de pesos ótimos das demais DMUs, ou seja, a eficiência de uma DMU é avaliada sob o ponto de vista das outras DMUs (Estellita Lins & Angulo-Meza, 2002). Portanto, a avaliação cruzada baseia-se no princípio da avaliação pelos pares (peer appraisal). Por outro lado, o modelo DEA CRS em (2) tem natureza autoavaliativa (self-appraisal), pois o esquema de pesos é determinado de forma a maximizar a eficiência da própria DMU avaliada. A eficiência cruzada de uma DMU s calculada com base no esquema de pesos ótimos de uma DMU k é definida pelo seguinte quociente: outputs Eks = ∑ i inputs uik yis ∑ v jk x js (4) j onde ujk e vjk são os pesos ótimos da DMU k que ponderam, respectivamente, os produtos yjs e os insumos xjs da DMU s. Em um conjunto formado por N DMUs, as eficiências calculadas pelo modelo CRS e as eficiências cruzadas podem ser organizadas na Matriz de Eficiências Cruzadas (Tabela 2). Na Tabela 2, os elementos da diagonal principal correspondem às eficiências calculadas pelo modelo CRS (self-appraisal efficiency), na linha k são dispostas as eficiências cruzadas obtidas com base nos pesos ótimos da DMU k e na coluna k são dispostas as eficiências cruzadas da DMU k, determinadas pelos esquemas de pesos ótimos das demais DMUs. Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx Tabela 2. Matriz de eficiências cruzadas. DMU 1 2 3 ... K ... N 1 E11 E21 ... Ek1 ... EN1 E12 E22 ... Ek2 ... EN2 E13 E23 ... Ek3 ... EN3 ... ... ... ... ... ... E1k E2k ... Ekk ... ENk ... ... ... ... ... ... E1N E2N ... EkN ... ENN 2 ... k ... N No modelo DEA CRS podem existir múltiplas soluções ótimas para os esquemas de pesos associados com o mesmo nível de eficiência (Cooper et al., 2000), logo as eficiências cruzadas calculadas com pesos obtidos pelo DEA CRS seriam geradas arbitrariamente (Liang et al., 2008). Para contornar esse inconveniente, alguns critérios secundários adicionais têm sido propostos para a seleção do conjunto de pesos entre as múltiplas soluções ótimas (Ramón et al., 2010; Wang & Chin, 2010), dentre os quais destacam-se as formulações agressivas e benevolentes propostas por Doyle & Green (1994). Na formulação benevolente busca-se um esquema de pesos que mantenha a eficiência resultante da autoavaliação da DMU avaliada e maximize a eficiência cruzada das demais DMUs. Já na formulação agressiva busca-se um esquema de pesos que também mantenha a self-efficiency da DMU avaliada, mas que minimize a eficiência das outras DMUs. Para acentuar a discriminação entre a eficiência das DMUs recomenda-se adotar a formulação agressiva, conforme Alcantara & Sant’Anna (2002). A mesma formulação foi utilizada por Chen (2002) na avaliação da eficiência do setor de distribuição de Taiwan. Na formulação agressiva, o índice de eficiência cruzada da DMU s, segundo o ponto de vista da DMU k (Eks), é calculado pela Equação 4 com base nos pesos u e v determinados pelo seguinte PPL (Estellita Lins & Angulo-Meza, 2002): outputs ∑ Min u, v uik ∑ yis − s≠k i inputs ∑ j v jk ∑ x js s≠k (5) s.a. inputs ∑ v jk x jk = 1 (5.1) j outputs ∑ inputs uik yik − E kk i v jk x jk = 0 (5.2) v jk x js ≤ 0 , ∀s ≠ k (5.3) j outputs ∑ ∑ inputs uik yis − i uik , v jk ≥ 0 ∑ j (5.4) No PPL (5) é considerado o índice de eficiência da DMU k (Ekk) calculado pelo modelo DEA CRS. A restrição (5.1) faz parte da linearização do modelo CRS, a restrição (5.2) é a linearização da Equação 4 com s igual a k, as restrições em (5.3) garantem que todas as eficiências são menores ou iguais a 1 e as restrições em (5.4) garantem pesos não negativos (Angulo-Meza & Cunha, 2006). Na avaliação cruzada, a eficiência de uma DMU k pode ser calculada como a média de todos os valores na coluna k da matriz de eficiências cruzadas, mas sem levar em conta a self-efficiency Ekk, ou seja, a eficiência é a média das eficiências cruzadas, conforme indicado em (6). Tal fato contribui para incrementar a discriminação entre as DMUs eficientes. Adicionalmente, Doyle & Green (1994) propõem o uso de um índice Mk (7) para identificar DMUs com esquemas de peso irrealistas determinados por um modelo DEA clássico. O índice Mk é calculado para cada DMU avaliada e mede o desvio relativo entre a eficiência segundo a autoavaliação (Ekk) e a eficiência segundo o ponto de vista das outras DMUs (ek). ek = 1 ∑E N − 1 i ≠ k ik (6) Ekk − ek ek (7) Mk = Um valor elevado para Mk indica um desvio acentuado entre as duas medidas de eficiência e sugere que esquemas de peso resultantes da autoavaliação são irreais. As DMUs com elevados valores no índice Mk são denominadas Mavericks. Uma DMU com eficiência igual a 1 na autoavaliação e com elevado índice Mk é um falso positivo. 3. Modelo DEA especificado pela Aneel O modelo DEA especificado pela Aneel (Agência Nacional de Energia Elétrica, 2011) para a definição dos custos operacionais eficientes segue a modelagem denominada DEA em dois estágios, proposta por Simar & Wilson (2007). Dado um conjunto de concessionárias de distribuição, o primeiro estágio consiste em aplicar um modelo DEA para realizar uma análise comparativa do nível de custos operacionais das empresas. O resultado do primeiro estágio é um índice de eficiência θ (0 < θ ≤ 1) para cada empresa. Se θ assume um valor unitário (θ = 1), então a empresa correspondente está localizada na fronteira de custos eficientes, caso contrário, tem-se que 0 < θ < 1 e a distribuidora opera com custos acima dos valores definidos pela fronteira, portanto, é ineficiente e o potencial de redução de custos corresponde a uma parcela da ordem de (1 - θ) × 100% dos custos operacionais. Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx Em sua versão inicial, o modelo DEA proposto pela Aneel (Agência Nacional de Energia Elétrica, 2010) para o primeiro estágio considerava retornos não decrescentes de escala, com orientação ao insumo, e continha apenas três variáveis: um insumo (custo operacional) e dois drivers de custos tomados como produtos (o número de consumidores e a extensão da rede de distribuição). No segundo estágio é estimado um modelo de regressão Tobit (Pindyck & Rubinfeld, 1991) com o objetivo de “corrigir” os índices de eficiência (θ) estimados no primeiro estágio, de forma que esses passem a considerar também os efeitos de variáveis ambientais, ou seja, variáveis não gerenciáveis pelas distribuidoras, mas com potencial para afetar os custos (Coelli et al., 2003). O modelo Tobit é um modelo de regressão utilizado em situações em que a variável dependente é truncada. Nesse caso a variável dependente é o índice de eficiência (0 < θ ≤ 1) e as variáveis explicativas são as variáveis ambientais tais como o salário mediano de ocupações típicas de uma distribuidora de energia elétrica, o índice de complexidade (um indicador da dificuldade de combater as perdas não técnicas na área de concessão da distribuidora), o índice de precipitação, o tamanho da área de concessão, o número de consumidores por transformador e o número de consumidores por área de concessão. Apesar de a modelagem adotada pela Aneel ser sofisticada e representar um avanço em relação ao modelo da empresa de referência, a especificação dos modelos foi alvo de várias críticas desde que eles foram apresentados em 2010. Entre as críticas apresentadas pelas distribuidoras e demais agentes interessados no tema destacam-se o reduzido número de produtos no modelo DEA de primeiro estágio – apenas dois. Posteriormente, a Aneel passou a considerar três produtos no modelo DEA: o número de consumidores, a extensão da rede de distribuição e o volume (MWh) de energia distribuída (Agência Nacional de Energia Elétrica, 2011). Adicionalmente, a correção do índice de eficiência no segundo estágio foi descartada, em função dos resultados obtidos para algumas distribuidoras, nos quais as variáveis ambientais passaram a ser mais importantes que os drivers de custo (Agência Nacional de Energia Elétrica, 2011). 4. Contribuições para a metodologia adotada pela Aneel A seguir são apresentadas duas contribuições que visam o aprimoramento da metodologia adotada pela Aneel na definição dos níveis eficientes dos custos operacionais das distribuidoras de energia elétrica. 4.1. Classificação das concessionárias de distribuição No sistema elétrico brasileiro há cerca de 60 concessionárias de distribuição. Embora todas operem o mesmo tipo de negócio e, portanto, estejam sujeitas às mesmas regras, as distribuidoras são bastante heterogêneas em muitos aspectos. Em função da extensão do território brasileiro, as áreas de concessão das distribuidoras apresentam grande diversidade nas características geográficas, sociais e econômicas. A título de exemplo, na Região Norte, as distribuidoras abrangem extensas áreas de concessão, atendem mercados geograficamente esparsos, com uma significativa presença de localidades atendidas por sistemas isolados, onde uma pequena parte deles concentra grande parte da demanda, como é o caso da cidade de Manaus. Por outro lado, no estado de São Paulo as áreas de concessão são menores, sendo que em algumas são transacionados grandes volumes de energia elétrica. A heterogeneidade entre as distribuidoras não se restringe ao tamanho da área de concessão mas também é percebida, por exemplo, no volume de energia transacionado, na quantidade e na concentração espacial das unidades consumidoras, na estratificação dos consumidores por classe de consumo (residencial, comercial, industrial, rural) ou por nível de tensão (alta, média e baixa) e no consumo por consumidor. Destaca-se que a diversidade nas características dos mercados atendidos pode ser observada nas tarifas e nos aspectos tributários, como as alíquotas de ICMS definidas pelos governos estaduais. As considerações acima mostram o desafio enfrentado pelo regulador quando define o benchmark regulatório com base na análise comparativa dos custos operacionais, pois, além da assimetria de informação, ele ainda se defronta com a heterogeneidade das empresas. Para estabelecer comparações e benchmarks mais realistas, o regulador classifica as distribuidoras em grupos, de tal forma que as distribuidoras em um mesmo grupo apresentem certo grau de similaridade e, portanto, sejam minimamente comparáveis. Essa ideia também está presente na metodologia para definição dos níveis eficientes dos custos operacionais (Agência Nacional de Energia Elétrica, 2011), na qual o regulador classifica as empresas em dois grupos, com base no tamanho do mercado atendido: grupo A (mercado maior que 1 TWh) e grupo B (mercado menor que 1 TWh). Contudo, o problema com essa forma de classificar é que apenas o tamanho do mercado atendido é considerado, enquanto outros aspectos relevantes como dispersão das unidades consumidoras, a estratificação por classe de consumo e a intensidade Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx energética são ignorados. O resultado é que os grupos de empresas não apresentam necessariamente um grau de homogeneidade interna e, portanto, as comparações entre as empresas de um mesmo grupo podem não ser realistas. Então, uma proposta de aprimoramento da metodologia consiste na classificação das distribuidoras por meio de técnicas estatísticas multivariadas para análise de agrupamentos (Johnson & Wichern, 1998), nas quais as empresas sejam representadas por um conjunto de atributos que caracterizam vários aspectos dos mercados atendidos. Neste trabalho, as distribuidoras foram caracterizadas por oito atributos referentes ao tamanho, concentração e composição do mercado, conforme apresentado na Tabela 3. As variáveis na Tabela 3 têm escalas e unidades distintas. Para evitar que a análise de agrupamentos seja guiada exclusivamente pelo tamanho do mercado e pela extensão da rede de distribuição, a análise de agrupamentos foi precedida pela seguinte transformação de variáveis, aplicada ao conjunto de dados referente ao ano de 2009: zij = ( ) ( ( )) ( ( )) ( ( ))  log x − mínimo log x  ij .j    máximo log x − mínimo log x  .j .j   (8) onde xij denota o valor da j-ésima variável na i-ésima distribuidora e zij denota o valor transformado corrrespondente (zij ∈ [0, 1]). A classificação das distribuidoras foi realizada pelo método de Ward (Johnson & Wichern, 1998) e contou com o auxílio do software R (R Development Core Team, 2011). A sequência de agregações ilustrada na Tabela 3. Variáveis consideradas na análise de agrupamentos. Dimensões Variáveis Composição do mercado Participação do consumo na alta tensão no mercado total (%) Participação do consumo na média tensão no mercado total (%) Participação do consumo na baixa tensão no mercado total (%) Concentração do mercado Extensão da rede de distribuição (km) Número de unidades consumidoras por quilômetro de rede de distribuição Consumo por unidade consumidora (kWh/consumidor) Tamanho do mercado Número de unidades consumidoras Montante de energia distribuída (MWh) Figura 1. Dendrograma gerado pelo método de classificação hierárquica de Ward. Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx Tabela 4. Clusters de distribuidoras. Cluster Empresas 1 15 empresas AES-Sul; Ampla; Bandeirante; Ceb; CEEE; Celesc; Cemig; Copel; CPFL-Paulista; CPFL Piratininga; Elektro; Eletropaulo; Escelsa; Light; RGE 2 24 empresas AmE; Caiuá; Ceal; Celg; Celpa; Celpe; Celtins; Cemar; Cemat; Cepisa; CLFSC; CNEE; Coelba; Coelce; Cosern; CSPE; EBO; EDEVP ; EEB; EMG; Enersul; EPB; ESE; Sulgipe 3 20 empresas Boa Vista; Cflo; Chesp; CJE; CLFM; Cocel; Cooperaliança; CPEE; Demei; DME-PC; EFLJC; EFLUL; Eletroacre; Eletrocar; ELFSM; ENF; Hidropan; IEnergia; Mux-Energia; UHENPAL Figura 1 sugere a formação dos três agrupamentos indicados na Tabela 4. No cluster 1 predominam as distribuidoras que atendem as maiores economias industriais do Brasil, localizadas nos estados das regiões Sul e Sudeste. Em oposição ao cluster 1, o cluster 3 abrange as concessionárias de menor porte, nas quais a alta tensão corresponde a uma pequena parcela do mercado total. Em geral, essas empresas atuam em pequenas áreas de concessão e por essa razão operam redes de distribuição de pequena extensão que atendem mercados de tamanho reduzido mas espacialmente concentrados. O cluster 2 abriga as principais empresas nas regiões Centro-Oeste, Norte e Nordeste. 4.2. Modelo para definição do benchmark regulatório Os custos operacionais de uma distribuidora de energia elétrica (OPEX – operational expenditures) referem-se exclusivamente às despesas com pessoal, material e serviços de terceiros. O benchmark regulatório deve orientar cada distribuidora no sentido de explorar o seu potencial de redução de custos operacionais (PROPEX), definido como sendo a diferença entre os seus custos operacionais correntes e os níveis eficientes das despesas operacionais (EFFOPEX) determinados pelo benchmark regulatório (Thanassoulis, 2000): PROPEX = OPEX – EFFOPEX ≥ 0 (9) Rearranjando a Equação 9, obtém-se o seguinte índice de eficiência: θ= EFFOPEX PROPEX = 1− ⇒ PROPEX = OPEX (1 − θ ) OPEX OPEX (10) Se θ é igual a 1, a distribuidora é eficiente e o potencial de redução de custos é nulo. Caso contrário (θ < 1), o potencial de redução de custos é dado por OPEX(1-θ). O índice de eficiência θ pode ser calculado por meio de um modelo DEA com orientação ao insumo em que os custos operacionais constituem o único input (Thanassoulis, 2000). O contrato de concessão obriga as distribuidoras a prestarem o fornecimento de energia elétrica a todos os consumidores em sua área de concessão, observando a qualidade e a confiabilidade do serviço. Esses requisitos são os drivers das despesas das distribuidoras e as variáveis relacionadas com esses requisitos são os outputs do modelo DEA. As despesas operacionais também são influenciadas por fatores não gerenciáveis pela distribuidora, por exemplo, a dispersão dos consumidores e características geográficas da área de concessão. Para contemplar esses aspectos, o tamanho da rede de distribuição também pode ser incluído como mais uma variável output (Zanini, 2004). Os modelos DEA admitem que o conjunto de produção seja convexo e a tecnologia seja monotônica, i.e., um aumento na quantidade de algum input não deve reduzir a quantidade dos outputs. Uma correlação positiva entre inputs e outputs indica que a propriedade de tecnologia monotônica está presente. Na Tabela 5 são apresentadas matrizes de correlações entre as variáveis: custo operacional (OPEX), total de energia elétrica distribuída (Mercado MWh), número de consumidores atendidos, extensão da rede de distribuição em km (Rede), duração equivalente das interrupções no fornecimento (DEC) e frequência equivalente das interrupções no fornecimento (FEC) para o conjunto de distribuidoras analisadas no período 2003/2009. Os indicadores DEC e FEC expressam a continuidade do fornecimento, um aspecto da qualidade do serviço de distribuição de energia elétrica. As matrizes de correlações foram obtidas para diferentes conjuntos de empresas: o grupo formado por todas as empresas no período 2003-2009 e grupos contendo apenas as empresas classificadas em um mesmo cluster. Em todas as situações ilustradas, as variáveis rede, mercado e número de consumidores apresentaram correlações positivas com os custos operacionais (OPEX) e, portanto, essas variáveis satisfazem a propriedade de tecnologia monotônica, qualificando-as como outputs do modelo DEA. Apesar da forte correlação positiva entre o número de consumidores e o mercado (MWh), as duas variáveis são mantidas no modelo, pois estão associadas com outputs de naturezas distintas: o número de consumidores é uma proxy Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx da quantidade de serviço, enquanto o total de energia fornecida é uma proxy do produto (Lo et al., 2001). Por outro lado, os indicadores DEC e FEC são fracamente correlacionados com o OPEX e os sinais dessas correlações não são coerentes ao longo das situações analisadas. Ressalta-se que o DEC mensura a duração média das interrupções e o FEC, a frequência de ocorrência das interrupções, logo maiores níveis desses indicadores refletem reduzidos níveis de qualidade do fornecimento de energia elétrica. Esses dois indicadores são exemplos de outputs indesejáveis, produtos que devem ser minimizados. A consideração de outputs indesejáveis requer algum tipo de transformação de variáveis por uma função monótona decrescente, por exemplo, a inversão ou translação (Tschaffon, 2011). Assim, preferiu-se não incluir os indicadores DEC e FEC e manter apenas três produtos: a extensão da rede de distribuição, o mercado e o número de unidades consumidoras. Nesse sentido, o modelo proposto é semelhante ao utilizado pela Aneel no 3CRTP, pois ambos possuem as mesmas variáveis input e output. Apesar de a qualidade não estar presente no modelo DEA, o fator X tem uma componente de qualidade, cujo valor é determinado ex post na data da revisão tarifária (Agência Nacional de Energia Elétrica, 2011). No modelo especificado pela Aneel são considerados retornos não decrescentes de escala, contudo, em função da premissa de homogeneidade dos agrupamentos de empresas, no modelo proposto são admitidos retornos constantes de escala. Assim, a eficiência será avaliada por um modelo DEA CRS/M/I. Essa escolha também atende aos requisitos da avaliação cruzada (Soares de Mello et al., 2013). Da mesma forma que a Aneel, considerou-se que cada distribuidora, em um determinado ano, Tabela 5. Matrizes de correlações. Todos OPEX Rede Mercado Nº Consumidores FEC DEC 1,000 OPEX OPEX Rede 0,845 1,000 0,937 0,717 Rede Mercado Nº Consumidores FEC DEC 1,000 OPEX Mercado Rede 0,769 1,000 1,000 Mercado 0,905 0,584 Nº Consumidores 0,949 0,665 0,969 1,000 FEC -0,272 -0,081 -0,515 -0,397 1,000 DEC -0,168 0,037 -0,393 -0,268 0,866 1,000 OPEX Rede Mercado Nº Consumidores FEC DEC Nº Consumidores 0,942 0,810 0,946 1,000 FEC -0,106 -0,052 -0,233 -0,166 1,000 DEC 0,038 0,107 -0,086 0,014 0,810 1,000 OPEX Rede Mercado Nº Consumidores FEC DEC Cluster 2 Cluster 1 OPEX 1,000 Rede 0,921 1,000 Mercado 0,882 0,912 1,000 Nº Consumidores 0,822 0,900 0,965 1,000 FEC 0,248 0,100 0,015 0,011 1,000 DEC 0,261 0,164 0,093 0,110 0,929 1,000 Cluster 3 1,000 OPEX 1,000 Rede 0,593 1,000 Mercado 0,764 0,561 1,000 Nº Consumidores 0,794 0,791 0,782 FEC 0,359 0,259 0,002 0,206 1,000 DEC 0,070 0,218 -0,130 0,129 0,668 1,000 1,000 Tabela 6. Eficiência das concessionárias classificadas no cluster 1 (DEA CRS). 2003 2004 2005 2006 2007 2008 2009 AES-Sul Empresas 0,961 0,973 0,920 0,923 0,901 0,869 0,834 Média 0,911 Ampla 0,836 0,780 0,720 0,660 0,662 0,751 0,769 0,740 Bandeirante 0,697 0,653 0,675 0,611 0,675 0,691 0,737 0,677 Ceb 0,323 0,338 0,435 0,415 0,448 0,550 0,528 0,434 Ceee 0,604 0,605 0,602 0,627 0,607 0,628 0,539 0,602 Celesc 0,499 0,475 0,503 0,450 0,456 0,485 0,519 0,484 Cemig 0,638 0,616 0,587 0,551 0,533 0,579 0,597 0,586 Copel 0,698 0,648 0,609 0,598 0,588 0,588 0,521 0,607 CPFL Paulista 0,908 0,964 0,926 0,978 0,946 1,000 0,999 0,960 CPFL Piratininga 0,811 0,914 0,964 0,984 0,876 1,000 1,000 0,936 Elektro 0,725 0,752 0,695 0,658 0,684 0,729 0,742 0,712 Eletropaulo 0,547 0,692 0,691 0,664 0,704 0,792 0,680 0,681 Escelsa 0,803 0,815 0,765 0,642 0,631 0,736 0,710 0,729 Light 0,721 0,782 0,816 0,753 0,702 0,826 0,927 0,790 RGE 1,000 0,814 0,914 0,892 0,969 0,988 0,994 0,939 Média 0,718 0,721 0,721 0,694 0,692 0,747 0,740 0,719 Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx Tabela 7. Eficiência das concessionárias do cluster 1 (avaliação cruzada). 2003 2004 2005 2006 2007 2008 2009 Média AES-Sul Empresas 0,912 0,916 0,881 0,883 0,861 0,821 0,800 0,868 Ampla 0,717 0,670 0,621 0,574 0,574 0,647 0,664 0,638 Bandeirante 0,667 0,638 0,659 0,598 0,661 0,677 0,709 0,658 Ceb 0,291 0,304 0,393 0,376 0,408 0,504 0,485 0,394 Ceee 0,545 0,547 0,548 0,573 0,558 0,580 0,498 0,550 Celesc 0,485 0,462 0,488 0,422 0,415 0,435 0,459 0,452 Cemig 0,617 0,592 0,562 0,528 0,512 0,556 0,567 0,562 Copel 0,666 0,624 0,588 0,576 0,569 0,571 0,505 0,585 CPFL Paulista 0,846 0,906 0,874 0,926 0,902 0,954 0,949 0,908 CPFL Piratininga 0,790 0,850 0,898 0,918 0,851 0,971 0,980 0,894 0,679 Elektro 0,685 0,718 0,662 0,628 0,656 0,699 0,707 Eletropaulo 0,493 0,628 0,626 0,602 0,639 0,720 0,614 0,618 Escelsa 0,766 0,790 0,742 0,624 0,613 0,716 0,681 0,705 Light 0,639 0,721 0,762 0,691 0,646 0,761 0,843 0,723 RGE 0,969 0,779 0,875 0,851 0,909 0,922 0,946 0,893 Média 0,673 0,676 0,679 0,651 0,652 0,702 0,694 0,675 corresponde a uma DMU. Assim, por exemplo, o desempenho de uma concessionária em 2009 é comparado com o desempenho de suas congêneres ao longo dos sete anos do painel de dados e também com o seu próprio desempenho no período 2003-2009. Essa abordagem possibilita a análise da evolução temporal de cada companhia, considerando-se que não houve mudança tecnológica significativa ao longo do período analisado, uma hipótese plausível para a distribuição de energia elétrica. A mesma abordagem foi utilizada pela Aneel na avaliação dos custos operacionais eficientes das transmissoras (Pessanha et al., 2010). Todos os resultados apresentados a seguir foram obtidos por meio de um programa desenvolvido em ambiente R. Na Tabela 6 são apresentados os índices de eficiência (DEA CRS) das distribuidoras classificadas no cluster 1. Tabelas semelhantes foram obtidas para os agrupamentos 2 e 3, porém não são apresentadas em função da disponibilidade de espaço. Na Tabela 6, as empresas CPFL Piratininga, em 2008 e 2009, CPFL Paulista, em 2008, e RGE, em 2003, apresentam eficiência de 100% (índices iguais a 1). A análise dos resultados do modelo DEA CRS revela que os diferentes esquemas de pesos ótimos atribuem ponderações nulas a um ou mais outputs. Problema semelhante ocorre no modelo adotado pela Aneel. Tal fato indica que os elevados índices de eficiência em algumas DMUs podem ter sido alcançados por meio de esquemas de peso irrealistas. Para contornar essa situação propõe-se a avaliação cruzada, cujos resultados para o cluster 1 são apresentados na Tabela 7. Os boxplots na Figura 2 ilustram as distribuições dos índices de eficiência em cada cluster, segundo cada modelo. Figura 2. Boxplots dos índices de eficiência. Vale lembrar que os índices de eficiência calculados são relativos ao conjunto de empresas classificadas em cada agrupamento, portanto não permitem estabelecer comparações entre a eficiência de clusters distintos. No cluster 1, os índices de eficiência calculados pela avaliação cruzada são ligeiramente inferiores aos obtidos pelo modelo DEA CRS, conforme ilustrado nas Tabelas 6 e 7 e pelos boxplots na Figura 2. As maiores discrepâncias entre as medidas de eficiência (índice Mk) ocorrem no cluster 2 (Figura 3), em especial nas distribuidoras AmE, Caiua, Celg, Celtins, Cemar, Cemat, Cepisa, CNEE, CSPE, EBO, EEB, EMG, Enersul, EPB, ESE e Sulgipe. A investigação dos Mavericks envolve uma análise dos esquemas de peso, por essa razão, na Figura 4 são apresentadas as médias dos pesos padronizados nas distribuidoras no cluster 2. Ressalte-se que os pesos resultantes do modelo DEA CRS e da avaliação cruzada não apresentam diferenças significativas. Na Figura 4, as empresas Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx estão dispostas na ordem crescente do índice Mk médio no período analisado, iniciando em 5,9%, com a Coelba, e finalizando em 70%, com a Celtins. Assim, os Mavericks situam-se no lado direito da Figura 4, a partir da CSPE. Adicionalmente, os valores negativos correspondem aos pesos abaixo da média em cada variável, sendo que os menores valores correspondem aos pesos nulos. No caso da Celtins, a variável km de rede recebe um peso relativamente maior que os pesos atribuídos aos demais outputs, contudo a variável km de rede recebe peso relativamente menor nos esquemas de peso de outras DMUs. Situações semelhantes acontecem Figura 3. Índices Mk. na Cemar, Cepisa, EMG, Enersul, EPB e Sulgipe. Em outro exemplo, a EEB é um dos poucos casos em que o mercado (MWh) recebe um peso acima da média, enquanto os demais outputs recebem pesos menores ou nulos. Na EBO e CNEE são atribuídos pesos acima da média às variáveis mercado e número de unidades consumidoras, porém essas variáveis, em geral, recebem pesos abaixo da média nos outros esquemas de peso. A mesma situação acontece na CSPE e na Caiua, cujos índices Mk são da ordem de 18% e 19%, respectivamente. As distribuidoras AmE e Celg mostram que pequenas diferenças nos pesos podem provocar significativas diferenças nos índices de eficiência. Por outro lado, os índices de eficiência são mais robustos em algumas distribuidoras, como na CLFSC e na EEDVP, cujos índices Mk são da ordem de 12% e 13%, respectivamente, apesar dos esquemas de peso diferenciados. Situações semelhantes ocorrem em algumas distribuidoras classificadas no cluster 1 (Figura 5), onde o maior Mk médio (16%) é o da Ampla. Na sequência, na Figura 6 são apresentados os índices de eficiência para as distribuidoras classificadas no cluster 1, segundo o modelo de avaliação cruzada, e os índices correspondentes, na Tabela 7 da Nota Técnica n. 294/2011-SRE/Aneel, de 26 de outubro de 2011. Em virtude das diferenças no conjunto de DMUs avaliadas e no regime de rendimentos de escala, os resultados dos modelos não são diretamente comparáveis. Contudo, a avaliação cruzada é um bom instrumento para avaliar a robustez dos índices de eficiência determinados pela Aneel. Figura 4. Esquemas de pesos resultantes da avaliação cruzada para as empresas no cluster 2. Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx Figura 5. Esquemas de pesos resultantes da avaliação cruzada para as empresas no cluster 1. Figura 6. Médias anuais dos índices de eficiência das distribuidoras classificadas no cluster 1. 5. Conclusões O terceiro ciclo de revisões tarifárias, iniciado em 2011, é caracterizado pela introdução de inovações metodológicas, sendo que uma das mais relevantes foi a substituição do modelo de empresa de referência pela Análise Envoltória de Dados (DEA) na definição do benchmark regulatório para os custos operacionais. A Aneel abriu mão de um modelo testado e aprimorado nos ciclos anteriores e passou a seguir uma metodologia bastante difundida entre os reguladores do setor elétrico em diversos países. A DEA significa um avanço, pois confere ao regulador a capacidade de avaliar a eficiência dos custos operacionais em termos globais, sem a necessidade de definir padrões de custos para cada atividade desempenhada por uma distribuidora. Contudo, como é comum em qualquer inovação regulatória, a metodologia adotada pela Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx Aneel apresenta pontos que merecem ser investigados, visando o seu aprimoramento. Neste trabalho foram propostas duas contribuições nesse sentido. Ciente da diversidade entre as distribuidoras, a Aneel dividiu o conjunto de empresas em dois grupos, em função do tamanho do mercado atendido. A estratégia de segmentar o conjunto de empresas está de acordo com os princípios da yardstick competition, mas a identificação de agrupamentos com base apenas no tamanho do mercado (TWh) não produz grupos de empresas suficientemente similares, um requisito da yardstick competition. Por outro lado, a proposta de caracterização de cada distribuidora por meio de oito atributos selecionados e que captam diferentes aspectos das áreas de concessão, seguida pelo emprego do método de Ward, uma técnica multivariada de cluster analysis, produz uma segmentação do conjunto de distribuidoras em três grupos bem definidos e internamente mais homogêneos do que os considerados pelo agente regulador. Portanto, visando o estabelecimento de análises comparativas mais justas, recomenda-se que a segmentação das distribuidoras seja efetuada por meio de alguma técnica multivariada para análise de agrupamentos. Nos resultados do modelo DEA especificado pela Aneel são observados pesos nulos em alguns outputs, sugerindo que os índices de eficiência resultantes podem ter sido derivados de esquemas de peso irrealistas. Embora os resultados apresentados no artigo não sejam diretamente comparáveis aos apresentados pela Aneel, a comparação entre os índices de eficiência calculados pelo modelo DEA CRS e pela avaliação cruzada sugere que alguns índices calculados pelo agente regulador estão superstimados, sobretudo nas distribuidoras que operam nas regiões Norte e Nordeste, onde foram identificados diversos mavericks. A identificação de mavericks no conjunto de distribuidoras, a possibilidade de analisar a robustez dos resultados dos modelos DEA clássicos sem a necessidade de admitir suposições explícitas acerca da importância relativa das variáveis, bem como o fato de ela permitir que a eficiência de uma DMU leve em conta as avaliações realizadas pelos seus pares constituem importantes contribuições da avaliação cruzada para a definição do benchmark regulatório dos custos operacionais. Por fim, destaca-se que as contribuições propostas neste trabalho são de fácil implementação computacional e podem aprimorar substancialmente os modelos empregados pelo agente regulador. Referências Agência Nacional de Energia Elétrica - ANEEL. (2008). Segundo Ciclo de Revisão Tarifária Periódica das Concessionárias de Distribuição de Energia Elétrica, Nota Técnica nº 294/2008-SRE/ANEEL. Metodologia de Cálculo dos Custos Operacionais: Detalhamento do modelo de empresa de referência. Brasília: ANEEl. Agência Nacional de Energia Elétrica - ANEEL. (2010). Terceiro Ciclo de Revisão Tarifária Periódica das Concessionárias de Distribuição de Energia Elétrica, Nota Técnica nº 265/2010-SRE/ANEEL. Metodologia de cálculo dos custos operacionais. Brasília: ANEEl. Agência Nacional de Energia Elétrica - ANEEL. (2011). Terceiro Ciclo de Revisão Tarifária Periódica das Concessionárias de Distribuição de Energia Elétrica, Nota Técnica nº 294/2011-SRE/ANEEL. Metodologia de cálculo dos custos operacionais. Brasília: ANEEl. Alcantara, A. A. M., & Sant’Anna, A. P. (2002). Medindo Eficiência em Desenvolvimento de Sistemas. Produção, 11(2) . Angulo-Meza, L., & Cunha, B. T. (2006). A avaliação cruzada: uma revisão bibliográfica e implementação computacional. In Simpósio Brasileiro de Pesquisa Operacional, Goiânia. Banker, R. D., Charnes, A., & Cooper, W. W. (1984). Some Models for Estimating Technical and Scale Inefficiencies in Data Envelopment Analysis. Management Science, 30(9), 10781092. http://dx.doi.org/10.1287/mnsc.30.9.1078 Biesebroeck, J. (2007). Robustness of productivity estimates. Journal of Industrial Economics, 55(3), 529-69. http:// dx.doi.org/10.1111/j.1467-6451.2007.00322.x Bogetoft, P., & Nielsen, K. (2003). DEA based yardstick competition in natural resource management. In F. Helle, N. Strange & L. Wichmann (Ed.), Recent Accomplishments in Applied Forest Economics Research. Boston: Kluwer Academic Publisher. http://dx.doi.org/10.1007/978-94017-0279-9_9 Charnes, A., Cooper, W. W., & Rhodes, E. (1978). Measuring the Efficiency of Decision-Making Units. European Journal of Operational Research, 2, 429-444. http:// dx.doi.org/10.1016/0377-2217(78)90138-8 Chen, T. Y. (2002). An Assessment of technical efficiency and cross-efficiency in Taiwan’s electricity distribution sector. European Journal of Operational Research, 137, 421433. http://dx.doi.org/10.1016/S0377-2217(01)00101-1 Coelli, T. J., Estache, A., Perelman, S., & Trujillo, L. (2003). A primer on efficiency measurement for utilities and transport regulators. World Bank Institute. Coelli, T. J., Rao, D. S. P., O’donnell, C. J., & Battese, G. E. (2005). An Introduction to Efficiency and Productivity Analysis (2nd ed). Springer. Cooper, W. W., Seiford, L. M., & Tone, K. (2000). Data Envelopment Analysis, A Comprehensive Text with Models Applications, Referencex and DEA-Solver Software. Kluwer Academic Publishers. Doyle, J. R., & Green, R. H. (1994). Efficiency and Crossefficiency in DEA: Derivations, Meanings and Uses. Journal of the Operational Research Society, 45(5), 567578. Estellita Lins, M. P., & Angulo-Meza, L. (2002). Review of methods for increasing discrimination in Data Envelopement Analysis. Annals of Operations Research, 116, 225-242. http://dx.doi.org/10.1023/A:1021340616758 Ferreira, C. M. C., & Gomes, A. P. (2009). Introdução à Análise Envoltória de Dados: Teoria, Modelos e Aplicações. Viçosa: Editora UFV. Rezende, S. M. et al. Avaliação cruzada das distribuidoras de energia elétrica. Production, v. xx, n. x, p. xx-xx, xxx/xxx, xxxx Haney, A. B., & Pollitt, M. G. (2009). Efficiency analysis of energy networks: An international survey of regulators. Energy Policy, 37, 5814-5830. http://dx.doi. org/10.1016/j.enpol.2009.08.047 Sexton, T. R., Silkman, H. R., & Hogan, A. J. (1986). Data Envelopment Analysis: Critique and extensions. In Measuring Efficiency: an assessment of Data Envelopment Analysis. San Francisco: Jossey-Bass. Jasmab, T., & Pollitt, M. (2000). Benchmarking and regulation: International electricity experience. Utilities Policy, 9, 107-130. http://dx.doi.org/10.1016/S09571787(01)00010-8 Shleifer, A. (1985). A theory of yardstick competition. Rand Journal of Economics, 16, 319-327. http://dx.doi. org/10.2307/2555560 Johnson, R. A., & Wichern, D. W. (1998). Applied Multivariate Statistical Analysis (4th ed). New Jersey: Prentice-Hall. Liang, L., Wu, J., Cook, W. D., & Zhu, J. (2008). Alternative secondary goals in DEA cross-efficiency evaluation. International Journal of Production Economics, 113(2), 1025-1030. http://dx.doi. org/10.1016/j.ijpe.2007.12.006 Lim, S. (2010). A formulation of cross-efficiency in DEA and its applications. In International Conference on Computers and Industrial Engineering, Awaji. Lo, F. Y., Chen-Fu, C., & James, T. L. (2001). A DEA Study to Evaluate the Relative Efficiency and Investigate the District Reorganization of the Taiwan Power Company. IEEE Transactions on Power Systems, 16. Pessanha, J. F. M., Figueira De Mello, M. A. R., Barros, M., & Souza, R. C. (2010). Avaliação dos custos operacionais eficientes das empresas de transmissão do setor elétrico Brasileiro: uma proposta de adaptação do modelo DEA adotado pela ANEEL. Pesquisa Operacional, 30(3), 521-545. http://dx.doi.org/10.1590/ S0101-74382010000300002 Pindyck, R. S., & Rubinfeld, D. L. (1991). Econometric Models & Economic Forecasts (3rd ed). McGraw-Hill. Plagnet, M. A. (2006). Use of benchmarking methods in Europe in the Electricity Distribution Sector. In Conference on Applied Infrastructure Research, Berlin. R Development Core Team. (2011). R: A language and environment for statistical computing. Vienna: R Foundation for Statistical Computing. Retrieved from http://www.R-project.org/. Ramón, N., Ruiz, J. L., & Sirvent, I. (2010). On the choice of weights profiles in cross-efficiency evaluations. Europeans Journal of Operational Research, 207, 15641572. http://dx.doi.org/10.1016/j.ejor.2010.07.022 Ruiz, J. L., & Sirvent, I. (2012). On the DEA total weight flexibility and the aggregation in cross-efficiency evaluations. European Journal of Operational Research, 223, 732-738. http://dx.doi.org/10.1016/j.ejor.2012.06.011 Shuttleworth, G. (2005). Benchmarking of electricity networks: Practical problems with its use for regulation. Utilities Policy, 13, 310-317. http://dx.doi.org/10.1016/j. jup.2005.01.002 Siciliano, A. (2005). Regulação incentivada: simplificação ou complicação na supervisão das concessionárias de eletricidade? Revista do BNDES, 12(23), 243-266. Simar, L., & Wilson, P. W. (2007). Estimation and Inference in Two-Stage, semi-parametric models of production. Journal of Econometrics, 136, 31-64. http://dx.doi. org/10.1016/j.jeconom.2005.07.009 Smith, P., & Street, A. (2005). Measuring the Efficiency of Public Services: The Limits of Analysis. Journal of the Royal Statistical Society, 168(2), 401-417. http://dx.doi. org/10.1111/j.1467-985X.2005.00355.x Soares de Mello, J. C. C. B., Angulo-Meza, L., Silveira, J. Q., & Gomes, E. G. (2013). About negative efficiencies in cross evaluation BCC input oriented models. European Journal of Operational Research, 229, 732-737. http:// dx.doi.org/10.1016/j.ejor.2013.02.020 Stone, M. (2002). How Not to Measure the Efficiency of Public Services (And How One Might). Journal of the Royal Statistical Society, 165(3), 405-434. Thanassoulis, E. (2000). The use of data envelopment analysis in the regulation of UK water utilities: Water distribution. European Journal of Operational Research, 126, 436453. http://dx.doi.org/10.1016/S0377-2217(99)00303-3 Tschaffon, P. B. (2011). Um estudo de outputs indesejáveis em DEA com aplicação no setor de distribuição de energia elétrica (Dissertação de mestrado). Universidade Federal Fluminense, Niterói. Wang, Y. M., & Chin, K. S. (2010). Some alternative models for DEA cross-efficiency evaluation. International Journal of Production Economics, 125(1), 332-338. http://dx.doi. org/10.1016/j.ijpe.2010.07.032 Zanini, A. (2004). Regulação econômica no setor elétrico brasileiro: Uma metodologia para definição de fronteiras de eficiência e cálculo do fator X para empresas distribuidoras de energia elétrica (Tese de doutorado). Pontifícia Universidade Católica do Rio de Janeiro, Rio de Janeiro. Cross evaluation of electric distribution utilities Abstract In its third round of tariff review, the Brazilian Electricity Regulatory Agency (Aneel) adopted a methodology based on data envelopment analysis (DEA) to define efficient levels of operational expenditure. This work presents proposals to improve Aneel’s methodology. In particular, we propose the segmentation of the set of distribution utilities using cluster analysis techniques to establish fair comparisons between utilities. Additionally, we propose a cross evaluation model using the definition of efficient operational expenditure levels to achieve an efficiency index that accounts for peer evaluations. Keywords Electric power. Data Envelopment Analysis. Cross evaluation. Cluster analysis.