VINBOT - um robô terrestre para viticultura de precisão

I Congresso Luso-Brasileiro de Horticultura | Sessão Viticultura ! ! ! ! ! VINBOT – um robô terrestre para viticultura de precisão Carlos M. Lopes1, João Graça1 , G. Victorino1 , Robert Guzmán2, Albert Torres3, Miguel Reyes3, André Barriguinha4, Ricardo Braga1 & Ana Monteiro1 1 LEAF, Linking Landscape, Environment, Agriculture and Food, Instituto Superior de Agronomia, Universidade de Lisboa, Tapada da Ajuda, 1349-017 Lisboa, Portugal, E-mail [email protected] 2 Robotnik Automation S.L.L, Calle Ciudad de Barcelona, 3-A, 46988 P.I., Fuente del Jarro Paterna, Valencia, Spain. 3 Ateknea Solutions, Barcelona Office Building, Victor Pradera, 45. ES-08940 Cornellà de Llobregat. Barcelona, Spain. 4 Agri-Ciência, Consultores de Engenharia Lda, Av. Defensores de Chaves, 71 - 1º Esq.; 1000-114 Lisboa, Portugal. $ $ Resumo Nos últimos anos tem-se verificado um aumento exponencial da utilização de robôs na agricultura, estando a União Europeia a fomentar fortemente a investigação nesta área através da Agenda de Investigação Estratégica para a Robótica na Europa. A grande importância do conhecimento da variabilidade espacial do vigor e produção em Viticultura, tem levado ao desenvolvimento de ferramentas de Viticultura de Precisão baseadas em sensores diversos montados em veículos autónomos. Neste trabalho apresentam-se alguns resultados de validação de campo obtidos no âmbito do projeto europeu VINBOT (“Autonomous cloud-computing vineyard robot to optimise yield management and wine quality”) que teve por objectivo o desenvolvimento de um robô terrestre, equipado com diversas câmaras e sensores, para obtenção de mapas de variabilidade espacial quer de características da sebe quer da produção de uma parcela de vinha. O ensaio de validação decorreu numa vinha experimental do Instituto Superior de Agronomia, onde vários segmentos de várias linhas da casta Alvarinho foram rotuladas, submetidas ao registo manual das características da sebe e da produção e, simultaneamente, monitorizados pela plataforma de sensores do robô. Os dados obtidos manualmente foram comparados com os valores estimados pelos algoritmos de análise de imagem do robô. Relativamente às dimensões da sebe os resultados de validação mostram um bom ajustamento entre dados observados e as estimativas proporcionadas pela reconstrução 3D da sebe através do sensor laser “Range Finder”. No que se refere à produção, verificou-se uma ligeira subestimativa resultante da oclusão de alguns cachos quer por outros cachos quer pela vegetação da videira. Estão em curso novos ensaios com vista a testar o robô noutras castas e sistemas de condução e a melhorar os algoritmos de análise de imagem. Palavras-chave: análise de imagem, estimativa da produção, validação, videira. Abstract VINBOT – a terrestrial robot for precision viticulture. In recent years there has been an exponential increase in the use of robots in agriculture and the European Union is strongly promoting research in this area through the Strategic Research Agenda for Robotics in Europe. The great importance of knowing the spatial variability of vigor and yield in Viticulture has led to the development of Precision Viticulture tools based on several sensors mounted on autonomous vehicles. In this paper we present some field validation results obtained ! 29 ACTAS PORTUGUESAS DE HORTICULTURA | 1ª EDIÇÃO ! 517! I Congresso Luso-Brasileiro de Horticultura | Sessão Viticultura ! ! ! ! ! from the European project VINBOT (Autonomous cloud-computing vineyard robot to optimize yield management and wine quality), whose objective was the development of a terrestrial robot equipped with a camera and several sensors, to obtain maps of spatial variability of either the characteristics of the canopy and the yield of a vineyard plot. The validation test was carried out in an experimental vineyard of the Instituto Superior de Agronomia, where several row segments of a vineyard plot of the Alvarinho variety were labeled, subjected to manual assessment of the canopy characteristics and yield, and simultaneously monitored by the robot's sensor platform. The data obtained manually were compared with the values estimated by the image analysis algorithms of the robot. Regarding canopy dimensions the validation results show a good fit between observed data and the estimates provided by the 3D canopy reconstruction through the laser sensor "Range Finder". Regarding the yield, there was a slight underestimation caused mainly by bunch occlusion by other bunches or by the vegetation. New trials are underway to test the robot on other varieties and training systems and to improve image analysis algorithms. Key words: grapevine, image analysis, yield estimation, validation. Introdução De acordo com a Agenda de Investigação Estratégica da UE para a Robótica na Europa 2014-2020, na próxima década a tecnologia robótica tornar-se-á dominante em várias áreas, sendo a agricultura considerada uma das áreas com elevado potencial de desenvolvimento futuro (euRobotics aisbl, 2013). Dentre os diversos sectores agrícolas a viticultura é um em que os robôs aéreos e terrestres podem fornecer vários serviços, permitindo inúmeras vantagens. Relativamente aos robôs terrestres, já existem algumas práticas culturais que foram automatizadas com sucesso (ex. monda mecânica de infestantes; VitiRover, 2017), enquanto outras estão atualmente em desenvolvimento (ex. poda; VisionRobotics, 2017). Para além de poderem servir para o transporte de factores de produção e executar algumas práticas culturais, os robôs terrestres também podem ser utilizados como plataformas autónomas para transporte de vários tipos de sensores para monitorização de culturas, permitindo uma rápida e fácil colheita de dados, melhorando a rastreabilidade e as estatísticas das empresas agrícolas e, consequentemente, permitindo uma mais correcta tomada de decisão em agricultura (euRobotics, 2013). Recentemente, o uso destas plataformas autónomas tem merecido uma forte atenção por parte da comunidade científica, traduzida por vários projectos de investigação visando obter dispositivos capazes de executar a fenotipagem de alto rendimento de plantas/culturas (ex. temperatura do coberto, mapas de vigor e rendimento, mapas de composição da uva, etc.). Um exemplo desse esforço de investigação é o recente (20142016) projeto europeu VINBOT (Autonomous cloud-computing vineyard robot to optimise yield management and wine quality: http://www.vinbot.eu/) que visou o desenvolvimento de um robô autónomo todo-terreno, com um conjunto de sensores capazes de capturar e analisar imagens de videiras e dados 3D por meio de aplicações de computação na nuvem, para obter mapas de vigor e rendimento que representem a variabilidade espacial das parcelas da vinha. Neste trabalho apresentam-se alguns resultados de um ensaio de validação, em que se compararam dados das características da sebe e da produção colhidos manualmente numa parcela de vinha da casta Alvarinho, com as estimativas fornecidas pelos algoritmos do robô VINBOT. ! 29 ACTAS PORTUGUESAS DE HORTICULTURA | 1ª EDIÇÃO ! 518! I Congresso Luso-Brasileiro de Horticultura | Sessão Viticultura ! ! ! ! ! Material e métodos Parcela experimental O ensaio de validação decorreu numa vinha experimental do Instituto Superior de Agronomia, localizada na Tapada da Ajuda, Lisboa (lat. 38,71 N, long. 9,18 W). Utilizou-se uma parcela da casta ´Alvarinho´, plantada em 2006 com um compasso de 1.0 x 2.5 m (4000 plantas/ha), conduzida em monoplano vertical ascendente e podada em cordão Royat unilateral com uma carga média de 12 olhos/videira. Para efeitos de colheita de dados foram estabelecidos seis segmentos de linhas de videiras com 10 plantas contíguas cada (“smart points”) cujas videiras foram sujeitas a registos manuais das dimensões da sebe (altura e espessura) e do número e peso dos cachos durante a fase final da maturação de 2016. Em simultâneo, as mesmas videiras foram monitorizadas pelo conjunto de câmaras e sensores do robô VINBOT. Os dados obtidos pelo Rangefinder e pelos algoritmos de análise de imagem foram comparados com os dados observados resultantes das medições manuais obtidas na amostra de 60 videiras (6 “smart points x 10 videiras). Plataforma Vinbot A plataforma VINBOT baseia-se num robô comercial Summit XL HL, capaz de transportar até 65 kg de carga útil e que consiste em (Fig. 1): - uma plataforma robótica: durável, móvel, com ROS Indigo e Ubuntu 14.04; - uma camera RGBD Kinect v2 para tirar imagens das videiras; - rangefinder 2D para permitir a navegação na vinha e para obter a forma e porosidade da sebe; -um pequeno computador para funções computacionais básicas, ligado a um módulo de comunicação; - um RTK-DGPS de alta precisão e dispositivos de comunicação associados; -uma aplicação web baseada na nuvem para processar imagens e criar mapas em 3D; - um HMI para definir missões de navegação e aquisição de dados. Relativamente aos procedimentos de análise de imagem foi implementada uma nova abordagem para a detecção dos cachos (“Convolutional Neural Networks”) baseada numa estrutura de redes neurais multicamadas empilhadas (“Deep Learning”). De forma a detectar e quantificar as áreas das imagens ocupadas por cachos adicionouse uma nova camada com um classificador linear (Krizhevsky e Sutskever, 2012). Análise de dados Os dados estimados das dimensões da sebe foram obtidos com base na reconstrução tridimensional da sebe obtida a partir dos dados do Rangefinder. Relativamente à estimativa da produção de uvas, a área projetada da imagem de cachos e/ou fracções de cachos (extraída pelos algoritmos de análise de imagem) foi calculada em pixels e convertida em cm2 reais. Esta área foi depois corrigida de forma a considerar os potenciais cachos escondidos pela vegetação, usando relações empíricas obtidas no âmbito do projeto VINBOT (dados não apresentados). A área total projetada de cachos foi então convertida em kg de uvas usando uma equação que relaciona a área projectada dos cachos e o respectivo peso (dados não apresentados). Os dados estimados pelos algoritmos do robô VINBOT foram comparados com os dados observados usando-se as seguintes medidas de desvio (Schaeffer, 1980): erro médio absoluto (EMA); erro percentual absoluto médio (EPAM); erro quadrático médio (EQM). ! 29 ACTAS PORTUGUESAS DE HORTICULTURA | 1ª EDIÇÃO ! 519! I Congresso Luso-Brasileiro de Horticultura | Sessão Viticultura ! ! ! ! ! Resultados e discussão Dimensões da sebe Relativamente aos valores observados, verificou-se que a altura da sebe apresentou um valor médio de 1.0 m e uma baixa variabilidade (CV= 6.8%) o que se deve à desponta efectuada de forma homogénea a cerca de 20 cm acima do último arame. A área foliar exposta, calculada como o produto da altura média x espessura média da sebe (não considera eventual porosidade da sebe), apresentou um valor médio de 2.43 m2/m e também uma baixa variabilidade (CV= 6.2%). O volume da sebe apresentou um valor médio de 0.42 m3/m sendo a variável com o maior coeficiente de variação (CV= 14.4%). A comparação gráfica entre os valores observados e estimados da altura da sebe referente quer aos valores individuais das 60 videiras amostradas, quer aos valores médios por “smart point”, mostra um ajustamento satisfatório entre observados e estimados (Fig. 2). As medidas estatísticas de validação corroboram a avaliação visual e indicam que os algoritmos do Vinbot permitem estimar das características da sebe com baixo erro (Quadro 1). Por exemplo o erro percentual absoluto médio apresenta valores dentro dos limites de aceitabilidade sugeridos por Kleijnen (1987) (≤ 10%), excepto para o volume da sebe cujo erro é um pouco superior a esse limite. Produção As 60 videiras amostradas apresentaram um número médio de 18 cachos por videira com um coeficiente de variação de 31.2%. A produção real média por videira foi de 2.15 Kg com um CV de 47.1% tendo-se obtido a produção mais elevada na videira #5 do smart point 4 (5.2 kg) e a mais baixa na videira #4 do smart point 4 (0.4 kg). Na Figura 3 e Quadro 2 apresenta-se a comparação dos valores reais da produção com os estimados pelos algoritmos de análise de imagem do robô Vinbot. A avaliação visual do ajustamento referente às 60 videiras amostradas (Fig. 3A) mostra que, apesar de algumas videiras apresentarem ainda elevadas diferenças entre observados e estimados, em geral, o ajustamento pode-se considerar satisfatório. Pela análise do Quadro 2 verifica-se que os algoritmos do robô Vinbot subestimam a produção média em cerca de 10%. Apesar deste erro médio não ser muito elevado as estatísticas de validação relativas aos valores das 60 videiras amostradas, mostram ainda um erro elevado como é exemplo o erro percentual médio absoluto que se encontra bastante acima dos valores considerados como aceitáveis (≤10%; Kleijnen 1987). Esta subestimação poderá ter várias causas, sendo a oclusão dos cachos por outros cachos e/ou folhagem uma das principais. Com efeito, apesar dos algoritmos utilizados já incluírem uma estimativa da fracção de cachos passível de estar tapada pela folhagem ainda não entram em consideração com a fracção de cachos que poderão estar sobrepostos e, consequentemente, não visíveis às câmaras do robô. Esta oclusão, que depende do número de cachos por videira e do tamanho dos cachos, constitui um dos principais problemas da estimativa da produção por análise de imagem tal como referido por Nuske et al. (2014) que sugerem algumas soluções para a sua resolução baseadas em calibrações e modelação da taxa de oclusão. Para além da oclusão dos cachos, a eventual dessincronização entre as imagens do Vinbot e a correspondente videira onde se regista os dados observados também poderá ter contribuído para as diferenças entre os valores reais e estimados da produção individual por videira. Com efeito, enquanto os valores observados correspondem exactamente a uma determinada videira, algumas imagens poderão incluir cachos de mais do que uma videira, em ! 29 ACTAS PORTUGUESAS DE HORTICULTURA | 1ª EDIÇÃO ! 520! I Congresso Luso-Brasileiro de Horticultura | Sessão Viticultura ! ! ! ! ! resultado quer de erros do GPS quer de oscilações da câmara e correspondentes diferenças na área da sebe abrangida pela imagem. De facto, quando se analisam os dados agrupados por “smart point” (grupos de 10 videiras contíguas) as diferenças esbatem-se, verificando-se um melhor ajustamento visual (Fig. 3B) bem como um menor erro percentual absoluto médio, bastante próximo do limite de aceitabilidade (Kleijnen 1987). Para além destas razões, o grau de precisão dos algoritmos de análise de imagem na detecção dos cachos poderá também ter contribuído para o desajustamento entre observados e estimados. Conclusões Os nossos resultados mostram um desempenho aceitável da plataforma VINBOT para uma estimativa automatizada das características da sebe. Em relação à produção, observou-se uma pequena subestimação, resultados que podem ser atribuídos a um efeito combinado de oclusões de cachos pela vegetação e/ou outros cachos, à eventual dessincronização entre observados e estimados e à menor precisão dos algoritmos de análise de imagem para detecção da uva. De forma a reduzir o erro das estimativas torna-se necessário aprofundar os estudos no âmbito dos algoritmos de detecção dos cachos e na modelação da fracção de cachos não visíveis na imagem. Agradecimentos Este trabalho insere-se no âmbito do projecto europeu VINBOT (“Autonomous cloud-computing vineyard robot to optimise yield management and wine quality”), financiado pelo 7º Programa Quadro da Comunidade Europeia (SME 2013-2, nº 605630). Referências EUROBOTICS, A. 2013. Strategic Research Agenda For Robotics in Europe 20142020. https://ec.europa.eu/research/industrial_technologies/pdf/robotics-ppproadmap_en.pdf. Acedido em 12 Junho 2017. Kleijnen, J.P.C., 1987. Statistical tools for simulation modeling and analysis. McGrawHill, New York. Krizhevsky, A., Sutskever, I., Geoffrey, E.H. 2012. ImageNet Classification with Deep Convolutional Neural Networks. Advances in Neural Information Processing Systems, 25, 1097-1105. Nuske, S., Wilshusen, K., Achar, S., Yoder, L., Narasimhan, S., Singh, S. 2014. Automated Visual Yield Estimation in vineyards. Journal of Field Robotics 31(5): 837-860. Schaeffer, D.L., 1980. A model evaluation methodology applicable to environmental assessment models. Ecol. Model. 8: 275-295. VISIONROBOTICS, 2017. Intelligent Autonomous Grapevine Pruner. https://www.visionrobotics.com/vr-grapevine-pruner. Acedido em 12 June 2017.! VITIROVER, 2017. Découvrez le VitiRover. http://www.vitirover.com/fr. Acedido em 12 Junho 2017.! ! 29 ACTAS PORTUGUESAS DE HORTICULTURA | 1ª EDIÇÃO ! 521! I Congresso Luso-Brasileiro de Horticultura | Sessão Viticultura ! ! ! ! ! Figura 1 - Aspecto geral do protótipo do robô Vinbot e respectivas componentes. Figura 2 - Valores observados vs estimados da altura da sebe obtidos à maturação na casta Alvarinho em 6 blocos de 10 videiras (A) e média ± erro padrão por bloco de 10 videiras (B). Figura 3 - Valores observados vs estimados da produção obtidos em 60 videiras (6 grupos de 10 videiras contíguas - “smart point”) da casta Alvarinho (A) e média ± erro padrão por “smart point” (B). ! 29 ACTAS PORTUGUESAS DE HORTICULTURA | 1ª EDIÇÃO ! 522! I Congresso Luso-Brasileiro de Horticultura | Sessão Viticultura ! ! ! ! ! Quadro 1 - Dados estatísticos referentes à validação dos valores das características da sebe. EMA –erro médio absoluto; EPAM- erro percentual absoluto médio; EQM – erro quadrático médio. n=60; “smart point”: grupo de 10 videiras contíguas. n=60. Característica da sebe Observados Altura (m) Área foliar exposta (m2/m) Volume (m3/m) 1.01 1.00 0.06 6.2 0.07 2.43 2.45 0.13 5.4 0.15 0.42 0.45 0.05 14.1 0.07 Estimados EAM EPAM (%) EQM Quadro 2 - Dados estatísticos referentes à validação dos valores da produção. EM – erro médio; EMA –erro absoluto médio; EPAM- erro percentual absoluto médio; EQM – erro quadrático médio. n=60; “smart point”: grupo de 10 videiras contíguas. Grupo dados Observado (kg/m) média 60 2.15 videiras média/”smart 2.15 point” (n=6) Estimado (kg/m) EM (kg/m) EMA EPAM (kg/m) (%) EQM (kg/m) 1.95 0.2 1.1 64.0 1.4 1.95 0.2 0.32 15.2 0.39 ! 29 ACTAS PORTUGUESAS DE HORTICULTURA | 1ª EDIÇÃO ! 523!