AgDataBox-Map-Clean: Computational Module For Data Cleaning

Abstract

Os mapas de produtividade estão entre os instrumentos essenciais da agricultura de precisão para avaliar a variabilidade espacial da cultura em uma área agrícola. No entanto, a qualidade dos mapas pode ser reduzida por erros sistemáticos, erros aleatórios e dados atípicos na coleta de dados de campo brutos. Assim, um módulo computacional para limpeza de dados (ADB-Map-Clean) foi desenvolvido e integrado dentro da aplicação AgDataBox-Map (ADB-Map) da plataforma web AgDataBox (ADB; https://adb.md.utfpr.edu.br/ ). ADB é uma plataforma web para integração de dados, software, procedimentos e metodologias para agricultura digital. Este módulo computacional limpa os dados brutos do monitor de colheita (monitor de produção) ao remover os outliers e inliers. Esta tese foi formatada em três artigos: Artigo 1: Foi realizado um estudo sistemático da literatura (SLS) com o objetivo de levantar os métodos utilizados para a remoção de outliers e inliers, bem como o software utilizado na análise exploratória dos dados. O SLS foi conduzido em três etapas: (i) mapeamento sistemático da literatura (SLM), (ii) bola de neve (SB) e (iii) revisão sistemática da literatura (SLR). Foram obtidos 772 trabalhos científicos, os quais foram reduzidos a 86 trabalhos após o processo de seleção. Artigo 2: foi desenvolvido um módulo computacional web (ADB-Map-Clean) para limpeza de dados brutos (usualmente dados do monitor de colheita), capaz de remover valores menores ou iguais a zero, leituras duplicadas, outliers e inliers, integrando-o com o ADB-Map. Em um estudo de caso, uma média de 20% dos dados foram removidos após a limpeza dos dados pelo ADB-Map-Clean, que reduziu significativamente SD e CV, e permitiu a construção de mapas temáticos e zonas de gerenciamento mais precisos. Artigo 3: estudo de caso com dados de três áreas experimentais, onde foram aplicadas diferentes técnicas de remoção de erros associados ao monitor de colheita, utilizando três softwares (i) o módulo computacional web ADB-Map-Clean, (ii) MapFilter e (iii) YieldEditor. Os mapas de produtividade (YMs) construídos com dados processados pelos três softwares de limpeza foram visualmente muito semelhantes, mas sua semelhança com os YMs de dados originais (sem filtragem) era muito pior. Em média, os softwares reduziram o SD em 68% e o CV em 70% após uma redução média de 23% nos dados. Além disso, a produtividade média aumentou 11%.