A IMPORTÂNCIA DO TRATAMENTO DE OUTLIERS NAS TAREFAS DE MINERAÇÃO DE DADOS

Resumo

Este trabalho de pesquisa ressalta a importância crítica da gestão de outliers (valores atípicos) na mineração de dados, dada a sua capacidade de distorcer análises e comprometer a precisão de modelos preditivos. O estudo aborda a natureza dos outliers, classificando-os e enfatizando a necessidade de compreender sua origem antes do tratamento. A identificação desses valores não só garante a integridade dos dados, mas também revela insights valiosos, como fraudes ou falhas de sistema, que seriam ignorados sem uma análise cuidadosa. Para a detecção de outliers, o artigo explora diversos métodos, incluindo abordagens estatísticas como o Teste de Grubbs, Z-Score, Intervalo Interquartil (IQR) com Boxplot e Mediana Absoluta do Desvio (MAD). A escolha do método é crucial e depende da natureza e volume dos dados. Após a identificação, o tratamento pode envolver a remoção, transformação de dados (e.g., logaritmos) ou substituição de valores (e.g., por média ou mediana). A decisão sobre a estratégia de tratamento é contextual, visando sempre a robustez e a qualidade dos resultados. No contexto da avaliação de desempenho de modelos de regressão, o trabalho empregou métricas como o Erro Médio Absoluto (MAE), a Raiz do Erro Quadrático Médio (RMSE) e o Coeficiente de Determinação (R2). O MAE, em particular, foi enfatizado como um parâmetro crucial para medir a precisão dos modelos, indicando a magnitude média dos erros sem considerar sua direção. Os resultados apresentados nas conclusões do trabalho demonstram a eficácia das estratégias de tratamento de outliers na melhoria dessas métricas de desempenho, especialmente o MAE, evidenciando a redução do erro médio e, consequentemente, a maior acurácia dos modelos após a devida gestão dos dados atípicos. Como resultado final, conclui-se que a gestão eficaz de outliers é fundamental para a confiabilidade dos resultados na mineração de dados. A aplicação de métodos de deteção e tratamento adequados, juntamente com a avaliação rigorosa do desempenho dos modelos por meio de métricas como o MAE, é essencial para construir modelos robustos e embasar decisões precisas, transformando dados brutos em informações acionáveis.