Abstrato

Aplicação do algoritmo Gradient Boosting na modelação estatística

Hamid A Adamu, Murtala Muhammad e Abdullahi Mohammed Jingi

O Gradient Boosting (GB) é uma técnica de aprendizagem automática para regressão, que produz modelos de previsão mais precisos sob a forma de modelos de previsão fraca de conjunto. É um algoritmo iterativo que combina funções parametrizadas simples com um desempenho fraco (erro de previsão elevado) para produzir uma previsão altamente precisa minimizando os erros [1]. Assim sendo, este artigo investiga a aplicação do algoritmo de aumento de gradiente em Modelo Linear Generalizado (GLM) e Modelos Aditivos Generalizados (GAM) para produzir uma melhor previsão utilizando dados de aluguer de Munique. O mais interessante é comparar o desempenho do GLM e GAM clássicos e dos seus correspondentes pacotes optimizados na previsão. No entanto, no algoritmo de reforço, as iterações de reforço ideal são altamente recomendadas para evitar ajustes excessivos. Desempenha um papel importante no ajuste do modelo, pelo que empregamos a utilização da técnica baseada no Akaike Information Criterion (AIC) para determinar a iteração de reforço apropriada que fornece a previsão ideal. Aplicámos as técnicas AIC e validação cruzada (CV) para determinar as iterações de reforço ótimas. Os resultados obtidos são depois comparados para investigar o algoritmo mais preciso. Pode-se verificar que por defeito, o gamboost (boosted GAM) ajusta-se a modelos que utilizam smooth baselearners (bbs). Da mesma forma, também observou que os coeficientes do modelo ajustado estarão na forma de matriz se forem utilizados alunos de base suave, enquanto serão apenas lineares se forem utilizados alunos de base linear.