Comparison of machine-learning algorithms to build a predictive model for detecting undiagnosed diabetes - ELSA-Brasil: accuracy study

• Published in: São Paulo medical journal Vol. 135; no. 3; pp. 234 - 246
• Main Authors: Olivera, André Rodrigues, Roesler, Valter, Iochpe, Cirano, Schmidt, Maria Inês, Vigo, Álvaro, Barreto, Sandhi Maria, Duncan, Bruce Bartholow
• Format: Journal Article
• Language: English
• Published: Brazil Associação Paulista de Medicina - APM 01.05.2017; Associação Paulista de Medicina
• Subjects: Adult; Aged; Algorithms; Aprendizado de máquina supervisionado; Bayes Theorem; Brazil; Computer Simulation - standards; Diabetes mellitus tipo 2; Diabetes Mellitus, Type 2 - diagnosis; Feasibility Studies; Female; Humans; Logistic Models; Male; MEDICINE, GENERAL & INTERNAL; Middle Aged; Mineração de dados; Modelos estatísticos; Neural Networks, Computer; Reproducibility of Results; Sensitivity and Specificity; Supervised Machine Learning - standards; Técnicas de apoio para a decisão; Brazil; Models, statistical; Modelos estatísticos; Supervised machine learning; Decision support techniques; Diabetes mellitus, type 2; Técnicas de apoio para a decisão; Diabetes mellitus tipo 2; Aprendizado de máquina supervisionado; Data mining; Mineração de dados
• ISSN: 1516-3180; 1806-9460; 1516-3180; 1806-9460
• DOI: 10.1590/1516-3180.2016.0309010217

ABSTRACT CONTEXT AND OBJECTIVE: Type 2 diabetes is a chronic disease associated with a wide range of serious health complications that have a major impact on overall health. The aims here were to develop and validate predictive models for detecting undiagnosed diabetes using data from the Longitudinal Study of Adult Health (ELSA-Brasil) and to compare the performance of different machine-learning algorithms in this task. DESIGN AND SETTING: Comparison of machine-learning algorithms to develop predictive models using data from ELSA-Brasil. METHODS: After selecting a subset of 27 candidate variables from the literature, models were built and validated in four sequential steps: (i) parameter tuning with tenfold cross-validation, repeated three times; (ii) automatic variable selection using forward selection, a wrapper strategy with four different machine-learning algorithms and tenfold cross-validation (repeated three times), to evaluate each subset of variables; (iii) error estimation of model parameters with tenfold cross-validation, repeated ten times; and (iv) generalization testing on an independent dataset. The models were created with the following machine-learning algorithms: logistic regression, artificial neural network, naïve Bayes, K-nearest neighbor and random forest. RESULTS: The best models were created using artificial neural networks and logistic regression. These achieved mean areas under the curve of, respectively, 75.24% and 74.98% in the error estimation step and 74.17% and 74.41% in the generalization testing step. CONCLUSION: Most of the predictive models produced similar results, and demonstrated the feasibility of identifying individuals with highest probability of having undiagnosed diabetes, through easily-obtained clinical data. RESUMO CONTEXTO E OBJETIVO: Diabetes tipo 2 é uma doença crônica associada a graves complicações de saúde, causando grande impacto na saúde global. O objetivo foi desenvolver e validar modelos preditivos para detectar diabetes não diagnosticada utilizando dados do Estudo Longitudinal de Saúde do Adulto (ELSA-Brasil) e comparar o desempenho de diferentes algoritmos de aprendizagem de máquina. TIPO DE ESTUDO E LOCAL: Comparação de algoritmos de aprendizagem de máquina para o desenvolvimento de modelos preditivos utilizando dados do ELSA-Brasil. MÉTODOS: Após selecionar 27 variáveis candidatas a partir da literatura, modelos foram construídos e validados em 4 etapas sequenciais: (i) afinação de parâmetros com validação cruzada (10-fold cross-validation); (ii) seleção automática de variáveis utilizando seleção progressiva, estratégia “wrapper” com quatro algoritmos de aprendizagem de máquina distintos e validação cruzada para avaliar cada subconjunto de variáveis; (iii) estimação de erros dos parâmetros dos modelos com validação cruzada; e (iv) teste de generalização em um conjunto de dados independente. Os modelos foram criados com os seguintes algoritmos de aprendizagem de máquina: regressão logística, redes neurais artificiais, naïve Bayes, K vizinhos mais próximos e floresta aleatória. RESULTADOS: Os melhores modelos foram criados utilizando redes neurais artificiais e regressão logística alcançando, respectivamente, 75,24% e 74,98% de média de área sob a curva na etapa de estimação de erros e 74,17% e 74,41% na etapa de teste de generalização. CONCLUSÃO: A maioria dos modelos preditivos produziu resultados semelhantes e demonstrou a viabilidade de identificar aqueles com maior probabilidade de ter diabetes não diagnosticada com dados clínicos facilmente obtidos.