Scientometric analysis on the use of ChatGPT, artificial intelligence, or intelligent conversational agent in the role of medical training

• Published in: Educación médica Vol. 25; no. 2; p. 100873
• Main Authors: Mayta-Tovalino, Frank, Espinoza-Carhuancho, Fran, Alvitez-Temoche, Daniel, Mauricio-Vilchez, Cesar, Munive-Degregori, Arnaldo, Barja-Ore, John
• Format: Journal Article
• Language: English
• Published: Elsevier España S.L.U 01.03.2024; Elsevier
• Subjects: Artificial intelligence; Bibliometrics; Bibliometrix; bibliometría; Biblioshiny; ChatGPT; Inteligencia artificial; Inteligencia artificial; Bibliometrics; ChatGPT; Bibliometrix; Biblioshiny; Artificial intelligence; bibliometría
• ISSN: 1575-1813; 1579-2099; 1579-2099
• DOI: 10.1016/j.edumed.2023.100873

In recent times, there has been a noticeable surge in the usage of artificial intelligence, including ChatGPT and other types, in the field of health sciences education. In this regard, an exploratory bibliometric study was carried out to examine the utilization of smart conversational agents, ChatGPT, and artificial intelligence bots in medical education. A retrospective, observational, cross-sectional bibliometric analysis was employed to assess the scientific publications listed in Scopus. This study was conducted on March 11, 2023 in search for information in Scopus. A total of 220 relevant documents were identified that were available in the Scopus database during the period between 2017 and 2022. Elsevier's SciVal software was used. Subsequently, statistical tables and graphs were prepared for presentation in Bibliometrix software. Among the authors, Timothy W. Bickmore, from the United States, has the highest number of publications (10) and citations received (172), and an h-index of 45, suggesting a significant influence in the field of study. The subcategory with the highest academic output is Health Informatics with 133 publications, while Geriatrics and Gerontology has the least with only 3. Most of the analyzed publications (44.2%) originated from collaborations within the same country. Notably, the Swiss Federal Institute of Technology Zurich and Imperial College London stood out with 12 publications each that received over 200 citations indicating their significant impact on their respective fields. Despite having the highest number of academic publications (15), Brazil had a relatively low field-weighted citation impact (0.64) and received the lowest number of citations (81). A clustering analysis was performed on a sample of 10 concepts using 2 dimensions. The results indicated that all terms were part of the same cluster. Notably, the terms 'conversational agents', 'chatbots', 'conversational agent', and 'chatbot' were closely related. It was found that the American Bickmore, Timothy W., led the top-10 researchers, and that the Health Informatics subject area was the most predominant. However, Brazil and Germany were the leading countries in terms of research output that was mainly published in high impact journals (Q1). En los últimos tiempos, ha habido un notable aumento en el uso de la inteligencia artificial, incluyendo ChatGPT y otros tipos, en el campo de la educación en ciencias de la salud. En este sentido, se llevó a cabo un estudio bibliométrico exploratorio para examinar la utilización de agentes conversacionales inteligentes, ChatGPT y bots de inteligencia artificial en la educación médica. Se empleó un análisis bibliométrico retrospectivo, observacional y transversal para evaluar las publicaciones científicas listadas en Scopus. Este estudio se llevó a cabo, el 11 de marzo de 2023, se realizó una búsqueda de información en Scopus. Se identificaron un total de 220 documentos relevantes, disponibles en la base de datos Scopus durante el periodo comprendido entre 2017 y 2022. Se utilizó el software SciVal de Elsevier. Posteriormente, se elaboraron tablas y gráficos estadísticos para su presentación en el software Bibliometrix. Entre los autores, Timothy W. Bickmore, de Estados Unidos, tiene el mayor número de publicaciones (10) y citas recibidas (172), y un índice h de 45, lo que sugiere una influencia significativa en el campo de estudio. La subcategoría con mayor producción académica es Informática de la Salud, con 133 publicaciones, mientras que Geriatría y Gerontología es la que menos tiene, con sólo 3. La mayoría de las publicaciones analizadas (44,2%) proceden de colaboraciones dentro del mismo país. Destacan el Swiss Federal Institute of Technology Zurich y el Imperial College London, con 12 publicaciones cada uno que recibieron más de 200 citas, lo que indica su importante impacto en sus respectivos campos. A pesar de tener el mayor número de publicaciones académicas (15), Brasil tuvo un impacto de citas ponderado por campo relativamente bajo (0,64) y recibió el menor número de citas (81). Se realizó un análisis de agrupación en una muestra de 10 conceptos utilizando dos dimensiones. Los resultados indicaron que todos los términos formaban parte de este clúster. En particular, los términos “agentes conversacionales”, “chatbots”, “agente conversacional” y “chatbot” estaban estrechamente relacionados. Se comprobó que el estadounidense Bickmore, Timothy W. lideraba el Top-10 de investigadores, y que el área temática Informática Sanitaria era la más predominante. Sin embargo, Brasil y Alemania fueron los países que lideraron la producción investigadora publicada principalmente en revistas de alto impacto (Q1).