New job skills: critical thinking analysis in higher education and engineering

• Published in: Form@re Vol. 25; no. 1; pp. 37 - 50
• Main Authors: Poce, Antonella, De Medio, Carlo
• Format: Journal Article
• Language: English
• Published: Firenze Firenze University Press Università degli Studi di Firenze 31.03.2025; Firenze University Press
• Subjects: artificial intelligence; Critical thinking; elaborazione del linguaggio naturale; Engineering Education; Job Skills; Language Processing; Natural language processing; pensiero critico; Scoring Rubrics; soft skills; STEM education; Thinking Skills
• ISSN: 1825-7321; 1825-7321
• DOI: 10.36253/form-17177

This article presents an approach for the assessment of critical thinking based on the analysis of open-ended answers, highlighting its advantages over closed-ended tests. The need to develop and measure reasoning skills also in STEM students is highlighted. During a workshop addressed to engineering students, open-ended questions were administered to assess critical thinking both through a manual scoring rubric system and through an automated prototype of Natural Language Processing (NLP). This approach answers two main research questions: the degree of concordance between manual and automatic assessment; the effectiveness of the workshop in enhancing critical thinking in a STEM context. An encouraging alignment between the two forms of assessment is found and how targeted training-evaluation activities can foster the acquisition of critical skills also in subject specific field is underlined.   Competenze per nuovi lavori: analisi del pensiero critico nell’educazione superiore e ingegneria. L’articolo presenta un approccio per la valutazione del pensiero critico basato sull’analisi delle risposte aperte, evidenziandone i vantaggi rispetto ai test a risposta chiusa. Si sottolinea la necessità di sviluppare e misurare competenze di ragionamento anche negli studenti delle STEM. Durante un workshop rivolto a studenti di ingegneria, sono state somministrate domande a risposta aperta per valutare il pensiero critico sia attraverso un sistema di rubriche a punteggio manuale sia attraverso un prototipo automatizzato di elaborazione del linguaggio naturale (NLP). Questo approccio risponde a due principali domande di ricerca: il grado di concordanza tra la valutazione manuale e quella automatica; l’efficacia del workshop nel migliorare il pensiero critico in un contesto STEM. Si riscontra un allineamento incoraggiante tra le due forme di valutazione e si sottolinea come attività di formazione-valutazione mirate possano favorire l’acquisizione di competenze critiche anche in ambiti specifici.