Road to Critical Thinking automatic assessment: a pilot study
The growing attention on Critical Thinking as an essential driver for progress and knowledge growth has brought to the development of different kinds of assessment tools. Essays and open-ended questions are recognized to be pivotal in critical thinking assessment. However, they present problems rela...
| Main Authors: | , , , |
|---|---|
| Format: | Article |
| Language: | English |
| Published: |
Firenze University Press
2019-12-01
|
| Series: | Formare |
| Subjects: | |
| Online Access: | https://oaj.fupress.net/index.php/formare/article/view/7705 |
| _version_ | 1828195441826594816 |
|---|---|
| author | Antonella Poce Francesca Amenduni Carlo De Medio Maria Rosaria Re |
| author_facet | Antonella Poce Francesca Amenduni Carlo De Medio Maria Rosaria Re |
| author_sort | Antonella Poce |
| collection | DOAJ |
| description | The growing attention on Critical Thinking as an essential driver for progress and knowledge growth has brought to the development of different kinds of assessment tools. Essays and open-ended questions are recognized to be pivotal in critical thinking assessment. However, they present problems related to inter-rater reliability and high-cost of scoring. Automated scoring could be a viable solution to the above concerns. In this paper, we introduce a prototype for critical thinking automatic assessment based on Natural Language Process techniques and preliminary accuracy evidence regarding its use. Data were collected from 48 university teachers after two workshops carried out both in the United States and in Italy aimed at developing critical thinking Skills in participants.
Verso la valutazione automatica del pensiero critico: uno studio pilota.
La crescente attenzione nei confronti del Pensiero Critico come competenza cruciale per l’innovazione e lo sviluppo di conoscenze hanno portato allo sviluppo di un notevole numero di strumenti di valutazione. Sebbene gli strumenti a stimolo aperto, come il saggio breve e le domande aperte, siano ritenuti essenziali per la valutazione del pensiero critico, essi presentano problemi relativi all’attendibilità inter-giudice e all’alto costo di valutazione. L’assegnazione automatica di punteggi potrebbe rappresentare una possibile soluzione a tali problemi. Un prototipo per la valutazione automatica del pensiero critico, basato su tecniche di elaborazione del linguaggio naturale ed evidenze preliminari sull’accuratezza dello strumento verranno presentati all’interno del presente articolo. In seguito a due workshop condotti rispettivamente negli Stati Uniti e in Italia, che miravano alla promozione del pensiero critico, i dati sono stati raccolti all’interno di un gruppo composto da 48 professori universitari. |
| first_indexed | 2024-04-12T09:42:42Z |
| format | Article |
| id | doaj.art-e19918642ec04950a093f1fec0ae1824 |
| institution | Directory Open Access Journal |
| issn | 1825-7321 |
| language | English |
| last_indexed | 2024-04-12T09:42:42Z |
| publishDate | 2019-12-01 |
| publisher | Firenze University Press |
| record_format | Article |
| series | Formare |
| spelling | doaj.art-e19918642ec04950a093f1fec0ae18242022-12-22T03:38:02ZengFirenze University PressFormare1825-73212019-12-0119310.13128/form-7705Road to Critical Thinking automatic assessment: a pilot studyAntonella PoceFrancesca AmenduniCarlo De MedioMaria Rosaria ReThe growing attention on Critical Thinking as an essential driver for progress and knowledge growth has brought to the development of different kinds of assessment tools. Essays and open-ended questions are recognized to be pivotal in critical thinking assessment. However, they present problems related to inter-rater reliability and high-cost of scoring. Automated scoring could be a viable solution to the above concerns. In this paper, we introduce a prototype for critical thinking automatic assessment based on Natural Language Process techniques and preliminary accuracy evidence regarding its use. Data were collected from 48 university teachers after two workshops carried out both in the United States and in Italy aimed at developing critical thinking Skills in participants. Verso la valutazione automatica del pensiero critico: uno studio pilota. La crescente attenzione nei confronti del Pensiero Critico come competenza cruciale per l’innovazione e lo sviluppo di conoscenze hanno portato allo sviluppo di un notevole numero di strumenti di valutazione. Sebbene gli strumenti a stimolo aperto, come il saggio breve e le domande aperte, siano ritenuti essenziali per la valutazione del pensiero critico, essi presentano problemi relativi all’attendibilità inter-giudice e all’alto costo di valutazione. L’assegnazione automatica di punteggi potrebbe rappresentare una possibile soluzione a tali problemi. Un prototipo per la valutazione automatica del pensiero critico, basato su tecniche di elaborazione del linguaggio naturale ed evidenze preliminari sull’accuratezza dello strumento verranno presentati all’interno del presente articolo. In seguito a due workshop condotti rispettivamente negli Stati Uniti e in Italia, che miravano alla promozione del pensiero critico, i dati sono stati raccolti all’interno di un gruppo composto da 48 professori universitari.https://oaj.fupress.net/index.php/formare/article/view/7705critical thinkingautomatic assessmentopen-ended measurespensiero criticovalutazione automaticarisposte aperte |
| spellingShingle | Antonella Poce Francesca Amenduni Carlo De Medio Maria Rosaria Re Road to Critical Thinking automatic assessment: a pilot study Formare critical thinking automatic assessment open-ended measures pensiero critico valutazione automatica risposte aperte |
| title | Road to Critical Thinking automatic assessment: a pilot study |
| title_full | Road to Critical Thinking automatic assessment: a pilot study |
| title_fullStr | Road to Critical Thinking automatic assessment: a pilot study |
| title_full_unstemmed | Road to Critical Thinking automatic assessment: a pilot study |
| title_short | Road to Critical Thinking automatic assessment: a pilot study |
| title_sort | road to critical thinking automatic assessment a pilot study |
| topic | critical thinking automatic assessment open-ended measures pensiero critico valutazione automatica risposte aperte |
| url | https://oaj.fupress.net/index.php/formare/article/view/7705 |
| work_keys_str_mv | AT antonellapoce roadtocriticalthinkingautomaticassessmentapilotstudy AT francescaamenduni roadtocriticalthinkingautomaticassessmentapilotstudy AT carlodemedio roadtocriticalthinkingautomaticassessmentapilotstudy AT mariarosariare roadtocriticalthinkingautomaticassessmentapilotstudy |