Definizione di una procedura di codifica delle domande aperte basata sui modelli delle indagini internazionali

This paper presents an in-depth research of survey Problem solving and geographical skills, funding in 2011 by Sapienza, University of Rome. The main research instrument consists of open-ended items, then was designed a coding procedure of student responses, which maximised the reliability of coding. The main reference is the procedure used in OECD-PISA for the open-ended questions. It is also considered the assessment of written tests defined in the IEA Study on Written Composition. The aim is to improve the quality of the data set of the survey, with the least possible burden on resources. The results have confirmed the effectiveness of the procedure in terms of reliability of coding, with the estimation of a low-level error. It was also possible to provide timely feedback to each coder, achieving the improvement of coding skills.

Il saggio presenta un approfondimento di ricerca all’interno del progetto Problem solving e abilità geografiche, realizzato grazie al Finanziamento di Ateneo 2011 della Sapienza, Università di Roma. Per il trattamento dei quesiti a risposta aperta, largamente utilizzati nello strumento di indagine, è stata definita una procedura specifica per la codifica e per il controllo dell’affidabilità delle codifiche e dei codificatori. Il riferimento principale è alla procedura utilizzata nell’indagine OCSE-PISA per le domande aperte, ma è stata considerata anche l’esperienza di valutazione delle prove scritte definita nell’indagine IEA Written Composition. La procedura è finalizzata al miglioramento della qualità del dataset dell’indagine, con il minor aggravio di risorse possibile. I risultati ottenuti hanno confermato l’efficacia della procedura in termini di affidabilità delle codifiche, con la stima di un livello di errore di codifica assai contenuto. Inoltre è stato possibile fornire un feedback puntuale a ogni codificatore e ottenere il miglioramento dell’abilità di codifica.