Un sistema esperto per la valutazione delle abilità linguistiche nella produzione scritta: ipotesi di ricerca

La proposta riguarda la definizione e l’illustrazione degli aspetti di un sistema esperto per la valutazione delle abilità linguistiche a partire da prove di produzione scritta di alunni in ingresso della scuola secondaria di secondo grado. Il modello di riferimento nasce dalla integrazione tra le metodologie di analisi dei testi scritti elaborate nel corso delle indagini internazionali IEA sulla popolazione scolare (in particolare IEA-IPS), e il trattamento automatico dei testi prodotti secondo il modello Gulpease, integrato con gli sviluppi realizzati in ambiente Èulogos (in particolare attraverso l’analisi dell’indice di leggibilità e delle caratteristiche lessicali considerando anche il confronto con il Vocabolario di Base e con altri lessici di frequenza). Le abilità linguistiche valutate a partire dalla prova di produzione scritta verranno messe in relazione, da un lato, con i risultati della somministrazione di una batteria di prove per la misurazione della comprensione del testo e, dall’altro, con un questionario che indaga il livello socio- culturale delle famiglie di provenienza degli studenti. Obiettivo è la sperimentazione di una valutazione automatica di una prova di produzione scritta per la lingua italiana, analogamente a quanto realizzato per la lingua inglese attraverso alcuni sistemi di valutazione automatizzata (ad es. PEG-Project Essay Grade; lo IEA-Intelligent Essay Assessor; l’ERATER- Educational Testing Service’s Electronic Essay Rater; il Bayesian Network). Nel corso dell’intervento sarà delineato il modello teorico e si darà conto di alcuni risultati esplorativi su un campione di di try out di circa 100 studenti. Il percorso di ricerca è articolato in due fasi, ciascuna delle quali produce un risultato completo: - prima fase: la rilevazione delle competenze linguistiche attraverso l’analisi della produzione scritta di un campione di circa mille studenti; - seconda fase: la definizione di un algoritmo per la valutazione di prove di produzione scritta. La prima fase prevede di mettere a punto una misura di competenza linguistica basata sull’analisi di prove di produzione scritta (Prova 9 della Indagine IEA-IPS) e di confrontarle con i risultati che emergeranno dalla somministrazione di una serie di prove di comprensione del testo e di un questionario studenti. La prova scritta sarà valutata ricorrendo a valutatori esperti formati all’uso dei criteri di correzione dell’indagine IEA-IPS; i punteggi di abilità linguistica delle prove verranno messi a confronto con le informazioni ricavabili attraverso il trattamento automatico dei testi secondo il modello GULPEASE, integrato con gli sviluppi realizzati in ambiente Èulogos. Nella seconda fase sperimenterà la valutazione automatica delle prove di produzione scritta. L’ipotesi è che sia possibile realizzare un algoritmo capace di approssimare con sufficiente accuratezza la valutazione di una prova di produzione scritta secondo il metodo IEA Written Composition, espressa da una giuria di esperti formati. L’algoritmo viene ipotizzato quale applicazione della disambiguazione per analogia, cioè di un modello linguistico-computazionale basato sulla ricerca di analogie morfologiche/distribuzionali tra il testo in esame e una base di conoscenza testuale definita a partire da testi correttamente disambiguati e caratterizzati. Uno degli aspetti di maggior interesse per il progetto è la verifica sperimentale dei limiti di applicazione del modello rispetto ai quattro tratti principali di valutazione della produzione testuale. Si tratta di variabili linguistiche di livello elevato, la quantificazione delle quali dovrà essere il risultato dell’analisi di variabili linguistiche più semplici. Al risultato dell’analisi sarà associato un indice di affidabilità, il quale farà riferimento a due elementi: - in fase di ricerca e sviluppo, il confronto con la corrispondente valutazione eseguita da un gruppo di valutatori secondo la metodologia in uso; - per la fase di utilizzo corrente, il grado di correlazione tra il testo e la base di conoscenza testuale. Tale indice di affidabilità viene concepito per poter selezionare quei risultati che devono essere verificati da operatori a causa della loro presunta scarsa affidabilità. Nella definizione degli algoritmi, dei dati e degli strumenti di applicazione, si terrà conto delle esigenze operative di utilizzo, in termini di tempo di calcolo, usabilità del sistema di elaborazione e di ergonomia.