Il tema della valutazione
delle scuole, sollevato dalla cosiddetta direttiva "Invalsi" del
ministro della Pubblica istruzione del 25 agosto, ha riproposto un problema
endemico nel caso italiano, in particolare con riferimento alla pubblica
amministrazione: la carenza di dati valutativi sull’attività svolta.
Dal campione all’intero sistema
A livello internazionale esistono indagini campionarie che misurano il
livello di apprendimento degli studenti, costruite con metodologie
rigorose nella selezione dei campioni, nello svolgimento delle prove e nella
costruzione degli indicatori relativi alla performance degli studenti. Basti
citare i nomi delle indagini Pirls, Timms, Pisa. Tuttavia, queste indagini
sono finalizzate al confronto internazionale, e non all’interno dei
paesi stessi. La dimensione dei campioni è normalmente adeguata allo scopo,
e non supera qualche migliaio di casi. Diversi paesi hanno poi le
rilevazioni nazionali, spesso sull’intera popolazione scolastica, che
permettono di estendere la valutazione a un livello più basso, arrivando in
alcuni casi alla definizione di punteggi relativi alla performance della
singola scuola.
Il caso italiano è invece atipico. Il nostro paese ha partecipato
a molte indagini comparative nell’ultimo decennio, e nel contempo l’Invalsi
ha tentato di costruire un complesso di prove valutative esteso all’intero
sistema scolastico, inizialmente denominandoli "progetti pilota" e ora
"valutazione del sistema scolastico nazionale". Esistono tuttavia forti
motivi di insoddisfazione nei confronti della significatività di queste
prove, come emerge per esempio dal confronto dei risultati dell’indagine
Pisa (relativa agli studenti quindicenni) con la valutazione nazionale delle
classi prima e terza delle scuole superiori.
L’indagine Pisa condotta in ambito Ocse con cadenza triennale (fino
ad oggi nel 2000, nel 2003 e nel 2006) riguarda un campione rappresentativo
della popolazione studentesca quindicenne. L’ultima per la quale sono
disponibili i dati (liberamente scaricabili dal sito
www.pisa.oecd.org) ha riguardato 11.639
studenti quindicenni, di cui 11 in seconda media, 63 in terza media
(evidentemente pluribocciati), 1.775 in prima superiore (presumibilmente in
massima parte ripetenti o "riorientati"), 9.562 in seconda superiore e 228
in terza superiore (i cosiddetti "anticipi").
Poiché è plausibile auspicare che la valutazione della qualità della
formazione non sia influenzata dalle diverse politiche di selezione (anche
perché non vorremmo indurre l’incentivo distorto di promuovere tutti), ci
possiamo concentrare sugli studenti appartenenti alla classe modale,
ovverosia ai 9.562 iscritti alla seconda classe di 381 scuole secondarie del
secondo ciclo, distribuite su ottanta province italiane: una media di 4,7
istituti per provincia. Se si considera che per lo stesso anno scolastico
2002-03 gli istituti d’istruzione superiore statali erano 4.876 (a cui
andrebbero aggiunti gli istituti privati) ci si accorge subito di come
questa valutazione non possa che essere presa con molta cautela quando si
scende al di sotto del livello nazionale.
Più ampio è invece il campione delle scuole partecipanti alla rilevazione
promossa annualmente dall’Invalsi per la valutazione del sistema
scolastico. (1)
Si tratta di una valutazione condotta nelle classi seconde e quarte nella
scuola primaria, seconde nella scuola secondaria del primo ciclo e nelle
classi prime e terze della scuola secondaria del secondo ciclo. Per quanto
riguarda le scuole secondarie del secondo ciclo, risultano rilevati 1.728
istituti e circa 200mila studenti (222.498 nella rilevazione sul
primo anno e 182.816 nella rilevazione sul terzo anno), con un campione
nettamente più ampio. Tuttavia, a differenza dell’indagine Pisa in cui il
campione è scelto rigorosamente in modo da essere rappresentativo della
situazione nazionale, con precisi standard in termini di tassi di risposta
minimi e di rimpiazzo in caso di assenza, il campione Invalsi è
(almeno nel caso dell’istruzione secondaria di secondo ciclo) a
partecipazione volontaria, con regole meno rigorose in merito alla
presenza/assenza di studenti scadenti durante la somministrazione della
prova.
Due valutazioni, due graduatorie
Se le due valutazioni rilevassero competenze analoghe, con procedure
validate e validabili, ci aspetteremmo che l’ordinamento delle scuole che se
ne ottiene sia confrontabile. Tuttavia, se osserviamo la tabella seguente
(che riporta su base regionale quello che la figura ripete su base
provinciale) notiamo che le due rilevazioni forniscono graduatorie molto
diverse.
Utilizzando come base di analisi le medie provinciali di ciascuna
rilevazione (essendo questo il livello di disaggregazione dei dati più fine
a cui siamo riusciti ad accedere), riscontriamo sì una associazione di segno
positivo, ma di entità molto bassa (0.41) rispetto a quanto ci saremmo
aspettati. Paradossalmente la correlazione dei dati provinciali è maggiore
tra l’indagine Pisa e la rilevazione rispetto alla classe seconde del primo
ciclo della scuola secondaria (0.58).
Certo ci sono molte differenze: si tratta di rilevazioni condotte in anni
diversi (2003 per Pisa, 2006 per Invalsi) su studenti in classi diverse
(seconda superiore per Pisa, prima superiore per Invalsi, ma i risultati
sono molto simili anche se si considera la terza superiore per Invalsi), con
regole di selezione diverse (nel campione Pisa abbiamo escluso studenti in
ritardo o in anticipo, nel campione Invalsi sono presenti tutti gli studenti
partecipanti). Tuttavia, se la qualità di una scuola è data dal
patrimonio acquisito di competenze del corpo docente, non ci aspettiamo che
cambi nel tempo molto velocemente. Stupisce allora in particolare osservare
che i divari territoriali nei risultati, che rappresentano uno degli
interrogativi più macroscopici all’efficacia del sistema scolastico
italiano, tendano a scomparire nell’indagine Invalsi (vedi tabella che
riporta i punteggi relativi all’area matematica – risultati analoghi per
l’area letteraria o per quella scientifica).
Area matematica – scostamenti dalla media nazionale (non
ponderata)
|
PISA 2003 II superiore |
Invalsi 2006 I media |
Invalsi 2006 I superiore |
Invalsi 2006 III superiore |
Valle d'Aosta |
1.212 |
0.960 |
0.956 |
0.926 |
Piemonte |
1.066 |
1.030 |
1.050 |
1.065 |
Lombardia |
1.110 |
1.048 |
1.057 |
1.077 |
Veneto |
1.066 |
1.039 |
1.053 |
1.082 |
Trentino Alto Adige |
1.132 |
0.988 |
0.986 |
1.060 |
Friuli Venezia Giulia |
1.084 |
1.048 |
1.196 |
1.073 |
Liguria |
0.998 |
1.023 |
0.965 |
1.012 |
Emilia Romagna |
1.029 |
1.050 |
1.073 |
1.066 |
Toscana |
1.039 |
1.025 |
0.970 |
0.961 |
Umbria |
1.015 |
1.017 |
1.102 |
1.021 |
Marche |
0.987 |
1.069 |
1.090 |
1.136 |
Lazio |
0.935 |
0.984 |
0.987 |
0.971 |
Abruzzo |
0.869 |
1.009 |
0.953 |
0.945 |
Molise |
|
0.985 |
1.021 |
0.973 |
Campania |
0.874 |
0.962 |
0.940 |
0.963 |
Basilicata |
|
1.028 |
0.971 |
0.985 |
Puglia |
0.932 |
0.984 |
0.968 |
0.965 |
Calabria |
0.823 |
0.932 |
0.953 |
0.989 |
Sicilia |
0.886 |
0.919 |
0.951 |
0.945 |
Sardegna |
0.942 |
0.899 |
0.758 |
0.785 |
L’insoddisfazione per l’assenza di dati affidabili sulla performance
delle scuole superiori ha indotto alcune amministrazioni regionali (tra cui
Piemonte, Lombardia, Veneto, Trentino, Toscana) a stipulare accordi
specifici con Ocse rispetto all’indagine 2003 al fine di sovracampionare
le proprie regioni per ottenere campioni rappresentativi su base regionale.
La stessa procedura si è ripetuta e allargata con l’indagine Pisa relativa
al 2006, dove ben undici regioni e due province autonome hanno scelto di
cofinanziare l’indagine al fine di ottenere campioni rappresentativi su base
regionale (Basilicata, Bolzano, Campania, Emilia Romagna, Friuli Venezia
Giulia, Liguria, Lombardia, Piemonte, Puglia, Sardegna, Sicilia, Trento,
Veneto).
Se questo può far piacere allo studioso, che potrà finalmente analizzare con
maggior dettaglio le caratteristiche delle scuole meridionali caratterizzate
da bassa performance, dal punto di vista istituzionale ci si trova nella
imbarazzante situazione in cui l’organismo preposto alla valutazione del
sistema scolastico produce statistiche su cui diverse parti sollevano
perplessità relativamente ad attendibilità e rappresentatività, e nel
contempo altri settori della pubblica amministrazione delegano a organismi
esterni (quali l’Ocse-Pisa) la realizzazione di indagini analoghe, ma di
maggior affidabilità scientifica. Ironicamente i dettagli di entrambe le
valutazioni risiedono nello stesso website, visto che l’Invalsi è anche il
referente nazionale dell’indagine Pisa internazionale. L’ovvio spreco di
risorse è lasciato alla valutazione del lettore. Quello che a noi interessa
è che in nessuno dei due casi si risolve il problema informativo che
sta a cuore di molte famiglie: conoscere quale sia la "qualità" dei
diversi istituti a cui devono scegliere se mandare i propri figli.
(1) I dati elementari non sono disponibili, mentre il rapporto
finale per l’anno scolastico 2004-2005 è scaricabile al sito
www.invalsi.it.
Area matematica – scostamenti dalla media nazionale (non ponderata)
|
PISA 2003 II superiore |
Invalsi 2006 I media |
Invalsi 2006 I superiore |
Invalsi 2006 III superiore |
Valle d'Aosta |
1.212 |
0.960 |
0.956 |
0.926 |
Piemonte |
1.066 |
1.030 |
1.050 |
1.065 |
Lombardia |
1.110 |
1.048 |
1.057 |
1.077 |
Veneto |
1.066 |
1.039 |
1.053 |
1.082 |
Trentino Alto Adige |
1.132 |
0.988 |
0.986 |
1.060 |
Friuli Venezia Giulia |
1.084 |
1.048 |
1.196 |
1.073 |
Liguria |
0.998 |
1.023 |
0.965 |
1.012 |
Emilia Romagna |
1.029 |
1.050 |
1.073 |
1.066 |
Toscana |
1.039 |
1.025 |
0.970 |
0.961 |
Umbria |
1.015 |
1.017 |
1.102 |
1.021 |
Marche |
0.987 |
1.069 |
1.090 |
1.136 |
Lazio |
0.935 |
0.984 |
0.987 |
0.971 |
Abruzzo |
0.869 |
1.009 |
0.953 |
0.945 |
Molise |
|
0.985 |
1.021 |
0.973 |
Campania |
0.874 |
0.962 |
0.940 |
0.963 |
Basilicata |
|
1.028 |
0.971 |
0.985 |
Puglia |
0.932 |
0.984 |
0.968 |
0.965 |
Calabria |
0.823 |
0.932 |
0.953 |
0.989 |
Sicilia |
0.886 |
0.919 |
0.951 |
0.945 |
Sardegna |
0.942 |
0.899 |
0.758 |
0.785 |
Archivio Scuola e Ricerca
|