A Rapporto!

Le Prove-INVALSI 2015/16

di Renata Puleo (No INVALSI), Livia Alario (maestra scuola primaria)

invalsiIl commento è suddiviso in due parti, la prima sul testo del Rapporto, la seconda nel merito delle Prove di Matematica per la scuola primaria.

PRIMA PARTE
1. Il testo del Rapporto
Come è già stato fatto notare su questo blog la pubblicazione dell’ultimo Rapporto Risultati- Rilevazioni Nazionali Apprendimenti 2015/16 cura dello staff dell’INVALSI, non presenta novità di rilievo, non aggiunge nulla alla ormai consolidata “filosofia” dell’Istituto.
I primi sei capitoli recano la stessa titolazione dei precedenti, un copia-incolla con molte copiature e qualche commento incollato. Il settimo capitolo, “L’evoluzione dei risultati grezzi e il valore aggiunto”, titolo assai gonfiato per appena due paginette, consiste nella solita operazione di messa a punto fittizia di concetti presi a prestito dalla prosa economica. Del resto, che l’INVALSI sia molte cose (agenzia, semplice agente per conto del MIUR, perito con poca capacità di periziare, ecc) meno che un istituto di ricerca, riceve dalla lettura del rapporto nuove conferme. Il lavoro è – ad essere generosi – solo interno ad una vecchia prassi docimologica, nessuna ricerca originale, nessun autentico supporto a chi sta a scuola.
Un paio di annotazioni politiche. La Presidente Ajello aggiunge alla Prefazione, copiata dalla precedente:
i) l’allineamento delle prove al contesto internazionale;
ii) una nota di rammarico per la scarsa partecipazione alla tornata di prove nel Sud (che definisce un “vulnus”);
iii) un invito ai docenti ad abbandonare l’autoreferenzialità;
iv) una chiusa sulla confortante speranza che gli stessi attennuino le loro critiche anche perché – malgrado la scarsa stabilizzazione del personale INVALSI – le cose andranno verso il meglio.
Nel testo del paragrafo sui dati, capitolo primo, si sottolinea che il cheating (imbrogli di vario genere e a cura di diversi agenti) ancora non è stato battuto definitivamente e ci si chiede se non occorra approfondire il significato della sua manifestazione anche in presenza dell’osservatore esterno (sic!). Nessuna considerazione quest’anno sull’entità – e dunque sul danno inferto! – dello sciopero dei docenti nei giorni di prova, presente nel rapporto dello scorso anno: meglio evitare di dare rilievo? Stessa censura sulle tavole della distribuzione nazionale della partecipazione con le due cartine dell’Italia presenti nel precedente testo: forse troppo esplicite, con grande evidenza visiva dell’astensione, diventate subito virali in rete?
Durante due incontri in altrettanti Istituti Scolastici romani, in un confronto piuttosto serrato fra insegnanti, Renata Puleo in rappresentanza del Gruppo NoINVALSI, la prof.ssa Stefania Pozio (collaboratrice a tempo pieno dell’INVALSI), il dott. Roberto Ricci (responsabile area prove), entrambi i “ricercatori” hanno ribadito la serietà con cui vengono costruite, testate, somministrate, valutate, le prove. Oggetto questa considerazione del corpo centrale del rapporto.
La Pozio si è spesa sulla continua taratura della prova migliore, malgrado parecchie considerazioni nel merito di alcuni quesiti dimostrino il permanere della stessa impostazione generale da un decennio, con gli stessi errori specifici per le singole prove.
Il Ricci ha parlato del test come strumento assolutamente oggettivo, la cui attendibilità scientifica può garantire alla scuola pubblica il rispetto del suo fondamentale mandato: l’equità. Sia sulla scientificità che sul concetto di equità ha incontrato parecchi problemi a contro-argomentare alle considerazioni dei presenti.
Sempre a proposito della scientificità, nel Rapporto e in altri strumenti rinvenibili sul sito dell’Istituto (Fascicoli di Prove; Griglie di Correzione, Guide alla Lettura delle Prove, ecc, per un totale di 14 documenti), vengono ribaditi pari-pari i “chiarimenti metodologici” già presenti nel vecchio rapporto. Un esempio per tutti riguarda l’utilizzo della scala di Rash (1960, Georg Rasch: “Probabilistic models for some intelligence and attainment test”, analisi dei test da un punto di vista probabilistico, mediante un modello che spiega l’interazione tra uno studente e un item nel processo di risposta, 1960). Nonostante la sua indubbia senescenza e le numerose critiche a essa apportate da luminari della matematica e della statistica (si veda a tal proposito il sito ROARS), l’INVALSI continua a fornire le stesse giustificazioni, molto scarne, al suo uso. Nessuna correzione di tiro ma, dice il paragrafo a ciò dedicato, se lo usano in Europa, non c’è altra via che continuare ad applicarlo!

1.1 il Valore aggiunto.
La novità nel Rapporto è rappresentata dalle due paginette dedicate al concetto di “valore aggiunto” (VA). Provo a fare qualche premessa, dando alcune indicazioni sul lavoro pregresso svolto dall’Istituto, e qualche definizione di supporto al ragionamento.

In uno dei report finali relativi alla presentazione dei dati sulla sperimentazione “Valorizzazione per lo Sviluppo della Qualità nelle Scuole” (VSQ) condotta dall’INVALSI dal 2010 fino a circa il 2014 (il circa sta per: conclusione, presentazione dati, pubblicazione dei rapporti, ecc: sequenza terminata nel 2015) si affermava che, per la prima volta, era stata utilizzata in ambito scolastico la locuzione “valore aggiunto” (VA). Il tono trionfalistico serviva allora, e serve sempre nei comunicati dell’Istituto, a mostrare che l’oggetto definito è frutto di ricerca, in questo caso dell’abbinamento fra una categoria tratta dal mondo economico e la misura del suo manifestarsi in un ambito produttivo di un bene di servizio, come viene intesa la scuola.
Poiché, lungo il percorso della sperimentazione in 77 scuole era successo un po’ di tutto (abbandoni, nuovi ingressi, cambi di insegnanti, mutarsi di contesti, svolgimento a singhiozzo delle prove sia per gli studenti sia per valutare le performances messe in campo dagli istituti coinvolti), la definizione di come si fossero operate le correlazioni macro e micro economiche per la misura, restavano piuttosto oscure. Il report traduceva il VA in “ stima del progresso cognitivo” (sic) rispetto ai risultati conseguiti “sull’asse temporale”. Il guadagno conseguito (presumibilmente…) nel 2011 nella prima classe della secondaria inferiore, veniva agganciato alla sequenza di prove di Italiano e Matematica somministrate nella classe V-Primaria e, nel 2013 la stessa operazione si ripeteva rispetto alla prova nazionale di fine Primo Ciclo. I progetti, i piani di recupero delle abilità e delle competenze messi in atto dalle singole scuole, stimavamo la volontà di migliorare il contesto di cui venivano definite le variabili come condizioni assegnate (livello culturale, tipo di scuola, area geografica, ecc). Tutto molto opinabile in quanto difficile da rilevare, tanto che molte controversie nacquero nelle commissioni incaricate della stima per la redazione delle graduatorie. Restava in piedi solo la presunta oggettività dei test. Ma, come hanno avuto modo di far notare illustri commentatori (ISTAT; Fondazioni, riviste scientifiche, ecc) l’instabile situazione degli istituti, le differenze socio-economiche del paese tagliato in tre macro-aree geografiche (nord, centro e sud) non omogenee al loro interno, la forma stessa dei test, mal preparati anche in relazione al loro scopo specifico e mal tarati, rendevano impossibile ogni serio legame temporale verticalizzato, fra gli esiti delle prove, il singolo studente, il singolo istituto scolastico (per rendersene conto è sufficiente leggere i report redatti durante la sperimentazione e quelli finali).
Del VA, definito come “guadagno cognitivo”, fece una larvata critica la Fondazione Giovanni Agnelli (FGA), incaricata dal MIUR di un singolare compito: lavorare a ridosso della sperimentazione e controllare il suo andamento. Insomma, il copione del vecchio giochino di chi controlla i controllori. I super-controllori, ben consapevoli di esser accreditati dalla missione tipica della Fondazione di riferimento che, pur se nell’ampio spettro delle sue attività, lavora per conto di referenti economico-finanziari e a questi risponde, affermavano che la definizione di VA sembrava poco chiara ai responsabili del VSQ, e che questo rendesse difficile la sua misura. Inoltre, faceva notare la FGA, il MIUR imponeva una utilizzazione pratica del valore al di fuori della ricerca. L’interesse del ministero era trovare l’orientamento per finanziare le scuole in modo differenziato, premiare i docenti, produrre miglioramento con meno risorse investite. Insomma, tutti scopi estranei ad una ricerca pura, ma strumentali alla perorazione di quell’ordinamento verticalistico-premiale che oggi ha la sua legittimazione nella legge 107/15.

Ma cos’è dunque il VA (Economic Value Added)? A cosa serve la sua misura? Una definizione corrente piuttosto semplicistica, visto che il suo calcolo macro-economico è frutto di logaritmi sofisticati, la si può trarre consultando una qualsiasi enciclopedia economica on-line. La Treccani definisce il VA come la differenza tra il valore della produzione di beni e di servizi, al prezzo del mercato, e i costi sostenuti da parte delle singole unità produttive per l’acquisto degli input utili alla produzione. E’ chiaro che il valore a cui si allude in ingresso è dato alla somma di capitali (finanziario e fisso, sempre semplificando) e costo del lavoro (salari, cuneo fiscale, oneri diversi).
Nel caso di servizi resi da Pubbliche Amministrazioni la valorizzazione non avviene direttamente nel gioco del mercato, il suo computo è relativo soprattutto al costo del lavoro, dei mezzi per attivarlo, e il profitto non risulta un valore stimabile, in termini monetari.
La chiara formalizzazione economica del linguaggio rimanda ad una parola-chiave: profitto. Nel caso di qualsiasi produzione mercantile, il VA è il profitto che viene all’imprenditore, al detentore del capitale tecnico, fisico, umano, una volta immesso sul mercato il prodotto. L’ISTAT, nei suoi rapporti, fa coincidere VA e PIL (Prodotto Interno Lordo), nel mercato complessivo di macro-produzione (tutto quel che si produce, anche in termini di servizi). Tale coincidenza deve essere corretta mediante altri indicatori. Per il “padrone-Pubblica Amministrazione” tale valore è teoricamente a saldo zero, o in passivo, almeno nei paesi in cui lo Stato sembra ancor chiamato a fornire sevizi alla popolazione in cambio di tasse e imposte.
Per la voce PIL (dunque, anche VA) questa operazione di correzione qualitativa la fa lo stesso ISTAT con la pubblicazione da qualche anno del Rapporto Benessere Equo e Sostenibile (BES). Nel testo del 2015, nel secondo capitolo dedicato a Istruzione e Formazione, si analizzano le variabili che influenzano la resa del servizio scolastico ai vari livelli di prestazione. I dati, e il commento agli stessi, indicano non solo i punti di forza e di debolezza dell’intero sistema, pubblico in primis e privato in posizione di secondo, ma anche le variabili dipendenti rispetto a quelle assegnate, indipendenti, gli input di investimento, ad esempio. L’analisi di tali variabili e il loro combinato, danno un’immagine della ricaduta dell’attività svolta dal settore nel suo complesso sul benessere psico-fisico, intellettuale, sociale, economico della popolazione, anche in relazione al dato percepito, e non solo a quello presumibile dal calcolo statistico basato su aspettative, proiezioni, dati campionari e medie. Un valore ottenuto dall’impatto sulle singole vite, e su quelle di intere comunità, difficile da valutare se non nel lungo periodo e con strumenti di tipo qualitativo, costantemente esposti al dubbio sull’aspettativa “logica”. Credo che a questo punto sia chiara la macchinazione messa in atto, non solo nella scuola, dalle logiche neoliberiste imposte dall’Europa.
La domanda chiave, su cui tornerò più avanti rimane: se c’è profitto, se si forma VA, incremento di valore, lungo l’asse dell’educazione e della formazione, a chi va il vantaggio “cognitivo”? Essendo il sistema scolastico a carattere universale e pubblico –almeno teoricamente, per dettato costituzionale – solo ed esclusivamente ai diretti beneficiari: gli studenti e la società tutta che ne ricava il vantaggio della crescita del benessere collettivo. Ma, sorge un’altra riflessione: che tipo di progresso interessa registrare da parte dell’INVALSI? Se si tasta il polso alla tipologia di analisi effettuata, sembrerebbe qualcosa di nuovo ed di inedito rispetto al normale incremento di conoscenza e di esperienza che qualsiasi rapporto educativo e di formazione produce, al di là delle diverse aspettative. Appunto, il problema sono le aspettative. Il fattore di cambiamento a cui mira la scuola nel dettato costituzionale differisce dalla sua messa a valore economico a cui puntano invece gli investitori che immettono, utilizzano, ricavano “capitale umano”.
Per maggior chiarezza utilizzo lo schema tratto da Rapporto della FGA, su fonte INVALSI (p. 37)

01
Per fugare, ma per paradosso sostenere, i dubbi interpretativi di chi legge, le note a piè di pagina recitano:

Per ottenere un legame verticale delle prove occorrerebbe che l’Invalsi replicasse un sottoinsieme delle domande su più anni, in modo da verificare se e quanto la percentuale di successo nelle risposte vari al crescere del grado scolastico.

Per chiarire la logica del modello del valore aggiunto si consideri una scuola che, oltre che a VSQ, partecipi ad altre sperimentazioni o progetti ministeriali (Cl@ssi 2.0, attività PON, Matabel, ecc.) e dunque riceva risorse aggiuntive, quali strumenti didattici o formazione. Poiché le risorse educative reperite in questo modo influenzano il valore aggiunto, si potrebbe ritenere che queste scuole godano di un vantaggio indebito, e che sia dunque il caso di tenerne conto (in negativo) nel computo del valore aggiunto. Tuttavia, la decisione di aderire o meno a un’iniziativa ministeriale o a una sperimentazione, così come la maggiore abilità nel reperire fondi aggiuntivi di fonte pubblica o privata, discendono proprio dallo spirito di iniziativa e da abilità specifiche delle scuole autonome (in particolare, della dirigenza e dei docenti): per questo è opportuno lasciare che il valore aggiunto le rifletta.

Dunque, è lo spirito di iniziativa (aziendale…) delle scuole a fare la differenza nelle condizioni di contesto!

L’INVALSI, nel paragrafo dedicato al VA, come definisce e quale uso dice che si può fare del VA? Trascrivo il testo introduttivo al paragrafo e alle tabelle, come al solito con grande abuso di terminologia tecnico-statistica (corsivi miei):

Per il calcolo del valore aggiunto sono stati preliminarmente stimati due modelli di regressione, il primo a un livello e il secondo a due livelli (studente e scuola), tenendo sotto controllo le variabili socio-demografiche degli alunni e il loro livello di competenza in Italiano e in Matematica,misurato dalle prove sostenute in seconda primaria (nel caso degli alunni di quinta) e in quinta primaria (nel caso degli alunni di terza secondaria di primo grado). I due modelli hanno dato esiti congruenti, ma dei due è stato scelto per le elaborazioni definitive il modello a due livelli perché più adeguato a dati con una struttura gerarchica, come quelli relativi ai fenomeni in campo educativo, dove normalmente gli studenti non sono isolati gli uni dagli altri ma raggruppati nelle scuole. Sulla base dei risultati ottenuti dalla stima del modello a due livelli, le scuole sono state classificate in tre categorie a seconda che avessero un valore aggiunto positivo, un valore aggiunto nullo o un valore aggiunto negativo, o, in altre parole, a seconda che avessero raggiunto, in Italiano o in Matematica o in entrambe le materie, un risultato superiore, eguale o inferiore a quello che le caratteristiche dei loro studenti facevano prevedere. Le tabelle che seguono riportano la percentuale di scuole rientranti in ognuna delle tre categorie per ognuna delle due discipline interessate e per ognuno dei due livelli scolari coinvolti. (p 91)

In nota (esplicativa?) si può leggere: “Il VA nel primo caso è dato dalla media per scuola dei residui e nel secondo caso dai residui di livello-2. L’INVALSI si ripromette di rendere conto in maniera dettagliata delle variabili e della procedura eseguita per la stima in una seconda pubblicazione.”
Certo, la prosa poco amichevole, non solo per il vocabolario, ma soprattutto per la forma del discorso (incisi, note per spiegare quel che dovrebbe stare nel corpo del testo) non aiuta, dunque provo a tradurre e a invitare a dare un’occhiata alle tabelle della V primaria.

02Il modello di regressione è la correlazione fra almeno due variabili (es: variabile indipendente (assegnata) “tipologia-studente” correlata alla variabile dipendente “prove”; o anche, in analoga relazione fra variabili: “esito complessivo delle competenze” correlato a “esito prove INVALSI”; ecc).
Scritto nella formula classica: Y= f (X) + Ɛ, dove Y e X sono le variabili e f la funzione, il valore di relazione fra i due domini (insiemi) di cui fanno parte le due variabili; Ɛ il margine di errore ipotizzato. I residui indicano la dispersione casuale dei dati raccolti rispetto alla media.
Le tabelle a doppia entrata con il VA calcolato sulle due discipline testate (p 92), ci dicono che le scuole con VA uguale a zero, ovvero senza alcun incremento, sono la maggioranza.
I riquadri per le cinque macro-aree geografiche (pp 93-94) mostrano la stima del VA disposta sull’asse delle ordinate e le scuole su quello delle ascisse. La linea posizionata sullo zero discrimina i dati positivi dai negativi (sotto traccia).
Le tavole, al di là dell’effetto speciale (com’è stato definito dal prof. Tortora che citerò più avanti) di cui fanno mostra, sono da accettare in modo fideistico. Le spiegazioni fornite appaiono superflue perché basta un colpo d’occhio sulla curvatura che attraversa la tabella, ma resta il mistero – anche certa statistica è una religione – della rilevazione. Il commento è molto risicato, si limita a annotare il solito ritardo nell’area Sud-Isole. Teniamo presente questo commento, perché ne riparlerò nella premessa alla seconda parte di questo lavoro.

03

 

03b
Il prof Roberto Tortora ( Presidente della Commissione Italiana Insegnamento della Matematica) in una riflessione scritta per il sito MaddMaths!, dopo aver assistito alla presentazione del rapporto da parte del dott Ricci, così commenta:
“La questione forse più rilevante di cui si è parlato nella giornata romana, contenuta e illustrata all’interno della relazione del dott. Ricci, è stata l’individuazione di una nozione assai significativa, definita “valore aggiunto”. Occorre forse precisare, per render un po’ meglio l’idea della presentazione a cui abbiamo assistito, che in tale relazione sono state offerte al pubblico un gran numero di tabelle statistiche contenenti confronti e distinzioni assai raffinate (qualcuno, un po’ per gioco un po’ sul serio, ha parlato di “effetti speciali”). Dunque, che cosa è il valore aggiunto, che l’INVALSI dichiara di poter accuratamente misurare? Si tratta in sostanza di riuscire a separare, nella valutazione di ogni singola scuola, l’apporto proprio della scuola ai risultati ottenuti dai suoi studenti, dai fattori esogeni (individuali e sociali), sui quali la scuola può intervenire in misura assai limitata o che addirittura esulano da ogni possibile suo controllo. Questa separazione permette dunque di registrare ad esempio un valore aggiunto alto di una scuola anche in presenza di valori medi bassi degli studenti, dovuti magari a fattori ambientali. La tecnica per arrivare a questa misurazione consiste nel calcolare l’incremento dei risultati degli stessi studenti prima e dopo la frequenza in quella scuola. Indubbiamente la capacità di rilevare ed usare questi dati configura una abilità notevole, anche se qualcuno potrebbe ritenere inquietante il fatto che l’identità dei ragazzi sia rintracciabile anche col passare degli anni. […]
Quello che ogni scuola, e direi ogni cittadino italiano, vorrebbe è invece il miglioramento di tutti, sia quelli che partono svantaggiati per ragioni varie, sia quelli che possono gareggiare a livelli di eccellenza.
E’ lecito sospettare che questa assenza non sia casuale. Sia perché la telenovela nord/sud, buoni/cattivi appassiona l’uditorio assai più dell’oscuro lavoro quotidiano che serve a far andar meglio l’intera baracca, sia soprattutto (ahinoi) perché correggere la varianza costa poco e alzare la media costa molto. Se allora il problema è quello della spesa, si vorrebbe almeno che la cosa fosse dichiarata apertis verbis.
A questo aspetto critico, mi sembra infine che si accompagni la circostanza che un ente come l’INVALSI venga ad ogni pié sospinto descritto come ente di ricerca. Lo fanno i suoi vertici e lo fa il Ministro. Nell’intervento di Ajello ad esempio si sottolinea molto il ruolo giocato dall’istituto e dalle sue attività nella promozione del miglioramento delle conoscenze e competenze degli studenti.
Ritengo che in questo possano adombrarsi due pericoli seri, tra loro connessi, e collegati anche alle questioni finanziarie toccate sopra. Il primo è la tendenza ad appiattire la ricerca didattica sulla docimologia, che ne è una componente, ma neppure la più importante. Come se dai risultati INVALSI e in generale da una buona capacità di valutazione ci avviassimo a far dipendere piano piano, ma sempre di più, giudizi sulla qualità dell’insegnamento e sui modi della formazione insegnanti. Il secondo pericolo consiste nella progressiva sostituzione dell’ente di ricerca per antonomasia che è l’università con agenzie improntate a tutt’altre organizzazione e finalità. […] Il fatto è che l’INVALSI risponde alle richieste dell’esecutivo e ne attua fedelmente le disposizioni, mentre l’università è un corpo democratico e autonomo.

Mi scuso per la lunga citazione, ma la preoccupazione sicuramente condivisibile, non può essere espressa meglio. L’interesse del Governo, come si evince dalla Legge 107/2015, è di ridurre i finanziamenti e favorire le privatizzazioni. Appare chiaro allora come l’uso del vocabolario economico, venga ipocritamente mascherato dietro la coperta corta dei valori di equità, scopo di tutta questa attività di pseudo-ricerca e di somministrazione censuaria di test. Il giochetto allusivo fra miglioramento, valori, merito, ranking (classifiche), categorie eco-finanziarie prestate all’etica dei servizi, svolge lo stesso ruolo. Strizza l’occhio alle Fondazioni e alle corporazioni interessate a mettere a valore la scuola in senso brutalmente economico. Si chiama profitto quello che persegue chi investe, ripeto. Lo scarto fra input e ouput deve essere a favore di chi immette capitale e non può che drenare plusvalore dallo sfruttamento del lavoro e dall’abbandono dei settori improduttivi o comunque – per infinite ragioni socio-culturali come nell’ambito dell’educazione e dell’istruzione – refrattari a cambiamenti rapidi. Per fare un esempio di un fenomeno di questo tipo già in corso da anni, possiamo spostarci dalla scuola al sistema carcerario in USA, o ex-manicomiale in Italia. Chi gestisce centri di reclusione non vuole garantire alcun successo riabilitativo o terapeutico, ma fare cassa.
Perché sia tutto ancora più chiaro ricordo che il dott Ricci, matematico-statistico come non si stanca di ricordare, pubblica preferibilmente su riviste economiche i suoi contributi statistici in ambito scolastico (ad es: “Rivista di Economia e Statistica del Territorio”, quadrimestrale della fondazione Guglielmo Tagliacarne della Unione Italiana delle Camere di Commercio). Insomma, un uomo in prestito, valore aggiunto nello staff dirigenziale dell’INVALSI.

FINE PRIMA PARTE


Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...