I trucchi dell’Invalsi Parte 1

I tempi per le prove

invalsiChi ha avuto modo di accostarsi in modo pensoso e riflessivo, subire o studiare l’attività ormai quindicennale dell’attività di “valutazione” degli apprendimenti mediante le “prove oggettive standardizzate” condotte in Italia dall’INVASI ma diffuse in tutti i paesi occidentali ha nella maggior parte dei casi il dubbio che queste pratiche di rilevazione fossero cosparse di trucchi, trabocchetti…

A volte si tratta di artifizi raffinati e nascosti, ma nella maggior parte dei casi si tratta di “trappoloni” rozzi e grossolani che danno luogo ad un mugugno diffuso tra genitori, insegnanti e studenti che spesso si esprimono con l’evidenza, dei rifiuti, dei boicottaggi, degli scioperi.

Il nostro obiettivo è stato, e continua ad essere, quello di raccogliere ed esprimere il malessere e le denunce e non perché nasca un “Nostro INVALSI buono” ma perché vengano valorizzate le buone pratiche di valutazione/giudizi, ancora diffuse e capillari, responsabili e formative.

Perché i processi di valutazione del sistema siano collegate alle “buone pratiche” abbiano percorsi trasparenti e democratici con assunzione di responsabilità a tutti i livelli, coinvolgimento dei centri di ricerca pubblici ed universitari, senza alcuna delega a Agenzie tecnocratiche i cui fini vengono dettati da poteri estranei e ostili ad ogni forma di democrazia.

Premessa

In questa riflessione proponiamo una prima lettura del volume “Rilevazioni Nazionali degli Apprendimenti 2014-15 Rapporto Risultati” a cura dell’INVALSI. Si tratta, come specificato nella prefazione e nel primo capitolo, di un’analisi di un campione di prove, quelle somministrate alle classi in cui era prevista l’osservazione diretta da parte di un soggetto esterno, durante la somministrazione (1.465 classi sul totale censuario di circa 26.650, per un totale 2.245.676 sull’universo degli studenti)

Ci concentriamo solo su alcuni aspetti, soprattutto quello relativo al “tempo” a disposizione per l’effettuazione delle prove per la classe V di Scuola Primaria. Accenniamo anche al problema dell’attendibilità delle prove, del livello di affidabilità (accountability, parola che piace molto ai rottamatori della scuola e della lingua italiana), su cui per altro ci sarebbe molto altro da aggiungere. Segue un breve nota nel merito delle prove di II di Scuola Primaria, anche questa in corso di approfondimento.

Il tempo nelle prove INVALSI 1

Una dimensione che dalle prove Invalsi viene completamente ignorata è la soglia temporale.

Il riferimento è all’attenzione concentrata, quella richiesta dall’espletamento delle prove.

Nel rapporto del problema non si fa cenno, sia per quanto riguarda l’attenzione complessiva per la durata di tutta la prova, sia per quello necessario allo svolgimento delle singoli quesiti.

L’attenzione dei bambini ha limiti ben noti agli psicologi sperimentali, ai genitori, agli insegnanti. Se ne sono occupati Piaget, Vygotsdkij, Bruner, oggi viene studiata dalle neuroscienze e da tutti coloro che si occupano delle nuove forme di stimolazioni indotte dai media, atte a influire con esiti molto diversi sul fenomeno dell’attenzione.

Studi recenti sul cosiddetto colonialismo cognitivo e sulla sovrabbondanza di stimoli a cui si è sottoposti evidenziano la netta riduzione del tempo di attenzione in tutti noi, bambini e giovani compresi. Si tratta di limiti e di soglie dell’impatto di uno stimolo, in un determinato contesto, sulla capacità di attenzione, soprattutto quella concentrata, atta ad affrontare compiti complessi e con un tempo massimo di esecuzione.

Educare e sviluppare l’attenzione e la riflessione è un compito importante a cui si sono dedicati psicologi, linguisti, educatori classici. Tutti, soprattutto gli insegnanti, concordano che la capacità di attenzione costituisce un capitolo specifico dello sviluppo mentale, un tema ineludibile.

L’INVALSI a questo aspetto non presta altra attenzione se non quella di ricordare ossessivamente a dirigenti, docenti somministratori, studenti, di rispettare i tempi!

Agli insegnanti, nel “Manuale per il somministratore delle prove INVALSI 2015” li si ammonisce che la “ durata massima effettiva (senza le pause e il tempo per le consegne preliminari) è:Prova di Italiano (V primaria) 75 minuti; Prova di Matematica (V primaria) 75 minuti”

Così, con la stessa perentorietà, in tutti i documenti INVALSI: protocolli, manuali, fascicoli per le prove, quadri di riferimento. Non siamo riusciti a trovare nella ridondante produzione scritta una sola argomentazione per motivare questa scelta, riservata, forse, ai tavoli di discussione che si fanno a Villa Falconieri, fra esperti.

Sono stati analizzati i seguenti documenti: Rilevazioni Nazionali degli Apprendimenti 2014-2015. Rapporto Risultati; Fascicoli prove Matematica, Italiano, Scuola Primaria, classi II e V; Quadri di riferimento specifici, guide ai fascicoli, griglie di correzione, ecc; più altri documenti citati nel corso della riflessione sempre di fonte INVALSI www.invalsi.it Nel rapporto se ne fa un cenno in relazione alla consegna di abbinare parole e immagini (40 vocaboli, 4 figure in alternativa per ciascuno), prova preliminare di lettura in II Primaria. Un bambino di 7 anni, si afferma, che sia “in grado di leggere scorrevolmente” impiega non più di due minuti per svolgere questo compito. In nota si dichiara che tale conclusione è stata ratificata da “ricercatori INVALSI”, confermata in una ricerca curata e pubblicata dello stesso istituto. Il nodo della scorrevolezza, il flusso come correttamente dovrebbe essere definita, diverso per la lettura silenziosa e ad alta voce, viene considerato un “automatismo nella decodifica”, una capacità “strumentale”, con buona pace di tutti gli studi sulla abilità di lettura (pag 19).

Il rapporto non allude ad alcuna ricerca sui tempi tipici di attività fra loro assai diverse: il gioco, la discussione collettiva, lo svolgimento di un testo scritto, la soluzione di un problema, esercizi di calcolo, ecc. Tanto meno si riferisce alla percezione fisica e alla elaborazione intellettuale dello scorrere del tempo nei bambini, nei soggetti giovani, negli adulti e negli anziani. Per non dire della dimensione culturale, visto che nelle classi sono presenti studenti provenienti da altri contesti geografico-culturali.

Inoltre, è chiaro che la situazione di lavoro che si crea durante le prove, senza possibilità di interazione con i compagni, con gli insegnanti contribuisce al disturbo qualitativo di attenzione, non solo alla sua riduzione “quantitativa” .

Procediamo con un po’ di conti e due esempi.

Non c’è dubbio che tutte le domande-item INVALSI richiedano tempi e tipi di attenzione diversi.

La lettura della consegna, con vari tipi di testo, le immagini, i calcoli, i confronti, il richiamo mnestico, le inferenze, le connessioni, le riflessioni: ogni domanda, ogni item in cui spesso è suddivisa, richiederebbe un tipo specifico di attenzione e di tempo.

1.Le domande nelle prove di Matematica di Primaria-classe quinta sono 30, il numero degli item 49 1 (Tav.3.6: prospetto riassuntivo delle caratteristiche delle prove di matematica – V Primaria, pag 34).

Il tempo medio, quindi per trovare la risposta a ciascun item è di 91,8 secondi, meno di due minuti per ciascuna risposta.

A titolo di esempio si riporta una delle domande la D7, tra le più brevi, relativa all’ambito “relazioni e funzioni” che lo stesso rapporto definisce “a scelta multipla semplice” 2.

L’1,1% dei bambini non ha risposto o ha dato una risposta non valida, il 70,1% dei bambini ha dato una risposta errata (nel 45,7 % la risposta dimentica la condizione posta dal primo item e si limita a compiere la moltiplicazione 3×8), solo il 28% dei bambini risolve in modo corretto. (Tabella 16 Appendice, pag.114).

Come si può facilmente verificare nel fascicolo, la domanda prevede due operazioni e 91 secondi decisamente non bastano per rappresentarsi la situazione; fra gli adulti, a cui è stata sottoposta la domanda, il più veloce ha impiegato 120 secondi (maestra di ambito logico-matematico), il 25% in più di quelli richiesti, nella media, ad un bambino di 10/11 anni. L’evidenza grafica del numero 24 posto come prima opzione obbliga alla scelta più rapida?

Anche le risposte non date e le non valide ci dicono qualcosa?

Nella Tavola.18 dell’appendice (pag 115) sono rappresentati gli esiti delle 22 domande a risposta aperta univoca (ad esempio la D16: Un numero naturale moltiplicato per 8 dà come risultato 32. Qual è la metà di quel numero?).

Nelle 11 domande che si trovavano nella prima metà del fascicolo, le risposte non date o non valide sono in media il 3,1% delle risposte richieste. Nelle successive 11 domande, collocate nella seconda parte del fascicolo, le risposte non date sono state in media il 6,9 % .

Avrà avuto qualche effetto l’affaticamento degli alunni sull’aumento di errori, di omissioni, nella seconda parte della prova? Non sarebbe opportuno almeno formulare questa ipotesi e cercare di farne una verifica diretta? Nel rapporto il problema non è stato rilevato.

Il tempo scelto per la prova nel complesso, il tempo necessario per la risposta a ciascuna domanda, il tempo tarato sul carattere delle singole domande, non può essere ritenuto irrilevante. Chiaramente misure di tempo scelte in modo estemporaneo o avventato possono inficiare l’intera rilevazione.

Se le prove spingono alla velocizzazione delle risposte, se inducono a fare uso del solo intuito rispetto a quella che potrebbe essere la risposta richiesta e non la soluzione adeguata, se impediscono la riflessione, i collegamenti, le discriminazioni, le scelte, la correzione degli errori, ossia tutti quei processi indispensabili alla crescita di una mente in grado di leggere ed interpretare la realtà, quali performances, quale complesso di abilità, quale competenza si intende far emergere e valutare?

Ma non si tratta solo di fattori atti a inficiare la validità delle prove. Esse –come sappiamo –inducono gli insegnanti ad addestrare nel corso dell’anno gli studenti a questo tipo di pratica valutativa, con danno grave nel processo di sviluppo, e notevole deperimento della didattica come ricerca e come valorizzazione dell’errore.

2. La prova di italiano Primaria classe V dello stesso anno, è articolata in tre sezioni:

1) La prova di comprensione del testo narrativo, 2) la prova di comprensione del testo espositivo, 3) la prova di grammatica. Incluse tutte nello stesso fascicolo di 25 pagine.

Le domande sono 19 per il testo narrativo; 12 per il testo espositivo di cui una di 2 item; 10 disposte in 9 riquadri per la grammatica, complessivamente 42 domande. Gli item sono in totale 83, richiedono quindi 83 risposte.

Il tempo complessivo per tutta la prova, come si è già detto, è di 75 minuti, quindi il tempo per ciascuna risposta è, in media, 54 secondi.

Ma bisogna considerare che ai 75 minuti vanno sottratti i tempi necessari per la lettura del testo narrativo composto di 93 righe disposte in due pagine e mezzo, del testo espositivo di 60 righe su due pagine, composto di tre riquadri (IL FENOMENO DELL’INURBAMENTO; C’E’ CHI VINCE E C’E’ CHI PERDE; ADATTARSI…ADATTARSI).

Il tempo per le risposte è quindi notevolmente inferiore a quello disponibile per le risposte agli item di matematica mentre l’articolazione nelle tre sezioni rende assai più complessa la prova anche per il cambio di registro linguistico cui viene sottoposto il bambino.

Nella Tavola 9 (pag.111) che documenta la distribuzione dell’esito di 25 domande, le prime 12 in elenco hanno una percentuale di risposte non date o non valide in media di 1,4. I successivi 12 item hanno una percentuale di risposte non date o non valide in media di 4,9.

I primi 12 item, naturalmente si trovano nelle prime pagine del fascicolo, i successivi 12 alla fine, quando la prova si sta concludendo. Le risposte non date, quindi, si sono triplicate con il passare del tempo. Il fenomeno che già si era manifestato nella prova di matematica si verifica anche nella prova d’italiano in misura aggravata: si è passati al triplo delle risposte non date.

Risulta confermata l’ipotesi che l’affaticamento degli alunni pesa notevolmente sul numero di risposte non formulate o non valide. Ma anche nel caso della prova d’italiano il rapporto non rileva il fenomeno che a questo punto dovrebbe risultare allarmante per i responsabili delle prove.

All’item B8a per la comprensione del testo espositivo il 20,2% degli alunni non ha risposto o ha dato una risposta non valida, il 53,8% ha dato una risposta errata, soltanto il 26% ha dato una risposta corretta. (Tavola 11 pag 112). Come è possibile una tale catastrofe?

Il numero degli item a cui gli alunni hanno dato risposte corrette sotto il 50% sono 13; il 21,6% su 60. Una percentuale elevatissima che mostra il carattere catastrofico in generale per l’intera prova.

Si impone qualche considerazione a latere di questo succinto esame.

A nostro avviso andrebbe perlomeno rilevato il fenomeno di un così elevato numero di risposte non corrette, si dovrebbe indagare sulle ragioni di questi scostamenti così importanti dalla media e bisognerebbe, almeno, formulare delle ipotesi sulle ragioni di questi risultati tanto negativi.

Le differenze di risultato vengono riportate al raffronto fra difficoltà della prova e risposte fornite, secondo il modello di Rasch, di cui diremo più avanti. Alle tavole citate segue un generico commento di qualche riga che non risponde ad alcun dubbio nel merito della validità delle prove, fornendo solo il dato aritmetico complessivamente “confortante” per gli estensori dei quesiti (in ogni caso, decade l’aspetto qualitativo e prevale l’algoritmo quantitativo!)

Le nostre ipotesi ruotano tutte intorno al concetto di inadeguatezza delle domande. Domande non allineate con le Indicazioni Nazionali? Domande non adeguate alle capacità di astrazione e formalizzazione dello sviluppo mentale? Prova per la cui effettuazione non sono previsti tempi adeguati? Indicazioni Nazionali non compatibili con il livello dello sviluppo mentale dei bambini?

Se leggiamo fra le righe dei rapporti dell’INVALSI e dei suggeritori (Fondazione Agnelli, soprattutto) il problema degli insuccessi rimanda alla scarsa capacità valutativa dei docenti e dunque, a monte, a quella di progettare e programmare in modo calibrato gli interventi didattici. Il disastro delle sperimentazioni promosse e delle prestazioni alle prove censuarie è di nuovo attribuito alla scuola!!! 3

Nel rapporto i dati relativi alle differenze regionali, con le tavole relative alla partecipazione delle aree geografiche, mostrano una vera debacle del dato per il centro-sud e le isole (Figure 1.1 e 1.2 pag 10-11). Il dato regionale, eclatante soprattutto per la somministrazione nella scuola superiore (si veda il caso Sardegna) produce un ragionamento perverso: gli studenti del Sud e Isole peggiorano i loro risultati quando effettuano le prove nel corso degli anni, quando non le effettuano forse è perché non sono in grado di affrontarle, ma se le facessero magari imparerebbero a farle bene…! (pag 68)

Ovviamente c’è un’altra ipotesi che si può formulare intorno al problema-tempo per la metodica a test, ed è legato al suo scopo. Se la finalità di una prova è la selezione atta ad attribuire un “premio” (economico, oppure relativo a garantire la chiusura del numero in una selezione di candidati o al computo del valore aggiunto) il fattore stress del soggetto che risponde diventa determinante: più che la giustezza della risposta, e dunque la dimostrazione di una conoscenza, conta la rapidità nel fornire la risposta corretta. In proposito si possono vedere i test d’ingresso nelle Università, quelli di prima scrematura nei concorsi sia pubblici che privati.

I tempi accelerati, obbligati, ai decisori politici, ai parlamenti, alle istituzioni che dovrebbero presidiare la democrazia, che sono incompatibili con la democrazia stessa. I tempi della democrazia non possono essere che quelli dell’agorà, qualsiasi forma prenda, del potere decentrato e multiplo, della discussione pubblica e della riflessione collegiale, se ciò non è possibile l’alterativa è l’autoritarismo, l’autoreferenzialità, l’ottundimento delle intelligenze, il rifiuto verso le minoranze e il pensiero divergente, in una parola un avvio al totalitarismo.

Insomma, il tempo massimo nelle prove di valutazione è stato scelto accuratamente in sintonia con gli altri tempi che si vogliono imporre alla società.

Renata Puleo e Piero Castello

del Gruppo No INVALSI – Roma

¹ Gli item, ovvero i vari capitoletti in cui può essere suddivisa la stessa domanda; nota precauzionale dell’INVALSI : “Una domanda può essere composta da più item come nelle domande a scelta multipla V/F. L’attribuzione del punteggio parziale sarà definito in sede di analisi dei dati complessivi”. (p 1 Guida alla lettura – Fascicolo Matematica classe II Primaria, 2014-15)

² La domanda nel fascicolo INVALSI è posta alla quinta pagina delle prove, all’inizio quindi del fascicolo che è composto da 30 domande (49 item) e 24 pagine.

³ Ci riferiamo ai rapporti sulle varie sperimentazioni VSQ, ValSis, VALeS ; le prove censuarie sono la spina dorsale dei percorsi di valutazione degli istituti scolastici, dei docenti, degli apprendimenti e dunque forniscono le indicazioni al “miglioramento” di tutto il sistema.


Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...