Storie di straordinaria insipienza Invalsi

 I quiz INVALSI uno ad uno

InvasiIl Dott. Ricci, direttore delle ricerche INVALSI, si è lamentato, in occasioni pubbliche, perché qualcuno osa definire quiz le prove somministrate a milioni di bambini e ragazzi delle scuole italiane. Per una volta conveniamo con il dott. Ricci: i quiz delle pubblicazioni enigmistiche o delle trasmissioni televisive sono cosa ben più seria e “falsificabile” scientificamente delle vergogne prodotte e rifilate agli studenti ormai da anni.

Avremmo voluto realizzare una rassegna completa dei quiz somministrati a bambini di seconda elementare a maggio delle scorso anno. Ma la molteplicità degli errori, papere, sbagli, strafalcioni inseriti dall’INVASI nelle prove, la loro varietà e la diversità delle forme, rendono il compito improbo. Abbiamo, quindi, ripiegato sull’esame ed esposizione di una prova per volta.

In altra occasione abbiamo già presentato la prima domanda (A1) proposta dal fascicolo. Quella che intendiamo analizzare qui è il “quesito” B 15, sempre relativo alla “PROVA DI ITALIANO – Scuola primaria – Classe Seconda Anno Scolastico2015-2016”. Tralasciamo le considerazioni generali già esposte e veniamo alla prova. Questa che segue è estratta dal fascicolo. Provate a scegliere le risposte giuste anche se non avete letto il testo, meglio se leggete le due pagine del fascicolo allegato in PDF.

quiz

Il primo errore

Quello più evidente era presente anche nella domanda A1 già descritta (Vedi https://genitoreattivo.wordpress.com/2016/12/16/la-prova-di-italiano-rilevazione-degli-apprendimenti-in-II-elementare-nel-2016/ ), ma in questa domanda e relative risposte (item) la forma dell’errore è più grave e rafforza il nostro giudizio di totale inadeguatezza dell’INVALSI. Ricordiamo che nelle ISTRUZIONI date agli alunni nella prima pagina del fascicolo si scrive perentoriamente:

Per ogni domanda ci sono quattro risposte, ma una sola è quella giusta” (Fascicolo pag.1)

Bene, anzi malissimo, nella griglia di correzione redatta dall’INVALSI si dice che le risposte corrette sono tre SI la a), la d) e la e) e due NO (la b) e la c). Qualunque fosse stato l’esito della prova il testo della “consegna” iniziale era sicuramente errato e fuorviante, incongruente con la stessa esperienza che il bambino sta conducendo. La domanda è una, ma le risposte esatte possono essere tutte le cinque che si succedono nel testo, basta porre il SI o il NO nella giusta colonna. Che c’azzecca mai quel perentorio, mai smentito, che “una sola risposta è quella giusta.”?

Esito primo

La percentuale di bambini che non ha dato risposte o ne ha date di non valide è tra le più elevate, tra il 9,3% e il 9,9% (Tavola 4. Pagina 98 del “Rapporto Risultati”). Il 9,3% all’ item a), il 9,9% all’item b). Già solo questo dato denuncia lo stato di “confusione” indotta nei bambini prima dalla “consegna” incongrua e poi dalla eventualità di una risposta non conforme alla richiesta.

Esito 2°

Nel “Rapporto Risultati” (2) alla pagina 99 alla tavola 7, si documenta che, a questa domanda e relativi item, il 73,7% dei bambini hanno dato una risposta Errata ed il 26,3% hanno dato risposta Corretta. Questo solo dato dimostra inequivocabilmente che le prove somministrate ai bambini non avevano fatto alcun percorso di validazione e che l’INVALSI conta sulla scarsa responsabilità esercitata da genitori e soprattutto insegnanti che non avrebbero né letto né ragionato sugli stessi rapporti descrittivi dell’operato dell’INVALSI. E’ la prova, anche, della mancanza di controllo ed impunità di cui gode l’INVALSI.

Secondo errore

I fatti sono i seguenti. Nella tabella 4, già citata, si espongono i risultati relativi a tutti e cinque gli item del quesito. Nessuno degli item ha avuto risultati positive al disotto del 55,3%. Le risposte errate non superano il 35,1% . E’ assolutamente incomprensibile come nella tabella 7 si possa riportare una: “Distribuzione percentuale degli item aggregatiper l’insieme della prova B.15, del 73,7% Errata e del 26,3% Corretta. Il testo del rapporto, dal quale traiamo i dati, è rimasto invariato, senza correzioni, nel sito ufficiale dell’Istituto fino al 18 aprile 2017. L’INVALSI, sia errore o manipolazione, è sicuro di rimanere impunito e nemmeno redarguito.

I dati che il Rapporto ci fornisce denunciano, da soli, o un errore grave o una manipolazione seria. Sia come sia, il fatto è che l’INVALSI la manipolazione l’avrebbe potuta comunque mettere in atto, senza che nessuno, né accademico, né genitore potesse rendersene conto.

Terzo errore

Lo smarrimento per i bambini è stato aggravato dal fatto le due risposte NO: la b) e la c), seconda e terza riga non avevano nulla che le rendesse errate. Se si fosse messo la crocetta sotto i SI. Infatti non c’era alcun riferimento distintivo rispetto alla lettura del testo, l’unica motivazione che poteva distinguere e motivare i SI dai NO, dato che la pertinenza era evidente per entrambi. La diversità della risposta sarebbe stata causata dalle inferenze (3), del tutto legittime, che i bambini avrebbero attivato. Ma sulla funzione delle inferenze nella comprensione della lettura, si capisce che per l’INVALSI sono argomento poco conosciuto. Nessuno dei cinque item riprende una frase, una locuzione, le parole del testo letto. L’unico sforzo di comprensione e criterio di scelta sarebbe stato per il bambino, quello di investire la propria attenzione nel tentativo di “indovinare” quale risposta il somministratore avrebbe desiderato fosse la scelta. Una istigazione al conformismo cognitivo del tutto antagonista alla comprensione e all’apprendimento.

Eppure nella stesso documento “teorico” dell’INVALSI “Quadri di riferimento della prova di Italiano… nell’obbligo di istruzione” pag12 si scrive in merito “ (4): “Fare un’inferenza diretta, ricavando un’informazione implicita da una o più informazioni date nel testo e/o tratte dall’enciclopedia personale del lettore.” Ma qui si tratta di tutt’altro: si chiede ai bambini di 7/8 anni una serie di percorsi deduttivi e astratti che potrebbero far intuire quali sono i desideri di risposta del somministratore INVALSI. Manca ogni possibilità di distinzione tra risposte “dettate” direttamente dal testo e distrattori (5) del tutto pertinenti e coerenti con il testo.

Che ci dice l’INVALSI in merito alla validazione delle prove?

L’unico paragrafo che in qualche misura allude ad un percorso di validazione delle prove è quello che si trova alla pagina 10 del “Rapporto Risultati”. Non un capitolo come meriterebbe il tema, per argomentare, documentare, rendere la procedura trasparente e verificabile il percorso compiuto per la scelta di ciascun quesito o dei singoli item, la loro validazione scientifica. L’unico riferimento non autoreferenziale citato è il seguente: ,”la capacità misuratoria secondo la metodologia di Rasch (2) (Vedi intero paragrafo riprodotto in nota)

Il percorso di validazione delle prove,“la capacità misuratoria secondo la metodologia di Raschè uno degli aspetti più approfonditamente criticato da accademici matematici e statistici Il Prof. Giuseppe De Nicolao (univ. Pavia redattore. ROARS) cita “Lo stesso Ray Adams capo dell’OECD analysis team, non ha potuto negare che, che se si effettua un test statistico di ipotesi sui dati PISA analizzati da Kreiner, il modello Rasch risulta respinto (comments on Kreiner 2011)”

Il Prof. Enrico Rogara (Matematico Univ. La Sapienza, Roma), afferma “Il protocollo utilizzato dell’INVALSI per costruire un test definisce la variabile che si intende misurare. In altre parole, questa è la necessaria conseguenza del modello di Rasch, l’abilità matematica testata dall’INVALSI è l’abilità di risolvere i test INVALSI”. (In ROARS “I test invalsi sono scientificamente solidi?” http://www.roars.it/online/il-modello-di-rasch/

In altre parole l’unica competenza che è in grado di rilevare con i suoi quiz l’INVALSI è la capacita di “adeguarsi” e di “conformarsi” alla lettura che l’ INVALSI ha dei propri test: Nessuno con quiz predisposti dall’Istituto potrà rilevare le capacità di comprensione reale di un testo.

Riteniamo che questi studiosi che hanno valutato l’INVALSI e le sue procedure, le sue tecniche, i suoi quadri teorici abbiano dato giudizi importanti e approfonditi, ma l’INVALSI ha creduto bene di non rispondere mai né direttamente né indirettamente alle critiche, da qualsiasi ambito siano pervenute.

Un argomento che spesso il dott. Ricci e suoi collaboratori dell’INVALSI usano, nelle manifestazioni pubbliche, per rispondere a chi chiede quali siano le procedure per la validazione delle domande, delle prove e che ribadiscono nel paragrafo qui sotto riprodotto, è che l’INVALSI fa fare agli studenti migliaia di pre-test, e che delle migliaia che vengono somministrati ne vengono scelti solo il 30% che vengono usati durante le prove censuarie. Una testimonianza ulteriore dell’autarchica autoreferenzialità dell’INVALSI che ignora i più elementari paradigmi scientifici.

Che diciamo noi genitori ed insegnanti?

Per noi è importante constatare che, per ammissione dello stesso INVALSI, ci sono decine di quesiti ed item a cui i bambini non hanno risposto o hanno dato risposte non valide, che tra le risposte valide in molti casi il 50% o più delle risposte (crocette) dei bambini sono errate.

Se consideriamo che nelle “domande a risposta multipla semplice” (pag. 97 – Rapporto), al netto del 25% (1una su 4 era la risposta giusta) delle risposte corrette dovute al caso, a nessuna delle 11 domande i bambini hanno dato un numero di risposte giuste che superasse il 50%, c’è da rimanere attoniti.

Qualche anno fa tra i genitori e gli studenti era consolidato un paradigma: se un maestro o professore boccia più di tre alunni sui 25 di una classe, è lui che deve essere bocciato. Certo la conclusione era un po’ rozza, ma era l’esito di ore di discussione tra i genitori, non solo durante l’attesa dei bambini, era il tempo nel quale ancora si facevano le riunioni e assemblee di classe. Anche gli studenti discutevano, facevano assemblee e redigevano le pagelle per i prof.

Era un esercizio del tutto gratuito, non esercitava o innescava alcun potere ma stimolava la riflessione, stimolava le connessioni, argomentava i giudizi.

Oggi al cospetto dei tanti errori nelle risposte, degli esiti negativi di tante prove, la considerazione più immediata e pertinente sarebbe quella di dire: bocciamo l’INVALSI !!!

Gruppo NoINVALSI – Roma

  • (1) Item: Ogni elemento di un elenco, di un insieme strutturato. In questo caso come si presentano spesso in forma aggregata le domande e le risposte.

  • (2) Da INVALSI “RILEVAZIONE NAZIONALE DEGLI APPRENDIMENTI 2015-2016” pagg.10 e 11il Rapporto Risultati pag. 10, da qui in poi Rapporto:

2.4 L’analisi dei dati del pre-test e la costruzione delle prove definitive

Le operazioni illustrate nei precedenti paragrafi costituiscono solo le fasi preliminari della procedura di costruzione di una prova standardizzata, che richiede l’attenta valutazione di diversi aspetti, sia di natura tecnico-scientifica sia operativi. Dalle analisi statistiche cui sono sottoposte le risposte degli studenti alle prove del pre-test dipende la valutazione dell’adeguatezza e della capacità misuratoria di ciascun item e dell’intera prova. Le proprietà misuratorie degli item e delle prove nella versione definitiva sono descritte in dettaglio nel rapporto tecnico, pubblicato dall’INVALSI contestualmente alla presentazione dei risultati delle classi campione.

Mediante le analisi effettuate sui dati del pre-test, le domande sono analizzate lungo diverse dimensioni: la loro capacità di valutare la competenza obiettivo della domanda (question intent), la coerenza con il quadro di riferimento, la capacità misuratoria secondo la metodologia di Rasch e l’Item analysis classica.

Di norma, solo il 30% circa delle domande delle prove di pre-test viene ritenuto adeguato nella formulazione originaria (ossia quella data dagli autori del quesito), circa il 30-40% viene accettato ma con modifiche sostanziali e che sovente richiedono un secondo pre-test, infine, tipicamente, il 30% circa delle domande viene scartato perché giudicato inadeguato rispetto alle finalità delle prove e non rispondente agli standard di qualità che l’Istituto ha adottato sulla base delle prassi consolidate a livello internazionale (OCSE-PISA, IEA-TIMSS, IEA-PIRLS, ecc.). Soltanto le domande che hanno superato il pre-test vengono, dunque, incluse, nella forma originale o in forma modificata, nella versione definitiva della prova di ciascun livello scolare” (INVALSI Rapporto Risultati “RILEVAZIONE NAZIONALE DEGLI APPRENDIMENTI 2015-2016” pagg.10 e 11)

  • (3) Inferenze: attività attraverso la quale si creano collegamenti tra precedenti esperienze dirette o simboliche, conoscenze pregresse, con il testo, la frase, le parole, al fine di attribuire senso e significato, sia personale sia legato ad una interpretazione delle intenzioni di chi scrive.

  • (4) INVALSI “Quadri di riferimento della prova di Italiano… nell’obbligo di istruzione” pag12

Aspetto 3: Fare un’inferenza diretta, ricavando un’informazione implicita da una o più informazioni date nel testo e/o tratte dall’enciclopedia personale del lettore.. Le domande relative a questo aspetto valutano la capacità di inferire una singola informazione puntuale, non data in maniera esplicita nel testo, da una o più informazioni in esso presenti, attingendo anche all’enciclopedia personale. La risposta richiede una inferenza diretta da una o più informazioni del testo, senza ulteriori passaggi o rielaborazioni. Rientrano in questo aspetto anche le domande che richiedono l’operazione inversa: data una certa informazione, rintracciare nel testo la frase da cui essa può essere inferita

  • (5) Distrattore: risposta nè giusta, né completamente sbagliata, “trabocchetto” per far cadere in errore chi effettua la prova

Un commento al Rapporto è stato già pubblicato sul nostro blog il 7 settembre 2016 con titolo “A Rapporto!


Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...