Questo è il terzo dei classici errori “tecnici” presenti in ogni tipo di sondaggio, unitamente ai già ricordati errore di campionamento e di rilevazione, e si riferisce al momento in cui il ricercatore deve cercare e trovare il miglior modo per misurare un concetto con un alto livello di astrazione, che non possiede cioè una propria unità di misura. Mentre per molte proprietà si può procedere facilmente alla loro identificazione tramite una classificazione (il partito votato, ad esempio), un conteggio (il numero di libri letti annualmente) o una misurazione (il tempo impiegato per recarsi sul luogo di lavoro), per quelle che più interessano alla ricerca sociale o politica le difficoltà per registrarle sono infinitamente maggiori. Per intendere appieno la difficoltà di questo tipo di “misurazione”, occorre sottolineare due aspetti.

Il primo è che i fenomeni sociali, gli atteggiamenti e le opinioni, molto difficilmente assumono la forma di fenomeni misurabili o classificabili: ne abbiamo citate alcune (l’età, il reddito, rilevazioni basate sul tempo, o sul conteggio, il titolo di studio, il partito votato), che rimangono comunque limitate. I fenomeni demarcati da un’unità di misura naturale, pur essendo ottimali dal punto di vista delle possibilità di analisi, sono nella realtà abbastanza rari.

Il secondo è che il ricercatore sociale è interessato proprio a quei fenomeni che difficilmente si manifestano in forme naturalmente misurabili; il grado di soddisfazione per la democrazia, il livello socio-economico di un paese, il grado di simpatia per un personaggio politico, il tasso di xenofobia degli abitanti del nostro paese, il grado di fiducia in una istituzione: tutti questi atteggiamenti ed opinioni, il cui significato è per ognuno di noi perfettamente comprensibile, non possiedono alcuna specifica modalità “naturale” per poter essere misurati. Non disponiamo di un’unità di misura condivisa, né naturalmente né convenzionalmente, per quelle proprietà (quei concetti) che si situano ad un livello di astrazione molto elevato.

Per ovviare a questo “deficit di misurabilità” si ricorre quindi a tecniche di rilevazione che, utilizzando unità di misura certamente arbitrarie ma omogenee all’interno della singola indagine, permettono di ottenere risultati certo comprensibili ma, in qualche modo, contestabili. Vediamo perché.

L’esempio più classico di queste misurazioni “arbitrarie”, divenuto peraltro nel tempo uno standard riconosciuto di misura, è quello del quoziente di intelligenza (il Q.I.), che si può a buon diritto definire il prototipo di questo procedimento: introdotto all’inizio del secolo scorso in ambito psicometrico, esso si basa su una serie di test la cui sommatoria (o il suo indice sintetico) fornisce un punteggio che misura una proprietà astratta, il livello di intelligenza di un individuo, altrimenti non quantificabile. Non tutte le unità di misura arbitrarie hanno avuto la fortuna di divenire uno standard universalmente accettato; sono anzi molte quelle che presentano un tempo di vita limitato unicamente al breve spazio dell’indagine contingente.

Ma anche in questo caso, ormai riconosciuto come una sorta di standard di riferimento, come possiamo essere certi che sia questa la procedura più corretta per “misurare” l’intelligenza di un individuo? È possibile, a livello teorico, pensare che esistano modalità migliori per definire il grado intellettivo delle persone, e alcuni psicologi si sono cimentati in questo campo, ottenendo anche buoni risultati. Resta però costantemente presente il dubbio di stare commettendo un errore nella procedura utilizzata, perché non sapremo mai quale sia il modo migliore per misurare qualcosa di immisurabile, di molto astratto. Sappiamo dunque che potremmo sbagliarci, benché non potremo mai valutare esattamente quale sia il livello, la portata di questo errore di indicazione.

Ciononostante, tutte queste procedure rimangono valide e spesso indispensabili per poter registrare gli atteggiamenti degli intervistati o le differenze presenti nei diversi casi dell’analisi. Queste diverse modalità di rilevazione prendono il nome di tecnica delle scale, ormai entrate nel bagaglio metodologico di gran parte delle ricerche e delle rilevazioni demoscopiche. Non occorre sottolineare il fatto che, considerata l’estrema arbitrarietà del procedimento di costruzione di questi indici, sarà in questo frangente ancor più importante che il ricercatore espliciti il percorso utilizzato in maniera particolarizzata, attraverso una dettagliata “definizione operativa”, vale a dire le regole che abbiamo seguito per misurare questi concetti con alto livello di astrazione.

Paolo Natale

estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

I due tipi di distorsione che vedremo ora fanno entrambi parte del cosiddetto errore di rilevazione; al contrario dell’errore di campionamento, sempre presente ma calcolabile, questo tipo di errore potrebbe teoricamente non esserci (peraltro solo in teoria…) ma non è comunque mai calcolabile: non sappiamo dunque di quanto sbagliamo nella generalizzazione delle nostre stime.

L’errore di copertura si verifica in diverse fasi dell’indagine e per diversi motivi. Può essere dovuto alla mancanza di un elenco completo dell’universo dei possibili intervistati, da cui estrarre il campione, alla impossibilità di reperimento di una quota significativa di individui campionati o al loro rifiuto preventivo di rispondere alle domande. Nel primo caso nulla si può fare, mentre negli altri due è possibile ovviare al problema estraendo preventivamente ulteriori campioni, chiamati “di riserva”, che prenderanno il posto dei soggetti irreperibili, sostituendoli quindi con nuovi individui reperibili e/o disponibili a collaborare. Ma è ovvio che così facendo introduciamo una (possibile) fonte di distorsione a volte piuttosto grave: come possiamo sapere se l’individuo sostituito risponderebbe in maniera simile al suo sostituto? Solitamente, quando si pubblicano i risultati di un sondaggio, in caratteri molto piccoli, a volte quasi invisibili, viene inserito anche il dato relativo al numero delle sostituzioni, che molto spesso sono almeno tre-quattro volte più numerose delle interviste effettivamente effettuate, come nel caso (tipico) qui riportato.

Indagine condotta con tecnica mista CATI-CAMI-CAWI su un campione di 1200 soggetti maggiorenni residenti in Italia (4566 non rispondenti) il 7 giugno 2022.

Il che significa molto semplicemente che l’Istituto di ricerca è riuscito a intervistare 1200 soggetti facendo quasi 6000 tentativi! Quei quasi cinquemila individui irreperibili o non disponibili avrebbero dato risposte simili? Può darsi di sì o può darsi di no; non lo sappiamo né potremo mai saperlo.

L’errore di mancata risposta si verifica invece quando una parte di coloro che vengono intervistati non vogliono rispondere ad alcune delle domande del questionario, oppure si dichiarano indecisi sulla risposta da fornire oppure ancora non sanno semplicemente cosa rispondere. Prendiamo ad esempio il caso più ricorrente, un sondaggio cioè sulle intenzioni di voto, con una numerosità campionaria di 800 casi: negli ultimi mesi, il numero di intervistati che si dichiara indeciso, che non vuole rispondere o che opta per l’astensione risulta spesso pari se non superiore al 40% del campione. Una parte di loro, diciamo intorno al 25%, non si recherà effettivamente alle urne, ma il restante 15% ci andrà e avrà un certo comportamento di voto, che potrebbe ribaltare completamente i risultati che ci vengono proposti. Come possiamo sapere se chi oggi non indica la propria preferenza elettorale si distribuirà, il giorno delle votazioni, esattamente come chi l’ha invece indicata? Ma non solo. Il problema ulteriore è che le stime che noi leggiamo si riferiscono non più a 800, ma soltanto a 480 individui (con un errore di campionamento – peraltro – molto superiore a quello indicato), che ci dicono siano rappresentativi della popolazione elettorale italiana. Saranno davvero rappresentativi di tutti gli elettori oppure soltanto di quelli più sicuri del proprio voto e/o propensi a dichiararlo?

Paolo Natale

*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza