Hume PageHume Page

Dieci buoni motivi per non credere (troppo) ai sondaggi – 6. Errore di copertura e 7. Errore di mancata risposta

11 Luglio 2022 - di Paolo Natale

SocietàSpeciale

I due tipi di distorsione che vedremo ora fanno entrambi parte del cosiddetto errore di rilevazione; al contrario dell’errore di campionamento, sempre presente ma calcolabile, questo tipo di errore potrebbe teoricamente non esserci (peraltro solo in teoria…) ma non è comunque mai calcolabile: non sappiamo dunque di quanto sbagliamo nella generalizzazione delle nostre stime.

L’errore di copertura si verifica in diverse fasi dell’indagine e per diversi motivi. Può essere dovuto alla mancanza di un elenco completo dell’universo dei possibili intervistati, da cui estrarre il campione, alla impossibilità di reperimento di una quota significativa di individui campionati o al loro rifiuto preventivo di rispondere alle domande. Nel primo caso nulla si può fare, mentre negli altri due è possibile ovviare al problema estraendo preventivamente ulteriori campioni, chiamati “di riserva”, che prenderanno il posto dei soggetti irreperibili, sostituendoli quindi con nuovi individui reperibili e/o disponibili a collaborare. Ma è ovvio che così facendo introduciamo una (possibile) fonte di distorsione a volte piuttosto grave: come possiamo sapere se l’individuo sostituito risponderebbe in maniera simile al suo sostituto? Solitamente, quando si pubblicano i risultati di un sondaggio, in caratteri molto piccoli, a volte quasi invisibili, viene inserito anche il dato relativo al numero delle sostituzioni, che molto spesso sono almeno tre-quattro volte più numerose delle interviste effettivamente effettuate, come nel caso (tipico) qui riportato.

Indagine condotta con tecnica mista CATI-CAMI-CAWI su un campione di 1200 soggetti maggiorenni residenti in Italia (4566 non rispondenti) il 7 giugno 2022.

Il che significa molto semplicemente che l’Istituto di ricerca è riuscito a intervistare 1200 soggetti facendo quasi 6000 tentativi! Quei quasi cinquemila individui irreperibili o non disponibili avrebbero dato risposte simili? Può darsi di sì o può darsi di no; non lo sappiamo né potremo mai saperlo.

 

L’errore di mancata risposta si verifica invece quando una parte di coloro che vengono intervistati non vogliono rispondere ad alcune delle domande del questionario, oppure si dichiarano indecisi sulla risposta da fornire oppure ancora non sanno semplicemente cosa rispondere. Prendiamo ad esempio il caso più ricorrente, un sondaggio cioè sulle intenzioni di voto, con una numerosità campionaria di 800 casi: negli ultimi mesi, il numero di intervistati che si dichiara indeciso, che non vuole rispondere o che opta per l’astensione risulta spesso pari se non superiore al 40% del campione. Una parte di loro, diciamo intorno al 25%, non si recherà effettivamente alle urne, ma il restante 15% ci andrà e avrà un certo comportamento di voto, che potrebbe ribaltare completamente i risultati che ci vengono proposti. Come possiamo sapere se chi oggi non indica la propria preferenza elettorale si distribuirà, il giorno delle votazioni, esattamente come chi l’ha invece indicata? Ma non solo. Il problema ulteriore è che le stime che noi leggiamo si riferiscono non più a 800, ma soltanto a 480 individui (con un errore di campionamento – peraltro – molto superiore a quello indicato), che ci dicono siano rappresentativi della popolazione elettorale italiana. Saranno davvero rappresentativi di tutti gli elettori oppure soltanto di quelli più sicuri del proprio voto e/o propensi a dichiararlo?

Paolo Natale

*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

, , , ,

Dieci buoni motivi per non credere (troppo) ai sondaggi – 5. Errore di campionamento

8 Luglio 2022 - di Paolo Natale

In primo pianoSocietà

È un tipo di errore insopprimibile in tutti i sondaggi basati su campioni probabilistici (dove cioè tutti hanno la medesima probabilità di essere estratti), per il semplice fatto che intervistando un numero limitato di individui (ad esempio, un migliaio di elettori) non avremo mai la certezza che i risultati siano effettivamente generalizzabili a tutta la popolazione (elettorale). Sinteticamente, può essere definito come una sorta di “fascia di indeterminatezza” (chiamata in termini statistici “intervallo di confidenza”) entro la quale oscillano i risultati, ottenuti da qualsiasi indagine campionaria, se vogliamo da questi risalire a stime dell’universo. Conoscendo la numerosità campionaria di una rilevazione demoscopica, possiamo automaticamente calcolare la misura dell’errore di campionamento, utilizzando apposite tavole basate su specifici teoremi statistici. L’ampiezza dell’errore di campionamento è strettamente correlata con due elementi: la numerosità campionaria e l’omogeneità dei risultati ottenuti. Vediamo come.

Se da un sondaggio di 1000 casi rileviamo ad esempio che James Joyce è conosciuto dal 15% degli italiani intervistati, è possibile affermare (con una probabilità data di non sbagliare) che il livello di conoscenza dello scrittore è compreso tra il 13% e il 17% dell’universo di riferimento. Se intervistiamo 2000 persone, cioè il doppio, ottenendo supponiamo il medesimo risultato (il 15%), il margine di errore si restringe: possiamo in questo secondo caso affermare cioè che il livello di conoscenza di Joyce è compreso tra il 14% e il 16%. A parità di metodo di rilevazione, per migliorare la precisione delle stime campionarie occorre dunque aumentare l’ampiezza del campione; al crescere del numero dei casi, diminuisce infatti parallelamente l’errore di campionamento.

Veniamo al secondo elemento che determina l’ampiezza dell’errore, cioè il livello di omogeneità delle risposte fornite dagli intervistati (misurabile attraverso il calcolo della “varianza” di una variabile). Se chiediamo ad un campione di 1000 individui la loro opinione su Papa Francesco ed il 99% ne dà un giudizio “ottimo”, l’errore di campionamento per questa risposta sarà uguale a 0,3%; se chiediamo al medesimo campione l’opinione sul Presidente Mattarella e soltanto il 50% ne dà un giudizio “ottimo”, l’errore di campionamento per questa risposta sarà invece più alto, pari al 3,1%. Perché? Perché più le risposte sono omogenee (cioè più è bassa la varianza), più siamo sicuri di non commettere un errore molto ampio nello stimare l’universo, vale a dire nello stimare le risposte di tutti coloro che non abbiamo effettivamente intervistato.

Per chiarire meglio, pensiamo a due amici (Federer e Nadal) che giocano a tennis da anni l’uno contro l’altro. Se nei 1000 incontri giocati tra loro ha vinto 990 volte Federer, avremo molte più probabilità di estrarre a caso, da quei 1000, un incontro dove lui ha vinto, di quante ne avremmo se nei 1000 incontri avessero vinto 500 volte a testa. L’incertezza del risultato (e la disomogeneità delle risposte, vale a dire un’elevata varianza) determina quindi un aumento dell’incertezza delle stime, vale a dire un maggior margine di “imprecisione” quando si vuole estendere la stima campionaria alla popolazione.

In questo caso il ricercatore, se già aveva utilizzato il miglior sistema di campionamento possibile, nulla può fare per diminuire l’errore campionario, non potendo sapere ovviamente in anticipo il livello di omogeneità delle risposte che otterrà. L’unico elemento cui potrà attingere, per stabilire la miglior numerosità campionaria, sarà l’analisi di precedenti indagini sullo stesso tema. Sempre che ve ne siano.

Paolo Natale

*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

,

Dieci buoni motivi per non credere (troppo) ai sondaggi – 4. Mancanza di opinioni “costanti”

7 Luglio 2022 - di Paolo Natale

In primo pianoSocietà

Nell’epoca in cui regnavano incontrastate le ideologie, esisteva una sorta di pensiero esclusivo, opinioni e atteggiamenti pressoché costanti nell’accostarsi ai fenomeni sociali o politici, guidati dalla propria ideologia, dalla propria visione del mondo, che difficilmente mutavano: parallelamente alla fedeltà di voto, rimaneva fedele anche il modo di vedere le cose, di manifestare la propria adesione quasi incondizionata ad una scelta specifica. Come cantava Giorgio Gaber: “Mio nonno si è scelto una parte che non cambia in ogni momento, voglio dire che c’ha un solo atteggiamento” (Il comportamento, 1976).

Ma poi, con la fine delle ideologie, con la secolarizzazione, con il costante aumento dei mezzi di informazione e di comunicazione (soprattutto sul Web), con il progressivo indebolirsi delle tradizionali agenzie di socializzazione primarie e secondarie (famiglia, scuola, fabbrica, ecc.), con la atomizzazione lavorativa e dei rapporti individuali le cose sono cambiate, e l’uomo è divenuto sempre più simile a ciò che già aveva intuito il sociologo Simmel della Vienna di inizio Novecento. Era l’uomo blasé, l‘uomo metropolitano, costantemente pervaso da mille stimoli diversi, con una identificazione sociale e politica sempre più debole e, viceversa, una identità individuale (l’individuazione) in perenne crescita, quasi ipertrofica, incapace degli antichi sentimenti solidaristici con il gruppo di appartenenza, perché gli antichi gruppi di appartenenza sociale venivano progressivamente ad esaurirsi.

Oggi, la frammentazione delle esperienze e l’atomizzazione sociale rendono l’individuo più debole nelle sue certezze più profonde e propenso a sperimentare identità differenti, in una sequenza sempre più rapida e per forza di cose più superficiale. Con la crisi del concetto di comunità emerge un individualismo sfrenato, dove nessuno è più compagno di strada ma antagonista di ciascuno, da cui guardarsi. La società liquida, secondo Bauman (Vita liquida, Laterza, 2006), genera l’uomo liquido, il cui prototipo è la figura del “turista”, che ha sì una casa propria, ma si sposta temporaneamente alla continua e febbrile ricerca di sensazioni e piaceri inediti. Un altro grande sociologo (Goffman) ha approfondito l’analisi della vita quotidiana attraverso l’interpretazione dell’agire comune con la metafora del teatro, come se l’individuo fosse un attore su un palcoscenico, che recita una pièce teatrale; Goffman intende sottolineare l’esistenza, nelle azioni umane, di una componente legata allo specifico quadro (o “frame”) in cui l’individuo sente di essere inserito. Il suo comportamento appare dunque conseguenza specifica anche della sua percezione del ruolo che sta recitando all’interno di quel particolare quadro.

In quel momento peraltro egli non recita solamente, ma diventa il protagonista dell’opera cui sta prestando la propria interpretazione: quando un individuo è al volante della sua auto, ad esempio, la sua percezione di ciò che lo circonda viene vissuta nelle vesti di automobilista; dal momento in cui parcheggia la sua vettura, egli muta radicalmente, si appresta a vivere la nuova realtà in qualità di pedone, “diventando” quindi un pedone, e interpreta gli eventi secondo quel suo nuovo punto di vista.

È una sorta di sdoppiamento diacronico della personalità; le due personalità convivono nello stesso individuo, venendo attivate solamente in particolari momenti della giornata, a seconda del ruolo che sta giocando nel quadro di riferimento in cui egli è inserito. E lo studioso, per poter conoscere il pensiero dell’individuo analizzato, non può fare a meno di riferirsi ad una delle due differenti personalità.

Se ad esempio il suo interesse consiste nel comprendere il rapporto tra il soggetto e il traffico urbano, il ricercatore deve essere cosciente che questo rapporto potrà essere differente a seconda che il soggetto si proponga come automobilista (e allora vorrà privilegiare facilitazioni viarie) ovvero come pedone (e allora privilegerà la formazione di isole pedonali). Le due personalità convivono nello stesso individuo, contraddicendo l’una i bisogni dell’altra.

Tutte queste trasformazioni della personalità individuale hanno vissuto negli ultimi anni, a causa di pandemie e guerre, un ulteriore shock, con la crescita dell’instabilità anche nella formazione delle opinioni: è cresciuta l’incertezza, l’incostanza, l’alterità anti-establishment e la contraddittorietà dei riscontri demoscopici, rendendo sempre più problematico comprendere quanto siano attendibili le risposte fornite dagli intervistati nei sondaggi odierni.

Paolo Natale

Estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

 

, , ,

Dieci buoni motivi per non credere (troppo) ai sondaggi – 3. Auto-inganno (“self-deception”)

6 Luglio 2022 - di Paolo Natale

In primo pianoSocietà

È una sorta di “ristrutturazione del ricordo” di un evento, effettuato in maniera consapevole o più spesso inconsapevole, sulla base della (mutata) percezione odierna, della attitudine maturata nel presente. Se nel passato avevo votato per una forza politica che oggi non mi piace più, tenderò a “dimenticare” quel voto al fine di mantenere una sorta di coerenza di fondo della mia presente personalità. Un po’ come un ex-innamorato che nel passato aveva giurato amore eterno all’amata, ma poi finito l’amore cancella tutti i ricordi positivi che ha vissuto con lei, per non soffrire più e per percorrere altre strade amorose (come nel film “Se mi lasci ti cancello”, con Jim Carrey).

Capita molto più spesso di quanto si pensi ma, fortunatamente, è anche uno dei pochi bias che possono venir facilmente tracciati, sia a livello individuale che a quello complessivo. Intervistando infatti periodicamente le stesse persone, in un panel che copre un lungo periodo temporale, è facilmente possibile individuare il momento preciso in cui un intervistato ristruttura il suo ricordo, modificando nelle sue risposte l’eventuale comportamento di voto passato, se oggi non è più sentito come suo.

A livello collettivo, qualora la percentuale cumulata delle dichiarazioni di voto passato per un certo partito fosse significativamente differente, cioè inferiore, alla percentuale effettivamente ottenuta da quel partito, avremo la misura esatta del livello di auto-inganno del complesso della popolazione intervistata. È accaduto molto spesso nel passato, in Italia, in particolare con Berlusconi e con Renzi: terminato il periodo di “luna di miele” con l’elettorato, in una fase in cui i due leader erano caduti in disgrazia presso l’opinione pubblica, si dimezzava quasi la percentuale di elettori che si “ricordavano” di averli votati. Nei sondaggi post-elettorali, la ristrutturazione del ricordo è per certi versi un comportamento opposto al citato effetto bandwagon; mentre in quest’ultima situazione si sale metaforicamente sul carro del vincitore, nel caso dell’auto-inganno (più o meno conscio) si tende a scendere da quel carro in maniera numericamente significativa.

Paolo Natale

Estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

Dieci buoni motivi per non credere (troppo) ai sondaggi – 2. Effetto desiderabilità sociale

5 Luglio 2022 - di Paolo Natale

In primo pianoSocietà

La distorsione provocata dal ricercatore nel momento in cui si accosta al suo oggetto di studio viene sovente indicata con la formulazione proposta dallo psicologo americano Labov nel 1972, quella del cosiddetto paradosso dell’osservatore. L’obiettivo dell’osservatore è infatti quello di osservare un fenomeno così come esso si presenta nel momento in cui nessuno lo osserva: un evidente paradosso irrisolvibile. Appare dunque chiaro come il sapere sociale non potrà mai essere esente dalle alterazioni provocate dall’osservazione stessa, dalla presenza cioè del ricercatore, ovvero dell’intervistatore.

Il suo compito sarà dunque quello di sforzarsi di agire quasi in punta di piedi, silenziosamente, in modo tale da modificare il meno possibile l’oggetto della sua ricerca. Perché più il soggetto che si sta studiando è cosciente della presenza di chi lo studia, meno il suo comportamento o la sua dichiarazione di opinione risulterà libera dalle distorsioni provocate dal ricercatore. Se pensiamo ad esempio ad un qualsiasi “reality show” televisivo, comprendiamo molto chiaramente come chi sta davanti alle telecamere non si comporti esattamente come se fosse a casa sua, quando nessuno lo osserva.

Oppure ancora, se intervistiamo un hater della Rete, molto difficilmente otterremo delle risposte sincere sulle sue attività online; egli si adeguerà a fornire risposte che risultino accettabili dall’intervistatore, che è in quel momento una sorta di rappresentante della società nel suo complesso. È questo il classico tema della cosiddetta desiderabilità sociale.

Nelle interviste, per alcune domande particolarmente delicate (i cosiddetti “dati sensibili”, come le preferenze sessuali o lo stato di salute), gli strumenti “caldi” (dove è presente il fattore umano) provocano a volte distorsioni molto rilevanti nelle risposte. Più in generale la presenza di un intervistatore, al telefono e più ancora di persona, ha come effetto l’accentuazione di atteggiamenti condizionati dalla desiderabilità sociale: se viviamo in una società dove, ad esempio, la pena di morte è mal giudicata dalla collettività, sarà più difficile esternare il proprio accordo con questo tipo di condanna davanti ad un’altra persona, un po’ più facile rispondendo ad un questionario anonimo auto-compilato. Ma anche in questo caso, la distorsione rimane, benché a livelli più contenuti.

In una recente ricerca comparata, si sono poste alcune domande rispetto al comportamento abituale di un campione di cittadini, attraverso tre strumenti: un’intervista face-to-face, una telefonica e un questionario auto-compilato via web. Le risposte ottenute indicavano la presenza di un bias decrescente passando dagli strumenti più caldi a quelli più freddi. La quantità di ore quotidiane trascorse davanti alla TV, ad esempio, faceva registrare una media di 1,5 ore nell’intervista personale, di 2 ore in quella telefonica e di 3 ore nella web-survey. Il dato più oggettivo, certificato dall’Auditel, ci dice che la media degli italiani è pari invece a 4 ore al giorno. Evidente l’effetto della desiderabilità sociale: trascorrere molto tempo davanti allo schermo televisivo non è ben giudicato dalla società, e gli intervistati (consciamente o meno) si adattano nelle loro risposte a ciò che la società trasmette loro.

Paolo Natale

Estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

 

, , , , ,
image_print
1 2 3 4 5 … 9

PAROLE CHIAVE

Newsletter

VUOI CHE TI AVVISIAMO QUANDO PUBBLICHIAMO QUALCOSA DI NUOVO?

© Copyright Fondazione Hume - Tutti i diritti riservati - Privacy Policy