Hume PageHume Page

In primo piano

Dieci buoni motivi per non credere (troppo) ai sondaggi – 10. Analisi ex-post

14 Luglio 2022 - di Paolo Natale

In primo pianoSocietà

Se i precedenti nove tipi di distorsioni si riferiscono alle procedure e alla corretta formulazione del questionario utilizzato in un sondaggio, in quest’ultimo bias diventa rilevante il ruolo del ricercatore, nel momento in cui compie l’analisi dei dati raccolti e ne comunica i risultati. È proprio la scelta delle modalità attraverso cui analizza le risposte che gli giungono dalle interviste a diventare dirimente, poiché le sue scelte possono far mutare completamente il senso e la direzione dei risultati che vengono successivamente comunicati ai media.

Per capire la portata delle conseguenze che possono avere le scelte del ricercatore, prendiamo in considerazione una delle stime che vengono realizzate e comunicate più frequentemente: la popolarità o la fiducia in un leader politico, ovvero nel governo o nel premier. Esistono ovviamente molti modi per “misurare” la popolarità, ad esempio, di un capo dell’esecutivo e, come si è detto nel precedente punto 8 (l’errore di indicazione), non potremo mai sapere quale sia la modalità migliore da proporre agli intervistati. Nel nostro paese molti Istituti di ricerca utilizzano a questo scopo la ben nota “pagella”, con la seguente formulazione (o altre simili): “Quanta fiducia ha nel Presidente del Consiglio, su una scala da 1 a 10?”.

La modalità più diffusa per analizzare e comunicare le risposte a questa domanda è quella di prendere in considerazione la percentuale delle valutazioni positive, da 6 a 10 dunque. È una scelta corretta? Pensiamo ad una situazione simile, o parallela: un fidanzato chiede alla fidanzata quanta fiducia ha in lui o quanto lo ama, da 1 a 10, e la fidanzata risponde 6. Un motivo per lasciarla immediatamente, un amore non può rimanere in piedi con un livello attrattivo così contenuto. Anche un 7 non darebbe forse la possibilità di costruirsi un futuro insieme. I voti realmente positivi, che danno una buona speranza per il proseguimento del rapporto, vanno da 8 a 10, questo è certo.

La scelta cruciale anche per il ricercatore riguarda dunque quale sarà il voto minimo da prendere in considerazione, sei sette o otto, con conseguenze evidenti sul risultato che viene comunicato ai media. In un recente sondaggio su Mario Draghi, utilizzando tutti i voti positivi, il livello di fiducia degli italiani nei suoi confronti risultava pari al 60%; considerando i voti da 7 a 10, la fiducia scendeva al 50%, mentre prendendo come base solo le valutazioni molto positive (da 8 a 10), si arrivava appena al 38%. Nessuna scelta è a priori scorretta, ma è immediatamente evidente che se si vuole sottolineare come Draghi non sia abbastanza apprezzato dalla popolazione, si opterà per la scelta più restrittiva, laddove si terrà in considerazione quella più ampia (tutti i voti positivi) volendo indicare al contrario un’ampia fiducia nel premier da parte degli italiani.

La discrezionalità della scelta del sondaggista appare dunque evidente, e non può venir superata dalla possibile comparazione con altri leader politici, come accade nelle analisi che riguardano la popolarità di questi ultimi, poiché il Presidente del Consiglio è uno solo e, al massimo, può venir confrontato con i suoi predecessori, cosa che peraltro non viene fatta quasi mai. Una soluzione che rende accettabile la scelta adottata (quella consueta è come detto di considerare tutte le valutazioni positive) consiste nel presentare, accanto al dato attuale, anche il trend della fiducia in lui nei mesi precedenti, per comprendere quanto meno se la sua popolarità sia in crescita o in calo.

Ma forse la scelta in assoluto ottimale sarebbe quella di suddividere i voti positivi in due fasce, quella molto positiva (da 7 a 10) e quella appena sufficiente (il voto pari a 6). Se la percentuale dei “6” fosse molto elevata, risulterebbe immediatamente evidente come quel personaggio venga valutato, in qualche modo, solo come “il minore dei mali”, ma senza un grande trasporto.

Nella presentazione degli esiti del sondaggio, infine, anche in questo frangente è consigliabile esplicitare sia il testo esatto della domanda posta che il tipo di elaborazione che è stato effettuato per giungere ai risultati esposti.

Paolo Natale

*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

, , ,

La sinistra non è minoranza

14 Luglio 2022 - di Luca Ricolfi

In primo pianoSocietà

Che la destra sia maggioranza nel paese, e la sinistra minoranza, sono in molti a sostenerlo. Da anni lo ripete polemicamente il centro-destra, e amaramente lo danno per scontato la maggior parte dei suoi avversari. Di qui la previsione di un’affermazione del centro-destra alle prossime elezioni politiche, che si terranno fra meno di un anno.

La realtà è che la previsione è verosimile, ma la sua base logica – la credenza che la destra sia maggioranza nel paese – è sostanzialmente errata. È perfettamente possibile che il centro-sinistra esca sconfitto dalle prossime elezioni, ma non per le ragioni che i suoi dirigenti amano accreditare.

La credenza in una superiorità elettorale del centro-destra si fonda su un artificio statistico, ossia quello di contare tutte le forze di destra, ma non fare altrettanto con quelle di sinistra, che includono anche i Verdi, Sinistra italiana e altre forze minori. Gli ultimi sondaggi, come peraltro quelli dei mesi scorsi, danno i due schieramenti in sostanziale pareggio, purché si includono nei calcoli tutti i partiti, e non solo i partiti più o meno ufficialmente alleati.

Perché, nel fare i conti, ci si dimentica quasi sempre delle forze minori di sinistra? Fondamentalmente perché o non sono al governo (è il caso dei Verdi e di Sinistra italiana), o non si sa se sono davvero di sinistra (è il caso di Italia Viva, Azione, +Europa). Ma è un errore logico, almeno finché l’obiettivo è sondare il polso dell’elettorato. Se quel che ci chiediamo non è se i partiti di sinistra si metteranno d’accordo, ma dove va il sentiment del paese, bisogna contare tutti. E il risultato è un sostanziale pareggio, non una netta prevalenza del centro-destra.

Perché, allora, la predizione di una vittoria del centro-destra alle prossime politiche è verosimile?

Per due ragioni del tutto diverse fra loro. La prima è che i veti reciproci fra le forze di centro-sinistra, e ora anche i dissidi con il movimento Cinque Stelle, hanno ottime chance di far naufragare il “campo largo” auspicato da Letta. La seconda è che il Pd di Letta (non diversamente dai Pd precedenti) si ostina a non prendere atto del dato sociologico fondamentale degli ultimi decenni: in tutti i principali paesi occidentali i ceti medio-bassi preferiscono la destra alla sinistra. Una tendenza che la crisi finanziaria del 2007-2013 e la simultanea stagione del terrorismo jihadista (attentati di Londra, Madrid, Berlino, Parigi, Bruxelles) non hanno fatto che rafforzare. È di lì che hanno preso vigore le spinte sovraniste e populiste, è di lì che è sorta la grande domanda di protezione che ha attraversato le opinioni pubbliche occidentali negli ultimi anni.

Questa domanda, a sinistra, è stata sostanzialmente ignorata (con la lodevole eccezione di Bersani, che dal 2016 batte sul chiodo: ricordate “la mucca nel corridoio”?). Anzi, ad essa il principale partito della sinistra ha risposto accentuando il proprio radicalismo in materia di diritti civili (vedi la rigidità sul Ddl Zan), anziché riscoprendo la “questione sociale”, che era stata la stella polare dei partiti progressisti durante la prima Repubblica. Una conferma, a quasi mezzo secolo di distanza, della profezia del filosofo Augusto del Noce, secondo cui il Partito Comunista prima o poi si sarebbe trasformato in un “partito radicale di massa”.

Il risultato è che, anziché aprire un grande e doveroso dibattito per rispondere alla domanda cruciale – perché i ceti popolari non ci votano più? – ci si balocca nella infondata credenza che la destra abbia già vinto le elezioni, perché così tira il vento nell’opinione pubblica.

No, non è così. Al momento i consensi alla sinistra non sono minori di quelli alla destra. Anzi, la sinistra ha un cruciale vantaggio: i suoi elettori, tendenzialmente benestanti, istruiti, urbanizzati (così rivelano le statistiche) hanno ben poche probabilità di passare a destra. Mentre l’elettorato popolare della destra ne ha molte di più di passare a sinistra, solo che la sinistra torni a occuparsi anche di problemi più concreti e materiali di quelli dietro cui è andata in questi anni. Il che, alla fine, vuol dire due cose sopra tutte le altre: creare nuovi posti di lavoro (si chiama protezione), e smetterla di offrire non-soluzioni al problema dell’immigrazione incontrollata (si chiama sicurezza).

È chiedere troppo

Luca Ricolfi

(www.fondazionehume.it)

, , , ,

Dieci buoni motivi per non credere (troppo) ai sondaggi – 9. Il “wording”

13 Luglio 2022 - di Paolo Natale

In primo pianoSocietà

Fa riferimento alle “parole” che si utilizzano nella formulazione delle domande di un questionario: la scelta di queste parole può determinare risultati di un sondaggio completamente diversi gli uni dagli altri. Uno dei primi e più famosi casi “esemplari” della distorsione introdotta dal wording, della possibile ambiguità cioè nel registrare le opinioni della popolazione, ci riporta a quanto avveniva negli USA durante la guerra del Vietnam (un esempio per certi versi simile a quanto accade oggi rispetto al conflitto Russia-Ucraina): i quotidiani pro-intervento pubblicavano sondaggi in cui emergeva come la maggioranza degli americani fosse favorevole a “proteggere il popolo vietnamita dall’influenza sovietica”; i quotidiani anti-interventisti pubblicavano viceversa sondaggi dove la maggioranza si dichiarava contraria a “mandare i propri figli a combattere e a morire in Vietnam”. Ma tutti i giornali titolavano semplicemente: “Gli americani sono a favore (oppure contro) il ritiro delle truppe”.

Attraverso la scelta di formulare una domanda in un certo modo, usando determinate parole, si potrebbe facilmente manipolare l’opinione pubblica, facendo intuire come la popolazione sia contraria, oppure favorevole, ad un aspetto della vita sociale o ad un avvenimento pubblico. Come dire: scegliendo le parole “giuste”, posso far dire al mio campione di intervistati, in certa misura, ciò che voglio che mi dica.

Ambiguità di questo genere possono avere conseguenze negative per un altro degli scopi principali per cui si effettua un sondaggio, quello cioè di rilevare la diffusione di uno specifico atteggiamento, non altrimenti quantificabile: il tipo di domanda che viene rivolta agli intervistati, al fine di “misurare” questo atteggiamento, può infatti dar luogo a risultati a volte speculari. Il seguente breve esempio, tratto da due sondaggi realmente effettuati, chiarisce bene i termini del problema.

L’obiettivo delle indagini era il medesimo: quantificare il livello di xenofobia presente nel nostro paese. Nel primo sondaggio, si chiedeva agli intervistati se li disturbasse la presenza di troppi immigrati in Italia: il 70% rispose affermativamente. Nel secondo sondaggio, venne invece chiesto agli intervistati se potessero mai prendere in considerazione la possibilità di sposare una persona immigrata: in questo caso il 66% rispose affermativamente.

Due risposte che, ad una lettura superficiale, sembrano rilevare due realtà antitetiche. Se il mio obiettivo è capire quanto sono xenofobi gli italiani, utilizzando la prima formulazione dovrei affermare che sono molto xenofobi, utilizzando la seconda formulazione dovrei giungere ad opposte conclusioni.

Nessuna delle due è di per sé scorretta; enfatizzano solamente due modalità (auto)percettive differenti: la prima ha a che vedere con la dimensione macro (collettiva), la seconda con quella micro (individuale). Come dire: il fenomeno migratorio appare socialmente disturbante, mette in crisi alcune delle mie sicurezze future; ma una singola persona immigrata, se mi piacesse, potrebbe nel caso anche diventare mio marito, o mia moglie.

Come decidere allora se è preferibile utilizzare la prima o la seconda formulazione? Non esistono criteri oggettivi. Dipende in parte dalla sensibilità del ricercatore, in parte dalle risorse a disposizione e in (larga) parte dall’obiettivo del sondaggio. A volte, purtroppo, “manipolativo”. Se il committente è un partito che vuole attuare una politica di rigidità verso l’immigrazione, sarà infatti più favorevole a rendere pubblici i risultati della prima domanda; se al contrario è un partito propenso ad una politica di apertura, renderà più facilmente pubblici i risultati della seconda domanda.

Al di là delle possibili manipolazioni, e considerando le finalità conoscitive di un sondaggio, è auspicabile che il buon ricercatore espliciti il testo esatto della domanda che è stata posta, in modo tale che si renda chiaro al lettore di cosa stiamo esattamente parlando, quando riportiamo i risultati del sondaggio.

Paolo Natale

*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

, , ,

Dieci buoni motivi per non credere (troppo) ai sondaggi – 8. Errore di indicazione

12 Luglio 2022 - di Paolo Natale

In primo pianoSocietà

Questo è il terzo dei classici errori “tecnici” presenti in ogni tipo di sondaggio, unitamente ai già ricordati errore di campionamento e di rilevazione, e si riferisce al momento in cui il ricercatore deve cercare e trovare il miglior modo per misurare un concetto con un alto livello di astrazione, che non possiede cioè una propria unità di misura. Mentre per molte proprietà si può procedere facilmente alla loro identificazione tramite una classificazione (il partito votato, ad esempio), un conteggio (il numero di libri letti annualmente) o una misurazione (il tempo impiegato per recarsi sul luogo di lavoro), per quelle che più interessano alla ricerca sociale o politica le difficoltà per registrarle sono infinitamente maggiori. Per intendere appieno la difficoltà di questo tipo di “misurazione”, occorre sottolineare due aspetti.

Il primo è che i fenomeni sociali, gli atteggiamenti e le opinioni, molto difficilmente assumono la forma di fenomeni misurabili o classificabili: ne abbiamo citate alcune (l’età, il reddito, rilevazioni basate sul tempo, o sul conteggio, il titolo di studio, il partito votato), che rimangono comunque limitate. I fenomeni demarcati da un’unità di misura naturale, pur essendo ottimali dal punto di vista delle possibilità di analisi, sono nella realtà abbastanza rari.

Il secondo è che il ricercatore sociale è interessato proprio a quei fenomeni che difficilmente si manifestano in forme naturalmente misurabili; il grado di soddisfazione per la democrazia, il livello socio-economico di un paese, il grado di simpatia per un personaggio politico, il tasso di xenofobia degli abitanti del nostro paese, il grado di fiducia in una istituzione: tutti questi atteggiamenti ed opinioni, il cui significato è per ognuno di noi perfettamente comprensibile, non possiedono alcuna specifica modalità “naturale” per poter essere misurati. Non disponiamo di un’unità di misura condivisa, né naturalmente né convenzionalmente, per quelle proprietà (quei concetti) che si situano ad un livello di astrazione molto elevato.

Per ovviare a questo “deficit di misurabilità” si ricorre quindi a tecniche di rilevazione che, utilizzando unità di misura certamente arbitrarie ma omogenee all’interno della singola indagine, permettono di ottenere risultati certo comprensibili ma, in qualche modo, contestabili. Vediamo perché.

L’esempio più classico di queste misurazioni “arbitrarie”, divenuto peraltro nel tempo uno standard riconosciuto di misura, è quello del quoziente di intelligenza (il Q.I.), che si può a buon diritto definire il prototipo di questo procedimento: introdotto all’inizio del secolo scorso in ambito psicometrico, esso si basa su una serie di test la cui sommatoria (o il suo indice sintetico) fornisce un punteggio che misura una proprietà astratta, il livello di intelligenza di un individuo, altrimenti non quantificabile. Non tutte le unità di misura arbitrarie hanno avuto la fortuna di divenire uno standard universalmente accettato; sono anzi molte quelle che presentano un tempo di vita limitato unicamente al breve spazio dell’indagine contingente.

Ma anche in questo caso, ormai riconosciuto come una sorta di standard di riferimento, come possiamo essere certi che sia questa la procedura più corretta per “misurare” l’intelligenza di un individuo? È possibile, a livello teorico, pensare che esistano modalità migliori per definire il grado intellettivo delle persone, e alcuni psicologi si sono cimentati in questo campo, ottenendo anche buoni risultati. Resta però costantemente presente il dubbio di stare commettendo un errore nella procedura utilizzata, perché non sapremo mai quale sia il modo migliore per misurare qualcosa di immisurabile, di molto astratto. Sappiamo dunque che potremmo sbagliarci, benché non potremo mai valutare esattamente quale sia il livello, la portata di questo errore di indicazione.

Ciononostante, tutte queste procedure rimangono valide e spesso indispensabili per poter registrare gli atteggiamenti degli intervistati o le differenze presenti nei diversi casi dell’analisi. Queste diverse modalità di rilevazione prendono il nome di tecnica delle scale, ormai entrate nel bagaglio metodologico di gran parte delle ricerche e delle rilevazioni demoscopiche. Non occorre sottolineare il fatto che, considerata l’estrema arbitrarietà del procedimento di costruzione di questi indici, sarà in questo frangente ancor più importante che il ricercatore espliciti il percorso utilizzato in maniera particolarizzata, attraverso una dettagliata “definizione operativa”, vale a dire le regole che abbiamo seguito per misurare questi concetti con alto livello di astrazione.

Paolo Natale

estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

, ,

Dieci buoni motivi per non credere (troppo) ai sondaggi – 5. Errore di campionamento

8 Luglio 2022 - di Paolo Natale

In primo pianoSocietà

È un tipo di errore insopprimibile in tutti i sondaggi basati su campioni probabilistici (dove cioè tutti hanno la medesima probabilità di essere estratti), per il semplice fatto che intervistando un numero limitato di individui (ad esempio, un migliaio di elettori) non avremo mai la certezza che i risultati siano effettivamente generalizzabili a tutta la popolazione (elettorale). Sinteticamente, può essere definito come una sorta di “fascia di indeterminatezza” (chiamata in termini statistici “intervallo di confidenza”) entro la quale oscillano i risultati, ottenuti da qualsiasi indagine campionaria, se vogliamo da questi risalire a stime dell’universo. Conoscendo la numerosità campionaria di una rilevazione demoscopica, possiamo automaticamente calcolare la misura dell’errore di campionamento, utilizzando apposite tavole basate su specifici teoremi statistici. L’ampiezza dell’errore di campionamento è strettamente correlata con due elementi: la numerosità campionaria e l’omogeneità dei risultati ottenuti. Vediamo come.

Se da un sondaggio di 1000 casi rileviamo ad esempio che James Joyce è conosciuto dal 15% degli italiani intervistati, è possibile affermare (con una probabilità data di non sbagliare) che il livello di conoscenza dello scrittore è compreso tra il 13% e il 17% dell’universo di riferimento. Se intervistiamo 2000 persone, cioè il doppio, ottenendo supponiamo il medesimo risultato (il 15%), il margine di errore si restringe: possiamo in questo secondo caso affermare cioè che il livello di conoscenza di Joyce è compreso tra il 14% e il 16%. A parità di metodo di rilevazione, per migliorare la precisione delle stime campionarie occorre dunque aumentare l’ampiezza del campione; al crescere del numero dei casi, diminuisce infatti parallelamente l’errore di campionamento.

Veniamo al secondo elemento che determina l’ampiezza dell’errore, cioè il livello di omogeneità delle risposte fornite dagli intervistati (misurabile attraverso il calcolo della “varianza” di una variabile). Se chiediamo ad un campione di 1000 individui la loro opinione su Papa Francesco ed il 99% ne dà un giudizio “ottimo”, l’errore di campionamento per questa risposta sarà uguale a 0,3%; se chiediamo al medesimo campione l’opinione sul Presidente Mattarella e soltanto il 50% ne dà un giudizio “ottimo”, l’errore di campionamento per questa risposta sarà invece più alto, pari al 3,1%. Perché? Perché più le risposte sono omogenee (cioè più è bassa la varianza), più siamo sicuri di non commettere un errore molto ampio nello stimare l’universo, vale a dire nello stimare le risposte di tutti coloro che non abbiamo effettivamente intervistato.

Per chiarire meglio, pensiamo a due amici (Federer e Nadal) che giocano a tennis da anni l’uno contro l’altro. Se nei 1000 incontri giocati tra loro ha vinto 990 volte Federer, avremo molte più probabilità di estrarre a caso, da quei 1000, un incontro dove lui ha vinto, di quante ne avremmo se nei 1000 incontri avessero vinto 500 volte a testa. L’incertezza del risultato (e la disomogeneità delle risposte, vale a dire un’elevata varianza) determina quindi un aumento dell’incertezza delle stime, vale a dire un maggior margine di “imprecisione” quando si vuole estendere la stima campionaria alla popolazione.

In questo caso il ricercatore, se già aveva utilizzato il miglior sistema di campionamento possibile, nulla può fare per diminuire l’errore campionario, non potendo sapere ovviamente in anticipo il livello di omogeneità delle risposte che otterrà. L’unico elemento cui potrà attingere, per stabilire la miglior numerosità campionaria, sarà l’analisi di precedenti indagini sullo stesso tema. Sempre che ve ne siano.

Paolo Natale

*estratto del volume “Sondaggi”, in uscita nel prossimo autunno presso Laterza

,
image_print
1 … 53 54 55 56 57 … 121

PAROLE CHIAVE

Newsletter

VUOI CHE TI AVVISIAMO QUANDO PUBBLICHIAMO QUALCOSA DI NUOVO?

© Copyright Fondazione Hume - Tutti i diritti riservati - Privacy Policy