Automazione e perdita di controllo

Ha suscitato una viva impressione il disastro aereo del Boeing 737 dell’aviazione etiope, che è costato la vita a 157 persone. Impressione, certo, perché un disastro aereo fa sempre impressione. Ma impressione anche per altri motivi. In Europa occidentale non siamo più abituati ai disastri aerei (l’ultimo risale a 11 anni fa, in Spagna). La compagnia produttrice dell’aereo, l’americana Boeing, è il più grande produttore di aerei civili del mondo. E poi, soprattutto, le cause presunte del disastro: la ipotesi più accreditata è che il disastro, in questo caso come in un altro di pochi mesi fa in Indonesia, sia stato provocato da un difetto di un sottosistema di controllo automatico (software) della stabilità e correttezza dell’assetto del velivolo, che sarebbe entrato in conflitto con il sistema di guida manuale, ovvero con i tentativi del pilota (essere umano) di correggere gli ordini del “software”.
Sapremo, forse, come sono andate le cose, solo quando i tecnici avranno recuperato e analizzato i dati della scatola nera, nonché raccolto tutte le altre informazioni necessarie per tentare una ricostruzione attendibile di quel che è successo. Fin da ora, però, c’è una cosa che possiamo registrare: l’ipotesi di un disastro dovuto a una cattiva interazione fra operatore umano e software è considerata verosimile. Anche se si scoprisse che la causa è stata tutt’altra (la meno accreditata: un attentato) resterebbe il fatto che le cose potrebbero essere andate così, e comunque quasi sicuramente sono andate più o meno così in un precedente disastro, sempre con un Boeing 737, avvenuto pochi mesi fa in Indonesia (in quel caso con 189 vittime).
Di fronte a questa eventualità, e cioè che sia stata una cattiva interazione fra operatore umano e procedure automatiche a causare il disastro, possiamo naturalmente liquidare la questione (qualcuno lo ha già fatto) notando che sono molto più numerosi i casi in cui la tecnologia evita i disastri che quelli in cui li provoca. Possiamo anche spingerci ad accusare di luddismo, o di avversione irrazionale al progresso, quanti segnalano i rischi talora connessi all’interazione uomo-macchina. Ma sarebbe saggio?
A mio parere no. Perché se è vero che ci sono innumerevoli situazioni in cui la cooperazione fra operatori umani e supporti tecnologici più o meno automatici funziona perfettamente, è altrettanto vero che ci sono ambiti nei quali le cose sono assai più problematiche.
Alcuni di tali ambiti sono apparentemente innocenti. Se lascio libero il correttore automatico di infierire sull’articolo che sto scrivendo, posso star sicuro che la parola Pasolini verrà sostituita con ‘pisolini’, e hackeraggio con ‘shakeraggio’. Se messaggio distrattamente con il telefonino, dovrò vigilare perché la mia firma (ricolfi) non diventi ‘rivolgi’.
Ma prendete un caso più serio. Se programmo in un certo linguaggio, e uso un editor amichevole (cioè rivolto a un utente ignorante), non è infrequente che il programma mi suggerisca, e talora mi imponga, che cosa scrivere dopo una certa istruzione. O mi avverta continuamente che non ho completato una espressione, o che ho commesso un errore di sintassi. Questi interventi sono quasi sempre fastidiosi, e non di rado dannosi (perché devi perdere tempo a scovare dove il software ha messo le sue parole al posto delle tue). Ma soprattutto sono rischiosi, perché attenuano la nostra vigilanza e le nostre capacità di attenzione: a forza di essere assistiti da un programma, diventiamo meno bravi a scrivere programmi complessi, che richiedono piena padronanza di una sequenza complicata di passaggi.
Andiamo oltre. Se apri il computer può capitare che il sistema operativo ti obblighi a interagire con una nuova risorsa (per esempio un assistente vocale), che tu non hai richiesto, né hai la minima intenzione di usare. Per non parlare di una qualsiasi, normalissima, visita a un sito internet. Prima di poter fare, finalmente, quello per cui ti sei recato colà, ecco una serie di perentorie richieste di interazione: approvi le nostre politiche sulla privacy? ci autorizzi a usare cookies, cioè a schedarti e pedinarti (naturalmente “per migliorare il servizio”)? vuoi accedere a quell’informazione (se sì devi registrarti)? ti piace quel che hai visto? perché non lasci un commento?
Fin qui, direte, è solo interazione molesta. Niente a che fare con il dramma dell’aereo precipitato. Può darsi, ma non ne sarei sicuro: in entrambi i casi, pur nell’enorme differenza fra una immane tragedia e uno sciame di seccature, c’è una sostanziale perdita di controllo dell’operatore umano, che può incontrare difficoltà ad affrancarsi dalla tutela del software, o può non esserne capace, o semplicemente può trovarsi nell’impossibilità di farlo perché il software non lo consente. Una perdita di controllo che può diventare insopportabile quando, a essere obbligati a interagire con il software (e spesso solo con il software), sono i disperati cittadini di fronte ai mostri burocratici che governano le reti elettriche, il gas, la telefonia, la previdenza, tutti enti divenuti ormai inaccessibili agli esseri umani, costretti a interagire a distanza, inviando mail cui, di norma, risponderà automaticamente un apposito software. Né oso immaginare che cosa potrà succedere quando, con Internet of things e le reti 5G, tutti saremo collegati con tutto, con conseguente moltiplicazione dei rischi e delle vulnerabilità, dai furti informatici agli hackeraggi ai black-out.
Ma dove la cooperazione fra software ed esseri umani sta assumendo i tratti più inquietanti è, probabilmente, nei due pilastri dello Stato sociale, ossia la sanità e l’istruzione. Qui proprio la disponibilità di supporti più o meno intelligenti, di dispositivi più o meno autonomi, spesso rischia di prosciugare le capacità di chi con essi deve interagire e cooperare. Accade così che strumenti nati per potenziare le prestazioni di operatori umani, in un primo momento migliorino il servizio, perché i rispettivi contributi si sommano, ma poi lo peggiorino, perché i contributi si sottraggono: l’operatore umano rinuncia a sapere quel che presume possa sapere al posto suo il software cui lui si affida.
Non sarebbe grave, se si trattasse solo di taxisti che, a navigatore spento, non ti sanno portare da nessuna parte, o di automobilisti che non sono in grado di cambiare una ruota dell’auto perché non c’è campo, e quindi non possono chiedere a Google come si fa (così in The mule, ultimo film di Clint Eastwood). Ma il problema si fa serio quando un professore non è in grado di tenere due ore di lezione senza una montagna di slide. O quando un medico non è in grado di fare una visita clinica, o di formulare una diagnosi senza una caterva di esami strumentali.
In questi casi il mito dell’interazione uomo-macchina perde un po’ del suo smalto, perché rivela quel che essa in realtà è: nient’altro che un Giano bifronte, come la maggior parte delle conquiste dell’umanità.

Articolo pubblicato su Il Messaggero del 17 marzo 2019