Nella notte del 1° giugno 2009, un Airbus A330 dell'Air France, il volo 447, attraversava l'Atlantico tra Rio e Parigi. A undicimila metri, dentro un fronte temporalesco equatoriale, i tubi di Pitot che misurano la velocità dell'aria si otturarono di ghiaccio per meno di un minuto. Bastò. Le indicazioni di velocità diventarono incoerenti, il pilota automatico si disinserì come da progetto e restituì i comandi ai piloti. Da quel momento all'impatto sull'oceano passarono quattro minuti e ventitré secondi. Morirono tutte le 228 persone a bordo.

L'aereo non aveva un guasto. I motori giravano, la fusoliera era integra. Mancava una cosa sola: un pilota abituato a volare a quell'altitudine con le proprie mani. Il primo ufficiale ai comandi, colto di sorpresa, tirò su il muso invece di abbassarlo, l'aereo perse portanza ed entrò in stallo. L'allarme suonò per decine di secondi. Nessuno dei tre in cabina capì davvero cosa stesse succedendo, e l'aereo rimase in stallo per l'intera caduta. Il report della BEA, l'autorità francese che indagò per tre anni, lo scrisse quasi con imbarazzo: quell'equipaggio non era stato addestrato a pilotare a mano in quelle condizioni, perché su un aereo moderno non capita quasi mai di doverlo fare.

Questa dinamica ha un nome che gli diede 1983 una psicologa inglese, Lisanne Bainbridge, la quale la descrisse in un saggio di quattro pagine intitolato Ironie dell'automazione, scritto sull'onda del disastro nucleare di Three Mile Island. Il ragionamento è semplice e scomodo. Quando automatizzi quasi tutto un lavoro, ma non tutto, all'operatore umano resta un compito solo: sorvegliare la macchina e intervenire quando la macchina non ce la fa. Solo che quel momento, se il sistema è buono, arriva di rado. E più arriva di rado, meno l'operatore resta in esercizio. Così, nell'istante che conta, quando l'automazione cede e tocca a lui, si ritrova a fare la cosa più difficile che ci sia dopo mesi che non la fa. Non gli serve meno preparazione. Gliene serve di più.

C'è una seconda ironia dentro la prima, e riguarda il tipo di lavoro che avanza. La macchina si prende le parti attive, quelle in cui uno impara e tiene la mano allenata. All'umano lascia la sorveglianza: stare a fissare per ore uno schermo che va bene da solo, pronto a scattare nell'unico minuto in cui non andrà. Sorvegliare qualcosa che funziona è forse la cosa che sappiamo fare peggio. Ci si annoia, ci si fida, l'attenzione scivola via. Poi il minuto arriva.

Verrebbe da pensare che basti tenere una persona competente accanto alla macchina. È la formula che sentiamo ripetere ogni volta che si parla di AI: l'umano nel circuito, human in the loop. Ma nel 2010 Raja Parasuraman e Dietrich Manzey hanno passato in rassegna vent'anni di studi sulla compiacenza da automazione, la tendenza a fidarsi troppo di un sistema che di solito ci azzecca. Hanno trovato due cose. La prima: la compiacenza colpisce allo stesso modo principianti ed esperti, non è questione di bravura. La seconda: non si corregge né con l'esercizio né dicendo alle persone di stare più attente. Mettere un umano competente a controllare non serve a molto, se il compito che gli affidi è precisamente quello in cui gli esseri umani rendono peggio.

Oggi questa scena è uscita dalle cabine di pilotaggio e sta un po' ovunque. Lo sviluppatore che dovrebbe rivedere il codice generato da un assistente. Il medico che controfirma il referto proposto dall'algoritmo. L'analista che valida numeri prodotti in automatico. Se lo strumento ha ragione diciannove volte su venti, l'attenzione crolla da sola: nessuno resta vigile per settimane su qualcosa che sbaglia una volta al mese. E la ventesima volta passa liscia. Il controllo sulla carta resta, la vigilanza vera è già evaporata.

Poi c'è il logorio silenzioso della competenza, ed è qui che torna un tema che mi porto dietro da tempo: l'attrito. Automatizzare vuol dire togliere attrito, la fatica di fare le cose a mano, e quasi sempre conviene. Ma quella fatica faceva anche un lavoro nascosto, teneva allenata la capacità di farle davvero. Toglila del tutto, e ti porti via pure quella. Quando affido all'AI l'esercizio ma tengo per me la responsabilità di correggerla, finisco per firmare cose che so fare sempre meno. È la posizione peggiore in cui si possa stare: rispondere di un lavoro che si è disimparato a fare.

Non lo scrivo per dire che l'automazione è un male. La uso, la trovo utile, non tornerei indietro. Lo scrivo perché il modo in cui la costruiamo è una scelta, e quasi sempre è una scelta comoda per chi la progetta. Automatizzare consente di tagliare le persone competenti e tenerne una sola, quella che mette la firma e che, se qualcosa va storto, si prende la colpa. Il volo Air France non è precipitato perché i piloti erano incapaci. È precipitato per come era stato disegnato il passaggio di consegne tra la macchina e loro: troppo brusco, troppo raro, in un momento troppo difficile. "Umano nel circuito" è facile da mettere in una slide. Tenere quell'umano sveglio e capace è un problema di progettazione che pochi hanno voglia di pagare.

Così, ogni volta che uno strumento si offre di fare il lavoro al posto mio, la domanda che mi porto dietro è una sola. Mi sta rendendo più capace, o mi sta soltanto lasciando la firma su qualcosa che tra un anno non saprò più fare da solo?