Nel progettare il controllo sull’intelligenza artificiale, l’essere umano chiamato a esercitarlo è la parte che diamo per scontata.

Del loop sappiamo tutto: architetture, soglie, ridondanze, protocolli di conferma, red-teaming, interpretabilità; è la parte che si lascia specificare, testare, certificare, disegnare in un diagramma.

Dello human non sappiamo quasi nulla, e soprattutto non vogliamo saperlo, perché ammetterlo aprirebbe la questione che il loop serve a tenere chiusa.

Lo trattiamo come una costante: assumiamo che ci sia, che sia sveglio, competente, motivato, libero di giudicare, disposto a esporsi.

Ma nessuna di queste cose è data.

Come viene formato e scelto, con quali fini, quali libertà, quali responsabilità? Sono il risultato di un’educazione, di un’organizzazione, di incentivi, di rapporti di potere; l’umano che entra nel loop è già stato formato da qualcosa, spesso da ciò che il loop doveva controllare. Da Petrov al flash crash, la questione è conservare la capacità di comprendere, governare e cambiare il processo, mentre le organizzazioni rischiano di premiare l’obbedienza e consumare il giudizio.

Il Coraggio di dire no.

La notte del 26 settembre 1983, nel centro di allerta sovietico di Serpuchov-15, il sistema satellitare segnala un missile partito dagli Stati Uniti. Poi altri quattro. L’ufficiale di turno si chiama Stanislav Petrov. Deve stabilire quanto sia attendibile l’allarme e riferire ai superiori. Il segnale è già entrato nella catena di comando; dalla sua valutazione dipende il significato che gli verrà attribuito.

Cinque missili gli sembrano troppo pochi per un primo attacco americano su vasta scala. Conosce inoltre le debolezze di un apparato ancora giovane. Fra ciò che il sistema segnala e ciò che gli pare plausibile si apre una distanza, ma deve decidere prima di poter ottenere una conferma conclusiva. Petrov dice che l’allarme è falso. Avrà ragione. Il sole, i satelliti e certe nuvole alte si erano disposti in una geometria rara, e il sistema aveva scambiato un riflesso per un lancio.[1]

Noi leggiamo questa storia conoscendone la fine, e la fine è una lente che rimpicciolisce tutto il resto. Lui doveva giudicare mentre entrambe le possibilità erano ancora aperte. Il coraggio sta qui: sostenere una valutazione di cui avrebbe dovuto rispondere se fosse risultata sbagliata. La certezza, quando arriva, tende a cancellare il rischio che qualcuno si è assunto prima di averla.

Petrov raccontò nel 2004 che gli avevano prospettato una decorazione, e che poi lo avevano rimproverato per non aver compilato il registro operativo durante l’allarme. Aveva il telefono in una mano e l’interfono nell’altra; gli mancava una terza mano per la burocrazia. Premiarlo, osservava, avrebbe voluto dire chiamare a rispondere anche chi il sistema l’aveva disegnato.[1]

La storia ci riguarda ogni volta che affidiamo a un sistema tecnico il compito di trasformare una descrizione in una decisione. Fra le due cose c’è un passaggio che l’efficienza invita ad accorciare: chiedersi se la descrizione sia adeguata alla situazione e se la risposta prevista conservi il senso per cui era stata predisposta. Petrov interviene lì. Riapre una premessa da cui dipende tutto ciò che potrebbe seguire.

Proviamo a immaginare, al posto di Petrov, un’intelligenza artificiale incaricata di ottimizzare la risposta difensiva. L’allarme sarebbe un trigger event, un evento che attiva una procedura. Questa potrebbe comprendere controlli incrociati, richieste di conferma e valutazioni dell’attendibilità. Le verifiche opererebbero entro i modelli e i criteri con cui è stata delimitata la situazione da affrontare, comprese le anomalie e le eccezioni che quei modelli consentono di riconoscere.

Superati i controlli, l’attacco diventerebbe una premessa. Ma una catena di verifiche, per quanto rigorosa, può confermare una rappresentazione sbagliata quando la situazione è più larga delle ipotesi che la reggono. La procedura esaurisce i propri dubbi; restano i dubbi sulla procedura. Il giudizio, a quel punto, investe il rapporto fra il segnale, i criteri con cui lo si legge e il mondo a cui dovrebbe riferirsi. Petrov si assume la responsabilità di tenere aperto quel rapporto. Un sistema che lo consideri chiuso può impiegare tutta la propria intelligenza per accelerare una risposta capace di distruggere ciò che doveva proteggere.

Il rischio che mi interessa è questo: che l’automazione renda sempre più efficace una direzione mentre consuma la facoltà di cambiarla. Si affidano alle persone le eccezioni dopo averle allenate a confermare; si pretende responsabilità da chi ha perso la possibilità di incidere. Conservare quella possibilità è una questione di progetto e di organizzazione: riguarda chi stabilisce fini e incentivi, chi è ammesso a discuterli e chi può modificarli.

Il funzionamento come fine

Nell’intervista allo Spiegel del 1966, pubblicata dieci anni dopo, Heidegger viene messo di fronte all’evidenza del successo: la produzione cresce, si costruiscono centrali, il benessere aumenta. Che cosa manca? La risposta comincia con due parole che potrebbero essere un elogio: «Tutto funziona». E proprio lì sta l’inquietudine, perché «il funzionare spinge sempre oltre verso un ulteriore funzionare».[2] Il risultato tecnico può diventare la ragione sufficiente della propria prosecuzione. A ogni problema si risponde con più capacità di operare, finché la domanda su ciò che vale la pena perseguire non suona più come una domanda, ma come un rumore.

L’intelligenza artificiale può dare a questa dinamica una potenza nuova. Una funzione obiettivo traduce in un criterio matematico ciò che il sistema deve ottimizzare. Per formularla bisogna scegliere alcuni aspetti del mondo, assegnare loro un peso, rendere confrontabili conseguenze diverse. La scelta contiene già un giudizio; l’ottimizzazione ne sviluppa le conseguenze, e quanto più è efficace tanto più incide la decisione iniziale su che cosa meritasse di essere ottenuto. La precisione nell’eseguire una decisione lascia intatta la domanda sulla sua giustificazione, come un orologio perfetto non dice nulla sull’ora in cui conviene alzarsi.

Ogni procedura tratta situazioni diverse come se fossero la stessa, sotto certi aspetti. È una riduzione preziosa: permette di coordinare, di tramandare, di non ricominciare ogni volta da capo. La sua validità dipende però da ciò che ha lasciato fuori. Le differenze trascurate devono restare irrilevanti; quando una di esse diventa decisiva, l’eccezione mette sotto accusa il criterio che l’aveva resa invisibile, e applicare meglio la regola significa sbagliare con più cura.

Il 4 novembre 2010, sul volo Qantas 32, il cedimento di un motore danneggia diversi sistemi dell’Airbus A380. In cabina si susseguono gli allarmi, fra cui quelli relativi allo squilibrio del carburante. I piloti però vedono una perdita e temono che le condotte per il trasferimento siano danneggiate. Decidono di non eseguire alcune delle azioni indicate dal sistema, accettano uno squilibrio che arriverà a quasi dieci tonnellate e riportano l’aereo a Singapore.[3]

La procedura affrontava un problema riconoscibile: carburante distribuito in modo diseguale. L’equipaggio doveva giudicarla alla luce di un aereo che non era più quello per cui era stata scritta. Una manovra sensata in un impianto integro poteva diventare mortale in uno danneggiato. La sicurezza restava lo scopo, ma il suo significato andava ricostruito lì, in quei minuti. In quella decisione l’esperienza tornava a discutere con la generalizzazione da cui l’istruzione era nata.

Le organizzazioni affidano continuamente risultati intermedi a uffici, persone, sistemi. Ogni passaggio può essere corretto secondo il proprio criterio mentre l’insieme perde il filo del fine. Se la responsabilità di ciascuno si esaurisce nel compito, quella perdita può restare senza responsabile anche quando tutti sono stati diligenti. L’obbedienza al mandato diventa un esonero dal giudizio. Ciò che permette al processo di funzionare regolarmente può impedirgli di riconoscere le ragioni per fermarsi.

La catastrofe come prestazione

Nel Dottor Stranamore di Kubrick, del 1964, l’ordigno sovietico destinato alla rappresaglia è costruito per scattare da solo; persino il tentativo di disinnescarlo lo fa esplodere. Stranamore spiega che l’irrevocabilità rende credibile la minaccia. La possibilità che qualcuno cambi idea è stata eliminata dal progetto come un difetto.[4] È una scelta portata all’estremo: garantire l’esecuzione futura sottraendola al giudizio che quella situazione potrebbe chiedere.

Il maggiore Kong mostra l’altra metà del problema. Quando i portelli del bombardiere non si aprono, scende lui stesso fra i cavi, li ripara, e l’ordigno cade.[4] L’inventiva umana aggiusta ciò che avrebbe impedito la catastrofe. Kong impiega coraggio e competenza per completare la missione; Petrov li impiega per mettere in dubbio la premessa della risposta. La capacità di superare gli ostacoli può servire anche a rendere inesorabile un compito sbagliato.

Per questo l’autonomia concessa nell’esecuzione dice ancora poco sulla libertà di giudizio. Un’organizzazione può chiedere iniziativa a ogni livello e tenere i propri fini sotto chiave. Anche la creatività diventa una risorsa del funzionamento quando le è permesso soltanto trovare un modo migliore per proseguire. Il dissenso è gradito finché propone mezzi; diventa insubordinazione quando tocca la destinazione.

Governare un sistema richiede allora di comprenderne le premesse, ricostruire i rapporti fra le parti, valutarne le conseguenze e poterlo modificare. Il potere di arrestarlo acquista senso soltanto dentro questa capacità. Un pulsante accessibile a chi non capisce ciò che sta accadendo, o non può permettersi di premerlo, offre un potere soltanto nominale. Il tempo del giudizio, l’accesso alle informazioni e l’autorità di intervenire sono parti del progetto quanto la velocità e l’affidabilità dell’esecuzione.

Cinque secondi per fermarsi

A Chicago, il 6 maggio 2010, questa difficoltà prende la velocità degli scambi elettronici. Durante il flash crash, un algoritmo incaricato di vendere 75.000 contratti futures E-mini S&P 500 regola il proprio ritmo sul 9 per cento del volume scambiato nel minuto precedente, senza considerare prezzo e tempo. Gli operatori ad alta frequenza comprano e rivendono rapidamente gli stessi contratti, aumentando il volume. L’algoritmo interpreta quell’aumento come una ragione per accelerare le vendite, mentre la liquidità disponibile si assottiglia.[5]

Ogni decisione modifica le condizioni in cui le altre vengono prese. Ciò che un algoritmo produce è il dato a cui un altro reagisce; la reazione del secondo cambia il contesto in cui il primo decide ancora. Quando queste repliche si concatenano sulla scala dei millisecondi, la velocità moltiplica gli effetti di ogni scelta e restringe l’intervallo in cui qualcuno potrebbe pesarli. L’efficienza locale può alimentare una destabilizzazione collettiva: ognuno insegue il proprio risultato in un ambiente che tutti insieme stanno trasformando, senza che dall’interazione emerga qualcuno che risponda dell’insieme.

Anche i controlli partecipano a questa dinamica. Il rapporto SEC-CFTC rileva che alcuni operatori, raggiunte le proprie soglie di rischio, limitarono o sospesero l’attività, sottraendo liquidità al mercato.[5] Proteggere la singola posizione peggiorava le condizioni comuni. Il controllo era fedele al rischio che gli era stato affidato; le sue conseguenze uscivano da quel perimetro. Sommare controlli locali lascia aperta la domanda su chi risponda dei loro effetti congiunti.

Alle 13:45:28 di Chicago lo Stop Logic del Chicago Mercantile Exchange sospende gli scambi sull’E-mini per cinque secondi. Cinque secondi: il tempo di un respiro. La pressione delle vendite si allenta, qualcuno torna a comprare; alla ripresa i prezzi si assestano e cominciano a risalire.[5]

Quella pausa conteneva una comprensione del problema. Il dispositivo era stato progettato contro le cascate di ordini stop in condizioni di liquidità scarsa: oltre certe soglie smetteva di abbinare gli ordini e lasciava ai partecipanti il tempo di immetterne di nuovi.[6] Chi aveva scritto quella regola aveva deciso che la continuità delle esecuzioni valesse meno della conservazione delle condizioni dello scambio. La responsabilità umana aveva preso la forma di un automatismo capace di intervenire alla velocità necessaria. Il criterio del fermarsi veniva da un giudizio sul mercato intero.

Qui il confronto con Petrov raggiunge il punto decisivo. Il mandato di un algoritmo di trading delimita ciò che deve perseguire, i rischi di cui tenere conto, le condizioni in cui arrestarsi. Si possono allargare questi modelli, includervi gli effetti sistemici, aggiungere controlli: ogni allargamento è una nuova selezione di ciò che si è saputo prevedere. Petrov invece prende su di sé il compito di valutare se il segnale e il processo di risposta abbiano ancora senso nella situazione concreta. Il suo giudizio incide su ciò che l’apparato sta per fare e lo espone alle conseguenze. Il trader automatico e lo Stop Logic eseguono mandati diversi; la responsabilità di stabilirli, giustificarli e rivederli resta su chi progetta e governa.

Il flash crash mostra quanto in fretta una scelta inadeguata possa propagarsi attraverso altre decisioni, anche quando ogni passaggio rispetta il proprio criterio. Il danno può nascere dalla composizione delle esecuzioni, anche quando i singoli processi continuano a svolgere i compiti assegnati. Aumentare la velocità comprime l’intervallo fra la decisione e conseguenze che altri automatismi hanno già raccolto e amplificato. Nei sistemi da cui dipendono vite umane, quell’intervallo può separare un errore correggibile da una catastrofe. La possibilità di agire come Petrov deve allora stare nell’architettura: nei tempi lasciati al giudizio, nell’autorità di interrompere, nella capacità di rimettere in discussione il mandato. Quando l’accelerazione consuma questi spazi, la presenza umana resta nominale proprio nell’istante in cui dovrebbe contare.

Quando le macchine leggono altre macchine

La stessa questione attraversa le infrastrutture digitali. Una macchina produce un log, cioè una registrazione selettiva delle proprie attività; un’altra lo interpreta e agisce; l’azione genera nuovi segnali su cui reagiscono altri sistemi. Ogni passaggio riceve una rappresentazione costruita da quello precedente. Un’informazione esclusa dalla registrazione può restare fuori anche dalla decisione successiva.

Nel 2015, in Hidden Technical Debt in Machine Learning Systems, D. Sculley e i suoi coautori descrivono sistemi che usano le predizioni di altri modelli, scritte in file o log, attraverso dipendenze non dichiarate. Una modifica nel produttore può danneggiare i sistemi che ne utilizzano gli esiti. Descrivono anche circuiti di retroazione nascosti: due sistemi che si influenzano attraverso le trasformazioni che provocano nel mondo, come può accadere ai modelli finanziari di imprese diverse.[7] La dipendenza si estende oltre ciò che ciascun progettista vede e governa.

La selezione contenuta nei registri ha conseguenze verificabili. In uno studio del 2012 su 250 guasti in cinque grandi sistemi software, Ding Yuan e colleghi trovano che più della metà non era diagnosticabile adeguatamente con i log disponibili.[8] Leggere più in fretta ciò che è stato scritto non rimedia a ciò che non è stato scritto. Bisogna tornare sulla scelta di che cosa osservare.

Un caso descritto nel 2017 da Peng Huang e colleghi mostra come la correzione automatica possa propagare il danno che dovrebbe curare. In Azure Storage, un errore nel riferire le risorse nascondeva la carenza di capacità di un server. Il gestore continuava a inviargli scritture; il server si bloccava e si riavviava, senza risolvere la causa. Dopo ripetuti riavvii veniva escluso dal servizio. Insieme a una particolarità della replica, l’esclusione riduceva la capacità disponibile e caricava gli altri server, che a loro volta cominciavano a cadere.[9] La procedura di recupero era parte della crisi che avrebbe dovuto risolvere.

I modelli linguistici possono allungare questi circuiti fino alla diagnosi e alla scelta delle azioni. Il prototipo presentato nel 2024 in The Vision of Autonomic Computing: Can LLMs Make It a Reality? affida ad agenti basati su LLM il monitoraggio e la gestione di un’applicazione a microservizi.[10] Il campo si amplia: alle regole prefissate si aggiunge l’interpretazione delle informazioni e la formulazione di piani. Cresce, nello stesso tempo, l’importanza di sapere da dove viene ogni segnale, di rendere visibili le dipendenze, di poter ricostruire che cosa un’azione ha prodotto.

Il problema politico comincia quando questa rete di letture viene trattata come autosufficiente. Un controllo può confermare l’esito di un altro perché ne eredita la stessa esclusione. Ogni giro aggiunge operazioni senza restituire accesso a ciò che è rimasto fuori. Il sistema allargato deve conservare un rapporto con le persone e con le situazioni su cui agisce: qualcuno deve poter portare dentro una ragione che i registri non contengono, e darle efficacia. Quando ogni verifica eredita quelle esclusioni, aumentare i controlli rende più fitta la conferma delle stesse premesse.

La lealtà al comando

Petrov contribuì a scongiurare una possibile catastrofe nucleare, ma quel gesto non gli valse alcuna decorazione da parte dell’apparato che serviva. Lasciò l’esercito da tenente colonnello; nel 2004 ricordava anche la promozione mancata al congedo, che descriveva come una consuetudine. Spiegava il premio mancato con una contraddizione interna: riconoscere il suo merito avrebbe voluto dire chiamare a rispondere chi aveva progettato il sistema.[1] Un’organizzazione può aver bisogno del giudizio autonomo per sopravvivere e, insieme, trovare intollerabile ciò che quel giudizio rivela su di lei.

Poco prima che gli investitori prendessero il controllo della mia precedente società, uno di loro ci raccontò un apologo. Un amministratore delegato aveva evitato all’azienda perdite ingenti disobbedendo alle direttive e a ciò che i numeri sembravano dire. In un altro paese, un secondo amministratore aveva seguito le istruzioni e perso molto denaro. Il primo era stato licenziato; il secondo promosso. La morale, ci disse, era che lealtà e affidabilità vengono prima della capacità.

Nella logica di quell’apologo, l’affidabilità coincideva con la prevedibilità dell’obbedienza. Il dirigente capace di vedere l’errore e agire era inaffidabile proprio perché il suo giudizio poteva prevalere sull’ordine. L’altro aveva preservato il rapporto di comando anche attraverso il danno. Premi e punizioni rendevano visibile la gerarchia vera dei fini: il risultato aziendale veniva dopo la certezza che la decisione degli investitori sarebbe stata eseguita.

Il mancato riconoscimento di Petrov e il licenziamento dell’apologo mostrano la stessa cosa da due lati: la tutela dell’apparato può prevalere sul fine dichiarato. Chi preserva lo scopo con un giudizio autonomo diventa scomodo perché rende visibile l’insufficienza delle istruzioni. Se il suo gesto resta senza riconoscimento, o viene punito, l’organizzazione insegna che l’obbedienza protegge e la responsabilità no.

Una regola così seleziona le persone e forma chi resta. Insegna che deviare può costare la posizione, mentre eseguire un ordine sbagliato può salvarla. L’organizzazione allontana chi sa incidere e abitua gli altri a non provarci. La perdita delle competenze necessarie all’imprevisto si produce anche così: attraverso le carriere, gli incentivi, la definizione stessa di persona affidabile.

Hannah Arendt, riflettendo sulla banalità del male, tocca proprio questo cedimento. Nel suo resoconto del processo a Eichmann, il riparo nella funzione svolta non alleggerisce la responsabilità di chi agisce; negli scritti successivi sul pensiero morale distingue l’intelligenza dalla capacità di esaminare ciò che si sta facendo. Si può essere abili nell’esecuzione e sordi alla domanda sul senso. Il giudizio è la facoltà di valutare un caso particolare senza ridurlo a una regola appresa.[11] Petrov la esercita e le dà efficacia: la sua valutazione cambia la risposta all’allarme. L’apologo degli amministratori mostra come la rinuncia a esercitarla possa diventare una condizione di carriera. L’organizzazione forma persone capaci di perseguire un fine e disincentivate a metterlo in discussione.

Quando arriva la situazione che le istruzioni non avevano previsto, si chiede iniziativa a persone scelte per la loro subordinazione. Il processo può aver espulso la capacità da cui dipende la sua salvezza. Un’AI introdotta per rendere più efficiente questa organizzazione può consolidarne la selezione: l’ottimizzazione eredita anche la gerarchia dei fini in cui l’obbedienza era stata resa più conveniente della responsabilità.

Le scelte dentro i dati

L’invito a «parlare di fatti» nasconde spesso uno scambio: ciò che accade viene fatto coincidere con ciò che il nostro apparato riesce a registrare. Ma ogni misura è una scelta di variabili, di categorie, di scale, di tempi. Una persona può soffrire senza che l’indicatore se ne accorga; un processo può perdere senso continuando a migliorare il proprio punteggio. La traccia misurata è una conoscenza parziale di ciò a cui si riferisce.

Nei capitoli iniziali di The Ghost in the Machine, Arthur Koestler attacca il «ratomorfismo»: l’estensione all’uomo di schemi ricavati da ratti e piccioni, fino a espellere dalla spiegazione ciò che quei modelli non sanno contenere. Il bersaglio comprende Skinner e la pretesa di spiegare linguaggio e creatività con quell’armamentario. Koestler individua il passaggio decisivo nella trasformazione di un’esclusione di metodo in una negazione di esistenza: ciò che non entra nel metodo viene trattato come se non appartenesse alla realtà.[12]

Skinner include nell’analisi il pensiero e gli eventi privati, ma li riconduce alla spiegazione naturalistica del comportamento e rifiuta una mente autonoma come origine dell’azione.[13] La disputa riguarda dunque lo statuto di ciò che si riconosce: quanta forza esplicativa si concede all’esperienza, all’intenzione, al giudizio. Quando una descrizione viene adottata per governare persone e organizzazioni, la scelta acquista conseguenze pratiche. Se il comportamento conforme è tutto ciò che conta, le ragioni di chi dissente appaiono soltanto come variabili da correggere.

Nella decisione di Petrov entrano la competenza tecnica, un’idea delle intenzioni dell’avversario, l’assunzione personale delle conseguenze. Il significato dell’atto eccede il punteggio di attendibilità dell’allarme. Ridurlo a una condotta difforme conserva l’informazione sullo scarto e perde la ragione per cui lo scarto era necessario. Un apparato può rilevare perfettamente la deviazione senza avere, nei propri criteri, un posto in cui riconoscerla come responsabile.

L’economia rende visibili le scelte che precedono una decisione data driven. Quando assumiamo un indicatore come guida dell’azione, diamo efficacia anche alla visione del mondo con cui è stato costruito. Le scelte di ieri continuano a operare sotto la forma impersonale di un numero.

Il PIL misura la produzione di beni e servizi entro un perimetro contabile definito. Eurostat ricorda che lascia fuori gran parte del lavoro domestico non retribuito e che è una misura incompleta del benessere economico.[14] Assumerne la crescita come criterio dominante del successo collettivo aggiunge una decisione sui fini alla decisione su che cosa misurare. Un’attività indispensabile alla vita può restare fuori dal conto; se il conto decide le priorità, la sua esclusione produce effetti. La misura della produzione viene investita del potere di dire a una società che cosa sia il progresso.

Nei vincoli di bilancio la scelta prende una forma normativa esplicita. Il quadro europeo riformato nel 2024 conserva il valore di riferimento del 3 per cento per il rapporto deficit/PIL, dentro un sistema di percorsi pluriennali di spesa e clausole di salvaguardia.[15] Il rapporto osservato descrive una situazione secondo regole contabili; la soglia, i tempi di aggiustamento e le deroghe stabiliscono come intervenire. Il loro insieme esprime un giudizio sul rapporto fra stabilità, investimenti, rischi e priorità collettive. Quando quel giudizio viene presentato come una necessità dettata dai dati, la decisione politica scompare dentro l’adempimento tecnico.

Un sistema incaricato di ottimizzare le politiche entro questi criteri può rafforzarne l’autorità a ogni esecuzione. Le alternative vengono selezionate per conformità alla rappresentazione scelta; nel tempo si esercitano soprattutto le competenze che servono a rispettarla. Anche qui si può perdere la capacità di affrontare una crisi che ne smentisca le premesse, e quella di progettare un’economia diversa. Rispondere delle decisioni richiede di poter incidere sulle categorie, sugli obiettivi e sulle regole attraverso cui i dati diventano azione.

Anche i pregiudizi possono seguire questa strada. Nel 2019 Ziad Obermeyer e colleghi analizzano un algoritmo usato negli Stati Uniti per individuare pazienti a cui offrire assistenza aggiuntiva. A parità di punteggio, i pazienti neri risultano più malati dei bianchi. Il sistema prevedeva la spesa sanitaria e la usava come indicatore del bisogno. Ma la disuguaglianza nell’accesso alle cure faceva sì che per i pazienti neri si spendesse meno, e la minore spesa veniva letta come minore bisogno.[16]

Il sistema poteva prevedere benissimo la spesa e assegnare malissimo la priorità. Il pregiudizio stava nell’equivalenza fra ciò che si spende e ciò di cui si ha bisogno. Migliorare la previsione conservando quell’equivalenza avrebbe perfezionato l’applicazione del criterio storto. Per correggerlo occorreva restituire rilievo proprio a ciò che la misura aveva escluso: le ragioni per cui una persona malata riceve meno cure. L’ingiustizia diventava riconoscibile tornando sul significato del dato.

Un professionista che si fermi su quel paziente può impiegare più tempo, rallentare la selezione, contraddire il punteggio. Misurate sulla regolarità della procedura, sono inefficienze. Eppure aprono lo spazio in cui il caso può contestare il criterio. Se eliminiamo sistematicamente quello spazio, la distorsione acquista continuità e scala: ogni esecuzione ripete la stessa esclusione. Il guadagno di efficienza si paga con una minore possibilità di accorgersi di ciò che il processo sta facendo.

La ricerca sull’AI studia un problema affine sotto il nome di sovraottimizzazione. In un lavoro del 2023, Leo Gao, John Schulman e Jacob Hilton costruiscono un ambiente in cui un modello di ricompensa approssima un altro modello assunto come riferimento. Spingere l’ottimizzazione del primo può peggiorare il risultato valutato dal secondo.[17] Persino in questa situazione controllata, dove il riferimento è noto, un punteggio più alto può significare allontanarsi da ciò che il punteggio dovrebbe rappresentare.

Curare, educare, proteggere richiedono di interpretare il fine alla luce di ciò che accade alle persone e di intervenire quando le conseguenze contraddicono il senso del compito. Questo rapporto vive nel giudizio: riconoscere una differenza, prendere una decisione, verificarne gli effetti. Se l’organizzazione affida alle persone soltanto l’esecuzione e la conferma, consuma la capacità con cui potrebbe cambiare strada. Il processo diventa più efficiente mentre chi vi partecipa perde la presa sulla sua direzione.

Quando la regola diventa natura

La chiusura diventa più profonda quando un obiettivo comincia a produrre le condizioni che lo fanno sembrare necessario. Se un’organizzazione premia soltanto ciò che una certa misura registra, chi vi lavora impara a orientarsi verso quella misura. I dati successivi documentano l’adattamento; i risultati giustificano nuovi investimenti; le competenze si specializzano nel sentiero battuto. Il criterio si conferma attraverso il mondo che contribuisce a costruire. Il circuito può continuare a imparare come ottenere il risultato e perdere, nello stesso tempo, la capacità di interrogarlo. Ciò che resta fuori perde a poco a poco risorse, voce, possibilità di essere visto.

L’isteresi è la persistenza di una scelta nelle strutture che ha generato, anche quando le condizioni che l’avevano motivata sono cambiate. Chiamo nomofisi il passo ulteriore: la scelta acquista l’autorità di una necessità naturale. Abbiamo organizzato il mondo in un certo modo e cominciamo a trattare quell’organizzazione come una proprietà del mondo. Per modificarla si pretende allora una convenienza dimostrabile con i suoi stessi criteri. La misura diventa giudice delle ragioni che potrebbero contestarla.

L’AI può accelerare questa trasformazione rendendo sempre più produttivo il sentiero già aperto. Il vantaggio accumulato alza il costo di ogni alternativa; il costo crescente viene poi letto come prova che alternative ragionevoli non esistano. L’irreversibilità prende forma nella perdita delle condizioni per scegliere ancora: saperi dismessi, facoltà sottratte, dipendenze costruite, tempi del giudizio eliminati. Un criterio nato per servire una decisione finisce per decidere quali decisioni restino possibili.

La responsabilità di cambiare il compito

Progettare ciò che ancora non c’è richiede di riconoscere un’esigenza, immaginare una possibilità e costruire le condizioni per realizzarla. Risultato, mezzi e criteri prendono forma insieme. Un’esigenza trattata come marginale può diventare il centro del progetto; un vincolo dato per naturale può rivelarsi modificabile. Questa capacità si esercita intervenendo sulla definizione del problema e sperimentando percorsi che il processo corrente non sa ancora valutare. Se ogni proposta deve dimostrare in anticipo di essere migliore secondo la misura esistente, ammettiamo soltanto innovazioni che ne confermino il primato.

La deviazione apre una possibilità quando qualcuno accetta di sostenere una ragione a cui il processo nega valore. Può costare tempo, interrompere la produzione, comportare una perdita immediata. Il suo valore va argomentato attraverso ciò che rende visibile e perseguibile, assumendo anche il rischio di sbagliare. L’inefficienza può avere allora una funzione generativa: tiene praticabile una ricerca il cui esito, e talvolta il cui criterio di riuscita, devono ancora prendere forma. Pretenderne una garanzia preventiva significa richiudere il campo che si voleva aprire.

Un’AI può contribuire a questa ricerca: formulare obiezioni, confrontare obiettivi, proporre di rivedere un mandato. Le si può perfino affidare il compito di cercare i limiti del criterio corrente. La revisione diventa un’ulteriore capacità del sistema. Resta da assumere il vincolo che una decisione produce verso le persone coinvolte: accettarne le conseguenze, sostenerne le ragioni, rispondere di ciò che si è sacrificato. La macchina può elaborare anche le parole con cui giustifichiamo quel sacrificio. Pronunciarle come nostre ci impegna oltre la correttezza della loro forma.

Assumersi una responsabilità significa impegnarsi verso qualcuno per ciò che si decide, comprese le conseguenze che eccedono il compito. Chi risponde deve poter dire perché ha ritenuto giusto agire, sostenere le proprie ragioni davanti alle persone coinvolte e rivederle quando vengono meno. «Ho eseguito correttamente» descrive il rapporto con un’istruzione. Per giustificare un’azione bisogna poter discutere anche l’istruzione. La responsabilità comincia a svuotarsi nel momento in cui il mandato viene accettato come confine ultimo di ciò di cui siamo chiamati a rispondere.

La scrittura rende quotidiana questa assunzione. Posso affidare a un’intelligenza artificiale una parte anche ampia del lavoro su un testo. Mettendoci la firma, prendo su di me ciò che entra nello spazio pubblico: l’attendibilità delle fonti, la pertinenza dei richiami, gli argomenti scelti e i passi che portano alle conclusioni. Quella firma mi lega a chi legge e a chi può essere toccato da ciò che affermo. Devo poter difendere le ragioni di quanto ho scritto, comprenderne gli effetti, correggerlo quando una fonte viene smentita o un’inferenza si rivela debole. L’AI può aiutarmi anche in questo; il testo resta legato a qualcuno che accetta di risponderne nel tempo.

Una persona appartiene nello stesso momento a relazioni professionali, familiari, civili, affettive. Il compito occupa una parte della sua esistenza; le ragioni che possono impegnarla attraversano quella parte e la oltrepassano. Può sentirsi obbligata verso qualcuno che il mandato ignora e trovare in quell’obbligo una ragione per cambiare condotta. La coscienza rende possibile questo ritorno su ciò che si sta facendo: l’azione entra nell’esperienza di chi agisce e può trasformarne la comprensione, i fini, la volontà. La responsabilità prende consistenza in questa esposizione al mondo e agli altri.

L’essere umano oltre la funzione

Il Gestell, l’imposizione tecnica di cui parla Heidegger, coinvolge anche l’uomo: lo sollecita e lo dispone dentro un ordine di cui egli si illude di essere il padrone.[2] Una persona può restare presente in ogni passaggio e vedere sottratto, un po’ alla volta, il valore di tutto ciò che della sua esistenza eccede la prestazione richiesta. La sua esperienza vale finché migliora l’esecuzione; il suo dubbio è accolto se corregge uno scostamento; la sua volontà conta fra le opzioni già ammesse.

Il funzionamento organizza anche le capacità di chi vi partecipa. Quando l’iniziativa vale soltanto entro il percorso stabilito, la persona si esercita sempre meno nel riconoscere ragioni per uscirne, nel decidere come farlo e nell’assumere le conseguenze. Possiamo diventare ingranaggi sempre più competenti nell’esecuzione e sempre meno capaci di dare agli eventi una direzione diversa.

La firma mostra fin dove può arrivare questa sottrazione. Il nome resta disponibile per attribuire una decisione, mentre la facoltà di modificarne le premesse viene ritirata. A chi firma si chiede di rispondere di ciò su cui gli è impedito di incidere. La responsabilità diventa un dispositivo che permette al processo di proseguire e di trovare, alla fine, qualcuno a cui imputarne gli effetti.

La formula human in the loop lascia dunque aperte tre domande: quale essere umano, per fare che cosa, dentro quale circuito? Una persona scelta per obbedire, priva di esperienza diretta e autorizzata soltanto a confermare, è già un componente dell’automazione. In queste condizioni, la sua presenza serve a farla proseguire. Anche la possibilità di scegliere fra alcune alternative resta interna al funzionamento, se i criteri che le hanno generate sono sottratti al giudizio.

C’è qualcosa di sisifeo in un circuito che chiede di continuo di correggere, rilanciare, ottimizzare, lasciando intatta la direzione della fatica. Ogni insufficienza diventa una ragione per aggiungere funzionamento. La ricorsività tecnica prende la forma di una perseveranza istituzionale: anche gli effetti che dovrebbero far cambiare strada vengono trattati come richieste di maggiore efficienza. La persona occupata a risolvere il prossimo scostamento può perdere il tempo, e poi l’abitudine, di interrogare il percorso.

Il sistema allargato comprende un livello umano cosciente che partecipa alla costituzione del senso dell’intero processo. L’elemento umano è l’alfa e l’omega del ciclo ermeneutico: dalla vita delle persone nasce la domanda rivolta alla tecnica, e dentro quella vita gli esiti acquistano significato. Bisogni, relazioni e conflitti entrano nella definizione del compito; le sue conseguenze tornano a interrogarli. Questo livello comprende anche coloro su cui la decisione ricade e le cui ragioni possono essere state escluse dalla sua formulazione.

Questo ritorno può trasformare anche chi ha posto la domanda e ciò che decide di fare. Chi aveva chiesto una selezione più rapida può riconoscere, incontrandone gli esclusi, di aver formulato male il problema, e cambiare criteri e destinazione delle risorse. Una differenza trascurata acquista efficacia nella decisione. La riduzione viene contrattata di nuovo attraverso un’azione che modifica il processo. La comprensione incide sul mondo; le conseguenze di quell’intervento tornano a modificare la comprensione.

Il giudizio umano ha bisogno di informazioni che permettano di risalire dalle sintesi alle fonti, di competenze per interpretarle e di poteri per modificare le decisioni. La partecipazione effettiva conserva queste capacità; la conferma rituale le lascia deperire.

La capacità di agire altrimenti

Già nel 1983 Lisanne Bainbridge descriveva una delle ironie dell’automazione: i sistemi automatici possono sottrarre all’operatore l’esercizio ordinario con cui conserva le competenze, per poi richiedergliele nelle situazioni più difficili.[18] Nel 1995 Mica Endsley ed Esin Kiris, in un esperimento su un compito simulato di navigazione automobilistica assistito da un sistema esperto, rilevano una perdita nella comprensione della situazione nelle condizioni automatizzate, pur con l’attenzione rivolta ai dati del sistema.[19] Si può continuare a sorvegliare un processo e capire sempre meno ciò che accade. L’informazione resta disponibile; si indebolisce la capacità di farne giudizio.

È nell’imprevisto che questa perdita presenta il conto. Una previsione ricavata dalle regolarità del passato diventa inadeguata quando cambiano le condizioni che la rendevano pertinente. Un segnale isolato può acquistare importanza perché contraddice la spiegazione corrente, prima che si accumulino abbastanza casi da consolidare una regolarità nuova. Petrov mette in relazione il numero dei missili con ciò che ritiene plausibile di un primo attacco americano. Il peso dell’indizio nasce dal rapporto fra quei pochi elementi e una comprensione della situazione.

Gli studi di Joshua Tenenbaum e colleghi sull’apprendimento umano descrivono come si possano trarre inferenze da pochi esempi grazie a conoscenze pregresse e a rappresentazioni strutturate delle relazioni causali.[20] Anche la ricerca sull’AI lavora a rappresentazioni causali che rendano i modelli più capaci di generalizzare quando cambia il contesto.[21] Resta decisivo quali relazioni si assumano, quali elementi possano entrare nel ragionamento e come vengano riviste le ipotesi. Nell’organizzazione, questa apertura richiede che chi riconosce una differenza possa farla contare, anche quando il sistema non le assegna rilievo.

La capacità di intervenire va dunque coltivata nel funzionamento ordinario. Significa conservare occasioni di diagnosi autonoma, confrontare le previsioni con gli effetti sulle persone, dare accesso alle ragioni delle decisioni, lasciare che il dissenso produca modifiche. Richiede un’autorità capace di attraversare i confini dei singoli mandati: chi vede un danno complessivo deve poter agire sulle sue cause, senza essere rinviato all’infinito da una competenza locale all’altra. Un’organizzazione che punisce l’iniziativa quotidiana non può contare di ritrovarla disponibile nell’emergenza.

Petrov rende visibile l’efficacia concreta di una responsabilità ancora esercitabile. Il suo giudizio prende la forma di un atto: dice che l’allarme è falso, e se ne assume il rischio prima di poterne conoscere l’esito. L’interpretazione incide sul corso degli eventi. Trasformare la sua decisione in un ulteriore controllo automatico può incorporarne una lezione; resta da conservare la capacità di riconoscere e affrontare la situazione che quel controllo, a sua volta, non saprà risolvere.

L’isteresi si irrigidisce in nomofisi anche attraverso questa trasformazione degli esseri umani: l’ordine costruito prende l’aspetto dell’inevitabile quando perdiamo la capacità di concepirne e realizzarne un altro. La stessa perdita ci rende fragili davanti all’imprevisto e incapaci di progettare ciò che ancora non c’è. Il futuro si restringe a un’esecuzione più efficace del presente.

La posta in gioco è conservare la facoltà di cambiare ciò che consideriamo necessario, desiderabile e possibile, insieme ai mezzi per farlo. La responsabilità deve avere tempo, competenza, autorità e continuità; deve poter comprendere, governare e trasformare il processo prima che le sue conseguenze diventino irreversibili. Altrimenti incorporiamo l’uomo nell’automatismo e chiamiamo “controllo umano” un altro passaggio del suo funzionamento.

 

 

Note e bibliografia

1. Anna Libak, «Nuclear War: Minuteman», intervista a Stanislav Petrov, Weekendavisen, 2 aprile 2004, traduzione inglese autorizzata. Per il registro operativo, il mancato riconoscimento e le dichiarazioni sul congedo: Yuri Vasilyev, «On the Brink», intervista a Petrov, The Moscow News, 29 maggio 2004.
2. Martin Heidegger, intervista allo Spiegel, 23 settembre 1966, pubblicata il 31 maggio 1976: «Only a God Can Save Us», traduzione di William J. Richardson. Edizione italiana: Ormai solo un Dio ci può salvare. Intervista con lo «Spiegel», Guanda.
3. Royal Aeronautical Society, «Qantas QF32 flight from the cockpit», testimonianza del comandante istruttore David Evans, presente in cabina.
4. Stanley Kubrick, Dr. Strangelove or: How I Learned to Stop Worrying and Love the Bomb, 1964; sceneggiatura di Stanley Kubrick, Terry Southern e Peter George. Trascrizione del film ospitata dall’Università di Notre Dame: dialogo sull’ordigno automatico e sequenza dei portelli del bombardiere.
5. CFTC–SEC, Findings Regarding the Market Events of May 6, 2010, 30 settembre 2010, sintesi iniziale e sezione I.
6. Bryan Durkin, CME Group, intervento alla conferenza Quant Invest, Chicago, 28 giugno 2011, descrizione dello Stop Logic.
7. D. Sculley e altri, «Hidden Technical Debt in Machine Learning Systems», Advances in Neural Information Processing Systems, 28, 2015, sezioni 2 e 4, sui consumatori non dichiarati di predizioni e sulle retroazioni nascoste.
8. Ding Yuan e altri, «Be Conservative: Enhancing Failure Diagnosis with Proactive Logging», OSDI ’12, 2012, pp. 293–306.
9. Peng Huang e altri, «Gray Failure: The Achilles’ Heel of Cloud-Scale Systems», HotOS ’17, 2017, sezione 2.3, «Recovery that kills, rather than heals».
10. Zhiyang Zhang e altri, «The Vision of Autonomic Computing: Can LLMs Make It a Reality?», preprint, 2024; architettura e valutazione del prototipo basato sull’applicazione Sock Shop.
11. Hannah Arendt, La banalità del male. Eichmann a Gerusalemme, «Postscriptum» all’edizione riveduta del 1964, sulla responsabilità personale e la difesa fondata sul ruolo di ingranaggio (testo inglese); e «Thinking and Moral Considerations: A Lecture», Social Research, 38(3), 1971, pp. 417–418 e 446.
12. Arthur Koestler, The Ghost in the Machine, 1967, capitoli I e II; in particolare «The De-Humanisation of Man» e «The Philosophy of Ratomorphism».
13. B. F. Skinner, Science and Human Behavior, 1953, pp. 29–31 e capitoli XVI, «Thinking», e XVII, «Private Events in a Natural Science».
14. Eurostat, Real GDP per capita (sdg_08_10), metadati, sezione 4.1: perimetro del PIL e limiti come misura del benessere economico; aggiornamento 10 marzo 2026.
15. Consiglio dell’Unione europea, «Riesame della governance economica: il Consiglio adotta la riforma delle regole di bilancio», 29 aprile 2024.
16. Ziad Obermeyer, Brian Powers, Christine Vogeli, Sendhil Mullainathan, «Dissecting racial bias in an algorithm used to manage the health of populations», Science, 366, 2019, pp. 447–453.
17. Leo Gao, John Schulman, Jacob Hilton, «Scaling Laws for Reward Model Overoptimization», Proceedings of ICML, 202, 2023, pp. 10835–10866.
18. Lisanne Bainbridge, «Ironies of Automation», Automatica, 19(6), 1983, pp. 775–779.
19. Mica R. Endsley, Esin O. Kiris, «The Out-of-the-Loop Performance Problem and Level of Control in Automation», Human Factors, 37(2), 1995, pp. 381–394, in particolare discussione dei risultati; DOI: 10.1518/001872095779064555.
20. Joshua B. Tenenbaum, Charles Kemp, Thomas L. Griffiths, Noah D. Goodman, «How to Grow a Mind: Statistics, Structure, and Abstraction», Science, 331, 2011, pp. 1279–1285.
21. Bernhard Schölkopf e altri, «Toward Causal Representation Learning», Proceedings of the IEEE, 109(5), 2021, pp. 612–634; DOI: 10.1109/JPROC.2021.3058954.