Automation bias e Cartesio

L’importanza del dubbio tra AI, persone e fonti “autorevoli”

A volte succede così: ti serve una mail delicata, una sintesi di una call, una proposta veloce; chiedi all’AI una mano e lei ti restituisce qualcosa di pulito, ordinato, persino brillante. Lo leggi e ti viene naturale pensare “ok, è giusto” e lo mandi. In quel momento è vero, 𝐬𝐭𝐚𝐢 𝐫𝐢𝐬𝐩𝐚𝐫𝐦𝐢𝐚𝐧𝐝𝐨 𝐭𝐞𝐦𝐩𝐨, 𝐞𝐩𝐩𝐮𝐫𝐞 𝐬𝐭𝐚𝐢 𝐚𝐧𝐜𝐡𝐞 𝐚𝐛𝐛𝐚𝐬𝐬𝐚𝐧𝐝𝐨 𝐥𝐚 𝐬𝐨𝐠𝐥𝐢𝐚 𝐝𝐢 𝐜𝐨𝐧𝐭𝐫𝐨𝐥𝐥𝐨.

Qui arriva una riflessione importante, se lo chiamiamo “𝐚𝐮𝐭𝐨𝐦𝐚𝐭𝐢𝐨𝐧 𝐛𝐢𝐚𝐬” rischiamo di immaginarlo come un problema nato con l’AI, in realtà è un meccanismo mentale presente da sempre. L’AI lo rende più evidente, più frequente, più pericoloso perché accelera e “veste bene” le risposte. La radice in realtà rimane profondamente umana: la tendenza a delegare il giudizio quando percepiamo un’autorità, una scorciatoia, una fonte che appare più competente di noi.

In altre parole, automation bias significa: mi fido di qualcos’altro per fare qualcosa al posto mio. Vale anche per i media, per le fonti cosiddette “alte”:

𝐒𝐮𝐜𝐜𝐞𝐝𝐞 quando apri Google e scambi il primo risultato per “la verità”, come se l’ordine in pagina fosse ordine nella realtà e, sottovalutando l’algoritmo adattivo di Google che invece mette per primi i risultati più in linea con quello che ti aspetti, non facendo altro che peggiorare il bias di conferma che ci fa già naturalmente dare più importanza alle informazioni che confermano il nostro punto di vista.

𝐒𝐮𝐜𝐜𝐞𝐝𝐞 quando leggi un libro e, perché è un libro, lo carichi automaticamente di autorevolezza senza dare il giusto peso a autore, contesto e momento storico nel quale è stato redatto

𝐒𝐮𝐜𝐜𝐞𝐝𝐞 quando leggi un giornale e confondi la forma dell’autorevolezza con la solidità dell’argomento.

Non vale solo per gli algoritmi, i media, gli articoli, i libri, vale anche per le persone ritenute (o percepite come) autorevoli. In questo caso in realtà si confonde con il cosiddetto “authority bias”. Se l’automation bias è la deferenza verso sistemi automatizzati (“se lo dice il modello…”), l’𝐚𝐮𝐭𝐡𝐨𝐫𝐢𝐭𝐲 𝐛𝐢𝐚𝐬 è la deferenza verso persone autorevoli (“se lo dice lui/lei…”).

𝐒𝐮𝐜𝐜𝐞𝐝𝐞 quando parli con qualcuno che ha status, sicurezza, carisma, linguaggio tecnico; ti dice una cosa con una certa postura e tu senti che non serve più verificare.

𝐒𝐮𝐜𝐜𝐞𝐝𝐞 nella vita quotidiana, quando una frase detta bene ci sembra più giusta di una frase detta male.

È qui la trappola: 𝐥𝐚 𝐦𝐞𝐧𝐭𝐞, 𝐚 𝐯𝐨𝐥𝐭𝐞, 𝐜𝐨𝐧𝐟𝐨𝐧𝐝𝐞 𝐥𝐚 “𝐪𝐮𝐚𝐥𝐢𝐭𝐚̀ 𝐝𝐞𝐥𝐥𝐚 𝐜𝐨𝐧𝐟𝐞𝐳𝐢𝐨𝐧𝐞” 𝐜𝐨𝐧 𝐥𝐚 𝐪𝐮𝐚𝐥𝐢𝐭𝐚̀ 𝐝𝐞𝐥 𝐜𝐨𝐧𝐭𝐞𝐧𝐮𝐭𝐨. Quando accade, smette di fare una delle cose più preziose che possediamo: la verifica!

𝐂𝐚𝐫𝐭𝐞𝐬𝐢𝐨 oggi diventa più attuale di quanto sembri. René Descartes (Cartesio) è un filosofo e matematico del Seicento che ha trasformato il dubbio in metodo: non per demolire tutto, piuttosto per trovare basi più solide della realtà, è l’autore del famoso “Cogito ergo sum” ed è colui che ha portato la precisione della matematica nel pensiero, contribuendo in modo decisivo alla geometria analitica (chi di noi non è mai incappato nei “piani cartesiani”?). Cartesio oggi non serve per dubitare di tutto; serve per imparare a non credere troppo in fretta, attraverso un gesto semplice: sospendere l’assenso, chiamiamola “igiene mentale”. Tradotto: usa strumenti, consulta fonti, ascolta persone, leggi libri e giornali però tieniti sempre l’ultima parola.

Perché una cosa può suonare coerente e restare falsa. Può essere elegante e restare inadatta al contesto. Può essere rassicurante e restare sbilanciata. Quando l’errore arriva ben vestito purtroppo entra in noi senza controlli.

Il meccanismo è invisibile e proprio per questo è potente. Quando siamo stanchi, di fretta, pieni di cose, il cervello ama tutto ciò che riduce fatica. L’automation bias nasce spesso lì: nel desiderio legittimo di semplificare, di ridurre il peso cognitivo legato alle decisioni, che però finisce per delegare la responsabilità delle nostre scelte, che invece dovrebbero rimanere saldamente nelle nostre mani.

Non serve diventare paranoici. Serve una micro-procedura, ripetibile, sostenibile. Quando qualcosa ti sembra “troppo convincente”, che sia una risposta dell’AI, un’opinione di qualcuno, un titolo di giornale, una pagina di un libro, un risultato su Google, fai una pausa. Chiediti che cosa stai per decidere davvero, individua l’assunzione centrale, prova a immaginare due alternative che non hai considerato e fai un controllo minimo prima di applicare la risposta. È una pausa piccola, spesso sufficiente però per riprendere in mano il volante.

Se ti interessa il lato “meccanico”, cioè come funzionano i modelli linguistici e perché possonosbagliare in modo credibile, ho già dedicato un articolo allo Human Factor nell’era dell’AI. Lì la riflessione era sul “che cos’è”, qui sul “che cosa succede a noi”, quando la risposta è fluida e la mente decide che può smettere di verificare.

Ti lascio un micro-esercizio da pochi minuti. Ripensa a una decisione recente in cui hai creduto a una fonte senza verificarla: una persona autorevole, un tool, un report, un template, un articolo, un titolo, un output dell’AI. Poi scrivi quale controllo minimo aggiungi da oggi, sempre, prima di dire “ok, va bene così”. Non serve qualcosa di perfetto, serve qualcosa che riesci davvero a fare.

L’AI, dicevamo, è un acceleratore, non ha creato questo problema (automation bias), lo ha solo portato più in superficie, ha amplificato ciò che già c’era: attenzione o fretta, criterio o automatismo.

La domanda finale è semplice e un po’ scomoda: in quale ambito della tua giornata stai dicendo si troppo in fretta?

A cura di Stefano Bertacchi