LA SOLITUDINE DEGLI STATISTICI E L'IGNORANCE INDEX -3

Ancora un esempio, scottante, come quello che riguarda i vaccini. Da qui, inizia la riflessione di Maurizio Cassi che unisce numeri e, sì, storytelling: e comunque ai numeri non si può far dire quel che si vuole, come leggerete.
6. I vaccini sono un tema ancora più scivoloso dei test scolastici perché non solo riguardano i nostri figli (oltre che noi stessi), ma ci consegnano la responsabilità di decisioni da cui dipenderà la loro salute e la loro stessa sopravvivenza. Chiaro che le polemiche sull’opportunità o meno di vaccinare siano al calor bianco. Qui, comunque, non interessa prendere posizione, ma solo sottolineare che gli strumenti per decidere in modo razionale esistono, e che i più li ignorano.
In fondo la faccenda è molto semplice: i vaccini sono rischiosi, sì, come ogni altra cosa nella vita; e sono rischiose anche le malattie, ovviamente; diciamo, anzi, che è la vita stessa ad essere rischiosa (non si ricorda a memoria d’uomo una sola persona che sia sopravvissuta all’essere stata in vita, a voler fare dello spirito di patate). Esistono dati, statistiche, studi a profusione sui rischi che si corrono ammalandosi e su quelli che si corrono vaccinandosi: basterebbe affidarsi a questi numeri e decidere di esporsi al rischio più basso; questo volendo leggere il problema in un’ottica esclusivamente individuale; se si tiene anche alla dimensione collettiva dell’esistenza, al fatto di essere parte di una comunità, ci si può porre il problema ulteriore dell’immunità di gregge e del suo venir meno in caso di eccessive defezioni, con conseguenze nefaste per i soggetti che non possono vaccinarsi (malati oncologici, ad esempio): anche questi aspetti sono stati indagati, i dati ci sono e basterebbe consultarli, per decidere con consapevolezza se contribuire o meno all’immunità di gregge. Ma, generalmente, le persone non decidono sulla base di queste informazioni, né in un senso né nell’altro: quando va bene si affidano al parere del medico di fiducia, quando va male ad “esperti” del tutto improvvisati, blogger senza competenze specifiche, amici sedicenti informati. Qui, fra l’altro, dobbiamo introdurre un elemento chiave della guerra nazionale al numero e al metodo scientifico in generale: il disconoscimento dell’informazione istituzionale, che proprio in quanto istituzionale sarebbe politica, e quindi asservita ai poteri economici, e quindi menzognera e ingannatrice per definizione. Dal punto di vista del dialogo tra posizioni contrastanti, questo argomento è un’arma del giudizio universale: eliminando qualunque terreno di condivisione (i dati, in questo caso), rende la discussione del tutto impossibile e non lascia altra strada che l’adesione fideistica a una posizione: che si sia pro o contro, lo si può essere solo sulla base di congetture, perché i dati sono manipolati e da rifiutare.
7. Per ultimo, in questa rassegna degli errori di metodo così frequenti nel giudizio degli italiani, affrontiamo il tema più grande di tutti: il negazionismo. Non si tratta di un fenomeno solo italiano, ma merita attenzione, perché tra i nostri connazionali sembra riscuotere consensi crescenti, almeno a giudicare da quanto si legge in rete. Ma lo facciamo in poche righe, perché sull’argomento già sono stati scritti ponderosissimi tomi e, per di più, chi nega le cifre dell’Olocausto degli ebrei pone  problemi ben più grandi della semplice “innumeracy”. In estrema sintesi, possiamo dire che il negazionismo è nato praticamente subito dopo la fine della seconda guerra mondiale, negli anni ’50. Uno dei piatti forti fu, da subito, la contestazione del numero delle vittime dei campi di sterminio. Non che ci sia mai stata una vera e propria certezza su quanti persero la vita in quei luoghi, ma una concordanza di quasi tutti gli studiosi su cifre stratosferiche (nell’ordine dei 4-6 milioni di morti), quella sì, c’è. Sono numeri che, anche a volersi orientare verso il limite inferiore, non lasciano dubbi sullo scopo di quel progetto, che era l’eradicazione pura e semplice di un intero popolo dalla faccia della Terra, finché di loro non ne fosse rimasto più nemmeno uno. I negazionisti, che in seguito si sono cimentati anche con la presunta inesistenza delle camere a gas e vari spot sulla salubrità della vita nei campi (“in alcuni c’era anche il bordello”, si spinse a dire Priebke), hanno spesso eseguito ricostruzioni certosine della contabilità dello sterminio; lo scopo era (ed è) provare che il numero reale delle vittime sarebbe enormemente inferiore alle stime ufficiali (per avere un’idea dello scrupolo con cui questi soggetti si sono messi a macinare numeri, si vedano ad esempio le tesi di Rassinier, uno dei negazionisti della prima ora). Secondo costoro, le ragioni per esagerare il numero degli ebrei uccisi sarebbero state molte: da quella più ovvia, ovvero la demonizzazione del nemico sconfitto, a quelle più immonde, come la volontà di gonfiare i risarcimenti a beneficio dei sopravvissuti e di creare un enorme debito, materiale e morale, per spianare la strada all’edificazione dello stato di Israele. Come si vede, siamo su un terreno davvero infido, su cui non è consigliabile avventurarsi senza l’ausilio di una guida indigena. E infatti non lo faremo: ci interessa soltanto evidenziare, attraverso questo esempio macroscopico, il ruolo enorme che i numeri assumono in pressoché tutti i temi che generano conflitto (e teorie del complotto). Questo, nonostante il sovrano disinteresse che nei loro confronti una certa parte della classe intellettuale del nostro paese sfoggia da oltre un secolo.
La rassegna si può concludere qui, e non perché non vi sia disponibilità di altri esempi: potremmo trovarne a bizzeffe, ma in fondo non ci direbbero molto di più quanto abbiamo visto finora. Ma c’è almeno un’altra cosa interessante da analizzare, prima di tentare un’analisi delle ragioni che stanno dietro questi comportamenti, ed è il metodo adottato per lo stravolgimento delle informazioni, o per la loro pura e semplice negazione.
Il metodo, per quanto possa sembrare strano trattandosi di numeri, è quello dello storytelling.
La parola oggi inflazionata, ma pensiamoci: i protagonisti degli esempi descritti sopra hanno tutti raccontato una storia. L’ha fatto il/la manager che, non volendo riconoscere se stesso/a e i propri colleghi nel ritratto dell’AIE, ha costruito una narrazione rovesciata rispetto alla lettura prevalente: il suo è un universo di laureati e manager che tengono in piedi la nostra malconcia editoria grazie al fatto di essere, almeno in prevalenza, lettori; l’hanno fatto quelli che hanno contestato i dati OCSE che ci dipingono come i più ignoranti del pianeta, proponendo racconti anche basati prevalentemente sulla cultura umanistica (ancora!) e sulla sua presunta incommensurabilità rispetto alle tecniche di rilevazione; i più estremisti tra gli antivaccinisti danno il meglio in questo senso, narrando storie quasi sempre molto verosimili (e probabilmente in qualche caso anche vere) di multinazionali del farmaco che condizionano governi e pretendono in sacrificio i nostri figli sull’altare dei loro profitti; e l’ha fatto Stefano Feltri, che invece non voleva essere anticonformista, ma soltanto inserirsi nell’assalto (ormai diventato mainstream) contro la cultura classica, e si è letteralmente inventato  una trama con protagonisti giovani dal diverso destino: alcuni poveri e sfigati, altri avviati verso il successo; tutto a causa della diversa scelta fatta al momento di iscriversi all’università.
Sono vere, queste storie?
Probabilmente, come vedremo, la verità non è il criterio più adeguato per giudicarle. Ma, anche se in moltissimi contesti è difficile e forse persino impossibile definire cosa sia vero, è certamente più facile giudicare cosa non lo è; e queste storie, con altissima probabilità, sono tutte false. Consolatorie o aggressive, rafforzative in ogni caso di una certa visione del mondo (quasi sempre aprioristica), hanno in comune il fatto di essere soltanto verosimili, ma non vere.
Del resto, ai fini della diffusione su organi di informazione destinati, nella maggior parte dei casi, ad essere non letti ma semplicemente sfogliati da lettori distratti e non sempre in grado di decodificarne i contenuti, la verosimiglianza acquista un valore enormemente superiore a quello della verità: è di più facile digestione, non si basa mai su contenuto controintuitivi, non mette a dura prova i neuroni, non viola i pregiudizi del target a cui il contenuto è destinato e anzi conferma le persone nelle loro convinzioni, anche se sbagliate; e fa spesso sensazione. Cosa volere di più, nel paese con il più alto Ignorance Index del mondo capitalistico ?
Le cose, per quanto possa sembrare sorprendente, non vanno in modo molto diverso nell’hard science, in cui lo storytelling ha la sua parte: la fisica sembra oggettiva, ma non lo è affatto; la teoria di Einstein è venuta dopo quella di Newton e l’ha superata, ma non perché quella fosse falsa e l’altra vera: si tratta, semplicemente, di due descrizioni diverse degli stessi dati, una delle quali è più precisa dell’altra. Più precisa, ma non vera; tanto che, ancora oggi, nessuno è riuscito a conciliarla con l’altra grande teoria fisica, la meccanica quantistica, che pure funziona benissimo nella spiegazione dei dati che abbiamo. Funzionano tutte e due, ma la prima descrive l’universo su scala cosmica e l’altra lo descrive nell’infinitamente piccolo; fallendo, tutte e due, quando sono applicate nel campo proprio dell’altra. Ergo, non possono essere tutte e due vere. Un giorno qualcuno troverà una nuova teoria, più precisa, della quale le due saranno delle approssimazioni. Quel qualcuno avrà raccontato una nuova storia partendo dalle stesse informazioni.
Ma se lo storytelling dilaga anche nel mondo che si supponeva oggettivo dei numeri, la tentazione di buttare la spugna diventa quasi irresistibile: il mondo è veramente inconoscibile, la sua immagine infinitamente manipolabile, il profilo caricaturale del sofista che tutto piega alla sua retorica assurge al ruolo di demiurgo; possediamo soltanto illusioni e chiamiamo realtà quella meglio dipinta.
C’è chi la pensa così, ed è anche difficile dargli torto. Ma qui non vogliamo fare filosofia, anche perché se davvero le cose stessero così ci sarebbe ben poco da fare. Trovo più interessante riflettere su quali strumenti ha a disposizione chi pensa (come spero anch’io) che ci sia invece un modo per farsi strada verso una verità, benché precaria e sfuggente, in questa selva di illusioni.
A mio modo di vedere, non è proprio vero che “ai numeri si può far dire ciò che si vuole”, come spesso si sente affermare. E’ vero che, contrariamente a quanto credono alcuni sacerdoti vestali della terzietà della scienza (e per estensione della statistica), che uno studio non è mai neutrale; il che non significa, però, che chi lo ha effettuato sia in malafede. Più semplicemente, quando si decide di indagare un fenomeno, è impossibile non averne qualche idea a priori (perché, se fosse così e non ci fosse niente nella nostra testa, non avremmo nemmeno un motivo per preferire di indagare su una cosa piuttosto che su un’altra). Vogliamo conoscere perché qualcosa ci ha incuriosito, o perché quella conoscenza può essere utile a noi o alla collettività, o per mille altri motivi; quale che sia il motivo, quando cominciamo a progettare lo studio dobbiamo prendere una serie di decisioni che non sono affatto neutre: Quali variabili andiamo a rilevare? Come le misuriamo? Su chi/cosa le misuriamo? Quando effettuiamo la rilevazione? Vogliamo una fotografia in un determinato istante o riteniamo necessario seguire il fenomeno nel tempo? Quanto deve essere grande il campione? E in base a quali variabili lo stratifichiamo?
Queste sono solo alcune delle decisioni che vanno prese a monte di qualsiasi indagine, e per me è lampante che non c’è modo di prenderle, se non si ha in testa un’idea di cosa si vuole che lo studio racconti.
Un parallelo che sorge spontaneo è quello con la produzione letteraria, e non sembri blasfemo il paragone (si spera che, almeno qui, l’influenza di don Benedetto sia limitata): uno scrittore che si accinge a narrare una storia deve portare allo scoperto l’idea di fondo che animerà la sua opera e poi decidere il luogo, il tempo, il punto di vista, costruire i personaggi, renderli coerenti e credibili, imbastire una trama. Tutte cose non molto diverse da quello che fa un ricercatore: anche lui deve decidere spazio e tempo dell’indagine, avere un’idea di fondo (lo scopo dell’indagine); il punto di vista forse per lui è dato, ma comunque c’è ed è quello del committente: ente pubblico? Azienda? Istituto di ricerca? E ci sono i personaggi, naturalmente, che sono i dati.
Creatività sbrigliata, quindi, per il ricercatore come per lo scrittore? Non proprio. Lo scrittore un vantaggio lo conserva, ed è quello di avere piena licenza di cercare la verosimiglianza e non la verità; per il ricercatore non è così, perché la sua storia dovrà comunque essere modellata sui dati che rileverà, qualunque sia l’idea a priori che può avere in testa. Diciamo che i dati sono i personaggi della storia, e che a differenza del narratore lui non se li può inventare per adattarli alle sue idee a priori, se ne ha. Di idee a priori può averne senz’altro: l’importante è che sia disposto ad accettare che non siano validate dai dati, e quindi che si presti a raccontare anche storie diverse, se del caso. Al ricercatore, i personaggi (i dati) arrivano confezionati: apre la scatola e solo dopo averli studiati può decidere che storia raccontare. Se, per dire, nel pacco trova il pupazzo di Jack lo Squartatore e quello di Mary la Sanguinaria, difficilmente potrà assemblare il romanzo rosa che aveva in testa: dovrà cambiare trama, magari anche genere. Fuor di metafora, i dati si presteranno a raccontare più di una storia, e il ricercatore dovrà decidere quale; ma non potranno adattarsi a recitare QUALSIASI storia, per verosimile che sia. A forzarli si potranno porre problemi di coerenza interna, o di attrito con conoscenze pregresse e consolidate; è il caso, per esempio, dei dati sulla lettura: come si fa a sostenere che sono sbagliati, quanto è noto da sempre che in Italia si legge poco e che da anni si legge sempre meno? E infatti a sostenerlo non erano i ricercatori dell’ISTAT, ma qualcuno che, dicono i romani, “nun ce vole sta”. Insomma, il ricercatore deve partire dai personaggi (i dati) per costruire la sua narrazione, mentre lo scrittore i personaggi se li può inventare. La distanza tra la realtà di un’indagine statistica e il mito dell’asservimento dei dati a una tesi precostituita sta tutta qui: in una narrazione costruita sulla tesi i personaggi appaiono del tutto incoerenti sia con le conclusioni che con il contesto. Da questo punto di vista, l’articolo di Stefano Feltri è un esempio magistrale: lui è così preso dalla necessità di scrivere quello che ha in mente che i dati non li guarda proprio, li ficca a forza nelle sue argomentazioni senza preoccuparsi minimamente di verificarne la coerenza con la tesi. E’ come se in prigione, nel castello di If, invece di Dantes ci mettessimo Arlecchino e poi lo portassimo sulla terraferma nel ventre di una balena dove incontra l’abate Faria. Insomma, una storia che non sta in piedi; lo stesso vale per uno studio statistico (ma forse non dovrei dire “uno studio statistico”: in realtà, di solito le forzature le fanno non tanto gli statistici quanto coloro che usano i loro studi, pretendendo di far dire loro cose che non dicono).
(segue domani)

4 pensieri su “LA SOLITUDINE DEGLI STATISTICI E L'IGNORANCE INDEX -3

  1. > Queste sono solo alcune delle decisioni che vanno prese a monte di qualsiasi indagine, e per me è lampante che non c’è modo di prenderle, se non si ha in testa un’idea di cosa si vuole che lo studio racconti.
    Non sono del tutto d’accordo su questa affermazione. Il ricercatore serio vuole verificare, non dimostrare. Investigare scientificamente non vuol dire cercare di dimostrare una tesi ma vuol dire verificare se una tesi sia fondata. Questo vuol dire che il buon ricercatore considera in partenza la possibilità che l’ipotesi sia infondata e quindi dispone gli esperimenti e raccoglie tutte le informazioni necessarie per verificare, cioè sia per concludere che l’ipotesi sia fondata e sia che sia infondata.
    Questo consente di rimuovere qualche distorsione, perché se voglio dimostrare, tenderò a dare maggior peso ai dati a favore della dimostrazione, se voglio verificare tenderò a dare lo stesso peso ai dati favorevoli e a quelli sfavorevoli.
    Questa precauzione metodologica non è ovviamente al riparo dalle distorsioni da lei citate, anche se cerca di limitarle. La metodologia della ricerca scientifica propone diversi opzioni per ridurre queste distorsioni (doppio cieco ad esempio), senza dimenticare il ruolo giocato dalla peer review, vale a dire l’analisi fatta da altri esperti dell’indagine fatta dal ricercatore. E lo scopo della peer review è quello di trovare in punti deboli nel lavoro del collega. Insomma lavori due anni su una ricerca e poi il maggior piacere che possono farti icolleghi è di cercare di dimostrare che ti sei sbagliato.
    Ovviamente investigare scientificamente ha nulla a che fare con scrivere un articolo destinato al Fatto Quotidiano.

  2. Quello che lei dice, Picobeta, è in parte vero. Si applica però più alle scienze dure (e anche in quel caso, fino a un certo punto) che alle discipline sociali. Prendiamo ancora il caso degli economisti: tra keynesiani e seguaci della scuola di Chicago il contrasto è asperrimo, per cui le tesi sono antipodali. Ora, quando l’uno o l’altro si mettono ad analizzare dati (studi econometrici) non si rivolgono certo a un ricercatore terzo che possa fare da arbitro: no, lavorano in proprio, cercando conferma della propria tesi; ovvero, hanno già una storia in testa. L’onestà intellettuale che contraddistingue (o dovrebbe) la stragrande maggioranza dei ricercatori è una delle garanzie contro studi addomesticati, e poi certo, c’è la peer review; ma ciò non toglie che costoro la storia in testa ce l’abbiano già, e sperino fervidamente che i dati permettano di raccontarla in modo convincente. Recentemente nel mondo scientifico è montata (e monta sempre di più) la preoccupazione per gli studi non replicabili: pare che la maggior parte dei ricercatori, indipendentemente dalla disciplina, conscia del motto “publish or perish” e del fatto che è difficile pubblicare se i dati smentiscono la tesi innovativa, si sia data a pubblicare a rotta di collo risultati di esperimenti che poi non trovano conferma quando qualcuno tenta di replicarli. Anche in questo caso: si vuole raccontare una storia e lo si fa, anche a costo di forzare le conclusioni.
    In senso più filosofico, lasciando da parte situazioni evidentemente viziate problemi di convenienza come quelle presentate, io credo che chi conduce un’indagine sia difficilmente neutrale rispetto all’oggetto da indagare; e, anche se crede in buona fede di esserlo, sarà comunque aperto a un certo ventaglio di possibilità (storie) che ritiene plausibili, e non ad altre che ritiene impossibili o estreme; predisporrà un piano dell’indagine, quindi, adatto a raccontare una delle storie che ha in testa, anche se non sa quale, e resterà spiazzato nel caso (improbabile, ma non del tutto impossibile) in cui la spiegazione del fenomeno sia di natura assolutamente diversa. E’ una cosa che difficilmente accade in fisica, ma è di certo molto più frequente nelle scienze sociali. Insomma, io propendo per un quadro in cui il ricercatore non è neutrale e preferisco, nel mio mestiere, quadri metodologici che diano esplicitamente conto di questa non neutralità (su tutti, la statistica bayesiana). A voler presupporre una neutralità che (secondo me) non esiste, si rischia di nascondere il problema al fruitore dello studio e, in definitiva, di ingannarlo; pur con le migliori intenzioni nei suoi confronti.

  3. C’è un altro tipo di distorsione molto forte, di cui parla ad esempio Ben Goldacre; non ricordo il nome, ma funziona così: io faccio una ricerca, e non trovo niente. Mando tutto alla rivista, che lo trova poco interessante e non lo pubblica. Provi tu, trovi qualcosa e vieni pubblicato. Risultato: l’insieme delle ricerche pubblicate mostra un tasso di successo altissimo, che non corrisponde affatto alla realtà.

  4. Sono d’accordo con lei, la neutralità non esiste, ma i ricercatori lo sanno benissimo, sanno di essere “humans and not gods” e pongono questo punto come presupposto se non filosofico perlomeno metodologico. Ed essendo gli umani fallaci sia in buona e sia in cattiva o perlomeno mediocre fede, la prima preoccupazione dei ricercatori è di cercare di non includere ipotesi errate in quel patrimonio dinamico di ipotesi condivise sul mondo che chiamano scienza, ancor prima che di aggiungere ipotesi fondate allo stesso patrimonio conoscitivo.
    .
    Così come è noto agli scienziati il problema del “publish or perish” e le distorsioni legate alla non riproducibilità di molti studi (si è visto per soprattutto per la psicologia comportamentale) e la comunità scientifica si sta attrezzando per definire nuove regole e nuove metodologie per cercare di ovviare a questi problemi. Insomma non solo la conoscenza scientifica si evolve, si evolve anche la metodologia scientifica.
    .
    Quanto detto sopra vale in fisica, matematica, scienze naturali in senso lato, medicina e vale senz’altro meno nelle scienze sociali e in economia. E se valutiamo l’impatto sulla società di queste discipline, scopriamo che è allo stesso livello se non a livello superiore di quello dell’economia, perché si tratta delle discipline che coprono ad esempio argomenti come OGM, vaccini, sperimentazione animale, nocività della TAV, previsione dei terremoti e in particolare di quello dell’Aquila, MUOS, presunta cancerogenità delle carni rosse e degli insaccati, emissioni dei motori diesel, olivi del Salento, fracking, riscaldamento globale. Insomma è possibile fare buona scienza anche su argomenti di grande impatto, il problema diventa la capacità di chi fa buona scienza di farsi ascoltare. E su questo avrei qualcosa da dire e magari domani lo scrivo.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Torna in alto