LA SOLITUDINE DEGLI STATISTICI E L'ECONOMIA DEL KETCHUP – 4

E qui si entra nel vivo: penultima puntata dell’intervento di Maurizio Cassi sugli italiani e la statistica. Come comportarsi con i nostri giudizi a priori.
E’ vero che i dati, come sopra ricordato, vengono rilevati in base a un piano che è comunque nelle mani del ricercatore (ed è condizionato dal committente), e non è da escludere il caso di rilevazioni progettate ad hoc per “silenziare” dati scomodi ed evidenziarne altri, favorevoli a un eventuale scopo non manifesto. Di solito, però, indagini del genere trasudano falso da ogni virgola. Un esempio frequente è quello delle rilevazioni sul clima aziendale, che in genere rientrano nel quadro di accordi con i rappresentanti dei lavoratori e devono quindi essere diffuse al personale, una volta completate; accanto a rilevazioni di grande rigore metodologico, in cui l’azienda si mette veramente in discussione davanti ai suoi dipendenti, capita di incappare in questionari ridicoli in cui si può scegliere, in pratica, tra “sto bene”, “sono felice” e “questo è il migliore dei mondi possibili”. Iperbole a parte, un esame attento e l’uso del buon senso è quasi sempre sufficiente per smascherare “studi” di questo tipo.
Direi infatti che è possibile enunciare qualche semplice regola  per capire se si è di fronte a uno studio serio oppure no.
Inizierei con le fonti: stiamo leggendo lo studio originale o il racconto, più o meno sintetico, che qualcuno ne propone? Dopo aver visto il caso di Feltri (mi spiace parlare sempre di lui, ma quel suo pezzo è davvero una miniera infinita di esempi), si capisce che questo è un tema della massima importanza. Se l’informazione è di seconda mano, un’occhiata alla fonte non guasta mai; soprattutto non ci sta male se si vogliono riutilizzare quelle informazioni: si rischiano brutte figure e, soprattutto, si rischia di contribuire alla disinformazione. Di questo, davvero non abbiamo bisogno.
Ma supponiamo di essere andati alla fonte: abbiamo tra le mani il paper originale dell’ISTAT, del Fondo Monetario, o lo studio dell’associazione XYZ; questo toglie un livello di passaparola, ma non garantisce certo l’affidabilità dell’indagine: si deve approfondire.
Una cosa che ha un valore incommensurabile è la chiarezza: la tesi segue in modo lineare e credibile dai dati presentati a supporto? In genere, una conclusione tirata per i capelli rende necessaria parecchia nebbia retorica per nascondere i non sequitur, che sono certamente numerosi e spesso emergono già nell’abstract. In pratica, stiamo dicendo che i personaggi (i dati) devono recitare in modo credibile nella trama entro cui si è deciso di farli muovere; se non succede, l’odore di bruciato comincia a farsi forte.
Poi, ovviamente, c’è la coerenza interna: i dati si accordano tra loro o sono contraddittori? E, se si rilevano presunte incoerenze, queste sono spiegate adeguatamente o no?
Veniamo infine alle tesi presentate: sono sorprendenti o confermano un quadro già noto? In entrambi i casi, un supplemento di indagine non guasta. Come dicono i fisici, risultati eccezionali richiedono prove eccezionali: più i risultati sono sorprendenti, più vanno analizzati con attenzione tutti i passaggi che li hanno prodotti. Non è sbagliato neanche guardarsi intorno: questi risultati sono veramente inauditi oppure, a cercare bene e a spulciare altri studi, si poteva già trovarne qualche indizio a cui non era stata data la giusta evidenza? E comunque, in questo caso, prima di riutilizzare i risultati sarebbe bene chiedere il parere di un esperto: una persona che fa un altro mestiere non è tenuta a conoscere tutte, ma proprio tutte le insidie che possono manifestarsi quando si ha a che fare con l’inferenza e la probabilità. E se invece i risultati sono “riposanti”, tranquillizzanti, confermativi di ciò che sapevamo già? La cattiva notizia è che non possiamo metterci tranquilli neanche in questo caso; anzi, per certi versi il campanello d’allarme dovrebbe suonare ancora più forte, soprattutto se la committenza dell’indagine ha un interesse a rappresentare una situazione tranquilla. Potrebbe essere il caso, accennato sopra, delle indagini aziendali sul clima interno, o quello di indagini commissionate dalla politica in merito al proprio operato (ma attenzione a non mettere in mezzo l’ISTAT e l’Eurostat: l’indipendenza di questi organismi è un patrimonio pubblico tutelato dalla legge e i loro responsabili sono messi al riparo dalle possibili pressioni politiche); ancora più spesso, accade semplicemente che i ricercatori o i committenti non se la sentano di lanciare un sasso nello stagno e preferiscano mettere in secondo piano quanto di insolito e poco spiegabile è eventualmente emerso dai dati, contribuendo così a rafforzare una narrazione conformistica della realtà. E no: non abbiamo bisogno di sensazionalismo, ma meno che mai abbiamo bisogno di conformismo. In conclusione: sia che si voglia criticare una tesi sorprendente che una soporifera, non si deve mai farlo sulla sola base del presunto interesse del ricercatore o del committente; una critica del genere sarebbe del tutto congetturale, la via maestra al complottismo. Le tesi dei complottasti, infatti, non sono quasi mai davvero assurde, a parte casi estremi: di solito, come già detto sopra, sono verosimili; il che, però, non significa che siano vere. Uno studio si può contestare perché non è chiaro, perché si ha ragione di dubitare del piano di raccolta dei dati, per moltissimi motivi di merito; ma limitarsi a dire che DEVE essere falso perché chi lo ha realizzato ha un interesse rispetto alle conclusioni, beh, è un ragionamento sulla cui evidente fallacia non c’è nemmeno bisogno di soffermarsi. Attenzione, però, a non assumere atteggiamenti cavillosi: uno studio statistico è per sua natura imperfetto, come quasi tutte le attività umane; a cercare il pelo nell’uovo, si troveranno certo dei motivi per dire che non va bene e che ci sono errori. Ma il punto non sta nel fatto che non sono stati intervistati gli ultimi reduci in vita della guerra di Crimea e quindi non è possibile dare una validità universale all’affermazione “la guerra non piace a chi la fa”; il punto è se, utilizzando capacità critiche e buon senso, confrontandosi con altri e ragionando su scopo dell’indagine, dati e tesi presentate, si può o meno concludere in favore della solidità complessiva dell’impianto e della credibilità dei risultati. Questo vuol dire che i fruitori dello studio devono approcciarlo con mentalità non meno aperta di quella richiesta ai ricercatori: si deve essere disposti a farsi sorprendere e a mettere in discussione le proprie idee preconcette. Che tutti abbiamo. L’importante è non trasformarle in pregiudizi inamovibili.
Tutto questo sembra banale, e in fondo lo è; il problema è riuscire a metterle in pratica, queste semplici prescrizioni, quando ad essere messe in discussione sono le NOSTRE idee e i NOSTRI giudizi a priori, a cui siamo in qualche modo affezionati perché su di essi abbiamo costruito una nostra immagine del mondo e calcolato le coordinate in base a cui siamo abituati ad agire. In questi casi subentra una barriera emotiva ad accettare la realtà che provoca in molti reazioni stizzose e verbalmente violente.
Non è un problema che interessa solo le persone comuni: ci cascano anche gli esperti di parecchie discipline. Prendiamo per esempio gli economisti. Secondo molti l’economia non è una scienza, non potendo servirsi del metodo sperimentale per provare cosa è vero e cosa no; che le cose stiano veramente così qui non ci interessa; è un fatto, però, che gli economisti si dividono in scuole che assomigliano a chiese e spesso tengono convegni che sembrano risse verbali, per l’animosità con cui si contrappongono. Molti di loro non sono affatto propensi a cambiare idea quando arrivano dati che contraddicono qualche loro convinzione, come invece era solito fare J. M. Keynes, che pure di economia si intendeva (“When the facts change, I change my mind. What do you do, sir?”). Su come funziona questo mondo c’è la storiella molto carina della ketchup economics; se la inventò Larry Summers (economista pure lui) per rappresentare questa incomunicabilità tra scuole, spesso cieche ai dati e al puro e semplice buon senso: in una università lavorano economisti “comuni” e ketchup economists, specializzati nel mercato del ketchup; i primi studiano per capire perché i prezzi sono quelli che sono e altre cose del mondo reale, mentre il dipartimento Ketchup Economics li sbeffeggia: per loro il mondo reale con i suoi fenomeni (e i suoi dati di realtà) non ha alcun interesse, perché sono interessati solo al mercato del ketchup; che è in equilibrio (il prezzo è fair, dicono loro) quando una bottiglia di ketchup da due litri costa come due bottiglie da un litro. Le quali costano dieci milioni di dollari l’una, fatto questo del tutto irrilevante per i ketchup economist. Summers voleva sottolineare la mancanza di un appiglio con l’economia reale da parte delle teorie finanziarie più in auge, ma temo che la storiella sia adatta a descrivere anche molti altri contesti.