Commenti a: LA SOLITUDINE DEGLI STATISTICI E L'IGNORANCE INDEX -3

Di: picobeta

picobeta — Thu, 29 Oct 2015 20:34:50 +0000

Sono d’accordo con lei, la neutralità non esiste, ma i ricercatori lo sanno benissimo, sanno di essere “humans and not gods” e pongono questo punto come presupposto se non filosofico perlomeno metodologico. Ed essendo gli umani fallaci sia in buona e sia in cattiva o perlomeno mediocre fede, la prima preoccupazione dei ricercatori è di cercare di non includere ipotesi errate in quel patrimonio dinamico di ipotesi condivise sul mondo che chiamano scienza, ancor prima che di aggiungere ipotesi fondate allo stesso patrimonio conoscitivo.
.
Così come è noto agli scienziati il problema del “publish or perish” e le distorsioni legate alla non riproducibilità di molti studi (si è visto per soprattutto per la psicologia comportamentale) e la comunità scientifica si sta attrezzando per definire nuove regole e nuove metodologie per cercare di ovviare a questi problemi. Insomma non solo la conoscenza scientifica si evolve, si evolve anche la metodologia scientifica.
.
Quanto detto sopra vale in fisica, matematica, scienze naturali in senso lato, medicina e vale senz’altro meno nelle scienze sociali e in economia. E se valutiamo l’impatto sulla società di queste discipline, scopriamo che è allo stesso livello se non a livello superiore di quello dell’economia, perché si tratta delle discipline che coprono ad esempio argomenti come OGM, vaccini, sperimentazione animale, nocività della TAV, previsione dei terremoti e in particolare di quello dell’Aquila, MUOS, presunta cancerogenità delle carni rosse e degli insaccati, emissioni dei motori diesel, olivi del Salento, fracking, riscaldamento globale. Insomma è possibile fare buona scienza anche su argomenti di grande impatto, il problema diventa la capacità di chi fa buona scienza di farsi ascoltare. E su questo avrei qualcosa da dire e magari domani lo scrivo.

Di: Pietro

Pietro — Thu, 29 Oct 2015 15:09:57 +0000

C’è un altro tipo di distorsione molto forte, di cui parla ad esempio Ben Goldacre; non ricordo il nome, ma funziona così: io faccio una ricerca, e non trovo niente. Mando tutto alla rivista, che lo trova poco interessante e non lo pubblica. Provi tu, trovi qualcosa e vieni pubblicato. Risultato: l’insieme delle ricerche pubblicate mostra un tasso di successo altissimo, che non corrisponde affatto alla realtà.

Di: Maurizio

Maurizio — Thu, 29 Oct 2015 12:05:56 +0000

Quello che lei dice, Picobeta, è in parte vero. Si applica però più alle scienze dure (e anche in quel caso, fino a un certo punto) che alle discipline sociali. Prendiamo ancora il caso degli economisti: tra keynesiani e seguaci della scuola di Chicago il contrasto è asperrimo, per cui le tesi sono antipodali. Ora, quando l’uno o l’altro si mettono ad analizzare dati (studi econometrici) non si rivolgono certo a un ricercatore terzo che possa fare da arbitro: no, lavorano in proprio, cercando conferma della propria tesi; ovvero, hanno già una storia in testa. L’onestà intellettuale che contraddistingue (o dovrebbe) la stragrande maggioranza dei ricercatori è una delle garanzie contro studi addomesticati, e poi certo, c’è la peer review; ma ciò non toglie che costoro la storia in testa ce l’abbiano già, e sperino fervidamente che i dati permettano di raccontarla in modo convincente. Recentemente nel mondo scientifico è montata (e monta sempre di più) la preoccupazione per gli studi non replicabili: pare che la maggior parte dei ricercatori, indipendentemente dalla disciplina, conscia del motto “publish or perish” e del fatto che è difficile pubblicare se i dati smentiscono la tesi innovativa, si sia data a pubblicare a rotta di collo risultati di esperimenti che poi non trovano conferma quando qualcuno tenta di replicarli. Anche in questo caso: si vuole raccontare una storia e lo si fa, anche a costo di forzare le conclusioni.
In senso più filosofico, lasciando da parte situazioni evidentemente viziate problemi di convenienza come quelle presentate, io credo che chi conduce un’indagine sia difficilmente neutrale rispetto all’oggetto da indagare; e, anche se crede in buona fede di esserlo, sarà comunque aperto a un certo ventaglio di possibilità (storie) che ritiene plausibili, e non ad altre che ritiene impossibili o estreme; predisporrà un piano dell’indagine, quindi, adatto a raccontare una delle storie che ha in testa, anche se non sa quale, e resterà spiazzato nel caso (improbabile, ma non del tutto impossibile) in cui la spiegazione del fenomeno sia di natura assolutamente diversa. E’ una cosa che difficilmente accade in fisica, ma è di certo molto più frequente nelle scienze sociali. Insomma, io propendo per un quadro in cui il ricercatore non è neutrale e preferisco, nel mio mestiere, quadri metodologici che diano esplicitamente conto di questa non neutralità (su tutti, la statistica bayesiana). A voler presupporre una neutralità che (secondo me) non esiste, si rischia di nascondere il problema al fruitore dello studio e, in definitiva, di ingannarlo; pur con le migliori intenzioni nei suoi confronti.

Di: picobeta

picobeta — Thu, 29 Oct 2015 10:20:22 +0000

> Queste sono solo alcune delle decisioni che vanno prese a monte di qualsiasi indagine, e per me è lampante che non c’è modo di prenderle, se non si ha in testa un’idea di cosa si vuole che lo studio racconti.
Non sono del tutto d’accordo su questa affermazione. Il ricercatore serio vuole verificare, non dimostrare. Investigare scientificamente non vuol dire cercare di dimostrare una tesi ma vuol dire verificare se una tesi sia fondata. Questo vuol dire che il buon ricercatore considera in partenza la possibilità che l’ipotesi sia infondata e quindi dispone gli esperimenti e raccoglie tutte le informazioni necessarie per verificare, cioè sia per concludere che l’ipotesi sia fondata e sia che sia infondata.
Questo consente di rimuovere qualche distorsione, perché se voglio dimostrare, tenderò a dare maggior peso ai dati a favore della dimostrazione, se voglio verificare tenderò a dare lo stesso peso ai dati favorevoli e a quelli sfavorevoli.
Questa precauzione metodologica non è ovviamente al riparo dalle distorsioni da lei citate, anche se cerca di limitarle. La metodologia della ricerca scientifica propone diversi opzioni per ridurre queste distorsioni (doppio cieco ad esempio), senza dimenticare il ruolo giocato dalla peer review, vale a dire l’analisi fatta da altri esperti dell’indagine fatta dal ricercatore. E lo scopo della peer review è quello di trovare in punti deboli nel lavoro del collega. Insomma lavori due anni su una ricerca e poi il maggior piacere che possono farti icolleghi è di cercare di dimostrare che ti sei sbagliato.
Ovviamente investigare scientificamente ha nulla a che fare con scrivere un articolo destinato al Fatto Quotidiano.