Post in evidenza

La nostra Covid19-app

Con l'assidua collaborazione  Marco Mingione  e  Pierfrancesco Alaimo Di Loro  abbiamo creato uno strumento web interattivo che consent...

mercoledì 1 luglio 2020

Intervista sull'attività di StatGroup-19

Il blog di divulgazione scientifica MaddMaths! ci ha intervistato e potete vedere qui la chiacchierata di Fabio e Giovanna con Roberto Natalini.


venerdì 12 giugno 2020

The mathematical models have failed...


"The mathematical models have failed." Here we are again, a luminary in his field, but from whose CV he does not seem to have any specific competence in the "mathematical models" decided for all of us. Journalists, always in search of sensation, did not mind to check who issued this sentence. The Italian mathematical union (https://umi.dm.unibo.it/2020/06/10/comunicato-dellunione-matematica-italiana) intervened, using "mathematical models" in the same sense of the newspaper article, in a generic way, so many colleagues commented making the distinction between the different types of models ... And so on.

This whole story (which is not over) points the finger at the real problem: the relationship between science and society. This relationship has, as often happens in relationships, a communication problem. Those who do science by profession speak a given language, those who do not make professional science do not understand this language, feel diminished, or take offense barking out the wrong tree. Furthermore, both tend to put their mouths a little too incisively on the skills of others. Then maybe the mother-in-law gets into the picture, represented here for example by dr. Zangrillo or by dr. Silvestri, and the disaster is done. Divorces.

If there was a failure, it did not concern the forecast models used. Among those proposed, many caught exactly what was happening and had excellent predictive performances (we indulge in the praise of ours, but also those of many others (https://sites.google.com/community.unipa.it/covid- 19, http://www.sis-statistica.it/ita/20/index.php?p=9996https://www.facebook.com/Robbayes-C19-111971610458527/)), what failed was the communication.

Too often those who make models have little perception of the context in which they find themselves talking or of the medium they use. On the contrary, the kings of newspapers or social media are rarely scientists or, if they are, they often make instrumental use of the scientific result (see the mother-in-law above). We also need care and attention in communicating with the decision-maker. For example, let's take the much-reviled report provided to the government with 40 and more scenarios reported. Aside from the considerations on the possible failure of the model, which is evident in our opinion: providing those who know nothing about predictive modeling with all those scenarios, without grouping them, for example noting that in reality many provided statistically equivalent forecasts, it is like not giving any information. On the contrary, it generates confusion and offers the side to the instrumental use of the result.


In conclusion: in science, it is normal to make mistakes, it is normal to change opinion, and it is also normal that some models fail. Despite this, it is essential that scientists learn to communicate with the decision-maker and with society, always emphasizing, as they know how to do well, the limits of their approaches. And it is essential that policy decisions will always be based on the best validated scientific evidence available.


I modelli matematici hanno fallito....



"I modelli matematici hanno fallito”. Ci risiamo, un luminare nel suo campo, ma dal cui CV non sembra avere alcuna specifica competenza nell'ambito dei "modelli matematici" ha deciso per tutti noi. I giornalisti, sempre alla ricerca della sensazione, non hanno badato a chi avesse emesso questa sentenza. L'unione matematica Italiana (https://umi.dm.unibo.it/2020/06/10/comunicato-dellunione-matematica-italiana) è intervenuta, utilizzando"modelli matematici" nella stessa accezione dell'articolo di giornale, in modo generico, quindi molti colleghi hanno commentato facendo i distinguo tra le diverse tipologie di modelli... E così via.
Tutta questa storia (che non è finita) punta il dito al vero problema: il rapporto scienza e società. Questo rapporto ha, come spesso accade nelle relazioni, un problema di comunicazione. Chi fa scienza per mestiere parla in un modo, chi non fa scienza di professione non comprende questo linguaggio, si sente sminuito, o si offende capendo fischi per fiaschi. Inoltre, entrambi tendono a mettere bocca in modo un po' troppo incisivo sulle competenze altrui. Poi magari arriva la suocera, qui rappresentata ad esempio dal dr. Zangrillo o dal dr. Silvestri, e la frittata è fatta. Si divorzia.

Se c'è stato un fallimento, non ha riguardato i modelli previsivi usati. Tra quelli proposti molti hanno colto esattamente quel che stava succedendo e hanno avuto performance previsive eccellenti (ci permettiamo di elogiare i nostri, ma anche quelli di molti altri

Troppo spesso chi fa modelli ha poca percezione del contesto in cui si trova a parlare o del mezzo che usa. Al contrario, i re dei giornali o dei social raramente sono degli scienziati o, se lo sono, spesso fanno un uso strumentale del risultato scientifico (cfr la suocera di cui sopra). Anche nella comunicazione con il decisore ci vuole cura e attenzione, Ad esempio prendiamo il tanto vituperato rapporto fornito al governo con 40 e più scenari riportati. A parte le considerazioni sull’eventuale fallimento del modello, che è evidente secondo noi: fornire a chi di modellistica previsiva non sa nulla tutti quegli scenari, senza raggrupparli notando che in realtà molti fornivano delle previsioni statisticamente equivalenti, è come non dare alcuna informazione. Anzi, genera confusione e offre il fianco ad un uso strumentale del risultato.


In conclusione: nella scienza è normale fare errori, è normale cambiare opinione, ed è normale anche che alcuni modelli falliscano. Nonostante ciò, è fondamentale che gli scienziati imparino a comunicare col decisore e con la società, sottolineando sempre, come sanno fare bene, i limiti dei propri approcci. Ed è fondamentale che il decisore si basi, sempre, sulla migliore evidenza scientifica validata disponibile.









x

lunedì 25 maggio 2020

meme and epidemiology


In these quarantine weeks, many people became curious, among many topics, of epidemiological aspects highly linked to the event that was affecting everyone’s daily life. One element that has become very popular is the R0 index, the basic reproduction number. We dealt with this parameter many times, we know it represents a measure of the "speed" with which an infectious disease initially progresses. R0 is characteristic of the epidemic in its initial phase, then to understand if any containment measures take effect, the actual reproduction number is considered, which is usually indicated with R(t), as it refers to a generic day "t". We can say that the link between the two parameters is: R0 = R (0), that is, the basic reproduction number coincides with the actual reproduction number on day t = 0 of the beginning of the epidemic. We know that over time, R(t) represents the average number of people who are infected by an already infected person during the virus infectivity period. In general, R(t) depends on three quantities: on the probability of contagion (P), on the duration of the average period of infectivity (D), and on the average number of contacts of the individuals concerned (C), according to a simple multiplicative relationship.

For example, if R(t) = 2, we have a situation in which each infected person infects two new individuals and the epidemic progresses rapidly as the group of the infected grows geometrically. On the contrary, if R(t) = 0.5, we have a situation in which only one of two already infected individuals manages to infect another individual, the epidemic disappears naturally because at each cycle of infectivity the number of infected individuals is halved. These relationships are very easy to understand and simple enough to illustrate. In this sense, it is really embarrassing to record that people responsible for the highest levels of public health, as is a regional health assessor, can make mystifying statements like

"Does the index at 0.51 mean? that to infect me you have to find two people at the same time infected because it is at 0.50; and this means that it is not so easy to find two infected people at the same time to infect me. This is the effectiveness of the action and what makes us feel comfortable and confident. "

We always avoided entering the political controversy related to the management of Covid-19, but when Science is distorted to such a point, simply to (falsely) reassure citizenship in the face of an alarming situation, we cannot fail to notice it. However, it must be said that there are many people capable of grasping the irony of the situation, some have said that the commissioner's statements are like saying that” with the birth rate at 0.5% to procreate every woman must have sex with two men at the same time”, or even "Do you know that jock about the guy that since there is a one billion chance that someone gets on a plane with a bomb, the probability that two of them get on that plane with a bomb becomes one in a billion billions and then the guy gets on the plane with a bomb? That guy is Gallera. " In short, in the end we have to thank the Lombardia health assessor, it has been a while since we found such a beautiful meme.


Meme ed edpidemiologia

In queste settimane di quarantena, molte persone si sono incuriosite, tra i tanti argomenti, di aspetti epidemiologici così legati all’evento che stava condizionando la vita quotidiana. Un elemento che è diventato molto popolare è l’indice R0, il numero di riproduzione di base. Ci siamo occupati di questo parametro molte volte, sappiamo che rappresenta una misura della “velocità” con cui una malattia infettiva inizialmente progredisce.
R0 è caratteristico dell’epidemia nella sua fase iniziale, successivamente per capire se eventuali misure di contenimento abbiano effetto, si considera il numero di riproduzione effettivo, che usualmente è indicato con R(t), in quanto riferito ad un generico giorno “t”. Potremo dire che il legame fra i due parametri è: R0=R(0), ovvero il numero di riproduzione di base coincide con il numero di riproduzione effettivo al giorno t=0 di inizio epidemia.
Sappiamo che nel corso del tempo, R(t) rappresenta il numero medio di persone che vengono contagiate da una persona già infetta, durante il periodo di infettività del virus. In generale R(t) dipende da tre quantità: dalla probabilità di contagio (P), dalla durata del periodo medio di infettività (D) e dal numero medio di contatti degli individui interessati (C), secondo una semplice relazione moltiplicativa.
Ad esempio, se R(t)=2, abbiamo una situazione in cui mediamente ogni contagiato infetta due nuovi individui e l’epidemia progredisce velocemente poiché il gruppo degli infetti cresce in modo geometrico. Al contrario, se R(t)=0.5, abbiamo una situazione in cui mediamente solo uno fra due individui già infetti riesce a contagiare un altro individuo, l’epidemia svanisce in modo naturale poiché ad ogni ciclo di infettività il numero degli individui infetti si dimezza.
Queste relazioni sono molto facili da capire e abbastanza semplici da illustrare. In tal senso, è davvero imbarazzante registrare che persone responsabili ai massimi livelli della salute pubblica, come è un assessore regionale alla Sanità, possano fare affermazioni mistificatorie del tipo
“L’indice a 0,51 vuol dire? che per infettare me bisogna trovare due persone nello stesso momento infette perché è a 0,50; e questo vuol dire che non è così semplice trovare due persone infette allo stesso momento per infettare me. Questa è l’efficacia dell’azione e ciò che ci fa stare tranquilli e confidenti.”
Abbiamo sempre evitato di entrare nella polemica politica legata alla gestione del Covid-19, ma quando la Scienza viene distorta a tal punto, semplicemente per (falsamente) rassicurare la cittadinanza a fronte di una situazione invece allarmante non possiamo non notarlo.
Va però detto che sono tante le persone capaci di cogliere l’ironia della situazione, c’è chi ha detto che le affermazioni dell’assessore sono come dire che con la natalità allo 0.5% per procreare ogni donna deve fare sesso con due uomini contemporaneamente, o anche "La sapete quella di quello che siccome c'è una probabilità su un miliardo che qualcuno salga su un aereo con una bomba, la probabilità che siano in due a salire su quell'aereo con una bomba diventa una su un miliardo di miliardi e quindi lui sale sull'aereo con una bomba? Ecco, è Gallera."
Insomma alla fine dobbiamo ringraziare l’assessore, era un po’ che non trovavamo un meme così bello.


venerdì 15 maggio 2020

On the absence of statistical culture


The Covid-19 pandemic, in addition to four million infected and three hundred thousand deaths, has brought with it an explosion of data, models, analyzes, and information. A real outbreak spread mainly online, through social networks that have given birth to dozens of ad hoc websites (including ours). Many data enthusiasts have declared themselves champions of statistical analysis, proposing models and forecasts that, over time, have proven more or less reliable. Although driven by noble intentions, often discordant forecasts and analyzes created a lot of confusion among non-experts, often generating a distorted perception of what was really going on.
The statistical community has started to protest, softly, on the other hand, the majority of statisticians are working at full speed and do not have time to team up or carry on highly visible full-time activities. Thus, the voice of the community remains somewhat muted.
But people are talking about this issue and the response to this protest from the "public" can be summed up in: "But what do statisticians want? Go more on television? They are already everywhere." This sentence sums up the thoughts of some very educated people, highly competent in their field, and of prestige. Sounds a bit like the phrase attributed to Marie Antoinette "are they asking for bread? Give them croissants! " and the part where they say that "they are already everywhere" denotes well the nature of the problem.

In the scientific-technical committees, Data Analysts are recruited more often than statisticians. The fact that the difference is not perceived depends on the total lack of a statistical culture of this country (as many other countries of course). Those who have not studied statistics in a formal or informal way have no idea of ​​the great importance that a simple but central concept has for anyone who studied it: statistics is meant to estimate unobserved quantities, for example predicting future quantities, but more SPECIFICALLY, it is meant to MEASURE the  UNCERTAINTY associated to these predicted quantities.
A simple example again linked to the Covid19. At the beginning of the epidemic, all StatGroup-19 members ventured into predicting the number of infected people from one day to the next, it seemed fundamental to understand how the epidemic curve was made (before knowing the hash behind the data). A method that gave semi-perfect point estimates at the regional level (it was a few dozen wrong even on regions with few contagions) provided huge 95% confidence bands around the curve of contagions, it was plausible to go from 0 to 1 million infected people passing through the exact value. Now I ask who follows us from the first day, have you ever seen those curves? No. We are all statisticians in the StatGroup-19 and a model that produces such uncertain estimates, even if reluctantly, we leave it in the drawer. Others, without even evaluating the uncertainty of their estimates, propose them to decide on everyone's life. But they are not statisticians.


Dell’assenza di cultura statistica


La pandemia di Covid-19, oltre a quattro milioni di infetti e trecentomila morti, ha portato con sé un’esplosione di dati, modelli, analisi e informazioni. Una vera e propria infodemia diffusa principalmente online, attraverso i social network che ha partorito decine di siti web ad hoc (incluso il nostro). Molti appassionati di dati si sono autoeletti a paladini dell’analisi statistica, proponendo modelli e previsioni che con il tempo si sono rivelati più o meno attendibili. Seppur mosse da nobili intenti, previsioni e analisi spesso discordanti hanno creato molta confusione tra i non addetti ai lavori, generando spesso una percezione distorta di ciò che stava realmente accadendo.
La comunità statistica ha cominciato a protestare, un po’ sommessamente, d’altra parte la maggioranza degli statistici sta lavorando a pieno ritmo e non ha tempo per fare squadra o attività altamente visibili a tempo pieno. Così, la voce della comunità resta un po’ in sordina.

Però se ne parla e la risposta a questa protesta ottenuta da parte del “pubblico” è riassumibile in : “Ma cosa vogliono gli statistici? Andare di più in televisione? Stanno già dappertutto” Questa frase riassume il pensiero di alcune persone anche molto colte, preparate nel loro campo e di prestigio. Suona un po’ come la frase attribuita a Maria Antonietta “chiedono pane? Dategli delle brioche!” e la parte in cui si dice che “stanno già dappertutto” denota bene la natura del problema.
Nei comitati scientifico-tecnici, nelle commissioni spesso entrano dei Data Analyst, non degli statistici. Il fatto che la differenza non venga percepita dipende dalla totale mancanza di cultura statistica di questo paese (come di molti altri sia chiaro). Chi non ha studiato statistica in modo formale o informale che sia, non ha idea della grande rilevanza che ha un concetto semplice, ma centrale per chiunque lo abbia fatto: la statistica serve sì a stimare quantità non osservate, ad esempio prevedere quantità future, ma SOPRATTUTTO, serve a MISURARE con quale INCERTEZZA queste quantità sono ottenute.


Esempio semplice e legato al solito Covid19. All’inizio dell’epidemia tutto lo StatGroup-19 si cimentava nella previsione del numero di contagiati da un giorno all’altro, ci sembrava fondamentale capire come fosse fatta la curva epidemica (prima di conoscere i pastrocchi sui dati poi evidenziati). Un metodo che dava stime puntuali semi-perfette a livello regionale (sbagliava di poche decine anche su regioni con pochi contagi) forniva delle bande di confidenza al 95% attorno alla curva dei contagi enormi, si poteva passare da 0 a 1milione di contagiati passando per il valore esatto. Ora chiedo a chi ci segue dal primo giorno, avete mai visto quelle curve? No. Noi siamo tutti statistici e un modello che produce stime così incerte, anche se a malincuore, lo lasciamo nel cassetto. Altri, senza nemmeno valutare bene l’incertezza di tali stime, le propongono per deciderci sopra la vita di tutti. Ma non sono statistici.