As previsões acertam?
Uma probabilidade só vale se for honesta: dos times a quem demos 70% de chance, uns 70% devem chegar lá. Esta página confere isso com tudo o que publicamos nas edições já encerradas, dia a dia, contra o que de fato aconteceu.
Foram 7 edições encerradas e 60.734 previsões: cada chance publicada para um time num objetivo, em cada atualização, enquanto o desfecho ainda estava em aberto. Quando a chance publicada estava entre 10% e 20%, o desfecho aconteceu em 13,6% das vezes. Quando a chance publicada estava entre 50% e 60%, o desfecho aconteceu em 59,1% das vezes. Quando a chance publicada estava entre 80% e 90%, o desfecho aconteceu em 89,7% das vezes. Nas faixas 50–60%, 60–70%, 70–80% e 80–90%, o desfecho aconteceu mais vezes do que o previsto: ali o modelo foi conservador. Nas faixas 40–50%, aconteceu menos do que o previsto: ali o modelo exagerou. O Brier score geral é 0,086 (0 seria acertar tudo com certeza). Uma previsão ingênua, que desse a todos a mesma chance média, teria 0,140: o modelo erra 38% menos que ela.
Previsto x aconteceu, por faixa
A barra mostra quanto aconteceu; o traço, a chance média prevista. Numa previsão calibrada, a barra termina no traço.
| Faixa prevista | Previsões | Média prevista | Aconteceu | Comparação |
|---|---|---|---|---|
| 0–10% | 36.241 | 3,2% | 3,8% | |
| 10–20% | 9.044 | 14,4% | 13,6% | |
| 20–30% | 4.454 | 24,7% | 26,4% | |
| 30–40% | 3.070 | 34,9% | 33,8% | |
| 40–50% | 2.124 | 44,7% | 39,9% | |
| 50–60% | 1.658 | 54,5% | 59,1% | |
| 60–70% | 1.001 | 64,8% | 71,6% | |
| 70–80% | 869 | 74,9% | 83,7% | |
| 80–90% | 786 | 85,0% | 89,7% | |
| 90–100% | 1.487 | 96,6% | 97,6% |
Por campeonato
Brier score de cada divisão (menor é melhor). Campeonato mais equilibrado tem mais incerteza de verdade e, por isso, Brier maior — não quer dizer modelo pior.
| Divisão | Edições | Previsões | Brier |
|---|---|---|---|
| La LigaLiga Espanhola | 2 | 22.383 | 0,058 |
| Brasileirão Série ACampeonato Brasileiro | 2 | 16.806 | 0,132 |
| Premier LeagueCampeonato Inglês | 2 | 16.201 | 0,072 |
| Copa do MundoFIFA | 1 | 5.344 | 0,105 |
Como contamos
Entra toda chance publicada nas atualizações diárias de cada edição encerrada, para cada time e cada objetivo (título, vagas, rebaixamento, fases de copa). Ficam de fora as que já estavam decididas — garantidas ou eliminadas matematicamente, ou cravadas em 0% ou 100% —, porque não testam o modelo. O desfecho é onde o time terminou a edição.
O que é o Brier score
É a média do quadrado da diferença entre a chance prevista e o resultado (1 se aconteceu, 0 se não). Dar 90% a algo que aconteceu custa 0,01; dar 90% a algo que não aconteceu custa 0,81. Quanto menor, melhor.
Limitações desta conta
As previsões de um mesmo time em dias seguidos são muito parecidas, então o número de previsões exagera o volume de evidência independente. Ainda são poucas edições encerradas — a conta fica mais firme a cada temporada que termina. E calibração boa no agregado não garante acerto em cada caso: 10% de chance acontece, uma vez em cada dez.