Sinal e ruído: o que estatísticas podem ou não afirmar?
Colocando cada estatística em seu devido lugar
Depois de dez jogos, um atleta está convertendo 41% dos arremessos de três, contra 31% na temporada passada. A comissão comemora o trabalho de desenvolvimento. Um mês depois ele está em 33%. A pergunta que interessa não é o que deu errado no mês seguinte, e sim outra, anterior a ela:dez jogos bastavam para afirmar que ele tinha melhorado?
O conceito
Todo número de basquete é a soma de duas coisas: o que o atleta realmente faz (sinal) e a variação aleatória de uma amostra pequena (ruído). A proporção entre as duas não é a mesma para todas as métricas e, por essa razão, muitas das nossas conclusões precisam ser repensadas. Então precisamos tomar cuidado para não atribuir mudanças verdadeiras de desempenho ao acaso e vice-versa.
Para ter uma ideia desta separação sinal-ruído, existe uma forma direta de medir isso: tomamos a temporada de cada jogador, separamos os jogos ímpares dos pares e comparamos as duas metades. Mesmo atleta, mesma temporada, mesmo papel, de modo que qualquer diferença entre as metades é ruído de medição e não mudança real. Chamamos isso de confiabilidade metade-a-metade.
Rodamos isso para algumas estatísticas nos dados dos últimos 10 anos de NBB (~1.900 unidades de temporada-atleta) e o resultado pavimenta nossa discussão a partir de agora:
| MÉTRICAS | CONFIABILIDADE | JOGOS ATÉ 50% DO SINAL (K) |
|---|---|---|
| TAXA DE 3PTs (3P-R) | 0.974 | 1 |
| TAXA DE 2PTs (2P-R) | 0.974 | 1 |
| AST/36 MIN | 0.950 | 2 |
| TAXA NO ARO (ARO-R) | 0.943 | 2 |
| REB/36 MIN | 0.933 | 2 |
| RBO% | 0.904 | 3 |
| BLQ/36 MIN | 0.866 | 5 |
| PTS/36 MIN | 0.856 | 5 |
| TAXA DE MÉDIA (MÉD-R) | 0.810 | 8 |
| ERR/36 MIN | 0.759 | 10 |
| ROU/36 MIN | 0.693 | 14 |
| LL% | 0.621 | 20 |
| 2P% | 0.568 | 24 |
| eFG% | 0.557 | 25 |
| 3P% | 0.388 | 50 |
| ARO% | 0.332 | 66 |
| MÉDIA% | 0.177 | 153 |
O que isso significa na prática
As métricas em azul se referem a métricas de volume e papel dos jogadores, enquanto as em amarelo indicam a eficiência e aproveitamento. Repare como as métricas de "estilo de jogo" se resolvem em muito menos jogos. Depois de 1 a 3 jogos, é possível afirmar com mais confiança que tipo de atleta ele(a) é – se é arremessador ou se é mais ativo no garrafão, por exemplo. Volume e papel se estabelecem quase imediatamente, enquanto a eficiência se estabelece muito mais devagar.
Nós confundimos os dois o tempo todo. Quando dizemos "ele é um arremessador de três pontos", em geral, queremos dizer duas coisas ao mesmo tempo: que aquele atleta arremessa mais vezes e que ele acerta acima da média. Mas apenas uma dessas afirmações é rapidamente verificável.
A confiabilidade metade-a-metade mede ruído de medição e só.
Ela não confirma que uma mudança real aconteceu ou não aconteceu: diz apenas quanto da variação observada é atribuível ao acaso da amostra. Métricas de eficiência são lentas e muito suscetíveis ao contexto em que os arremessos acontecem, por exemplo. Por essa razão, elas devem sempre serem analisadas considerando o contexto: qual foi a seleção de arremessos? Qual foi o tipo de defesa?
E isso, de certo modo, pode ser uma boa notícia. Na prática, não podemos esperar que aquele jogador adversário com 45% de 3P% mantenha esse desempenho todo jogo. Ele certamente vai variar. Se identificarmos os fatores contextuais que mais causam variação no seu aproveitamento, temos um ótimo ponto de partida pro scouting da partida para neutralizá-lo.