Poucos números no quadro

Toda comissão sai de um jogo com mais números do que consegue discutir – súmula, mapa de arremessos, vídeo, as anotações do treino da semana. A tentação é olhar tudo. Mas as comissões que usam bem os dados costumam acompanhar muito pouco: cinco números escritos no quadro, conhecidos de cor pelos atletas. Cada um aponta para um jeito de jogar (quantas paradas defensivas seguidas, quantas bolas no garrafão).

Nos dois primeiros textos da trilha 101 Analytics, vimos como construir uma métrica e quanto podemos concluir a partir dela. Aqui aparece uma terceira pergunta: o que acompanhamos todo dia e o que só faz sentido olhar quando a semana termina?

O resultado chega por último

A primeira escolha que vem à cabeça é o resultado. Uma meta como recuperar 40% dos próprios arremessos errados funciona bem num jogo. Se a equipe erra uns 40 arremessos (número hipotético), são umas 16 segundas chances para buscar, e a conta pode ser atualizada a cada tempo técnico.

O problema aparece quando usamos o mesmo tipo de número para avaliar um treino ou uma semana. No texto sobre sinal e ruído, a taxa de arremessos de três de um atleta carregava metade do seu sinal depois de 1 jogo. O aproveitamento de três precisava de cerca de 50. Ou seja, o tipo de arremesso diz algo quase imediatamente; a eficiência só fala com uma temporada de amostra.

Há uma razão para isso. O treino muda primeiro o que o atleta percebe, depois as decisões que ele toma, depois o movimento – e só então o placar. O resultado é o que mais nos importa e, ao mesmo tempo, a medida menos sensível ao que acabou de mudar. Daí vem um hábito útil na revisão de vídeo: cortar a cena quando a bola sai da mão do arremessador e perguntar se aceitamos aquele arremesso, antes de saber se ele entrou.

Todo dia, toda semana

Dessa ordem sai a divisão do painel. No dia a dia, acompanhamos comportamentos que a equipe tem chance de repetir muitas vezes por treino e que podem ser registrados sempre do mesmo jeito. Na semana, a comissão olha a sequência desses comportamentos ao lado dos resultados, e decide.

Os comportamentos podem nascer de um resultado que queremos alcançar. Se a meta é arremessar em 80% das posses (cuidar da bola), o treino pode virar tarefa: o ataque recebe 10 posses e precisa terminar pelo menos 8 com um arremesso. O alvo do jogo vira regra do exercício, e a contagem do exercício vira o número do dia.

É aqui que mora a armadilha mais conhecida do uso de dados. A Lei de Goodhart leva o nome do economista britânico Charles Goodhart, que a observou na política monetária dos anos 1970. Costuma ser resumida assim: quando uma medida vira meta, ela deixa de ser uma boa medida. O número passa a ser buscado por si mesmo – e as pessoas (atletas e comissão incluídos) encontram jeitos de produzi-lo que não passam pelo que ele deveria representar. Uma tarefa que obriga a bola a trocar de lado produz mais inversões que um 5 contra 5 livre. Isso não quer dizer que a equipe aprendeu a inverter. Quer dizer que a regra funcionou.

Não dá para fugir de metas, mas dá para se proteger delas. Os registros precisam carregar o contexto (qual tarefa, qual regra, quantas posses elegíveis), e treino e jogo ficam em linhas separadas do painel. O número de uma tarefa com regra forçada só vale como prova quando o comportamento reaparece onde ninguém o exigiu.

O mesmo painel pode olhar para a própria comissão: quanto tempo do treino foi para cada conteúdo, ou quantas perguntas abertas fizemos para cada instrução direta. São medidas do que oferecemos, e não só do que os atletas devolvem.

Por fim, nem tudo sai do papel. Mesmo acompanhando vários números, vale escolher um único para repetir nos tempos técnicos e no intervalo. Oito sequências de três paradas por jogo somam 24 posses defensivas sem ceder pontos – perto de um terço de um jogo com umas 70 posses (número hipotético). É uma meta que cabe numa frase e resume o tipo de defesa que a equipe quer jogar.

Antes de abrir uma planilha nova, vale começar pela pergunta mais simples: qual número vai estar no quadro na próxima segunda-feira – e o que vamos fazer se ele não aparecer?