Analyse de données de chronographe

Résumé pratique

Supposons que nous avons un échantillon de $n$ valeurs, notées $x_1,\ldots,x_n$. La moyenne empirique est $$ \hat{\mu} = \frac{1}{n} \sum_{i = 1}^n x_i, $$ et l'écart-type empirique est $$ \hat{\sigma} = \sqrt{\frac{1}{n-1} \sum_{i = 1}^n (x_i - \hat{\mu})^2}. $$ Si le mesure de moyenne est en général assez fiable, l'évaluation de l'écart-type comporte toujours un bruit important, et l'information de l'écart-type est avant tout qualitative, plus que quantitative.

Explications mathématiques

Les preuves sont omises dans les résultats donnés ci-dessous, pour se concentrer sur des considérations pratiques. Le lecteur désirant en connaître davantage pourra par exemple consulter https://bookdown.org/egarpor/inference/

In [1]:
using Distributions
using Plots
using Random

La distribution normale

Nous supposerons à fins d'illustrations que la vitesse initiale suit une distribution normale de moyenne 850$m/s$ et d'écart-type 3,5$m/s$, ce qui en Julia peut s'écrire comme

In [2]:
vitesse = Normal(850,3.5)
Out[2]:
Normal{Float64}(μ=850.0, σ=3.5)
In [3]:
pdfvitesse(x) = pdf(vitesse, x)
Out[3]:
pdfvitesse (generic function with 1 method)
In [4]:
plot(pdfvitesse, 830, 870)
Out[4]:

Le graphe correspond à la célèbre courbe en cloche célébrée en probabilité.

Moyenne et écart-type

Moyenne

La notion de moyenne est assez intuitive, puisque c'est la valeur centrale des observations. Supposons que nous avons $n$ mesures $x_1,\ldots,x_n$, la moyenne échantillonnale vaut $$ \hat{\mu} = \frac{1}{n} \sum_{i = 1}^n x_i. $$ La loi des grands nombres nous apprend que quand $n$ tends vers l'infini, $\hat{\mu}$ converge vers l'espérance de la distribution $\mu = E[X]$, en supposant que toutes les observations sont issues de la même distribution. Mathématiquement parlant, il faut cependant que cette espérance existe, ce qui est le cas pour la quasi totalité des distributions statistiques, et la convergence se fait en probabilité (loi faible des grands nombres) ou presque sûrement (loi forte des grands nombres). Nous pouvons cependant ignorer ces détails mathématiques dans ce qui suit.

Si asymptotiquement, la moyenne est normalement distribuée en vertu du théorème de la limite centrale, les points mesurés peuvent venir d'une autre distribution. Utiliser l'écart-type pour déterminer la proportion de points autour d'une valeur donnée requiert donc l'hypothèse que ceux-ci proviennent d'une loi normale.

Supposons que c'est le cas et simulons des mesures de vitesse avec la distribution préalablement créée. Nous allons générer 10000 mesures, ce qui est bien sûr irréaliste mais permettra de discuter du calcul de l'écart-type. La graine du générateur aléatoire est fixée (2026, puis 2027 et 2028 pour les deux expériences suivantes, valeurs choisies d'avance) : les nombres cités dans le texte sont ceux que chacun obtiendra en réexécutant le notebook avec Julia 1.12 (le flux aléatoire d'une graine n'est pas garanti d'une version de Julia à l'autre).

In [5]:
Random.seed!(2026)
mesures = rand(vitesse, 10000)
Out[5]:
10000-element Vector{Float64}:
 846.7865445637696
 851.0975766361859
 845.6640288454043
 851.9124439117455
 850.4015511099291
 851.7204689601548
 848.9579452076714
 853.8941130237771
 851.6298230548781
 850.0234696763717
 852.5183341464098
 845.7636784038543
 843.2649427380023
   ⋮
 850.9408429740537
 854.9916220173665
 846.8969108435061
 849.1626934210047
 847.6094932758659
 843.3050744346956
 850.422756352512
 852.2659473815314
 850.3893011395558
 847.6903954919972
 848.9772892591428
 851.7951208543325

Remarquons que la moyenne et l'écart-type de l'échantillon correspondent bien approximativement, mais pas parfaitement, à nos hypothèses de départ:

In [6]:
μ = mean(mesures)
σ = std(mesures)
μ, σ
Out[6]:
(850.023170053235, 3.4895704833829284)

Regardons à présent l'évolution des moyennes et écart-type empirique en partant de 3 observations jusqu'à 10000. L'analyse est bien entendu idéalisée puisqu'on suppose les mesures parfaites, ce qui ne sera jamais le cas en pratique.

In [7]:
moyennes = [ mean(mesures[1:i]) for i = 3:10000 ]
ecarttypes = [ std(mesures[1:i]) for i = 3:10000 ]

plot(moyennes)
Out[7]:

Nous constatons que nous avons rapidement une bonne estimation de la vitesse moyenne. Il en est tout autre pour l'écart-type.

In [8]:
plot(ecarttypes)
Out[8]:

Si nous nous intéressons seulement aux 20 premières valeurs (échantillons de taille 3 à 22), nous avons le graphe suivant.

In [9]:
plot(ecarttypes[1:20])
Out[9]:

Nous voyons que l'estimateur d'écart-type converge lentement vers la vraie valeur, et il convient de ne pas prendre les valeurs estimées comme précises (alors que l'expérience est idéalisée!). Remarquons que l'application de la formule initiale sur trois observations donne bien la valeur obtenue avec la fonction std:

In [10]:
x=(mesures[1]+mesures[2]+mesures[3])/3
y=(mesures[1]^2+mesures[2]^2+mesures[3]^2)/3
sqrt((y-x^2)*3/2)
Out[10]:
2.868463022325686

En poursuivant sur les vingt tailles d'échantillon suivantes (23 à 42 observations — la même série, prolongée), l'estimation continue de fluctuer :

In [11]:
plot(ecarttypes[21:40])
Out[11]:

Intervalles de confiance

Si les mesures sont indépendantes et identiquement distribuées (i.i.d.), il est possible de construire un intervalle contenant avec une probabilité donnée la valeur recherchée.

Le théorème de la limite centrale nous informe qu'asymptotiquement $$ P \left[ \mu \in \left[{\hat {\mu }}-|z_{\alpha /2}|{\frac {1}{\sqrt {n}}}\hat{\sigma},{\hat {\mu }}+|z_{\alpha /2}|{\frac {1}{\sqrt {n}}} \hat{\sigma} \right] \right] \rightarrow 1 - \alpha, $$ où $\alpha$ est le niveau auquel l'intervalle de confiance est construit. Des choix typiques sont $\alpha = 0.05$ ou $\alpha = 0.1$, donnant des probabilités respectives de 95% et 90%. $$ P \left[ \sigma^{2} \in \left[\hat{\sigma}^{2}-|z_{\alpha /2}|{\frac {\sqrt{2}}{\sqrt {n}}}\hat{\sigma}^{2}, \hat{\sigma}^{2}+|z_{\alpha /2}|{\frac {\sqrt{2}}{\sqrt {n}}}\hat{\sigma}^{2}\right] \right] \rightarrow 1 - \alpha $$

Ce second intervalle suppose de plus que les observations suivent une loi normale : le facteur $\sqrt{2}$ vient de la variance de $\hat{\sigma}^2$, qui vaut $2\sigma^4/n$ pour une loi normale mais $(\kappa-1)\sigma^4/n$ en général, $\kappa$ étant le kurtosis de la distribution. Contrairement à celui de la moyenne, il ne découle pas du seul théorème de la limite centrale.

Dans le cas où les observations sont i.i.d. et normalement distribuées, nous pouvons remplacer les intervalles de confiance asymptotiques par des intervalles exacts. C'est important en pratique : pour des échantillons de petite taille (typiquement $n < 30$), l'approximation normale est insuffisante et les intervalles basés sur les distributions $t$ de Student et $\chi^2$ sont nettement plus fiables.

$$ P \left[ \mu \in \left[{\hat {\mu }}-t_{n-1,1-\alpha /2}{\frac {1}{\sqrt {n}}}\hat{\sigma},{\hat {\mu }}+t_{n-1,1-\alpha /2}{\frac {1}{\sqrt {n}}}\hat{\sigma}\right] \right] = 1 - \alpha $$$$ P \left[ \sigma ^{2} \in \left[{\frac {(n-1)\hat{\sigma}^{2}}{\chi_{n-1,1-\alpha /2}^{2}}},{\frac {(n-1)\hat{\sigma}^{2}}{\chi_{n-1,\alpha /2}^{2}}} \right] \right] = 1 - \alpha $$

où $\chi^2_{n-1}$ désigne la loi chi-carré à $n-1$ degrés de liberté.

Reprenons les données que nous avons générées, en se rappelant que les hypothèses de normalité étaient respectées, et par conséquent, nous pouvons utiliser les dernières formules.

Considérons 20 observations et posons tout d'abord $\alpha$ à 0,05, autrement dit, nous construisons un intervalle de confiance à 95%.

In [12]:
n = 20

S = TDist(n-1)
χ = Chisq(n-1)

α = 0.05

Δμ = quantile(S, 1-α/2)*ecarttypes[n-2]/sqrt(n)
μinf = moyennes[n-2]-Δμ
μsup = moyennes[n-2]+Δμ
σinf = sqrt((n-1)ecarttypes[n-2]^2/quantile(χ, 1-α/2))
σsup = sqrt((n-1)ecarttypes[n-2]^2/quantile(χ, α/2))

μinf, μsup
Out[12]:
(847.5124164975749, 850.4650719655198)

L'intervalle de confiance obtenu pour l'écart-type est

In [13]:
σinf, σsup
Out[13]:
(2.3989284200825503, 4.60729922899333)

L'intervalle comprend bien la véritable valeur de 3,5 m/s, mais la borne supérieure est de 4,61 m/s ! Autrement dit, sur base des 20 observations uniquement, il est impossible de s'assurer que l'écart-type est sous la barre des 3,5 m/s. La mesure d'écart-type est par ailleurs

In [14]:
ecarttypes[n-2]
Out[14]:
3.154449336860366

ce qui dans le cas présent est une sous-estimation du véritable écart-type, contribuant à limiter la borne supérieure.

In [15]:
α = 0.1

Δμ = quantile(S, 1-α/2)*ecarttypes[n-2]/sqrt(n)
μinf = moyennes[n-2]-Δμ
μsup = moyennes[n-2]+Δμ
σinf = sqrt((n-1)ecarttypes[n-2]^2/quantile(χ, 1-α/2))
σsup = sqrt((n-1)ecarttypes[n-2]^2/quantile(χ, α/2))

σinf, σsup
Out[15]:
(2.5043978510474805, 4.322890170195268)

L'imprécision sur l'écart-type est encore très grande.

Refaisons la même expérience, mais avec un écart-type réel de 3 m/s.

In [16]:
vitesse = Normal(850,3.0)
Random.seed!(2027)
mesures = rand(vitesse, 10000)
μ = mean(mesures)
σ = std(mesures)
moyennes = [ mean(mesures[1:i]) for i = 3:10000 ]
ecarttypes = [ std(mesures[1:i]) for i = 3:10000 ]
μ, σ
Out[16]:
(850.0201209979074, 2.963861692941897)
In [17]:
α = 0.1

Δμ = quantile(S, 1-α/2)*ecarttypes[n-2]/sqrt(n)
μinf = moyennes[n-2]-Δμ
μsup = moyennes[n-2]+Δμ
σinf = sqrt((n-1)ecarttypes[n-2]^2/quantile(χ, 1-α/2))
σsup = sqrt((n-1)ecarttypes[n-2]^2/quantile(χ, α/2))

σinf, σsup
Out[17]:
(2.583978868754993, 4.460256523164327)

On voit que l'imprécision rapportée par l'intervalle de confiance reste importante, et la borne supérieure plus grande que 3,5 m/s. Diminuons l'écart-type à 2,5 m/s.

In [18]:
vitesse = Normal(850,2.5)
Random.seed!(2028)
mesures = rand(vitesse, 10000)
μ = mean(mesures)
σ = std(mesures)
moyennes = [ mean(mesures[1:i]) for i = 3:10000 ]
ecarttypes = [ std(mesures[1:i]) for i = 3:10000 ]
μ, σ
Out[18]:
(850.0111814486934, 2.501880943135311)
In [19]:
α = 0.1

Δμ = quantile(S, 1-α/2)*ecarttypes[n-2]/sqrt(n)
μinf = moyennes[n-2]-Δμ
μsup = moyennes[n-2]+Δμ
σinf = sqrt((n-1)ecarttypes[n-2]^2/quantile(χ, 1-α/2))
σsup = sqrt((n-1)ecarttypes[n-2]^2/quantile(χ, α/2))

σinf, σsup
Out[19]:
(1.8605332331042215, 3.2115028454220536)

Cette fois, la borne supérieure (3,21 m/s) passe sous les 3,5 m/s. Mais ce n'est pas acquis d'avance, et c'est peut-être la leçon principale de ce notebook : avec un écart-type réel de 2,5 m/s — pourtant nettement sous le seuil — et 20 coups, l'intervalle à 90 % ne passe sous 3,5 m/s qu'avec une probabilité d'environ 60 %. Quatre séries de 20 coups sur dix échoueraient donc à démontrer ce qui est vrai. Avec un écart-type réel de 3 m/s, cette probabilité tombe à 20 % ; avec 3,5 m/s, le cas de la première expérience (intervalle à 95 %), elle n'est que de 3 %.

Ces probabilités ne dépendent pas du tirage : la borne supérieure passe sous 3,5 m/s dès que l'écart-type mesuré est inférieur à 2,55 m/s (à 90 %), et la loi du $\chi^2$ donne la chance que cela arrive.

Conclusion

L'estimation statistique est un art en soi, et la qualité des estimateurs dépend de la quantité que nous cherchons à mesurer. L'estimation d'écart-type demeure délicate, et les valeurs doivent être considérées avec l'imprécision qui les entoure.

Recommandations pratiques pour le tireur :

  • La moyenne converge vite : 10 à 15 coups suffisent en général pour obtenir une estimation fiable de la vitesse moyenne.
  • L'écart-type converge lentement : avec 10 coups, l'intervalle de confiance à 90 % sur l'écart-type va de −27 % à +65 % autour de la valeur estimée. Avec 20 coups, il va encore de −21 % à +37 %. L'intervalle est asymétrique : l'écart-type réel peut être nettement plus grand que la valeur mesurée, bien plus qu'il ne peut être plus petit. Il faut au moins 30 à 40 coups pour obtenir une estimation raisonnablement stable de l'écart-type, et idéalement davantage.
  • Ne pas surinterprêter un SD bas : un écart-type de 8 m/s mesuré sur 10 coups pourrait en réalité être de 5,5 comme de 14,6 m/s (intervalle à 95 %). Inversement, un bon SD sur un petit échantillon n'est pas une garantie de régularité.
  • L'extreme spread (ES) est encore moins fiable : l'écart extrême (différence entre la vitesse la plus haute et la plus basse) dépend entièrement de deux valeurs isolées et croît mécaniquement avec le nombre de coups. C'est un indicateur très bruité qu'il convient de relativiser.