Savoir quand un changement est statistiquement significatif

a marqué ce sujet comme résolu.

Bonjour,

Le titre n’est pas forcément tip-top, voici un résumé de mon problème vite-fait :

J’ai un système bruité, je veux étudier les conséquences d’un changement de paramètre d’entrée. Quand puis-je dire proprement que c’est statistiquement significatif sachant que je travaille dans un contexte ne me permettant pas de nombreuses mesures ?

Je fais des simulations plutôt longues. À partir de paramètres d’entrée, notons les $A$, j’obtiens un résultat chiffré, $R(A)$. Ou, pour être plus précis $R(A)_1$, car j’ai une certaine volatilité d’une fois sur l’autre. Je peux typiquement faire une simulation 3 fois (autant dire que le faire 10 fois pour avoir de vrais stat n’est pas possible), donc $R(A)_1$, $R(A)_2$ et $R(A)_3$. J’en déduis une moyenne $E(R(A))$ et un écart-type $\sigma(R(A))$ (typiquement, $\sigma$ vaut un dixième de $E$).

Maintenant, je vais changer l’un des paramètres d’entrée, le but étant d’étudier son influence toutes choses égales par ailleurs1. J’ai donc des paramètres d’entrée $B$, et $R(B)_1$, $R(B)_2$ et $R(B)_3$ d’où je déduis $E(R(B))$ et $\sigma(R(B))$2.

J’aurais un grand nombre de test, je n’aurai pas de problème conceptuel à dire que l’effet est $E(R(B)) - E(R(A))$ quel que soient les $\sigma$, mais là, j’ai typiquement trois essais. Je me demande donc : comment puis-je savoir si les différences constatées sont statistiquement significatives ou non sans avoir à faire plein de tests ? Cela me rappelle furieusement les estimateurs de vraisemblance et ce genre de choses, mais je serai bien en peine de faire ça correctement.

Dis autrement, il y a la vraie moyenne, celle que j’ai calculé, et je souhaiterais savoir si la différence $E(R(B)) - E(R(A))$ est explicable seulement par mon imprécision sur la moyenne calculée ou si cela dénote un véritable effet sous-jacent. J’espère pourvoir estimer la différence entre la vraie moyenne et celle calculée à l’aide de $\sigma$, mais je ne sais pas trop comment faire ça proprement.

Si vous avez des commentaires, papiers, cours ou que sais-je à me proposer, ce serait avec joie. :) Merci beaucoup.

  1. Parfois, ce n’est pas aussi simple, mais oublions ce détail pour se focaliser sur la partie statistique. ↩

  2. Notez que dans mon domaine, on trouve rarement l’écart-type dans les papiers. On m’a très sérieusement répondu qu’ils préféraient simuler des systèmes plus gros (qui devraient être plus précis) que plusieurs plus petits qui leur donneraient une estimation de l’imprécision / la non-répétabilité. Donc vis-à-vis des standards du domaine, je me prends la tête pour rien… ↩

+0 -0

Bonjour,

Tu as combien de paramètres et de mesures en tout ? Un modèle entre la mesure et les paramètres ?

Je ne pense pas que les estimateurs puissent t’aider plus que ça, si ton ensemble n’est pas statistiquement significatif, l’erreur quadratique sera trop importante. Note que tu utilises déjà un estimateur quand tu dis que la moyenne de $R(A)$ est la moyenne des tes $n$ mesures $R(A)_i$.

Si tu as des hypothèques plus fortes sur ton modèle (autre que des lois normales, je suppose que c’est le cadre que tu as pris), tu peux peut-être construire un estimateur adapté au modèle.

+0 -0

Tu as combien de paramètres et de mesures en tout ?

Je fais des simulations de type discrete element method (proche de la dynamique moléculaire), j’ai de fait des paramètres d’entrées ajustables (3) et des paramètres de formes pour caractériser les objets sur lesquels je vais faire ma simu, typiquement 4. Mais c’est évolutif : si demain, les expérimentateurs me disent qu’ils ont mesuré un nouveau truc, je le calculerai sur mes objets et je testerai l’effet d’une variation de ce paramètre morphologique sur le résultat final.

J’ai actuellement 4 paramètres de sorties qui m’intéressent (là encore, lié à ce que les expérimentateurs peuvent mesurer).

Je sors à chaque pas de temps la position, vitesse, force de chaque particule et je recoupe intelligemment ça pour obtenir des grandeurs d’intérêt. Je ne suis donc pas limité en nombre de paramètre et mesure (je prends ce qui peut être déduit de ce que j’ai et qui m’intéresse, et c’est potentiellement beaucoup).

Un modèle entre la mesure et les paramètres ?

Aucun. :P J’ai deux-trois vagues trucs dans des cas très particuliers, mais rien d’utilisable directement, et rien de générique.

Si tu as des hypothèques plus fortes sur ton modèle (autre que des lois normales, je suppose que c’est le cadre que tu as pris), tu peux peut-être construire un estimateur adapté au modèle.

J’ai effectivement pris le cadre de la loi normale, puisque c’est une variation sur des mesures, ça parait pas trop bête.

+0 -0

Du coup, disons que tu as deux variables aléatoires (lois normales) $A$ et $B$ (moyennes et variances $\left<A\right>$ et $\sigma_A^2$), tu fais $n$ réalisations de chaque que tu utilises pour estimer la moyenne $\left<\tilde A\right>$ et la variance des moyennes $\sigma_{\left<\tilde A\right>}^2$, idem pour $B$ et finalement tu calculs celles pour $A-B$.

Le problème c’est qu’avec un $n$ faible, les estimateurs ne seront bons1 (écart quadratique et variance) que si $\sigma_A$ et $\sigma_B$ sont faibles (ce qui est en gros l’hypothèse de tes collègues si je comprends bien). Ce qui est nécessaire pour dire que ton estimation $\left<\widetilde{A-B}\right>$ est proche de $\left<A-B\right>$ (idem pour la variance des moyennes).

Tu peux peut-être augmenter un peu $n$ en supposant que tu peux exprimer $A$ et $B$ en fonction d’une même variable aléatoire. Je pense à $A = \left<A\right> + X$ ou $A = \left<A\right> \times X$ où $X$ est respectivement de moyenne $0$ ou $1$.

  1. Je te laisse chercher sur wikipédia pour les formules des estimateurs. ↩

+0 -0

En fouillant un peu, j’ai peut-être trouvé une solution (un critère à peu près objectif) :

Tous mes machins suivent une loi normale, donc, avec $A$ la moyenne de $n$ tirages,

$$\frac{ \left<A\right> - A }{ \sigma_A / \sqrt{n} } \sim \mathcal{N}(0,1)$$

Idem pour $B$.

Si les deux lois (pour $A$ et $B$) sont identiques, alors

$$\frac{ A - B }{ \sigma_A / \sqrt{n} } \sim \mathcal{N}(0,1) - \mathcal{N}(0,1)$$

cette différence de loi étant une gaussienne de moyenne 1 et d’écart-type $\sqrt{2}$.

J’ai donc un critère pour dire que mon changement de paramètre n’a pas d’effet : $A-B > \sigma_A 2\sqrt{2} / \sqrt{n}$ n’arrive que dans 5 % des cas s’il y a égalité des deux lois, donc je peux réfuter cette hypothèse.

En pratique, ça me laisse supposer qu’il n’y a pas d’effet statistiquement fiable, mais au moins, ça me donne un nombre d’essais à réaliser pour trouver un effet statistiquement significatif étant donnée mes mesures préliminaires ($\sigma_A \approx 20\% \left<A\right>$, $\left<A\right> - \left<B\right> \approx 10\% \left<A\right>$, d’où un $n$ pour observer un effet de 36…).

Ça suppose des hypothèses assez limites (notamment $\sigma_A = \sigma_{\tilde{A}}$ et $\sigma_A = \sigma_B$, autrement dit que même si la modification change la moyenne, elle garde l’écart-type intacte, ce qui est une hypothèse osée, mais je crois bien nécessaire pour éviter un truc trop complexe), mais ça reste mille fois plus rigoureux que tout ce que j’ai lu comme trucs similaires dans mon domaine.

+0 -0

Comment tu estimes ton $\sigma_A$ ? Pour moi le problème c’est que si ton nombre de réalisations est faible, ton estimation de $\sigma_A$ va être limité.

Disons que tu as tes deux lois normales $\mathcal{N}(A,\sigma)$ et $\mathcal{N}(B,\sigma)$, tu veux estimer les trois paramètres, $\left<A\right>$, $\left<B\right>$ et $s$. De $s$ tu pourras tirer les écarts sur les valeurs moyennes $\sigma_{\left<A\right>}$ et $\sigma_{\left<B\right>}$, et finalement $\sigma_{\left<A-B\right>}$ et $\sigma_{\left<A-B\right>}$. Ces deux grandeurs peuvent servir à établir un critère Est-ce que le changement est significatif.

Pour moi il te reste encore à ajouter un critère pour dire si Les estimateurs sont correctes. Pour ca, je rajouterais le calcul de l’écart sur $s$ : $\sigma_s$.

$\left<A\right> = \frac{1}{n}\Sigma A_i$
$\left<B\right> = \frac{1}{n}\Sigma B_i$

$s^2=\frac{1}{2(n-1)}\left[\Sigma (A_i-\left<A\right>)^2 + \Sigma (B_i-\left<B\right>)^2\right]$
$\sigma_{\left<A\right>} = \sigma_{\left<B\right>} = \frac{s}{\sqrt{n}}$

Premier critère : $\left|\left<A\right> - \left<B\right>\right| > k\sqrt{\frac{2}{n}}s$ (je te laisse choisir le $k$)

$\sigma_{s^2}=\frac{\sigma}{\sqrt{n-1}}$
$\sigma_{s}=\frac{\sigma_{s^2}}{2s}=\frac{\sigma}{2s\sqrt{n-1}}$

Second critère : $\frac{\sigma_{s}}{s}=\frac{\sigma}{2s^2\sqrt{n-1}}<\epsilon$ (idem, je te laisse choisir le $\epsilon$).

Le second critère te donne une condition sur $\sigma$ et $n$ pour que le premier critère soit applicable.

+0 -0

Merci beaucoup. :)

J’ai encore un peu de mal à visualiser ce que représente $\sigma_s$, il faudra que je revois ça à tête reposée (je suis largement en dehors de ma zone de confort).

Je vais lancer quelques simulations pour voir ce que ça donne sur des cas que je soupçonne fort d’avoir très peu d’influence et d’autre pour lesquels je sais que ça en a de fortes et voir ce que ça donne.

Encore merci.

+0 -0
Connectez-vous pour pouvoir poster un message.
Connexion

Pas encore membre ?

Créez un compte en une minute pour profiter pleinement de toutes les fonctionnalités de Zeste de Savoir. Ici, tout est gratuit et sans publicité.
Créer un compte