Les pi�ges et erreurs statistiques
Date : mardi 16 octobre 2007 @ 20:02:25 :: Sujet : Psychologie
Une connaissance des statistiques est vitale
pour notre compr�hension du monde, mais une connaissance incompl�te de
celles-ci peut pi�ger celui qui n'est pas m�fiant.
Les "pi�ges statistiques" pourraient �tre
d�finis comme les "moyens" par lesquels les statistiques peuvent �tre
mal interpr�t�es. Une meilleure connaissance de ces pi�ges est
importante parce que les statistiques jouent un r�le vital dans la
prise de d�cision, qu'elle soit politique, scientifique, dans le monde
des affaires ou lorsque vous devez prendre une d�cision (ou votre
m�decin) sur le traitement le plus ad�quat � prendre quand vous �tes
malade. Dans cet article nous donnerons plusieurs exemples
d'interpr�tations erron�es ou de mauvaises utilisations des
statistiques. Ces illustrations mettent l'accent sur le message selon
lequel, quand nous sommes confront�s � un argument reposant sur des
"faits statistiques", il est toujours bon de garder un oeil sceptique,
et ce malgr� l'aura d'objectivit� quasi religieuse qui les entoure.
| Randomisation et double-aveugle |
Un des premiers aspects de l'erreur statistique,
dans le cadre d'�tudes scientifiques, est celui du respect de ces deux
conditions que sont la randomisation et le double-aveugle.
Quand ces conditions sont parfaitement respect�es, elles permettent
d'�viter les biais propres � tout jugement humain. De nombreuses �tudes
p�chent par manque de prudence dans le respect de ces proc�dures. Pour
un d�veloppement plus important de ces notions, rendez-vous sur la page qui leur est consacr�e.
| Le pi�ge du contr�le unique |
L'autre moyen pour se vautrer dans l'erreur peut
provenir de r�sultats positifs tir�s d'un seul moyen de contr�le.
Consid�rons la figure 1 tir�e d'une �tude de Brown & Ennis (2001)
cherchant � prouver la r�alit� de la "m�moire de l'eau". Elle
repr�sente le pourcentage d'inhibition de l'activit� basophile pour 20
dilutions diff�rentes. S'il n'y avait aucune diff�rence entre l'eau
pure et l'histamine dilu�e, on s'attendrait � trouver autant de barres
en haut que de barres en bas. Le fait qu'il y ait 18 barres en haut et
seulement 2 en bas sugg�re qu'il existe une diff�rence. Cependant,
l'�tude de Brown & Ennis n'explique pas clairement si les 20
dilutions d'histamine ont �t� compar�es au m�me �l�ment de contr�le, ou
� des �l�ments de contr�l�s diff�rents. Ceci illustre un autre pi�ge
statistique. Si les dilutions �taient toutes compar�es � une seule
dilution de contr�le, il suffirait que celle-ci soit, par hasard, loin
des 21 groupes pour produire des diff�rences significatives comme
celles trouv�es Figure 1.
Fig. 1. Pourcentage d'inhibition de l'activit� basophile par dilutions histamine. (Brown and Ennis, 2001)
| Le test des hypoth�ses et valeur de p |
Tester les hypoth�ses joue un r�le important en
science. Par exemple, prenons les r�sultats du premier laboratoire dans
l'exp�rience de dilution de l'�mission Horizon (�mission de t�l� britannique ayant test� scientifiquement l'hom�opathie),
la valeur de p dans le test, pour ce qui est de l'absence de diff�rence
entre l'eau pure et l'histamine, a �t� calcul�e � 0,6. Ce qui signifie
qu'il y avait 60% de chance de tomber sur un r�sultat tel que celui
obtenu, ou un plus extr�me, supposant qu'il n'y a aucune diff�rence
entre l'eau et l'histamine. Ainsi, parce que 60% est une probabilit�
consid�rable, nous n'avons aucune raison de douter de l'affirmation
selon laquelle il n'y a pas de diff�rence.
Il existe plusieurs fa�ons de mal calculer la valeur de p. L'une d'elles est le test Post Hoc,
o� le test de l'hypoth�se est choisi apr�s que les donn�es aient �t�
collect�es et le mod�le choisit. Un autre moyen est de recalculer la
valeur de p apr�s avoir augment� la quantit� de donn�es. Ces deux
pratiques ont pour effet de rendre plus probable un r�sultat concluant
en l'absence de diff�rence.
Quand on cherche des mod�les dans les donn�es,
calculer les valeurs de p post hoc et avec des r�gles pas tr�s arr�t�es
peut �tre un outil valable. Mais une petite valeur de p calcul�e par ce
moyen devrait �tre trait�e avec une attention toute particuli�re, et
utilis�e seulement dans le but de motiver une exp�rience compl�mentaire
quand les d�tails de tous les tests des hypoth�ses sont d�cid�s, avant
que les donn�es soient collect�es.
Il est important de garder � l'esprit la
diff�rence entre la "diff�rence statistique" et la "diff�rence
pratique". Par exemple, le programme de recherches des anomalies de
Princeton (PEAR - http://www.princeton.edu/pear/ ) a conclu pendant
plus de 20 ans que les �tres humains pouvaient influencer, par la
simple pens�e, un g�n�rateur al�atoire de chiffres (0 et 1), en
produisant une probabilit� que le 1 sorte � environ 0,501 au lieu de
0.5. Toutes choses ignor�es par ailleurs, les faibles valeurs de p
utilis�es afin de justifier cette conclusion sont suspectes parce
qu'elles reposent sur des donn�es provenant d'une exp�rience en cours
n'ayant pas de r�gles clairement arr�t�es.
Les chercheurs qui ont dirig� l'exp�rience
(n�gative) de "dilution Horizon" ont �crit un papier, mais ont eu
toutes les difficult�s � le publier dans un journal scientifique. Ils
se sont tourn�s vers Nature, Science, Nature Medecine et le British Medical Journal.
Ceci illustre le ph�nom�ne du biais de publication, o� des �tudes avec
un r�sultat positif int�ressant sont plus susceptibles d'�tre publi�es
que celles ayant des r�sultats n�gatifs. Les premi�res seront
probablement plus "vendeuses" que les secondes. Ainsi, la litt�rature
scientifique finit par contenir plus d'�tudes laissant une hypoth�se
fausse se voir consid�r�e comme vraie, plut�t que des �tudes montrant
que l'hypoth�se est fausse.
Pour illustrer ceci, consid�rons 1000
exp�riences pour tester si la probabilit� de sortie du "pile" d'une
pi�ce de 1 euro est diff�rente de celle de la sortie du "pile" d'une
pi�ce de 2 euros. Si une valeur de p � 0,05 est consid�r�e comme
significative, nous aurons donc environ 50 �tudes qui concluront qu'il
y a une diff�rence, et peut-�tre 20 d'entre elles seront publi�es. Il
en r�sultera 22 �tudes, supportant pratiquement toutes l'hypoth�se
selon laquelle il existe bien une diff�rence. Quid de la majorit� des
�tudes n�gatives ? Elles resteront ignor�es.
Consid�rons un grand vol d'hirondelles rouges
tachet�es dans le ciel. Tout comme l'ornithologue qui d�couvre ces
esp�ces, vous voulez conna�tre la moyenne du poids de ces oiseaux. Mais
il reste peu de temps, le groupe d'oiseau passe et il constitue une
technique d'�chantillon urgente. En tirant au hasard dans le tas avec
votre arme (d�sol� pour les amis des b�tes), plusieurs douzaines
d'oiseaux tomberont au sol et vous trouverez que leur poids moyen est
de 176 grammes. Sommes-nous face � une bonne estimation du poids moyen
de tous les oiseaux du groupe ?
Consid�rons une balle de fusil traversant au
hasard la vol�e. Cette balle est plus susceptible de frapper un gros
oiseau qu'un petit. Donc, l'�chantillon contiendra probablement un
grand nombre de gros oiseaux. Ceci implique que l'estimation de 176
grammes est biais�e et trop �lev�e.
D'un autre c�t�, consid�rons 2 oiseaux qui ont
�t� frapp�s, un petit et un gros. Le gros est plus susceptible de
survivre � la blessure que le petit, et donc plus susceptible de
continuer � voler. Ceci signifie que l'�chantillon contient un grand
nombre de petits oiseaux et que l'estimation de 176 grammes est trop
basse.
Nous voyons donc qu'il y a plusieurs biais
d'�chantillon � l'oeuvre, n'agissant pas tous dans la m�me direction.
Ainsi, la situation est complexe et il serait tr�s difficile de
calculer une bonne estimation de la moyenne du poids de tous les
oiseaux de la vol�e en utilisant les poids des �chantillons d'oiseaux.
Sans parler de l'�thique et de la loi sur les armes, tuer les oiseaux
n'est pas vraiment une bonne id�e.
Le biais d'�chantillon est donc d'une importance
capitale dans une enqu�te. Par exemple, prenez une �tude o� on demande
aux gens quel est leur revenu avant imp�ts. Il est possible que ceux
ayant de gros revenus soient r�ticents � r�v�ler cette information. En
cons�quence, si nous ignorons simplement ces personnes et faisons une
moyenne uniquement sur les revenus de ceux qui ont r�pondu, nous
pourrions avoir une estimation beaucoup plus faible que ce qu'elle est
en r�alit�.
Prenons un test de d�pistage d'un cancer
quelconque, utilis� afin d'�tudier au hasard la population. Nous
aimerions d�cider si ce d�pistage a de la valeur sur la base des
donn�es qui auront �t� obtenues sur 5 500 personnes qui ont eu un
cancer ces 20 derni�res ann�es. Tout ceci est r�sum� dans le tableau 1.
| |
D�pist�s |
Non d�pist�s |
| Nbre surv�cus |
1850 |
1550 |
| Nbre d�c�d�s |
650 |
1450 |
| Nbre total |
2500 |
3000 |
| % surv�cus |
74% |
52% |
Tableau 1 Mortalit� parmi la population test�e et non test�e.
Nous voyons que 2500 personnes dans la
population ont d�couvert leur cancer gr�ce au d�pistage (via le test
alors qu'ils pensaient �tre en bonne sant�). Parmi ces derniers, 74%
ont surv�cu. 3000 autres personnes de la communaut� ont eu ce cancer
(ces personnes n'ont �t� au courant de leur cancer qu'apr�s une
pr�sentation de leurs sympt�mes � leur m�decin). Parmi ces 3000 cas non
d�tect�s, 52% ont surv�cu.
Il semblerait donc que d�pister une population
am�liore les chances pour une personne de survivre. Ce qui donne du
sens au test de d�pistage parce qu'une d�tection t�t dans le temps
signifie un traitement plus rapide, ce qui est toujours une bonne
chose.
Cependant, il est possible qu'un tel d�pistage
ne fasse absolument aucune diff�rence dans les chances des gens de
survivre au cancer. Comment cela est-il possible ? Supposons que le
cancer vienne sous deux formes distinctes : une croissance de la tumeur
lente et facile � traiter, et une tumeur aggressive et foudroyante en
tr�s peu de temps.
Si nous testons au hasard (par d�pistage)
beaucoup de personnes, celles dont le test sera positif tendront � �tre
celles qui ont une tumeur � croissance lente. Pour le comprendre,
souvenez-vous de l'�chantillon des oiseaux, dans laquelle la situation
est parfaitement analogue.
Il s'ensuit que les cas d�pist�s contiendront
plus probablement une grande proportion de tumeurs lentes. La situation
pourrait �tre r�sum�e comme dans le tableau 2.
| |
Tumeur lente |
|
Tumeur rapide |
|
| |
D�pist�s |
Non d�pist�s |
D�pist�s |
Non d�pist�s |
| Survivants |
1800 |
150 |
50 |
1400 |
| D�c�d�s |
600 |
50 |
50 |
1400 |
| Total |
2400 |
200 |
100 |
2800 |
| % Survivants |
75% |
75% |
50% |
50% |
Nous voyons que dans chacun des deux groupes,
les personnes qui ont �t� d�pist�es n'avaient aucun avantage sur celles
qui ne l'ont pas �t�. Ce type de contradiction entre les conclusions
qui peuvent �tre inf�r�es des tableaux 1 et 2 est appel� le "paradoxe
de Simpson". Il est d� � l'erreur dans la prise en compte d'une
variable importante, appel�e la variable de confusion, comme ici pour ce qui est des tumeurs lentes ou foudroyantes.
Le paradoxe de Simpson est un ph�nom�ne courant.
Comme autre exemple, consid�rons la collecte de donn�es sur les
gauchers et les droitiers sur plusieurs d�cades et calculons l'�ge
moyen du d�c�s pour chaque groupe. Nous pourrions tr�s bien conclure
que les droitiers vivent plus longtemps en moyenne que les gauchers,
m�me s'il n'y a aucune diff�rence. Le paradoxe dans ce cas pourrait
�tre d� � la proportion de gauchers dans la population qui change dans
le temps.
| Les �chantillons auto-s�lectionn�s |
Un des types d'enqu�te devenu tr�s populaire
r�cemment est le sondage Internet. Par exemple, sur un site, � la
question "les couleurs du drapeau australien devraient-elles �tre
chang�es ?", sur les 9453 personnes qui ont r�pondu, 4941 ont r�pondu
"oui", ce qui donne une proportion de 52%.
Cependant, il est plausible que les opposants
aux couleurs actuelles du drapeau aient �t� plus passionn�s par l'issue
du sondage que les partisans du drapeau actuel, et �taient donc plus
susceptibles d'enregistrer leur vote en ligne. Si c'est le cas,
l'�chantillon de 9453 contiendrait une proportion importante de
r�ponses "oui". En cons�quence, le r�sultat de 52% est trop haut.
Le seul moyen de trouver la proportion
d'australiens qui veulent un nouveau drapeau est de conduire une
enqu�te correctement r�alis�e, impliquant un large �chantillon dans
lequel chaque personne dans la population aurait une probabilit� �gale
d'�tre s�lectionn�e. Un tel sondage a �t� r�alis� � peu pr�s � la m�me
�poque que le sondage internet. Ce sondage, conduit par l'Australian Constitutional Referendum Study
en 1999 r�sultait en un �chantillon al�atoire de 2223 australiens parmi
lesquels 823, ou 37%, d�claraient vouloir changer de drapeau. Le fait
que cette proportion soit plus basse que les 52% de l'enqu�te internet
est logique avec notre hypoth�se initiale, selon laquelle les opposants
aux couleurs du drapeau �taient plus susceptibles de voter que les
partisans.
L'autre probl�me avec les sondages internet
vient de ce que les gens peuvent voter plusieurs fois. En outre,
certaines personnes peuvent ne pas avoir d'ordinateur, et tout le monde
ne saura pas qu'il existe un sondage en cours sur tel ou tel sujet.
Ainsi, les sondages internet sont pratiquement inutiles, en plus de
cumuler les biais des sondages de rue, et ceux qui leur sont propres,
ils ne nous disent rien sur qui que ce soit, sinon sur ceux qui y ont
particip�. Nous retrouvons le m�me genre de probl�me avec les sondages
par t�l�phone et toutes les enqu�tes n�cessitant des volontaires. Le
probl�me qui se pose avec ce genre d'enqu�tes est qu'elles se limitent
� des �chantillons auto-s�lectionn�s.
| Les probabilit�s a priori et a posteriori |
Consid�rons une maladie qui toucherait 1% de la
population, et un test dont la pr�cision de d�tection de cette maladie
est de 90%. Supposons que nous prenions une personne au hasard pour la
tester, et que le r�sultat soit positif (indiquant qu'il a la maladie).
Quel est la probabilit� pour qu'il ait r�ellement la maladie ?
En premier lieu, ceci pourrait sembler idiot comme question. Apr�s
tout, n'avons-nous pas dit que test �tait pr�cis ou juste � 90% ?
Cependant, la r�ponse n'est pas 90%. Pour comprendre pourquoi,
supposons que nous s�lectionnions 1000 personnes dans la population et
appliquions le test sur l'ensemble.
Environ 10 de ces personnes (i.e. 1%) auront la
maladie, et 990 ne l'auront pas. Sur ces 10 personnes qui l'ont,
environ 9 seront positifs (soit 90%) et 1 sera n�gatif. Pareillement,
sur ces 990 qui ne l'auront pas, environ 99 (soit 10%) seront test�s
comme positifs et 891 (soit 90%) seront n�gatifs.
Nous voyons donc que le nombre total de gens qui
seront positifs est d'environ 9+99=108. Parmi ces 108, environ 9 auront
la maladie. De ce fait, la probabilit� pour une personne test�e
positive d'avoir vraiment la maladie est de 9/108= 1/12 = 8,3%.
Notez la distinction entre la probabilit� a priori pour une personne d'avoir la maladie (1%) et la probabilit� a posteriori
de l'avoir (8,3%). Cette distinction est instructive parce que cela
montre qu'un r�sultat de test positif a (sensiblement) augment� les
chances pour une personne d'avoir la maladie (de plus de 700%).
C'est donc une confusion entre les probabilit�s a priori et a posteriori
qui nous conduit � penser que 90% est la r�ponse � la question. Mais 90
est la probabilit� a priori que le test soit correct, tandis que la
question effectivement pos�e sur la probabilit� a posteriori que le
r�sultat du test soit correct est de 8,3%.
References :
- Brown V. G., and Ennis M.
(2001). Flowcytometric analysis of basophil activation: inhibition by
histamine at conventional and homeopathic concentrations. Inflammation
Research, 50, 47-48.
Pour aller plus loin :
- Statistiques : M�fiez-vous ! Nicolas Gauvrit
- Attention, statistiques !, Joseph Klatzman
- Crimes contre la logique. Comment ne pas �tre dupe des beaux-parleurs. Jamie Whyte
- 150 petites exp�riences de psychologie (pour mieux comprendre nos semblables), Serge Ciccotti.
- Devenez sorciers, devenez savants, G.Charpak et H.Broch, Odile Jacob.
- Les influences inconscientes. De l'effet des �motions et des croyances sur le jugement. Ahmed Channouf
A lire aussi :
- Les variables de confusion
- Les correlations illusoires
- Les biais et erreurs des �tudes scientifiques
- L'illusion de la gu�rison
- Les illusions logiques
- Le pouvoir des co�ncidences
- Gagnez au loto !
- Les actes rares
Source : Charlatans.info |