Kangourou ABX, ép 4: du muguet pour les kangourous (1er Mai)

[Scaniris]

Excellent oui, pas du tout une tête de psychopathe vert prêt à te découper en tranches Il fait peur Pio quand même

[nitri]

Très beau smiley !

Moi j'ai l'impression de l'entendre dire"Martiiiine, elle a fait un bide au zenith Martiiiiine!"

[Zaph]

Il fait peur Pio quand même

Je viens à l'instant de lire un post de lui sur la cryogénisation des câbles où il explique que l'argument publicitaire ne tient pas debout. Pour cela il nous fait une démonstration à base de physique quantique, c'est tout aussi édifiant !!
Enfin, celui des proba, je n'ai ni pris le temps, ni eu le courage de le lire
Pio, j'suis trop fan, heureusement qui y'a des gars comme toi, sinon, on en serait encore aux signaux de fumée

[WhyHey]

Pourquoi ne pas utiliser Chi-square ?

je ne te le fais pas dire ...
viewtopic.php?f=1034&t=29898890&p=172305462&hilit=chi2#p172305462



la théorie:
http://fr.wikipedia.org/wiki/Chi_2

et la pratique:
http://www.seuret.com/biostat/chi.php
il ne reste qu'à le remplir ...

Dans une recontre ABX Kangourous à 5 auditeurs s'essayant chacun à mettons 4 ABX différents, le risque de faux succès est de 5x4 = 20 sur 2048, soit un sur cent.
Si les rencontres se succèdent, les chances de faux succès se multiplient. Après 5 rencontres de ce genre, on dépasse théoriquement les 1 chances sur 20 de faux succès, au-delà desquelles on ne peut plus rien conclure.

que si, on peut en conclure que:
si c'était vrai, il suffirrait d'être 2048 pour etre certain à 100% d'avoir un faux succès.
Pire si on est 10 000 on explose le chiffre mythique de 1
il ne s'agit donc plus de risque s'exprimant en pourcentage.

ou j'ai rien suivi ...
je pense qu'il manque le fait que le nombre d'expériences se multiplie d'autant qu'on est nombreux, et que donc la proba reste inchangée
sauf si les expériences ne sont pas indépendantes ...

[Pio2001]

Pourquoi ne pas utiliser Chi-square ?

je ne te le fais pas dire ...

En fait, quand j'ai proposé une deuxième leçon, c'était pour rire !

En réalité, je ne sais pas comment fonctionne le Chi-2

Je sais juste qu'entre les parametric et non-parametric Tukey HSD, et Fisher LSD (le parametric et le non parametric Fisher LSD étant respectivement connus sous les noms d'Anova et de Friedman ), le plus résistant aux faux positifs dans un test ABC/HR est le Parametric Tukey HSD.


Je ne fais que répéter bêtement les leçons de mon maître ff123 , dont l'outil de calcul en ligne est librement accessible ici

Dans une recontre ABX Kangourous à 5 auditeurs s'essayant chacun à mettons 4 ABX différents, le risque de faux succès est de 5x4 = 20 sur 2048, soit un sur cent.
Si les rencontres se succèdent, les chances de faux succès se multiplient. Après 5 rencontres de ce genre, on dépasse théoriquement les 1 chances sur 20 de faux succès, au-delà desquelles on ne peut plus rien conclure.

que si, on peut en conclure que:
si c'était vrai, il suffirrait d'être 2048 pour etre certain à 100% d'avoir un faux succès.
Pire si on est 10 000 on explose le chiffre mythique de 1
il ne s'agit donc plus de risque s'exprimant en pourcentage.

ou j'ai rien suivi ...
je pense qu'il manque le fait que le nombre d'expériences se multiplie d'autant qu'on est nombreux, et que donc la proba reste inchangée
sauf si les expériences ne sont pas indépendantes ...

mhhhh, je crois plutôt que l'erreur que tu signales vient du fait que j'ai oublié de multiplier la probabilité de 1/2048 qu'un auditeur ait un succès par la probabilité que les autres échouent. Cela n'est pas grave parce qu'elle est proche de 1, mais quand tu considère 2048 auditeurs, la probabilité que 2047 d'entre eux échouent tous est nettement plus petite que 1, et elle vient pondérer la somme pour l'empècher d'atteindre 1, puis de diverger.



Quoi ? Quels smileys ?

[syber]

Ah ! LSD

J'ai enfin compris un mot !

[WhyHey]

je crois plutôt que l'erreur que tu signales vient du fait que j'ai oublié de multiplier la probabilité de 1/2048 qu'un auditeur ait un succès par la probabilité que les autres échouent.

oui c'est bien ça, c'est une autre façon de le dire. et le résultat n'est donc pas de 20/2048 mais reste inchangé à la valeur de 1/2048.
Rien ne sert de démultiplier les expériences, la probabilité reste inchangée (heureusement), sauf si les expériences ne sont pas indépendantes (ce qui n'est pas l'hypothèse).

la proba de l'expérience telle que tu l'as définie (15 tentatives dont 14 ou 15 bonnes réponses) a une proba de 1/2048.
Si on tente cette expérience 2048 fois de suite (ou une seule fois avec 2048 personnes), on a statistiquement 100% de chance d'avoir une expérience qui sera un faux succès(justemen sur ces 2048 expériences).
C'est la lecture qu'il faut faire d'une proba de ce type: on a une chance sur 2048 d'avoir un faux succès.

tout ça veut dire la meme chose ...

pour autant, il se peut très bien qu'on ait un faux succès dès la première expérience, voir 2 faux succès dès les 2 premières expériences, c'est très improbable mais pas impossible.
car "avoir 100% de chance statistiquement" ne veut pas dire que cela se produit obligatoirement 1 fois et 1 seule, et inversement !! cela peut se produire beaucoup plus souvent, mais si on répete l'expérience des milliards de fois: statistiquement on aura toujours 1 chance sur 2048 d'avoir un faux succès.
Sinon ... personne ne jouerait au poker, à la roulette, au black jack ou au loto ... l'espoir, toujours lui !! quoique le poker est atypique.

[Pio2001]

je crois plutôt que l'erreur que tu signales vient du fait que j'ai oublié de multiplier la probabilité de 1/2048 qu'un auditeur ait un succès par la probabilité que les autres échouent.

oui c'est bien ça, c'est une autre façon de le dire. et le résultat n'est donc pas de 20/2048 mais reste inchangé à la valeur de 1/2048.
Rien ne sert de démultiplier les expériences, la probabilité reste inchangée (heureusement), sauf si les expériences ne sont pas indépendantes (ce qui n'est pas l'hypothèse)..

Je ne crois pas qu'il soit prudent de formaliser cela ainsi, sachant que nous sommes lus par de simples mortels !

Pour eux, quand on fait un ABX, on fait un ABX, et c'est tout. Et 14/15 c'est un succès ou pas.

Cela ne peut qu'embrouiller les choses si on leur dit que sous prétexte qu'ils étaient cinq, alors ils n'ont pas fait UN ABX, mais CINQ ABX, et que par conséquent, cela ne prouve rien puisqu'on avait bien qu'il fallait réussir UN ABX pour prouver une différence, et pas un ABX parmi CINQ.

le résultat n'est donc pas de 20/2048 mais reste inchangé à la valeur de 1/2048
(...)
Si on tente cette expérience 2048 fois de suite (ou une seule fois avec 2048 personnes), on a statistiquement 100% de chance d'avoir une expérience qui sera un faux succès
(...)
tout ça veut dire la meme chose ...

Pour moi, 1/2048 et 100%, ce n'est pas du tout la même chose...

[JG Naum]

la proba de l'expérience telle que tu l'as définie (15 tentatives dont 14 ou 15 bonnes réponses) a une proba de 1/2048.
Si on tente cette expérience 2048 fois de suite (ou une seule fois avec 2048 personnes), on a statistiquement 100% de chance d'avoir une expérience qui sera un faux succès(justemen sur ces 2048 expériences).
C'est la lecture qu'il faut faire d'une proba de ce type: on a une chance sur 2048 d'avoir un faux succès.

tout ça veut dire la meme chose ...
.

+1
Au final, et dans tous les cas, la proba est non nulle d avoir un resultat du au hasard... Et le pire, c est qu elle le sera jamais....
Mais en toute objectivite , on peut admettre que qd un evenement a meme qu 1 chance sur 500 de se produire et qu il se produit, ca n est pas le fruit du hasard....

[grand x]

Pourtant, ça peut !
(il m'arrive de jouer au loto)

[JG Naum]

Ok Grand X... On va rester sur les probas alors... On imagine que l auditeur a 20% de chance d identifier A. Quelle est sa proba de reussir le test Abx ? Je ramasse les copies dans une heure...

Il faut arreter avec cette histoire de loto... Pour rester ds le scolaire, qd tu as une epreuve d examen, adressee a un public heterogene. La moyenne est traditionellement 5/20(meme si les notes sont reparties entre 0 et 20). Ta note est plus correlee a tes capacites ds cette matiere qu a la moyenne ou meme a la distribution des notes....

[WhyHey]

Pour moi, 1/2048 et 100%, ce n'est pas du tout la même chose...

+1,
et on est nombreux dans ce cas.

[Pio2001]

Ok Grand X... On va rester sur les probas alors... On imagine que l auditeur a 20% de chance d identifier A. Quelle est sa proba de reussir le test Abx ? Je ramasse les copies dans une heure...

Aha ! Intéressant, ça. Tu introduis la notion d'erreur de type II, qui est l'inverse de l'erreur de type I, c'est-à-dire le risque de faux négatif. L'auditeur est capable d'entendre la différence, mais seulement dans 20 % des essais. Il peut donc échouer malgré une différence réelle.

J'ai toujours eu une attitude bourrine face aux erreurs de type II : entraînement maximum ! Pas droit à l'erreur ! Ne répondez que lorsque vous êtes certains !
Comme ça, pas d'erreurs de type II !

Evidemment, il faut interpréter chaque test avec du recul. En fait, seul l'auditeur peut dire s'il pense pouvoir faire mieux ou pas.

[WhyHey]

Cela ne peut qu'embrouiller les choses si on leur dit que sous prétexte qu'ils étaient cinq, alors ils n'ont pas fait UN ABX, mais CINQ ABX, et que par conséquent, cela ne prouve rien puisqu'on avait bien qu'il fallait réussir UN ABX pour prouver une différence, et pas un ABX parmi CINQ.

je ne sais pas si ça embrouille ?

Pour revenir au calcul:
1-si on cherche la probabilité que parmi 5 auditeurs (ou le meme auditeur répetant 5 fois la meme expérience), il y en ait un au moins (peut etre plus) qui fasse un succès (ou un faux succès, car c'est la même proba, il n'y a pas de différence entre un succès et un faux succès, statistiquement. tout comme il n'y a pas de différence entre un echec et un faux echec, statistiquement). C'est 1- la proba que tous les auditeurs fassent un echec. soit 1- (2047/2048)^5 = 0.002439
2-a comparer à la probabilité que parmi 5 auditeurs, il y en ait un exactement (ni plus ni moins) qui fasse un succès (ou un faux succès): 5*(1/2048)*(2047/2048)^4 = 0,002437.
Plus le nombre d'auditeurs augmente, plus la première proba tend vers 1.
(pour 500 000 auditeurs prob1 = 1- 9e-107 , prob2= 2e-104)
3- le tableau complet:

où l'on voit que ce qui est un fait extraordinaire est que les 5 personnes fassent un succès en même temps: (1/2048)^5 = 3 e-17 (3 chances sur 100 millions de milliards)

rappel: la somme pour i de 0 à N des C(N,i)*p^i*(1-p)^(N-i) = 1, où p est la proba unitaire (la formule reste inchangée en changeant p par (1-p) ), j'ai oublier le nom de cette formule ??, mais elle se retrouve par la formule du triangle de pascal, ou formule du binome. donc ce qui n'allait pas dans l'approximation avec p² << p , c'est que le terme (1-p) contrebalance, donc on ne peut pas faire un developpement limité aussi simple en laissant tomber tous les autres coeff, sinon, on explose 1, comme tu l'as dit.

[corsario]

Dans une recontre ABX Kangourous à 5 auditeurs s'essayant chacun à mettons 4 ABX différents, le risque de faux succès est de 5x4 = 20 sur 2048, soit un sur cent.
Si les rencontres se succèdent, les chances de faux succès se multiplient. Après 5 rencontres de ce genre, on dépasse théoriquement les 1 chances sur 20 de faux succès, au-delà desquelles on ne peut plus rien conclure.

que si, on peut en conclure que:
si c'était vrai, il suffirrait d'être 2048 pour etre certain à 100% d'avoir un faux succès.
Pire si on est 10 000 on explose le chiffre mythique de 1
il ne s'agit donc plus de risque s'exprimant en pourcentage.

ou j'ai rien suivi ...
je pense qu'il manque le fait que le nombre d'expériences se multiplie d'autant qu'on est nombreux, et que donc la proba reste inchangée
sauf si les expériences ne sont pas indépendantes ...

Plus généralement la réponse à la question "mais si on multiplie le nombre de tests ABX (ou le nombre de participants) et qu'on répond toujours au hasard, alors on aura forcément un (faux) positif" est : "oui, si on fait une expérience qui a une chance sur 100 de se produire, si on la répète 100 fois de manière indépendante, statistiquement, on aura 1 succès".

Pour le vérifier d'une manière encore différente de WhyHey, j'ai fait un tout petit programme qui tire au sort deux nombres entre 1 et 100. Si ces deux nombres sont égaux, c'est un succès. S'ils sont différents, c'est un échec (Pour revenir dans le monde ABX, 1% de chance de succès par hasard ça représente un test ABX avec au moins 9 succès sur 10).

S'il y a n joueurs qui jouent à ce jeu (100 joueurs ou 10000 comme dit Whyhey) combien aura-t-on de gagnants ?
(pour avoir la réponse j'ai répété N fois l'expérience des n joueurs afin d'avoir une fourchette (min, max, moyenne), avec N très grand (ici N=100000).

Voilà les résultats(alors qu'il n'y a que du hasard) :

On fait donc un test, ou un jeu, qui n'a que 1% de chance de se réaliser au hasard (ici faire un double en lançant deux dés à 100 faces).

Avec 100 joueurs, on va généralement avoir un joueur qui gagne (plus précisemment entre 0 et 8 joueurs vont gagner, avec un nombre moyen de succès égal à 0.993 en moyennant sur les N expériences)

Avec 10000 joueurs, on va généralement obtenir 100 gagnants (plus précisemment entre 64 et 147 succès, avec un nombre moyen de gagnants égal à 100.01 en moyennant sur les N expériences)

Donc en toute rigueur Pio2001 a raison : si on répète un test ABX, ou bien si n personnes font un test ABX, on augmente les chances de faux succès (de succès dû au hasard). Ce qui est intéressant c'est qu'avec un nombre vraiment grand de joueurs (10000), on a au minimum 64 gagnants. C'est à dire que sur les N essais que j'ai fait, je n'ai jamais réussi à avoir moins de 64 gagnants quand 10000 personnes jouent au jeu du double avec un dé à 100 faces.

Donc si on fait un ABX avec 10000 personnes, si on se limite pour chaque personne à demander au moins 9 succès sur 10, si toutes les personnes répondent au hasard, il y a vraiment beaucoup beaucoup de chances (on peut le calculer) d'avoir au moins, disons 50 personnes qui "réussissent" leur ABX. Et très probablement on aura plutôt autour de 100 gagnants.