corsario a écrit:je vais voir si on peut trouver une solution : ça m'embête de devoir dire à l'avance quelle score je vise.
Tu n'es pas obligé de dire à l'avance quel score tu vises si tu détermine le nombre d'essais à l'avance.
Tu les réalises, tu calcules après coup la probabilité qu'il y avait d'avoir ton score ou davantage par hasard, et tu compares à la vraisemblance de l'existence d'une différence audible.
corsario a écrit:Maintenant s'il faut rajouter en plus les possibilités de répétitions de succès plus petits, du genre avoir trois 14/15 ou quatre 14/15, etc... ça devient compliqué à calculer.
Effectivement, parce qu'il faut tenir compte du fait qu'une série de 10 sans erreur, suivie d'une erreur, suivie d'une autre série de 10 sans erreur, c'est aussi une série de 21 avec une erreur...
corsario a écrit:Personnellement, pour mes ABX, de manière pratique, je me limiterai aux succès à la suite et je dirai que je peux faire autant d'essais que je veux et que je cherche une série de succès à la suite, en me référant au tableau ci-dessus corrigé, comme ça pas de surprise. Tu es d'accord là dessus ?
Oui, à condition que tu ne fasses pas plus de 10 000 essais.
corsario a écrit:C'est vrai que c'est très conservatif comme probas (29% d'avoir 16 à la suite, ça fait bizarre vu comme ça), mais c'est le prix à payer si on veut avoir le liberté de ne pas compter ses essais et de ne pas dire à l'avance combien on veut faire.
C'est le problème : si on fait 8 à la suite après une erreur, on ne sait plus très bien où on en est. Le tableau indique que ce n'est pas significatif. Intuitivement c'est significatif, mais difficile de le prouver, sachant qu'on n'avait pas prévu ce cas de figure.
Plus embêtant : il peut arriver, et c'est très courant, de faire des erreurs d'inattention ou de fatigue. Un cas réaliste est par exemple de donner 9 bonnes réponses sur 10 dans un test ABX. Or dans ce cas, ton critère ne validera jamais le test comme réussi quel que soit le nombre d'essais faits par l'auditeur.
corsario a écrit:Il faudrait des tableaux de type 1 (on se fixe un objectif à l'avance) et de type 2 (on part à l'aveuglette, on essaie de faire le meilleur score, on s'arrête quand on est fatigué) qui soient fonctions du nombre d'essais effectués.
D'accord, sauf que pour éviter le problème des "tests séquentiels", il faut que les auditeurs se fixent un nombre d'essais à l'avance.
Une table de probabilités a été réalisée pare KikeG, je crois, sur Hydrogenaudio, qui indique les probabilités corrigées d'obtenir des faux succès dans un ABX séquentiel. L'auditeur commence le test et regarde son score et sa probabilité au fur et à mesure qu'il avance. Il se trouve que si l'auditeur a le courage d'aller au pire jusqu'à 100 essais, et qu'il s'arrête dès qu'il a un score avec probabilité d'erreur inférieure à 5%, il y arrive dans 20% des cas !
Donc ta méthode est bonne à condition que les auditeurs ne sachent pas leur score avant la fin. Personnellement, je pense que je serais beaucoup moins performant si je ne connaissait pas mon score au fur et à mesure. Je préfère largement m'imposer à l'avance le nombre d'essais et regarder toutes mes réponses.
D'autant qu'un test ABX demande souvent beaucoup d'efforts de concentration. Donc je préfère réduire le nombre de comparaisons au minimum. S'il faut que j'écoute dix fois le même extrait pour pouvoir donner une réponse, et que j'attends de faire une série de 30 à la suite, et que je me plante à la fin des deux premières, je dois recommencer deux fois. Cela fait 30+30+30 = 90 essais avec 10 lectures chacun, soit 900 écoutes successives du même extrait. De quoi devenir fou !
Surtout si je compare 10 modèles de câbles, et que je dois ensuite recommencer 8 fois avec les 8 autres modèles que je n'ai pas encore écouté en ABX !
corsario a écrit:Ca serait bien de rajouter toutes les possibilités avec une erreur (23/24 ou 16/17 ou 14/15), mais je n'ai pas le courage de calculer.
"The cheater's way is to simulate it", disait ff123. Tu fais une simulation et tu compte toutes les fois où ce genre de succès apparaît.
, meme si au final, on reproduit des lois de proba...
Créé le 29 Jan 2010 0:03
