Les tests en Double Aveugle expliqués (pas encore)

[Pio2001]

Les records sont de 20 secondes pour le plus court que j'aie fait, et 8 mois pour le plus long que je connaisse

EDIT : le plus court, je l'ai fait dans PCABX. Je n'écoutais qu'un tiers de seconde de X, et je cliquais sur la réponse tout de suite. Il y avait un petit souffle identifiable dès le début. J'ai cliqué comme un dingue à toute vitesse Clic-Clic-Clic-Clic-Cliclicliclcicliclciclic ! YES ! 8/8 tout bon

Le plus long est le fameux test de câbles secteurs de Kiang, où 23 personnes se sont envoyés les câbles par la poste et où chacun a écouté une semaine.

[clonedvinyl]

Du coup, quels sont ceux qui donnent les résultats les plus fiable.
Cela dépends probablement des gens....?

Qu'en est-il ?

[r4m]

Alors la... haskill

le petit koala en peluche tombé du ciel qui, dans The Wild, est adoré par les gnous qui veulent arriver au sommet de la chaine alimentaire

Quel culture !

ps : quel daube ce DA...

re ps : dsl d'avoir trollé...

[Pio2001]

Du coup, quels sont ceux qui donnent les résultats les plus fiable.
Cela dépends probablement des gens....?

Au niveau des succès ?

Sur ordinateur, ceux qui sont faits sur fichiers parfaitement alignés temporellement, au même niveau sur l'ensemble des fréquences audibles, via un driver audio qui ne fait pas d'aliasing.

En vrai, ceux qui sont fait avec tirage au sort réel, source parfaitement masquées. niveau alignés, et double aveugle (pas de regard qui indique quoi répondre etc).

Sur les deux, ceux qui sont faits dans les règles : pas le droit de recommencer quand on sait qu'on s'est trompés, pas le droit de choisir quand s'arrêter pour choisir le score qui nous plaît, et pas un test ABX réussi parmi 30 qui ont échoués et oui-mais-c'est-celui-là-qui-compte-parce-que-les-autres-j'étais-pas-concentré.

[clonedvinyl]

Du coup, quels sont ceux qui donnent les résultats les plus fiable.
Cela dépends probablement des gens....?

Au niveau des succès ?

Sur ordinateur, ceux qui sont faits sur fichiers parfaitement alignés temporellement, au même niveau sur l'ensemble des fréquences audibles, via un driver audio qui ne fait pas d'aliasing.

En vrai, ceux qui sont fait avec tirage au sort réel, source parfaitement masquées. niveau alignés, et double aveugle (pas de regard qui indique quoi répondre etc).

Sur les deux, ceux qui sont faits dans les règles : pas le droit de recommencer quand on sait qu'on s'est trompés, pas le droit de choisir quand s'arrêter pour choisir le score qui nous plaît, et pas un test ABX réussi parmi 30 qui ont échoués et oui-mais-c'est-celui-là-qui-compte-parce-que-les-autres-j'étais-pas-concentré.

Ok.

Et quel sont les tests qui offrent le moins d'erreurs dans la durée de ceux-ci ?
Ceux d'une journée, d'un mois, plus,...

Cad qu'un test effectué en un après-midi donnera t-il autant de bonne réponse que s'il avait duré un mois par exemple....?

Peux-tu donner ton opinion personnelle puis des statistiques stp?

Dans ces statistiques, se dégage t-il une durée moyenne d'épreuve apportant le plus de bonnes réponses ?
Cad qu'un test sur une semaine apportera peut-être autant de bonnes réponses que le même sur un mois par exemple. Ou alors que la prolongation du test n'apportera pas de changement significatif sur les résulats généraux quoique....des bonnes réponses supplémentaire grâce au temps accordé permettront de proposer une tendance et une explication fiable....?
Qu'en est-il ?

[Pio2001]

Les tests où le succès est le plus important sont les plus courts : 20/20, 50/50... Mais ce n'est pas parce qu'ils sont courts qu'ils réussissent, c'est parce qu'ils sont faciles qu'ils sont courts.

Par exemple entre CD et copie de vinyle, s'il y a un craquement au début du vinyle, la différence est évidente, et les réponses sont immédiates. Le test dure alors très peu de temps, et est validé avec un taux de fiabilité très élevé.
L'auditeur dit "super facile, je le fait en 30 essais les doigts dans le nez", et il donne 30 bonnes réponses d'affilée en deux minutes avec un programme ABX qui fait automatiquement les tirages au sort.

En général, si le test dure longtemps, c'est mauvais signe. Cela signifie que les différences sont difficiles à entendre, et que des erreurs risquent de se glisser dans les réponses.
Mon dernier test, celui proposé par Gbo, a duré une heure environ : http://www.homecinema-fr.com/forum/view ... #170435302
J'ai fait une erreur, je ne sais pas trop pourquoi.
Dans ce test, à chaque essai, il fallait porter toute mon attention sur la structure du son et ne penser absolument à rien d'autre. Si une autre pensée me passait par la tête, je recommençais. Ensuite, une fois une tendance dégagée (A et X différents ou A et X identiques), je continuais les écoutes de façon à retrouver la tendance inverse entre X et B.
Parfois je faisais des pauses. Ce n'était pas facile. Il ne faut jamais répondre sur un coup de tête parce que la différence saute aux oreilles. C'est le meilleur moyen de se planter. Il faut la reconnaître, la confirmer, la vérifier patiemment et soigneusement en réécoutant, avant de donner finalement une réponse.
Ici, un test trop court ne m'aurait pas permis d'obtenir un succès. Il a fallu que je prenne tout mon temps.

Le test réussi le plus long que je connaisse a duré une semaine. C'était un comparatif entre divers algorithmes de conversion 24 -> 16 bits. L'auditeur faisais une écoute chaque matin et c'est tout. En définitive il n'y a pas consacré beaucoup de temps.

Autre exemple illustrant la question, le test de câbles secteurs de Kiang. Il a duré 8 mois à cause de contraintes matérielles, cependant, chaque auditeurs disposait d'une écoute de 7 jours pour donner une seule réponse.
On a constaté que cela a fortement perturbé les résultats. Tout ce qui s'est passé, c'est que la moitié, en gros, des auditeurs ont construit des illusions sonores, et la moitié de cette moitié est parvenue à les renforcer mentalement, jour après jour, jusqu'à être persuadés d'entendre une différence très grande, très caractéristique, avec la stéréo comme ci et pas autrement, les grave comme cela, etc, entre deux sources identiques !
L'autre moitié de cette moitié a donné des réponses fausses, mais peu assurées, et le reste se divise entre ceux qui ont dit ne pas entendre de différences et ceux qui ont donné la bonne réponse.
Là, la prolongation du test, au lieu de révéler des différences en permettant une plus grande attention, a au contraire permis aux erreurs de se renforcer jusqu'à égarer complètement les auditeurs.

Seulement ce n'était pas de l'ABX, et les auditeurs n'avaient pas l'occasion de s'entraîner, car ils ne disposaient pas de deux références, mais d'une seule (un câble connu et visible, trois câbles inconnus masqués, dont un second exemplaire du visible). De plus, dans la mesure où ils n'avaient qu'une seule réponse à donner, ils ne pouvaient pas tirer des leçons de leurs erreurs. Tandis que moi, quand j'ai fait l'erreur au début de la série de 8 dans le test de Gbo, j'ai redoublé de concentration par la suite, parce que je savais que je n'avais plus droit à une seule faute.

Il y a aussi les tests massifs, qui durent longtemps en raison du nombre de stimulus testés. Je pense aux tests ABC/HR de Sebastian Mares et Roberto Amorim qui comparent qualitativement plusieurs encodeurs audio. On a 20 extraits musicaux de référence, et 5 versions encodées pour chacun d'eux. Total 120 extraits à comparer. En général, j'en choisis la moitié, et je fais un ABX en 8 sur tous ceux que je différencie (pour mes résultats personnels). Comme je n'identifie pas plus d'un quart d'entre eux, cela me fait à peu près 150 comparaisons. J'y consacre une à deux semaine pour une dizaine d'heures d'écoute environ. J'y réussis pas mal d'ABX.

Il y a aussi l'exemple unique des tests ABC/HR de Guruboolez, qui consistent à comparer plusieurs codecs sur 200 extraits musicaux. Mais lui c'est un cas à part. C'est un bourreau du test en aveugle

[clonedvinyl]

Merci Pio pour ce récit.

Je constate, d'après ce témoignage, que les influences sont bien présente et variées.
Chacun a sa manière de percevoir le rendu d'un système selon lui-même.
Les influences peuvent être multiples......
.....la fatigue, la forme, le niveau social, l'envie d'aller au toilette, le groupe sanguin, le vécu, la température, ....
Bref des conditions infinies qui à l'instant "t" conditionne l'opinion exprimée. Et plus cette opinion s'exprime et plus elle se raproche de l'unité.
Voilà qui est suffisant et enrichissant.

Cet instant "t" doit bien sûr être reproduit à divers moment de la journée puis dans le temps afin de renforcer l'opinion.
C'est comme ça qu'une conviction se forge (à échelle individuelle bien sûr). Le temps apporte les réponses......dans une certaine mesure. Passé ce délai l'intérêt n'est plus.

Ecouter les récits de chacun sur son ressenti est une chose intéressante.
Reécouter les récits de chacun sur son ressenti est une chose lassante.

S'il n'y avait que des tests en aveugle, il n'y aurai plus de discussion.
Cela ne veut pas toujours dire que les gens refusent d'admettre leurs erreurs car il peut aussi se passer une réflexion chez l'individu qui va amener ce dernier en amont de toute cette expérience pour lui faire comprendre que ce test ne permet qu'un nombre d'ouverture limitée. Surtout ci ce dernier s'arrête ou est arrêté à ça.
Quelqu'un à qui l'on enlève le moyen de s'exprimer ne sert plus à rien.
Mais la machine s'en moque. Elle n'est pas là pour écouter.


Un test en aveugle......des réponses sur soi-même et un passe-temps comme un autre.

[cohuelaz]

Je reviens sur une notion du test en aveugle qui me paraît d’importance plus j’y réfléchis.

Dans le test en ABX on doit reconnaître 2 appareils identiques or la majorité de nos commentaires lorsque nous écoutons du matériel sont des commentaires de différenciation, ce qui est naturel. Nous cherchons à comprendre la différence, à la mesurer avec nos oreilles pour ensuite expliquer en quoi les enceintes X nous semblent différentes des enceintes Y.

Nous avons donc, de fait, une culture de la différenciation des sons

Le test ABX propose, au final, une culture de la reconnaissance des sons, avec une mesure de cette reconnaissance, et cela me paraît intéressant en plus des autres enjeux.

Imaginons que je rende visite à un musicien doté d’un bon système et qu’il prenne le temps de me faire entendre la différence entre plusieurs marques de violons ou de piano. Tout fier je paraderais dans divers endroits certain de pouvoir en épater plus d’un mais, hélas, je n’entends plus rien. Savoir différencier un son n’est pas le reconnaître dès que les références changent car, en fait, je n’ai jamais eu d’éducation « sonore » qui m’oblige à devoir reconnaître des sons, ce qui n’est pas le cas d’un musicien, opérateur sonar, ingénieur du son, agent du service des écoutes…

Rien que pour cela, et d’autres choses, les tests ABX m’intéressent énormément car je suis à peu près certain que je pourrais différencier certains sons et ne pas les reconnaître n’ayant pas de pratique dans ce sens…

Qu’en pensez-vous ?

Cordialement

[Pio2001]

Je ne pense pas qu'il y a de fossé entre différencier et reconnaître. Dans un test ABX, le simple fait de différencier A et X équivaut à reconnaître que, par élimination, X = B. C'est très direct.

Ce n'est pas comme dans un test sans référence, où il y aurait une seule source, et où il faudrait dire ce que c'est sans la comparer avec rien.

C'est un peu comme la hauteur des notes. Reconnaître une note nécessite un entraînement très difficile. Cela s'appelle l'oreille absolue. Mais nommer une note par rapport au diapason, qui donne le la, ne nécessite que de savoir réciter la gamme.

Dans le test ABX, A et B jouent le rôle du diapason, donc si on sait différencier, alors on sait reconnaître.

Par contre, ce qui est intéressant dans les tests ABX, c'est de développer son écoute analytique. L'exercice que cela représente oblige à isoler une différence sonore de tout le reste. Cela permet de mieux connaitre cette différence, de l'isoler d'un tas de facteurs subjectifs auxquels on a tendance à l'associer.

[cohuelaz]

Par contre, ce qui est intéressant dans les tests ABX, c'est de développer son écoute analytique. L'exercice que cela représente oblige à isoler une différence sonore de tout le reste. Cela permet de mieux connaitre cette différence, de l'isoler d'un tas de facteurs subjectifs auxquels on a tendance à l'associer.

J'aime bien cela, je m'aperçois que mes écoutes sont plus basées sur "l'émotion" et que je me penche quasiment jamais sur les détails et ce ne serait pas un mal de développer l'écoute analytique !

Faut dire que j'ai un esprit plus synthétique qu'analytique en général, raison de plus d'ailleurs pour faire un peu plus attention à l'aspect analyse d'un message sonore.


Cdt

[haskil]

C'est un peu comme la hauteur des notes.

1) Reconnaître une note nécessite un entraînement très difficile. Cela s'appelle l'oreille absolue.

2) Mais nommer une note par rapport au diapason, qui donne le la, ne nécessite que de savoir réciter la gamme.

C'est l'inverse.

1) Avoir L'oreille absolue ne nécessite pas un entraînement très difficile. C'est une faculté qu'ont certaines personnes de reconnaître les notes aussi facilement qu'ils reconnaissent le jaune du rouge, le son A du son O.

Ce n'est pas inné, bien sûr, c'est acquis mais à une vitesse phénoménale et sans un entraînement très difficile par certains enfants dans leur plus jeune âge. Des adultes peuvent découvrir qu'ils ont cette faculté quand on leur met des noms de notes face à des hauteurs qu'ils discriminaient depuis l'enfance.

Je n'ai jamais entendu parler de cas, d'oreille absolue acquise à l'issue "d'entrainements très difficiles". Je ne dis pas que cela ne peut pas exister. Cependant, c'est inconnu chez les musiciens.

2) Nommer "une note par rapport au diapason" (ou par rapport à n'importe quelle note donnée en référence) cela s'appelle l'oreille relative.

Et cela ne nécessite pas QUE de savoir réciter la gamme. Il faut pouvoir entendre intérieurement les intervalles séparant la note de référence de celle que l'on doit nommer.

L'oreille relative s'acquiert à l'aide de dictées musicales mélodiques qui sont un entraînement plus ou moins difficile selon les sujets qui y sont soumis.

Dictées musicales mélodiques à l'issue desquelles les enfants qui ont une oreille absolue récoltent toujours la note maximale car ils font toujours un sans faute.

L'oreille absolue, sauf maladie de l'audition, est là pour la vie.

L'oreille relative peut perdre de sa précision, si on ne l'entretient pas et elle peut donc se retrouver si l'on refait des exercices.

Alain

[Pio2001]

Code: Tout sélectionner

[size=18][color=darkblue][b]Lecture des résultats : la valeur de p[/b][/color][/size]

Dans un test ABX, on procède en aveugle afin de ne pas être influencé par nos a priori. Mais ce n'est pas tout. On répète le tirage au sort de X pour être certain que l'auditeur l'identifie à tous les coups. Combien de fois ? Là est la question.
Du nombre de fois que l'on répète le test dépend sa fiabilité. Plus on effectue de répétitions, plus le résultat est fiable.
La fiabilité est exprimée par un pourcentage noté p (comme Probabilité). Ce nombre est fondamental et est donné pour tout test en aveugle.

[b]p est la proportion moyenne de tests réussis lorsque le sujet du test répond au hasard.[/b]

Imaginons un test ABX truqué, avec A et B correspondant en fait à la même chose. X est à la fois égal à A et à B à chaque fois. Donc les réponses des auditeurs sont complètement aléatoires. Réalisons des tests ABX en 5 essais. Si les auditeurs répondent au hasard, à chaque fois il y a une chance sur deux pour que leur réponse corresponde au tirage au sort. Au bout de 5 essais, il y a une probabilité de 1/2 x 1/2 x 1/2 x 1/2 x 1/2  = 1/32 = 3,125 % pour que toutes les réponses soient bonnes.
Autrement dit, en ne faisant que des tests bidons en 5 fois, on aura tout de même des résultats positifs. Une fois sur 32 en moyenne. [b]On dit que le p d'un test ABX de score égal à 5/5 est de 3,125 %.[/b]

Autre formulation de la définition de p : [b]c'est la proportion de faux succès à laquelle il faut s'attendre.[/b]

Plus le score à l'ABX est élevé, plus p diminue, meilleur est le test.
Pour une proportion constante de bonnes réponses supérieure à une sur deux, plus le nombre d'essais est grand, plus p diminue, meilleur est le test.


[size=18][color=darkblue][b]Combien d'essais choisir ?[/b][/color][/size]

Il faut choisir un nombre d'essais permettant d'obtenir un p assez petit.
Dans l'industrie pharmaceutique, par exemple, le p maximal pour qu'un test soit considéré comme réussi est fixé par convention à 5%. Ce qui implique que parmi les molécules inefficaces testées, une sur vingt pourra obtenir une autorisation de mise sur le marché sur la base de tests en double aveugle contre placebo qui démontre son efficacité.

A partir de quelle valeur de p est-on sûrs d'avoir un succès ?
Si on teste en ABX l'existence de Superman, et que l'on obtient un succès, c'est-à-dire un p inférieur à 5 %, par exemple, doit on conclure à l'existence de Superman ? S'agit-il d'une preuve scientifique, irréfutable, de son existence ? Non. Il s'agit de l'un des 5 % de faux succès qui se produisent dans les tests à p <= 5 %.
Par contre, si on teste la différence audible entre un CD et un vinyle, le même résultat, test ABX positif, sera interprété comme une preuve que l'on a bien entendu la différence. Pourquoi ?
Comment deux tests donnant un résultat strictement identique peuvent-ils être scientifiquement interprétés de façon opposée ?

C'est parce que lorsque nous avons le choix entre deux hypothèses, nous priviliégions toujours la plus plausible.[b] Le résultat d'un test en aveugle, ce n'est pas seulement la valeur de p, c'est la comparaison de la valeur de p avec l'hypothèse testée[/b]

En comparant un CD et un vinyle, à quoi s'attend-on ? Tout dépend du matériel mis en oeuvre et des auditeurs. On peut avoir un succès comme un échec. On part avec une probabilité de succès [i]a priori[/i] égale à 50 %. Le resultat de l'ABX nous dit qu'un faux succès est envisageable à 5 %. Quelle est l'hypothèse la plus probable ? C'est que l'auditeur a entendu la différence.

En testant l'existence de Superman, à quoi s'attend-on ? A un échec, car nous savons qu'il n'existe pas. On part avec une probabilité de succès [i]a priori[/i] inférieure à un sur un million. Le resultat de l'ABX nous dit qu'un faux succès est envisageable à 5 %. Quelle est l'hypothèse la plus probable ? C'est que l'on a obtenu un faux succès.

[b]Nous devons donc choisir le p à ne pas dépasser en fonction de la différence que nous voulons tester.[/b]

Lorsque nous ne savons pas à quoi nous attendre, nous pouvons nous baser sur des valeurs de p inférieurs ou égales à 5% pour un succès moyen, et inférieures ou égales à 1% pour un bon succès.
Lorsque nous avons certaines connaissances au sujet des appareils comparés, nous pouvons être amenés à choisir des valeurs plus petites. Si on part du principe qu'un câble de construction symétrique marche de la même façon dans les deux sens, il va falloir un p inférieur à 0.01 % pour nous convaincre du contraire.
A chaque fois, tout dépend des hypothèses en balance. On va se demander s'il est plus probable qu'un câble ait un sens, ou qu'on soit tombé sur le seul ABX sur dix mille qui donne un faux succès.

[size=18][color=darkblue][b]Relation entre le score ABX et p[/b][/color][/size]

Soit N le nombre d'essais et S le nombre de bonnes réponses dans un faux test ABX, où toutes les réponses sont tirées au sort, avec à chaque fois une chance sur deux de tomber juste.
p est le pourcentage de tests ABX aléatoires en N essais dont le score est supérieur ou égal à S.
Il est donné par la formule

p = somme pour i allant de S à N de C(N, i) / 2^N
Avec C (N, i) = [combinaisons de i éléments parmi N] = N! / (i! * (n-i)!)

Exemples :

ABX 8/8 : p = 1 / 256 = 0,39 %
ABX 7/8 : p = 9 / 256 = 3,5 % (une chance d'obtenir tout bon, plus 8 chances de n'avoir qu'une seule erreur, sur 256).
ABX 6/8 : p = 37 / 256 = 14 % (une chance d'obtenir tout bon, plus 8 chances de n'avoir qu'une erreur, plus 28 chances d'avoir deux erreurs, sur 256)

ABX 16/16 : p = 1 / 65536 = 0,0015 %
ABX 15/16 : p = 17 / 65536 = 0,026 %
ABX 14/16 : p = 137 / 65536 = 0,21 %
ABX 13/16 : p = 697 / 65536 = 1,1 %
ABX 12/16 : p = 2517 / 65536 = 3,8 %
ABX 11/16 : p = 6885 / 65536 = 10,5 %

On voit qu'[b]en augmentant le nombre total d'essais, on a davantage droit à l'erreur.[/b]

Table de valeurs Excel pour tests ABX : http://www.kikeg.arrakis.es/winabx/bino_dist.zip

[size=18][color=darkblue][b]Autres facteurs affectant la valeur de p[/b][/color][/size]

Il est facile de biaiser en notre faveur le résultat d'un test ABX. Les deux principales méthodes sont de surveiller l'évolution de p au fur et à mesure de nos réponses et d'attendre que p descende au hasard des fluctuations statistiques pour stopper le test. L'autre est de recommencer le test jusqu'à ce qu'il réussisse par chance.

Il est par conséquent nécessaire de respecter les deux règles suivantes :

[b]L'auditeur doit soit fixer le nombre total d'essais avant le test (solution recommandée), soit ne pas avoir connaissance de son score durant le test (moins intéressant, car ne permet par à l'auditeur de se réajuster en cas d'erreur).[/b]

[b]L'auditeur doit s'entraîner en pratiquant des comparaisons ABX d'essai et n'enregistrer son score que lorsqu'il est tout à fait prêt à passer le test. Une fois le score enregistré, un échec est difficilement rattrapable.[/b]

La valeur globale de p est quasi incalculable lorsque l'on souhaite rattraper un échec par un succès. Il faut alors obtenir un très très gros succès.

Pour l'anecdote, des exemples de faux succès obtenus en répondant au hasard :
[url=http://www.hydrogenaudio.org/forums/index.php?showtopic=6651&st=25&p=70284&#entry70284]ABX 12/13.[/url]
[url=http://www.hydrogenaudio.org/forums/index.php?showtopic=15192&st=0&p=151930&#entry151930]ABX en série stoppés exprès quand p est petit. Plusieurs passages à p < 1 %[/url]

[cohuelaz]

Bonjour Pio 2001,

Intéressant tout cela et le sujet commence à prendre forme. On comprend bien que l’importance de la valeur de P est intimement liée à l’hypothèse de départ !

J’aimerais, si cela est possible, que les messages 2 à 5 te soient attribués, c’est à dire que tu puisses les éditer librement car il s’agit de ton travail et, en plus, j’ai des soucis pour pouvoir inclure tes textes avec les passages en gras. Donc une questions aux modérateurs, est-ce possible ?

Je préfère garder le message initial pour pouvoir m’en servir si le sujet devait déraper car le but de ce post est d’envisager de manière non polémique l’utilisation des tests en double aveugle comme étant une méthode parmi d’autres d’appréciation du matériel haute fidélité. En fait si j’ai voulu initier ce post c’est pour permettre un débat constructif et non idéologique autour de cette méthode. Par contre je suis beaucoup moins compétent que Pio 2001 pour vous l’expliquer avec la rigueur voulue, donc rendons à César ce qui lui appartient.

Cordialement,

[clonedvinyl]

...d’envisager de manière non polémique l’utilisation des tests en double aveugle comme étant une méthode parmi d’autres d’appréciation du matériel haute fidélité.

Oui.

[Pio2001]

j’ai des soucis pour pouvoir inclure tes textes avec les passages en gras. Donc une questions aux modérateurs, est-ce possible ?

J'avais oublié cela... Voilà, j'ai édité mon message pour que tu puisses le reprendre, parce que pour m'attribuer les messages que tu as postés, il doit certainement falloir fermer le forum quelques instants et triturer la base de donnée, et je ne sais pas s'ils voudront bien.