Modérateurs: Modération Forum DIY, Modération Forum Installations, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: Baboulinet, chris70, Mr Moon et 135 invités

Discussions générales sur le DIY Audio : choix des HP, comparaisons des principes : clos vs BR, etc

Groupe "tests d'écoute en double aveugle".

Message » 04 Fév 2005 0:54

Je propose la création d'un groupe de travail "Tests d'écoute en aveugle". Le but sera de tenter de démontrer, en utilisant des protocoles de test totalement rigoureux, la validité en haute fidélité de trucs et astuces divers, mais généralement controversés, tel que le son d'une copie de CD (copie fidèle, ou dégradation possible ?) ou d'un câble secteur (effet placebo ou réduction des interférences ?) par exemple.

Le "tweak" testé devra avoir été le sujet d'un débat entre sceptiques et convaincus n'ayant abouti à aucune conclusion claire.

L'idée a été lancée par Keron dans le sujet "câbles secteurs" après les interventions de Jojolapin et Tetetron notamment : http://www.homecinema-fr.com/forum/view ... #168583107

Voici une amorce de discussion :

Pio2001 a écrit:]
abricot a écrit:En plus je ne crois pas trop à l'apport d'un test a/b en aveugle. Pour les raisons que j'ai déjà exposé, et parceque ceux déjà convaincus n'en n'ont cure, ceux furieusement contre les cables secteur hdg ne se laisseront jamais convaincre par un tel travail


Détrompe-toi, si on prépare le test rigoureusement, on peut obtenir des preuves irréfutables. Tout est une question de moyens.

Moi je peux aider si un groupe de travail "tests en aveugle" est créé. Toutefois il faut savoir dès le départ où on va. Le but serait de toute évidence de faire des tests en aveugle, mais cela demande énormément de moyens et de temps. D'abord il faut un auditorium. Ensuite, je pense qu'il faut compter une dizaine, voire un vingtaine d'heures par test pour mettre en place le matériel, expliquer le protocole, entraîner les sujets et faire le test, plus le temps de trouver le matériel, les sujets et de caler leur emploi du temps.


ogobert a écrit:
Pio2001 a écrit:Moi je peux aider si un groupe de travail "tests en aveugle" est créé. Toutefois il faut savoir dès le départ où on va.


Faudrait surtout se poser surtout la question "pourquoi faire ?"
Ou, plus exactement "que veut on démontrer ?"...


On cherchera à fournir aux sceptiques et/ou aux convaincus des arguments solides pour soutenir leurs discussions, afin de sortir de la spirale infernale du "ça peut pas marcher parce qu'il y a 100 km de câble EDF en amont, donc tu imagines ce que tu entends" / "ça marche forcément puisqu'on entend une différence que la science ne peut pas expliquer", dans le cas du câble secteur par exemple.

Les tests devront être conçus pour qu'en cas de succès, on puisse dire à un sceptique "il aurait été impossible d'obtenir de tels résultats si le câble n'avait pas modifié le son", et qu'en cas d'échec, on puisse dire à un convaincu "peut-être, mais d'autres que toi ont fait la même expérience, et on reconnu par la suite s'être trompés".
Dans tous les cas on ne peut prouver qu'un résultat positif, c'est-à-dire qu'une différence a pu être entendue. C'est intéressant pour les sceptiques. Dans le cas contraire, on ne peut pas prouver qu'aucune différence n'est audible, mais on peut tout de même prouver qu'un effet placebo a trompé quelqu'un. Et c'est également intéressant.

On peut tester ainsi

Des câbles secteurs
Des câbles de modulation
Des câbles SPDIF
Des copies de CD contre originaux
Des drives numériques
Des supports pour électroniques
Des tweaks du style feutre vert, C37, huile antistatique pour CD, etc
Etc

tetetron a écrit:bref moi ja pense que les stats doivent s'établir sur un panel d'auditeur pour etre valide un éhantillon d'une trentaide de sujets tous soumis au meme test, avec une invertion de cable( ou pas) réalisé une centaine de fois par une personne completement étrangere au probleme,


Voici plutôt un point de départ que tout organisateur devra lire, et qu'il faudra confronter à la recommendation ITU-R BS1116-1 qui est la référence actuelle en matière de tests en aveugle pour la recherche scientifique : http://www.homecinema-fr.com/forum/view ... #168246580

François H. a écrit:
Pio2001 a écrit: ... nos oreilles nous trompent.
Il est impossible de leur faire confiance.

Ce n'est pas mon avis...

Alors comment expliques-tu ceci ? http://www.nytimes.com/library/tech/99/ ... 3down.html
Ceci ? (avec des musiciens et des habitués de concerts acoustiques) http://www.hometheaterhifi.com/volume_1 ... -2004.html
Ou encore ceci (avec un ingénieur du son depuis 22 ans dans le métier) ? http://www.hydrogenaudio.org/forums/ind ... entry48007

Dans ces tests, c'est un fait, des gens pourtant parfaitement expérimentés, se sont trompés en croyant entendre des différences qui n'existaient pas.

chris.24 a écrit:Par contre l'écoute en aveugle n'est pas à mon avis indispensable... On peut très bien masquer les câbles et les appeler "câble A", "câbles B", et annoncer les changements.


Non, cela ne suffit pas.
J'en ai encore fait l'expérience la semaine dernière dans un test ABC/HR entre différentes versions du codec Musepack. Je comparais cinq codecs avec un original. J'ai pu différencier en ABX et en double aveugle chacune des cinq versions de l'original. En outre, j'ai pu, en me focalisant sur les différences réellement perçues en ABX, classer certains codecs, nettements meileurs ou moins bons que les autres. Or en les réécoutant, les différences ne se sont pas confirmées. J'ai donc décider de tenter un ABX entre les codecs eux-mêmes. Je n'ai pu faire aucune différence. Et c'était bien normal vu que les programmeurs n'avaient aucunement changé le procédé d'encodage entre ces versions (1.15r, 1.15s et 1.15t).

J'ai donc, dans des conditions pourtant très rigoureuses, cru entendre de grandes différences entre plusieurs sources, qui dans le test ABC/HR, m'étaient présentées en aveugle avec un numéro de 1 à 5
Renommer les câbles "A"et "B" n'empèchera donc pas les auditeurs d'imaginer entendre des choses. De sourcoît, si une différence est entendue dans un tel test, cela ne prouvera strictement rien à un sceptique. Le résultat peut s'expliquer par du placebo. Le résultat d'un test double aveugle ABX ne peut pas s'expliquer par du placebo.

Le propre d'un test double aveugle, c'est tout simplement d'éliminer l'effet placebo, ou d'auto-persuation, des causes possibles des différences entendues. Seul argument des sceptiques pour contester le fait que les audiophiles entendent des différences.

chris.24 a écrit:Donc l'argument qui voudrait que parce qu'un câble est plus beau et plus cher on le préfère systématiquement à celui en place est à mon avis faux !


C'est vrai, les différences qu'il est possible d'imaginer peuvent aller dans n'importe quel sens.

chris.24 a écrit:Autre point qui me semble important : il faudrait choisir un matériel suffisamment transparent et donc d'un bon niveau parce que je ne suis pas sûr que cela vaille la peine de dépenser tant d'efforts...


Tout à fait. Le but est de faciliter au maximum la réussite du test. Des tests qui ont échoué, il y en a déjà eu. Cela ne sert à rien d'en rater un de plus.
Pour cela,il faudrait d'abord choisir les personnes qui entendent le plus facilement une différence, et leur faire écouter la chose testée dans les conditions du test pour voir si une différence est toujours audible. Si ce n'est pas le cas, inutile de continuer. Il faut changer les conditions de test (autre matériel, autre local...).
Si le sujet peut entendre une différence dans les conditions du test, on peut ensuite commencer un entraînement avec des "tests blancs", afin de s'assurer que la différence est audible en double aveugle. Si ce n'est pas le cas, le sujet devra s'éxercer à reconnaître la différence en double aveugle, en modifiant lui-même les paramètres du test (CD choisi, durée des extraits, pauses entre les écoutes...), ou reconnaître que finalement, il ne peut pas entendre la différence en double aveugle (il devra alors tenter d'expliquer pourquoi).
Enfin, une fois le sujet capable de réussir le test à 100%, on lance la procédure "pour de vrai" afin de valider statistiquement le résultat obtenu.

chris.24 a écrit:Je ne vois pas en quoi le test sain et simple de
A°) le CDP 1
B°) le CDP 1 + convertisseur 2
en prévenant l'auditeur pose un problème...

La question est "entendez-vous qq chose de plus en écoutant B, si oui quoi ?" C'est moins vicieux non ?

Maintenant on peut toujours penser que le sujet n°1 va influencer l'auditoire et induire une hallucination auditive collective ! ;)


Mais absolument ! Il y en aura toujours pour rétorquer cela. Il faut faire un test dont la réussite ne puisse prêter le flanc à aucune critique possible. Un ABX double aveugle fixé à 20 sessions réussi du premier coup sans faute (avec, c'est permis, autant d'essais préparatoires que nécessaire) est un tel test. Sa réussite ne peut absolument pas s'expliquer autrement que par le fait que l'auditeur a réellement entendu le son modifié.

Keron a écrit:Alesk, il ne faudra pas oublier de faire un CR accessible à tous :mdr: C'est à dire en vulgarisant le résultat de vos expériences.


Oui, je me propose, en cas de contestation, d'expliquer plus en détail telle ou telle partie du protocole de test afin de soutenir le résultat s'il est positif.

A présent, qui est intéressé, qui peut aider, comment et où ?

On a besoin d'un lieu d'écoute, et de personnes très disponibles, et parfaitement capable d'entendre une amélioration sonore telle quel celles évoquées plus haut.

Moi je suis intéressé, je peux aider à distance pour tout ce qui est protocole de test, analyse des résultats et preuve statistique. Je suis à Lyon, ma salle d'écoute est très résonnante, donc médiocre. Mais j'ai un PC permettant de verifier qu'un élément numérique traite l'information bit pour bit (drive lecteur de CD, copie de CD, câble SPDIF), ou de faire des mesures audio sur des fichiers numériques (programme RMAA). Cela peut permettre de déceler les "tweaks" introduisant déliberément une distortion pour colorer le son de manière laudative. A condition que la mesure puisse se faire à Lyon.
Pio2001
Contributeur HCFR 2019
 
Messages: 8987
Inscription Forum: 07 Oct 2003 12:50
Localisation: Neuville-sur-Saône
  • offline

Message » 11 Juil 2013 13:37

Mon avis sur les tests en double aveugle est que cela n'est pas aussi efficace que ça.

En effet, bien souvent, lors de ces test, on cherche à ne se servir que de la mémoire auditive directe (que certains considèrent comme la seule mémoire auditive fiable), et de travailler alors par comparaison.

Mais la mémoire auditive par association (ça fait appel à la reconnaissance de formes et à un système interne -relativement inconscient- de comparaison avec une sorte de banque de données de sensations, en tous cas la comparaison est ici plutôt indirecte) fonctionne très bien.

Elle peut mettre du temps à se mettre en place (jusqu'à 15 jours, d'après ce que j'ai pu lire sur certaines "configurations" un peu "extrêmes"), mais elle n'est pas dénuée d'efficacité, et surtout, c'est la plus grande part de la mémoire auditive dont on se sert tous les jours lors de l'écoute musicale !

Le test en double aveugle est vraiment très éloigné des configurations d'écoutes habituelles du mélomane.

En tous cas, j'ai appris -en cours d'acoustique et de psychoacoustique- à me servir de cette mémoire auditive indirecte.
"faite confiance à vos sensations" disait mon prof (Jacques Jouhaneau), "il n'y a que ça qui reste fiable à long terme"

Au final, avec cette méthode, on peut même être assez fins dans l'analyse : nous arrivions à reconnaître en qqs dizaines de secondes différentes "techniques" de prises de son, comme la nature des microphones (statiques, dynamiques,ruban, double ruban, taille de capsule) et leur positionnement (ORTF, AB, stéréo dirigée, multicouple).
Avec bien plus d'entrainement (ce que tout mélomane fait chez lui !) l'analyse va être bien plus fine et performante !

Au final, j'affirmerais bien que les tests en double aveugle ne faisant appel qu'à la mémoire auditive directe (3 minutes maximum) ne servent qu'à vendre plus facilement quelque chose en 3 minutes.
Normal que certains constructeurs s'en servent.
yannig27
Pro-Fabricant
Pro-Fabricant
 
Messages: 4
Inscription Forum: 20 Juin 2009 15:47
  • offline

Message » 11 Juil 2013 14:51

les tests en double aveugle ne faisant appel qu'à la mémoire auditive directe ne servent qu'à vendre plus facilement quelque chose en 3 minutes. Normal que certains constructeurs s'en servent.
Je ne connais pas de constructeur s'en servant en tant qu'argument de vente.

A présent, qui est intéressé, qui peut aider, comment et où ?
Bonjour Pio, comme tu le sais, je suis toujours prêt à participer et à aider avec mon matos (testeur ABX entre autres). Pour la salle, c'est un peu plus compliqué, je peux sans doute trouver un studio pro (région parisienne) mais ça dépend des jours et horaires.
ohl
Pro-Divers
Pro-Divers
 
Messages: 2030
Inscription Forum: 13 Aoû 2004 16:17
  • offline

Message » 11 Juil 2013 15:12

yannig27 a écrit:Mon avis sur les tests en double aveugle est que cela n'est pas aussi efficace que ça.
....
Au final, j'affirmerais bien que les tests en double aveugle ne faisant appel qu'à la mémoire auditive directe (3 minutes maximum) ne servent qu'à vendre plus
facilement quelque chose en 3 minutes.
Normal que certains constructeurs s'en servent.


Ton avis est basé sur des études ou sur ton imagination. A te lire, nous pouvont voir que tu n'as rien compris à ce qu'était un double aveugle randomisé appelé ABX.
Rien n'empêche de faire des écoutes d'1 mois entre chaque comutation. d'autre part si ton complément d'objet directe te fait défaut au bout de 3 minutes, c'est pas le complément d'objet indirecte qui va l'améliorer.

L'encodage et la récupération

Parmi ces trois processus, l'encodage et la récupération sont facilement affectés par des facteurs pouvant nuire à la mémoire de nos souvenirs. Comme nous l'avons déjà mentionné, l'encodage est grandement influencé par l'attention, la motivation et aussi par les stratégies que notre cerveau utilise pour mettre en mémoire le souvenir.
Les mêmes facteurs jouent un rôle lors de la récupération. La consolidation est le seul processus qui n'est pas influencé par les facteurs externes, puisqu'il se fait de manière plus automatique. Comme l'encodage et la récupération sont les processus les plus affectés par des facteurs externes...

http://www.lesca.ca/fr/stimulation.php?id=7

Affirme mais avec des preuves !!!
dinococus
 
Messages: 3000
Inscription Forum: 22 Déc 2012 18:31
  • offline

Message » 11 Juil 2013 15:45

yannig27 a écrit:En effet, bien souvent, lors de ces test, on cherche à ne se servir que de la mémoire auditive directe (que certains considèrent comme la seule mémoire auditive fiable), et de travailler alors par comparaison.

Vu que bons nimbres de scientifiques vont dans le sens, que la mémoire auditive n'est que peu fiable en précision, si on veut un max de détails il convient de le faire le plus rapidement possible

Mais la mémoire auditive par association (ça fait appel à la reconnaissance de formes et à un système interne -relativement inconscient- de comparaison avec une sorte de banque de données de sensations, en tous cas la comparaison est ici plutôt indirecte) fonctionne très bien.

J'ai de gros doutes sur cela, et tous les retours scientifiques avec donc des expérimentations poussées à ce sujet on conclut à peu de chose près à la même finalité ! Par contre il y a des exceptions à la règle, des personnes avec des facultés auditives très développées et dont la mémoire auditive est très peu altérée dans le temps !

Le test en double aveugle est vraiment très éloigné des configurations d'écoutes habituelles du mélomane.

Au contraire, il est très proche de réalité scientifique et réaliste :

- Même pièce

- Même état d'esprit

- Même placement

- Même température et hygrométrie

....

C'est idéal pour voir si l'on constate des écarts entre deux sources, appareils ...

En tous cas, j'ai appris -en cours d'acoustique et de psychoacoustique- à me servir de cette mémoire auditive indirecte.
"faite confiance à vos sensations" disait mon prof (Jacques Jouhaneau), "il n'y a que ça qui reste fiable à long terme"

Ce n'est clairement pas une bonne chose, du moins pour une majorité de la population, rien que le fait de vieillir fait que notre système auditif change et donc le son perçu aussi ! Après il y a tellement de variable qui influence l'écoute, l'analyse (être stressé, fatigué, joyeux ...)

Au final, avec cette méthode, on peut même être assez fins dans l'analyse : nous arrivions à reconnaître en qqs dizaines de secondes différentes "techniques" de prises de son, comme la nature des microphones (statiques, dynamiques,ruban, double ruban, taille de capsule) et leur positionnement (ORTF, AB, stéréo dirigée, multicouple).

Statistiquement parlant peu de personnes en sont capables ! J'ai dans ce sens lancer un petit défis sr Audax :

http://www.audax.fr/forum/read.php?4,41380

Avec bien plus d'entrainement (ce que tout mélomane fait chez lui !) l'analyse va être bien plus fine et performante !

Plus on s'entraîne, plus on devient performant, mais souvent il y a des limites ... je fais du sport depuis plus de 12 ans, de manière sérieuse et en salle, ce n'est pas pour cela qu'aujourd'hui je pousse 500Kg au développé couché, j'en suis même loin ^^

Au final, j'affirmerais bien que les tests en double aveugle ne faisant appel qu'à la mémoire auditive directe (3 minutes maximum) ne servent qu'à vendre plus facilement quelque chose en 3 minutes. Normal que certains constructeurs s'en servent.

Comme le souligne OHL, aucun constructeur n'use de cela, pas plus qu'ils publient les vraies mesures de leurs appareils avec un protocole sérieux et universel !

Comme Disait Robert64 sur un autre forum :

Le protocole en double aveugle, dont l'ABX est une application, est universellement utilisé dans beaucoup d'activités scientifiques dès que l'on cherche à se prémunir contre les biais expérimentaux dus au "facteur humain" (alimentaire, médical...) Autant que je sache, il constitue un protocole dont la validité ne pose question à personne. Les discussion sur l' ABX sont spécifique du milieu de l'audio domestique.

Ce qui est plein de bon sens et reflète parfaitement la réalité.

Un petit lien pour agrémenter : http://blogs.discovermagazine.com/notro ... -new-ones/

:thks:
Cobrasse
 
Messages: 5864
Inscription Forum: 17 Aoû 2008 13:02
  • offline

Message » 11 Juil 2013 23:21

Il y a encore des gens pour trouver des arguments contre les tests ABX ? Je le conçois de la part de ceux qui ont des trucs à vendre et qui n'ont pas de réels arguments autres que fumeux à faire valoir, mais en dehors de ça, ca ressemble à de la religion.
Je suis absolument pour des tests rigoureux et menés avec l'ouverture d'esprit qui ne laissera aucun doute sur la démarche

Mais je note déjà, que comme à chaque fois que ce type de sujet apparaît sur un forum fréquente par des audiophiles, il se trouve des gens pour mettre en cause le protocole avant même qu'il soit établi. C'est déjà une information intéressante sur le crédit qui sera apporté aux conclusions de ces tests auprès de cette population dont on sait qu'elle pense que les lois habituelles de la physique ne s'appliquent pas a leur domaine chéri.

Merci de croire que je suis tout à fait prêt à penser que les câbles secteurs ont une influence sur le résultat auditif, mais avec des arguments défendables au regard des connaissances scientifiques et de tests sérieux et pas sur l'affirmation de gourous ou de vendeurs de câbles à cent piastres le mètre. Le coup des conditions différentes de la vie réelle est une plaisanterie, je trouve tout très beau après deux ou trois whisky, c'est pas pour ça que c'est vrai.
Glazik
Contributeur HCFR 2019
 
Messages: 1171
Inscription Forum: 25 Sep 2003 15:50
  • offline

Message » 12 Juil 2013 7:44

ohl a écrit:Bonjour Pio, comme tu le sais, je suis toujours prêt à participer et à aider avec mon matos (testeur ABX entre autres). Pour la salle, c'est un peu plus compliqué, je peux sans doute trouver un studio pro (région parisienne) mais ça dépend des jours et horaires.


En même temps, son post date de 2005.... Pio est peut être passé à autre chose maintenant...
Philby
 
Messages: 9819
Inscription Forum: 12 Mar 2001 2:00
Localisation: 33
  • offline

Message » 12 Juil 2013 9:36

Wouah le deterage de post de 8 ans!!! mouarfff!!!! Comme une bouteille à la mer quoi! :ane:
Sagem
 
Messages: 14653
Inscription Forum: 29 Nov 2007 10:55
Localisation: lyon
  • offline


Retourner vers Discussions Générales

 
  • Articles en relation
    Dernier message