Modérateurs: Staff Univers Casques, Staff Haute-Fidélité, Staff Juridique • Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 16 invités

Discussions sur le matériel Haute-Fidélité

Test en aveugle

Message » 22 Sep 2009 11:01

Denis31 a écrit:Lors de la tentative d'abx d'amplis faite chez moi, il m'a semblé que (j'observais discrètement l'auditeur qui faisait les écoutes, en même temps que je faisais manuellement les switchs de câbles) :
- des différences apparaissaient en écoute A/B non aveugle (niveaux égalisés);
- dès lors que l'auditeur cherchait à les "qualifier" plus précisément dans son esprit pour avoir un "point d'ancrage" lui permettant de réussir en aveugle, les différences se mélangeaient et finissaient par fondre au bout de 2 ou 3 switchs.

Qu'en pensez-vous ?


Je pense que l'on touche là quelque chose d'important: il est difficile, pour un auditeur d'éviter la confusion qui s'installe après quelques écoutes. Meme en étant de bonne volonté, motivé, il lui est difficile de faire totalement abstraction du son précedent pour se concentrer sur l'écoute suivante. Je pense aussi que pas mal de testeurs en sont conscients: certains ne commencent meme pas le test, jugeant les différences trop ténues. En écoute "normale", égalisée, ces différences leur paraissaient plus marquées.
jago
 
Messages: 656
Inscription: 01 Aoû 2008 18:02
  • offline

Annonce

Message par Google » 22 Sep 2009 11:01

Publicite

 
Encart supprimé pour les membres HCFR

Message » 22 Sep 2009 11:06

@ Jago. Je pensais l'avoir compris mais j'avais un doute (c'est ça les messages tardifs, la tête est embrumée). Ce qui apparaît a priori quand on débute un ABX, c'est que c'est une écoute . Je rappelle que dans la première phase de l'ABX, d'ailleurs, on n'écoute pas en aveugle mais en sachant pertinément lequel des deux appareils est écouté. Ce n'est qu'en cas de différences perçues qu'on passe en phase aveugle pour confirmer cette impression.
wald
 
Messages: 1918
Inscription: 07 Avr 2008 9:40
  • offline

Message » 22 Sep 2009 11:36

ohl a écrit:
qu'il ait fallu des décennies pour que cette idée soit acceptée, les protocoles et analyses validées etc. On doit procéder de la même façon en electro-acoustique avec accord sur la méthodologie

Les tests ABX en audio sont faits depuis près de 30 ans et la méthodologie a fait l'objet de nombreuses études. Le consensus est général auprès des professionnels (par professionnels, j"entends les chercheurs, les labos de développement mais pas les revendeurs, ni les équipes de marketing, ni les bricoleurs de la quasi totalité des fabricants "audiophiles")



Opposerais-tu différentes parties de la profession en y instaurant une hiérarchie des qualités d'avis ? :o
allucinéma
Pro-Commercant
Pro-Commercant
 
Messages: 16270
Inscription: 19 Juin 2002 18:15
Localisation: - France -
  • offline

Message » 22 Sep 2009 11:39

Absolument. Mais ce qui me surprend, ce n'est pas tant les résultats négatifs de nombreux tests (je crois que je ne serais pas capable d'en réussir beaucoup) mais le nombre de fois ou les testeurs n'entamment meme pas le test. C'est l'échec (si on peut considerer cela comme tel, avant meme le test.

Toujours par analogie avec les tests médicaux (puisqu'içi on parle des tests aveugles de manière plus générale) un tel test serait invalidé dans un protocole de recherche. Tout comme un suivi dans lequel on perd trop de patients (lost for follow up). C'est peut etre là les limites de l'ABX...
jago
 
Messages: 656
Inscription: 01 Aoû 2008 18:02
  • offline

Message » 22 Sep 2009 12:03

jago a écrit:..........les résultats médicaux doivent etre quantifiés, mesurés pour pouvoir etre comparés le plus objectivement posible ....


Tout à fait, ET corrélés en multicritères objectifs (à l'exception de quelques domaines particulièrs effectivement).
Dernière édition par expertdoc le 22 Sep 2009 12:20, édité 1 fois.
expertdoc
 
Messages: 13448
Inscription: 23 Jan 2005 14:43
Localisation: Plein SUD
  • offline

Message » 22 Sep 2009 12:04

Denis31 a écrit:Lors de la tentative d'abx d'amplis faite chez moi, il m'a semblé que (j'observais discrètement l'auditeur qui faisait les écoutes, en même temps que je faisais manuellement les switchs de câbles) :
- des différences apparaissaient en écoute A/B non aveugle (niveaux égalisés);
- dès lors que l'auditeur cherchait à les "qualifier" plus précisément dans son esprit pour avoir un "point d'ancrage" lui permettant de réussir en aveugle, les différences se mélangeaient et finissaient par fondre au bout de 2 ou 3 switchs.

Qu'en pensez-vous ?


Je relève le propos de Denis parce que c'est précisément sur ce type de situation que je "bute" sur l'ABX. Je n'arrive à faire une écoute comparative entre plusieurs matériels QUE quand je suis assez détendu.

Si, avant l'écoute, je mets une pression sur la séance à venir (par exemple, pour tester un matériel un peu cher ; pour tester un appareil de remplacement parce qu'un autre a lâché et que j'ai la haine) ou si pendant l'écoute, la pression monte (si j'essaye d'objectiver ce que je ressens, de poser des "points d'ancrage" comme dit Denis31) ou si l'essai se prolonge au-delà de mes capacités physiques auditives du jour (parfois il n'en faut pas beaucoup, ou il ne faudrait même pas commencer)...

... je n'entends plus aucune différence entre A et B, même en non aveugle ; alors je ne parle même pas d'ABX... :roll:

Au final, et en ce qui me concerne, je ne me sens pas capable de réussir un test ABX même si les appareils offrent effectivement des résultats différents à la mesure. Et comme je suis meilleur que tout le monde et que j'ai des oreilles d'Or je suppose que c'est pareil pour les autres. :lol: Bon, là je blague ; je pense que certains (peut-être plein :oops: ) ont de meilleures capacités que moi à ce petit jeu, mais je ne dois pas être le seul à douter. :idee:

Au final, les écoutes comparatives que je considère comme réussies sont des écoutes qui m'ont permis de faire un choix vers un produit, souvent en vue d'achat, et qui s'est confirmé par du plaisir à long terme. Dans tous les cas j'ai ressenti un coup de coeur à l'écoute, mais pas toujours le premier jour de l'écoute de cet appareil. Il m'a parfois fallu y revenir pour ressentir le sempiternel " 'tin ça sonne bien c'truc-là quand même hin!" :mdr:
C'est souvent arrivé en écoute collective, ça doit détendre l'atmosphère d'être à plusieurs potes.

Souvent, ce coup de coeur a eu lieu sur du matériel dont j'avais mentalement approuvé la validité technique. Par exemple, j'ai toujours beaucoup "cru" dans la multiamplification active, et depuis maintenant 1 an et demi que j'ai un système construit de la sorte, je ne m'en lasse jamais et ne reviendrais en arrière pour rien au monde. Plus je l'écoute, plus je le compare à d'autres types de système, plus je me satisfait du mien ; c'est mieux pour mon porte-monnaie en même temps ! :lol:
Je pense donc vraiment que les appareils qui "sonnent", et que je préfère à l'écoute, sont bons aussi à la mesure.

Mais, il est arrivé que je ne sois pas encore "au parfum" de la technologie employée mais que j'entende tout de suite que ça me plaît. C'est arrivé avec la Rosita par exemple : la première fois qu'on m'en a branché une, le test ne concernait pas la Rosita, et je me suis dit "wouaaaaah !". Puis on l'a comparée avec plusieurs autres lecteurs, et je ne savais plus quoi penser. Je suis maintenant l'heureux possesseur d'une zardoz... et je ne suis toujours pas sûr de valider complètement la technique, car je ne comprends pas pourquoi ça marche aussi bien... mais ça marche !

Je retiens donc deux-trois choses au sujet de la différenciation de deux appareils à l'écoute et de la "performance musicale" des appareils de hifi :

- souvent je suis performant à l'écoute quand je ne cherche pas à écouter pour différencier (ce qui écarte l'ABX comme méthode en ce qui me concerne)

- je pense qu'on n'a pas forcément besoin d'écouter pour savoir si un appareil est bon. Les mesures doivent suffire dans la plupart des cas. Si l'écoute est contraire à la mesure, c'est qu'il y a une c... dans la mesure (fabriquant pas totalement transparent, méthodologie mauvaise...) ou dans l'écoute (public pas performant)

- je pense enfin que si on ne sait pourquoi un truc sonne mieux qu'un autre, mais que c'est le cas de façon reproductible, ça peut être parce qu'on ne sait pas mesurer la qualité entendue. De ça je ne suis pas sûr ; est-ce qu'on a d'ores et déjà fait le tour de l'aspect techniques des choses ? En particulier au niveau de la psychoacoustique, je ne pense pas ; mais je ne suis pas qualifié.

On s'écarte un peu du sujet... :oops: mais c'est pour donner ma vision de l'ABX et des écoutes comparatives en général. :wink:
popette59
 
Messages: 2455
Inscription: 17 Juin 2008 19:11
  • offline

Message » 22 Sep 2009 12:13

jago a écrit:Absolument. Mais ce qui me surprend, ce n'est pas tant les résultats négatifs de nombreux tests (je crois que je ne serais pas capable d'en réussir beaucoup) mais le nombre de fois ou les testeurs n'entamment meme pas le test. C'est l'échec (si on peut considerer cela comme tel, avant meme le test.

Toujours par analogie avec les tests médicaux (puisqu'içi on parle des tests aveugles de manière plus générale) un tel test serait invalidé dans un protocole de recherche. Tout comme un suivi dans lequel on perd trop de patients (lost for follow up). C'est peut etre là les limites de l'ABX...


Il est clair que beaucoup de test en aveugle ne démarrent même pas du fait qu'aucun auditeur n'entend une différence. Qu'en penser ? la paralysie devant l'enjeu ? Le stress ? la peur de se voir démentir en aveugle et de passer pour un c.. ? On peut certes l'imaginer dans cerains cas, ça me paraît même vraisemblable, mais ça ne peut couvrir toutes les situations et ça ne correspond guère aux ABX auxquels j'ai,participé.

Je crois que, tout simplement, sur les derniers test publiés, on voit que l'égalisation des niveau et de la balance, fait disparaître les différences dans une bonne partie des hypothèses.

Le test réalisé par Syber and Co, publié sur le forum Cabasse, est exemplaire. Tout le monde a entendu une différence entre les deux amplis. Puis on égalise et plus on affine plus elle disparaît sans que j'amais il n'y ait d'écoute en aveugle à laquelle ils vont renoncer. L'ABX stricto sensu est donc étranger à ce phénomène et dans ces cas il est remarquable d'observer que la différence a été entendue, qu'elle n'est en rien imaginaire, mais qu'elle n'a pas été identifiée comme une différence de niveau mais plutôt comme une différence de signature sonore. A tort au final.

La comparaison avec le Test médical trouve ici sa limite puisque le test médical n'est pas précédé d'une phase non aveugle. En clair, c'est par un abus de langage qu'on parle dans ces hypothèses de tests en aveugle : ce sont bel et bien des tests les yeux ouverts. Il m'arrive sur certain fils de le répéter trois ou quatre fois et je vois des forumeurs répondre, OK oK tu diras ce que tu voudras mais ton test à l'aveugle où il n'y a pas de différences et bien je n'y crois pas :-?
wald
 
Messages: 1918
Inscription: 07 Avr 2008 9:40
  • offline

Message » 22 Sep 2009 12:21

Je suis tout à fait d'accord avec ton analyse mais moins avec ta conclusion. La difference entre les deux appareils se résumerait-elle à une simple différence de niveau? J'ai du mal à l'admettre mais je ne demande qu'à comprendre.

Pour ce qui est du médical, tous les tests sont faits d'abord en non-aveugle. Il faut savoir ce qu'on va tester et comment on va le faire. Il existe 4 phases dans la mise sur le marché d'un médicament. L'une d'entr'elle s'adresse par exemple à des volontaires...sains.
jago
 
Messages: 656
Inscription: 01 Aoû 2008 18:02
  • offline

Message » 22 Sep 2009 12:25

expertdoc a écrit:Pour ceux intéressés par les protocoles médicaux y'a un peu de lecture par là .... après on pourra comparer avec les ABX "sensoriels" quant à la fiabilité des résultats:

http://www.google.fr/search?hl=fr&sourc ... le+aveugle


Il ya plusieurss centaines de références dans ton lien, tu ne voudrais pas nous aider ?

j'ai vu ça par exemple, sur Wiki (le second lien), c'est ça qu'il fallait trouver ?

L'étude avec répartition aléatoire (ou hasardisée[1]) à double insu (ou en double aveugle) est la démarche expérimentale utilisée en recherche médicale et pharmaceutique. Elle est notamment utilisée dans le développement de nouveaux médicaments, et pour évaluer l'efficacité d'une démarche, d'un traitement. Le rôle d'un tel protocole, relativement lourd à mettre en place, est de réduire au mieux l'influence sur la ou les variables mesurées que pourrait avoir la connaissance d'une information (utilisation d'un produit actif ou d'un placebo, par exemple) à la fois sur le patient (premier « aveugle ») et sur l'examinateur (deuxième « aveugle »). C'est la base de la médecine fondée sur les faits.
wald
 
Messages: 1918
Inscription: 07 Avr 2008 9:40
  • offline

Message » 22 Sep 2009 12:37

jago a écrit:Je suis tout à fait d'accord avec ton analyse mais moins avec ta conclusion. La difference entre les deux appareils se résumerait-elle à une simple différence de niveau? J'ai du mal à l'admettre mais je ne demande qu'à comprendre.

Pour ce qui est du médical, tous les tests sont faits d'abord en non-aveugle. Il faut savoir ce qu'on va tester et comment on va le faire. Il existe 4 phases dans la mise sur le marché d'un médicament. L'une d'entr'elle s'adresse par exemple à des volontaires...sains.


Les tests en ABX hifi doivent également être d'abord fait en non aveugle et ne dérogent pas à cette règle générale. Ce n'est que quand on estime avoir noté des différences entre appareils que l'on peut commencer ce test.

Vouloir faire un ABX en n'y croyant pas ou en pensant dur comme fer qu'il n'y a aucune différence invalide les résultats puisque la démarche est truquée.

Il faut prendre ce test pour ce qu'il est ni en faire la panacée ni le dénaturer en le caricaturant.




Rappel également car il revet une grande importance, l'ABX n'est pas limité dans le temps et n'est donc pas du tout lié à une comparaison immédiate entre deux appareils...
Adhérez au club de ceux qui ont la "méfiance infuse", après avoir adhéré à l'association...
haskil
Membre HCFR
Membre HCFR
 
Messages: 49552
Inscription: 06 Déc 2001 2:00
Localisation: Haute Normandie et Paris
  • offline

Message » 22 Sep 2009 13:41

jago a écrit:Je suis tout à fait d'accord avec ton analyse mais moins avec ta conclusion. La difference entre les deux appareils se résumerait-elle à une simple différence de niveau? J'ai du mal à l'admettre mais je ne demande qu'à comprendre.

Pour ce qui est du médical, tous les tests sont faits d'abord en non-aveugle. Il faut savoir ce qu'on va tester et comment on va le faire. Il existe 4 phases dans la mise sur le marché d'un médicament. L'une d'entr'elle s'adresse par exemple à des volontaires...sains.


+1 avec Haskil.

Ne poussons pas trop loin les comparaisons entre les protocoles ABX selon ce qui est recherché car ce serait vain. Un essai de phase 3 d'une molécule en test, sur l'homme sain, est nécessaire pour identifier les effets scondaires et indésirables. En cas de difficulté, le ministère de la santé est prévenu et après analyse c'est tout l'essai qui peut être interrompu. C'est un processus organisé par la Loi Hurriet de 1988 tant les conséquences sont lourdes.

Comparer deux amplis ne comporte aucun risque pour la santé et appliquer les dispositions de prévention de la Loi serait dépourvu de sens :wink: N'allons pas aux raisonnements par l'absurde.

Retenons, pour rester clair, le principe ci-après (source ; expertdoc à son corps défendant) qui me semble transposable à l'audio sans contorsions excessive : Le rôle d'un tel protocole (ndr : en matière médicale), relativement lourd à mettre en place, est de réduire au mieux l'influence sur la ou les variables mesurées que pourrait avoir la connaissance d'une information (utilisation d'un produit actif ou d'un placebo, par exemple) à la fois sur le patient (premier « aveugle ») et sur l'examinateur (deuxième « aveugle »). C'est la base de la médecine fondée sur les faits.
wald
 
Messages: 1918
Inscription: 07 Avr 2008 9:40
  • offline

Message » 22 Sep 2009 13:47

wald a écrit:Retenons, pour rester clair, le principe ci-après (source ; expertdoc à son corps défendant) qui me semble transposable à l'audio sans contorsions excessive : Le rôle d'un tel protocole (ndr : en matière médicale), relativement lourd à mettre en place, est de réduire au mieux l'influence sur la ou les variables mesurées que pourrait avoir la connaissance d'une information (utilisation d'un produit actif ou d'un placebo, par exemple) à la fois sur le patient (premier « aveugle ») et sur l'examinateur (deuxième « aveugle »). C'est la base de la médecine fondée sur les faits.


La transposition à l'audio n'est pas applicable. Le patient n'a pas à emettre un avis. C'est toute la différence.

Francois :wink:
frgirard
 
Messages: 7581
Inscription: 05 Fév 2005 13:21
  • offline

Message » 22 Sep 2009 14:00

C'est encore une fois inexact! Dans l'évaluation de tratement antalgique, meme en double aveugle, la seule évaluation possible est "l'avis" du patient.
jago
 
Messages: 656
Inscription: 01 Aoû 2008 18:02
  • offline

Message » 22 Sep 2009 14:03

wald a écrit:Comparer deux amplis ne comporte aucun risque pour la santé




Je lancerai bien une astuce à deux balles en jouant sur les différents sens du mot santé ... mais ce serait manifestement du troll :lol:

Alors je préfère ne pas troller ! Image
syber
 
Messages: 10298
Inscription: 30 Juil 2005 15:07
  • offline

Message » 22 Sep 2009 14:07

jago a écrit:C'est encore une fois inexact! Dans l'évaluation de tratement antalgique, meme en double aveugle, la seule évaluation possible est "l'avis" du patient.


bien sur idem pour le cancer, cardiaque, tumorale, anesthésique, virale... les exemples et contre exemples peuvent etre déroulées à la pelle.

ce genre de discussion va rester de l'ordre de la discussion de comptoir du fait non participation de spécialiste : et des études médicales et de psychologie ou de cognition.

Francois :wink:
frgirard
 
Messages: 7581
Inscription: 05 Fév 2005 13:21
  • offline


Retourner vers Discussions Générales

 
  • Articles en relation
    Dernier message