Test en aveugle

[ohl]

qu'il ait fallu des décennies pour que cette idée soit acceptée, les protocoles et analyses validées etc. On doit procéder de la même façon en electro-acoustique avec accord sur la méthodologie

Les tests ABX en audio sont faits depuis près de 30 ans et la méthodologie a fait l'objet de nombreuses études. Le consensus est général auprès des professionnels (par professionnels, j"entends les chercheurs, les labos de développement mais pas les revendeurs, ni les équipes de marketing, ni les bricoleurs de la quasi totalité des fabricants "audiophiles")

[Themisto]

Le consensus est général auprès des professionnels (par professionnels, j"entends les chercheurs, les labos de développement mais pas les revendeurs, ni les équipes de marketing, ni les bricoleurs de la quasi totalité des fabricants "audiophiles")

J'en connais des "bricoleurs" qui travaillent comme conseillés auprès des "professionnels" décrits ci-dessus. Leur rôle consiste à expliquer aux équipes où ils se sont plantées.
De là à voir un lien avec le "consensus" que tu décris, il n'y a qu'un pas.

[wald]

Pour moi, les tests en aveugle essaient de modifier la portée d'un principe scientifique de base, en modifiant le postulat initial:

A la place des postulats:
Si deux éléments ont des mesures différentes dans l'accomplissement de leurs fonctions, alors ils sont différents. S'ils sont différents bien qu'ils accomplissent la même fonction, alors pour un même stimuli, ils produiront des réponses différentes."

On met:
"La difference des réponses de deux systèmes ne compte pas, ce qui compte c'est le fait qu'un observateur extérieur puisse observer avec certitude les réponses différentes, en utilisant ses propres sens".

Voilà, en gros. Pour moi, les tests AB/X font partie de l'éternel combat du bon sens contre la science. Perdu d'avance.
Sauf que là, pour se donner bonne ténue (et ratisser plus large) ce combat prend une tournure pseudo-scientifique, mathématiques et statistiques à l'appui (...)

Je n'ai pas compris ce que j'ai souligné. Ni non plus en quoi ce serait un postulat communément admis. Ni en quoi ça se rapporte à la méthodologie du double aveugle.

Er surtout, que veux tu dire par : "l'éternel combat du bon sens contre la science. Perdu d'avance".

[wald]

A Jago, je ne crois pas avoir écrit (ou alors je me suis mal exprimé) qu'il fallait utiliser une méthodologie identique à celle utilisée en médecine ou en pharmacologie mais j'ai souligné PAR UN EXEMPLE le fait qu'il ait fallu des décennies pour que cette idée soit acceptée, les protocoles et analyses validées etc. On doit procéder de la même façon en electro-acoustique avec accord sur la méthodologie particulière à employer dans cette discipline.

Je crois que j'ai saisi mais j'ai bien peur que cette méthode (qui présente quelques avantages intéressant par ailleurs) ne puisse s'imposer en écoute Hi-Fi. Elle peut compléter l'évaluation d'un appareil, ses mesures techniques, ses courbes, l'analyse de ses composants etc. Mais jamais son écoute, qui reste hautement subjective. Tout comme dans le domaine du vin, parfum... Je ne sais pas quelle serait la méthodologie particulière qui pourrait remplacer l'écoute?

En quoi l'écoute en aveugle (la méthodologie dont tu parles) ne serait-elle pas une écoute selon toi ?

[wald]

l'analogie n'est pas viable : un ABX hifi n'a jamais enivré un testeur
le lien n'améne rien de neuf : Le vin est un phénoméne culturel. imaginer des gouts de framboise ou de sous bois demande une grande culture
Francois

Je ne vois pas le rapport en toute franchise.

L'analogie a des limites car il n'est pas discutable que les vins ont des goûts différents alors qu'il n'est pas certain que tous les appareils audio produisent systématiquement des sons différents. la dégustation en aveugle, que je pratique depuis 20 ans, ne vise pas à dire si des vins sont différents - ils le sont indubitablement - mais à nous abstraire de nos influences pour caractériser les vins et accessoirement les apprécier en dehors de nos idées reçues et, de ce point de vue, l'analogie reprend puissament ses droits.

On a déjà publié les nombreux tests menteurs - un passage obligé de la dégustation en amateur -, et quand on a donné des appréciations différentes alors qu'on a goûté des vins identiques mais délibérément servis dans des bouteilles différentes (un vin de table, un cru classé), l'analogie devient passionnante et incontournable à mon avis.

En tout cas, un grand bravo, oryzon, pour avoir lancé ce sujet sur le mode de la réflexion et non de l'affirmation péremptoire.

le lien que tu as donné m'intéresse beaucoup et ne me surprend pas du tout mais il faut bien en lire la conclusion. Le monde du vin - mais on pourrait tout aussi bien dire le monde des audiophiles - connaît ses vedettes auto-proclamées et ses fausses valeurs. Je ne doute pas un instant qu'on puisse en aveugle donner deux notes différentes au même vin. C'est qu'on ne l'a pas reconnu. Rares sont les amateurs qui ne se feraient pas surprendre sur un tel test qui, justement, apprend l'humilité. Je suis certain que ce ne serait jamais arrivé à ces éminents oenologues et critiques de vins s'ils avaient pu lire l'étiquette. la finalité du test en aveugle est aussi dans ce cas, on le sait bien quand on les pratique régulièrement, de tester la fiabilité du testeur. Ca ne remet pas en cause la méthodologie mais ça déboulonne les faux Dieux dont le monde vinicole est truffé. Le résultat du test donné en lien, c'est qu'on a écarté des testeurs incapables de reconnaître un vin qu'il venaient de goûter, ou bien incapable de caractériser un vin deux fois de la même manière. Une sujet de réflexion pour les audiophiles...

[wald]

Arghhhhh, fausse manoeuvre, auto-sabotage

[frgirard]

La différence fondamentale entre les tests aveugle réalisés en médecine et en pharmacie et les ABX c'est le fait qu'en médecine l'objectif de l'étude vise à comparer les résultat mesurables ou au pire quantifiables (ou évaluables) mais ces études-là ont déjà un niveau de confiance inférieur. Par exemple on doit pouvoir, au départ, mesurer la taille de la tumeur ou évaluer la douleur du patient sur une échelle reproductible.
Aucun de ces critères ne pourra etre validé en écoute Hi-Fi.

la différence fondamentale entre l'abx en médecine et en hifi, est que le testé en médecine n'a pas à décider des résultats. Le testé n'est pas le testeur.
Les résultats médicaux ne sont pas et loin s'en fauent mesurables ou quantifiables. Ca été l'axe de recherche de Gilbert Chauvet avant sa mort en essayant d'initier une mathématisation des phénoménes biologiques. Mathématisation rendue difficile par le nombre de paramétres à traiter et par le sectarisme.

Francois

[frgirard]

l'analogie n'est pas viable : un ABX hifi n'a jamais enivré un testeur
le lien n'améne rien de neuf : Le vin est un phénoméne culturel. imaginer des gouts de framboise ou de sous bois demande une grande culture
Francois

Je ne vois pas le rapport en toute franchise.

L'analogie a des limites car il n'est pas discutable que les vins ont des goûts différents alors qu'il n'est pas certain que tous les appareils audio produisent systématiquement des sons différents. la dégustation en aveugle, que je pratique depuis 20 ans, ne vise pas à dire si des vins sont différents - ils le sont indubitablement - mais à nous abstraire de nos influences pour caractériser les vins et accessoirement les apprécier en dehors de nos idées reçues et, de ce point de vue, l'analogie reprend puissament ses droits.

On a déjà publié les nombreux tests menteurs - un passage obligé de la dégustation en amateur -, et quand on a donné des appréciations différentes alors qu'on a goûté des vins identiques mais délibérément servis dans des bouteilles différentes (un vin de table, un cru classé), l'analogie devient passionnante et incontournable à mon avis.

En tout cas, un grand bravo, oryzon, pour avoir lancé ce sujet sur le mode de la réflexion et non de l'affirmation péremptoire.

le lien que tu as donné m'intéresse beaucoup et ne me surprend pas du tout mais il faut bien en lire la conclusion. Le monde du vin - mais on pourrait tout aussi bien dire le monde des audiophiles - connaît ses vedettes auto-proclamées et ses fausses valeurs. Je ne doute pas un instant qu'on puisse en aveugle donner deux notes différentes au même vin. C'est qu'on ne l'a pas reconnu. Rares sont les amateurs qui ne se feraient pas surprendre sur un tel test qui, justement, apprend l'humilité. Je suis certain que ce ne serait jamais arrivé à ces éminents oenologues et critiques de vins s'ils avaient pu lire l'étiquette. la finalité du test en aveugle est aussi dans ce cas, on le sait bien quand on les pratique régulièrement, de tester la fiabilité du testeur. Ca ne remet pas en cause la méthodologie mais ça déboulonne les faux Dieux dont le monde vinicole est truffé. Le résultat du test donné en lien, c'est qu'on a écarté des testeurs incapables de reconnaître un vin qu'il venaient de goûter, ou bien incapable de caractériser un vin deux fois de la même manière. Une sujet de réflexion pour les audiophiles...

1) ce sujet n'est que le éniéme initié et il finira comme les autres par ce qu'il n'y a rien de neuf à dire.
2) tu sais trés bien en tant qu'amateur de vin, l'évaluation de celui-ci est avant tout culturelle : ideologique et historique. Il me smble ne jamais avoir vu un chromatographe dans une dégustation de vin.

Francois

[expertdoc]

Edit, erreur, fausse manip

[frgirard]

Edit, erreur, fausse manip

ne pas répondre, surtout ne pas répondre. n'était-ce pas le message original ?

Je viens de lire "La biologie de la mémoire" de G Chapoutier. Tu devrais t'interressé au travaux de Gianfranco Dalla Barba.

http://www.biomedexperts.com/Profile.bm ... alla_Barba

Francois

[expertdoc]

Pour ceux intéressés par les protocoles médicaux y'a un peu de lecture par là .... après on pourra comparer avec les ABX "sensoriels" quant à la fiabilité des résultats:

http://www.google.fr/search?hl=fr&sourc ... le+aveugle

[Denis31]

Lors de la tentative d'abx d'amplis faite chez moi, il m'a semblé que (j'observais discrètement l'auditeur qui faisait les écoutes, en même temps que je faisais manuellement les switchs de câbles) :
- des différences apparaissaient en écoute A/B non aveugle (niveaux égalisés);
- dès lors que l'auditeur cherchait à les "qualifier" plus précisément dans son esprit pour avoir un "point d'ancrage" lui permettant de réussir en aveugle, les différences se mélangeaient et finissaient par fondre au bout de 2 ou 3 switchs.

Qu'en pensez-vous ?

[jago]

A Jago, je ne crois pas avoir écrit (ou alors je me suis mal exprimé) qu'il fallait utiliser une méthodologie identique à celle utilisée en médecine ou en pharmacologie mais j'ai souligné PAR UN EXEMPLE le fait qu'il ait fallu des décennies pour que cette idée soit acceptée, les protocoles et analyses validées etc. On doit procéder de la même façon en electro-acoustique avec accord sur la méthodologie particulière à employer dans cette discipline.

Je crois que j'ai saisi mais j'ai bien peur que cette méthode (qui présente quelques avantages intéressant par ailleurs) ne puisse s'imposer en écoute Hi-Fi. Elle peut compléter l'évaluation d'un appareil, ses mesures techniques, ses courbes, l'analyse de ses composants etc. Mais jamais son écoute, qui reste hautement subjective. Tout comme dans le domaine du vin, parfum... Je ne sais pas quelle serait la méthodologie particulière qui pourrait remplacer l'écoute?

En quoi l'écoute en aveugle (la méthodologie dont tu parles) ne serait-elle pas une écoute selon toi ?

Wald, je répondais à Hervé qui faisait état d'une recherche de méthodologie, je cite "on doit procéder de la meme façon en électro-acoustique avec accord sur la methodologie particulière à employer dans cette discipline".

Je posais dons la question:" je ne sais pas quelle serait la (cette) méthodologie particulière qui pourrait remplacer l'écoute?"

Il est bien entendu pour moi que les tests aveugles apportent beaucoup d'informations utiles et intéressants, non seulement sur le materiel testé mais aussi sur le testeur.
Il est aussi entendu qu'ils font partie de l'écoute...

[jago]

La différence fondamentale entre les tests aveugle réalisés en médecine et en pharmacie et les ABX c'est le fait qu'en médecine l'objectif de l'étude vise à comparer les résultat mesurables ou au pire quantifiables (ou évaluables) mais ces études-là ont déjà un niveau de confiance inférieur. Par exemple on doit pouvoir, au départ, mesurer la taille de la tumeur ou évaluer la douleur du patient sur une échelle reproductible.
Aucun de ces critères ne pourra etre validé en écoute Hi-Fi.

la différence fondamentale entre l'abx en médecine et en hifi, est que le testé en médecine n'a pas à décider des résultats. Le testé n'est pas le testeur.
Les résultats médicaux ne sont pas et loin s'en fauent mesurables ou quantifiables. Ca été l'axe de recherche de Gilbert Chauvet avant sa mort en essayant d'initier une mathématisation des phénoménes biologiques. Mathématisation rendue difficile par le nombre de paramétres à traiter et par le sectarisme.

Francois

En l'occurence, en Hi-Fi non plus, puisque le "testé" est un cable ou un ampli.

Je crois que ta vision de protocoles médicaux est tout à fait érronée. La lecture proposée par ExpertDoc traite de la méthodologie utilisée dans differentes études, à des niveaux de confiance (donc de fiabilité des résultats) différents.
C'est un peu HS, mais sache que l'idée et précisement d'écarter le plus possible le "facteur humain" dans l'interpretation des résultats. Par exemple, si on veut mesurer la taille de la tumeur avant et après le traiment, on essayera d'en confier la lecture à quelques radiologues indépendants du protocole ou mieux, à un logiciel.
Contrairement à ce que tu dis, les résultats médicaux doivent etre quantifiés, mesurés pour pouvoir etre comparés le plus objectivement posible (à l'exception de quelques domaines particulièrs).

[van.alstine]

Edit, erreur, fausse manip

ne pas répondre, surtout ne pas répondre. n'était-ce pas le message original ?

Je viens de lire "La biologie de la mémoire" de G Chapoutier. Tu devrais t'interressé au travaux de Gianfranco Dalla Barba.

http://www.biomedexperts.com/Profile.bm ... alla_Barba

Francois

Chapoutier Chapoutier ?
Ah bon d'accord, on parle toujours de pinard alors ?
http://www.chapoutier.com/