Modérateurs: Modération Forum Haute-Fidélité, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: antoine78, boddhidarma, Bookfan, Dav1172, DSAGNES, Eames, Esscobar, gwen35, MIC22, Taisetsu458, VintageFlanker, xathrepsy, Xhala_debru et 234 invités

Discussions sur le matériel Haute-Fidélité

Le retour des kangourous : ABX 2

Message » 16 Jan 2009 16:00

syber a écrit:On en apprend autant sur soi-même que sur le matériel

ce qui permet aussi d'avoir un oeil critique lors des écoutes qui ne sont pas en aveugle et où chacun y va de son commentaire avec le plus souvent une "grande geule" locale (sans critique de ma part, le plus souvent cette personne est bien incapable de maitriser son débit ) qui monopolise l'espace sonore ... et passe l'essentiel de ses à priori dans son discour. Ce qui aboutit très souvent à des écoutes dites "tout le monde était d'accord ....", l'interret est que même ceux qui étaient présents mais n'avaient aucune idée sur le sujet repartent avec une opinion souvent identique à l'idée générale que tout le monde partage. On se sent moins seul ensuite pour faire des CR sur le forum, vu que "tout le monde était d'accord ..." ... ;)
WhyHey
 
Messages: 13943
Inscription Forum: 29 Avr 2002 12:31
Localisation: WhyCity
  • offline

Message » 16 Jan 2009 16:27

Denis31 a écrit:
mcarre1 a écrit:...
Pour ce qui est de l'effet psychologique dans les test audio, je veux bien, mais lorsque c'est l'inverse qui se produit, c'est à dire qu'un appareil qui "devrait" être meilleur se révèle au contraire moins bon, et qu'en ABX on ne fait pas la différence, je me pose des questions.

Je crois que la somme de ces "effets psychologiques" ne va pas forcément dans le sens ou on l'attend consciemment; y compris lorsqu'on pense connaitre et qu'on essaie de prendre conscience de ces phénomènes pour les maitriser.
Si c'était le cas tout serait extrêmement simple.


Tout à fait, on peut vouloir démontrer qu'A est différent de B et découvrir qu'ils sont identiques mais on peut aussi découvrir que la verdeur assimilée à l'un se retrouve chez l'autre ...

Pour le placebo il faut au contraire que le patient voit le médicament donné. C'est essentiel dans l'effet. C'est une reproduction de la pensée magique avec pour vecteur, une pilule qui est censée contenir un principe actif à haute teneur scientifique ... Ce n'est pas le traitement de grand mère, c'est un médicament.
Dernière édition par Mister Bear le 18 Jan 2009 1:50, édité 1 fois.
Mister Bear
 
Messages: 200
Inscription Forum: 07 Déc 2008 11:13
  • offline

Message » 16 Jan 2009 16:30

WhyHey a écrit:
syber a écrit:On en apprend autant sur soi-même que sur le matériel

ce qui permet aussi d'avoir un oeil critique lors des écoutes qui ne sont pas en aveugle et où chacun y va de son commentaire avec le plus souvent une "grande geule" locale (sans critique de ma part, le plus souvent cette personne est bien incapable de maitriser son débit ) qui monopolise l'espace sonore ... et passe l'essentiel de ses à priori dans son discour. Ce qui aboutit très souvent à des écoutes dites "tout le monde était d'accord ....", l'interret est que même ceux qui étaient présents mais n'avaient aucune idée sur le sujet repartent avec une opinion souvent identique à l'idée générale que tout le monde partage. On se sent moins seul ensuite pour faire des CR sur le forum, vu que "tout le monde était d'accord ..." ... ;)


On est bien d'accord ... :lol: :lol: :lol:

Cela doit se faire justement silencieusement. Le mieux serait de le faire en isoloir pour justement s'affranchir de la tension du "y réponds quoi lui ?". Le gurutage est ainsi court-circuité ???
Mister Bear
 
Messages: 200
Inscription Forum: 07 Déc 2008 11:13
  • offline

Message » 22 Jan 2009 13:25

http://www.doodle.com/participation.htm ... ubxsyytqfs

Nous avons une magnifique colonne verte au 7 février. Profitons-en.

Par la suite il n'y a pas de date où Grand X et Ohl sont sûrs d'être là en même temps. Il vaut donc mieux que je vienne à la deuxième date.

Pour le 7, évidemment, priorité à ceux qui n'ont pas ou peu de dispo par la suite.
Pio2001
Contributeur HCFR 2019
 
Messages: 8938
Inscription Forum: 07 Oct 2003 12:50
Localisation: Neuville-sur-Saône
  • offline

Message » 22 Jan 2009 14:43

syber a écrit:Je crois qu'il ne faut pas vouloir faire dire aux tests ABX ce qu'ils ne peuvent pas dire.

A mon sens, après avoir participé à deux tests sans en avoir bien compris de prime abord les tenants et les aboutissants, un test ABX permet simplement de répondre à la question suivante : est-ce que tel auditeur, avec ses propres capacités discriminantes liées à la fois aux caractéristiques de son système auditif et à sa culture du son, est capable de différencier deux éléments qu'ils soient matériels (ampli, câbles, lecteur de CD) ou logiciel (format de fichier), sans volonté de hiérarchiser ces différences. Je pense de plus en plus qu'entre autre*, pour avoir introduit un biais de ce type (hiérarchie qualitative entre éléments), nous avons échoué au test sur les câbles de modulation.

On en apprend autant sur soi-même (ses performances auditives, l'étendue de sa culture musicale et sa façon d'écouter de la musique, sa psychologie, sa résistance au stress, sa capacité à décider) que sur le matériel en pratiquant ce genre de test. C'est bien là leur côté passionnant, je trouve.

C'est un excellent résumé! J'ajouterai encore un point qui vient nuancer les résultats des tests ABX. Il s'agit de biais de séléction et du petit nombres de participants. Autrement dit, un test donné n'est valable que pour une expérience donnée ET pour cet échantillon de participants. Non seulement son résultat est difficilement (voire ps du tout reproductible) mais ne peut etre généralisé à un autre groupe de testeurs. Or on entend souvent cette vérité "comme l'ont bien montré les tests en aveugle..." Pour moi ce test reste un outil d'information ( aussi pour en apprendre sur soi-meme) mais ne peut en aucun cas servir d'"absolu". Bonnes écoutes




* entre autre, car chacun sait bien que les câbles ne changent rien au rendu sonore d'une chaine :wink: :mdr:
jago
 
Messages: 656
Inscription Forum: 01 Aoû 2008 18:02
  • offline

Message » 22 Jan 2009 15:14

jago a écrit:
C'est un excellent résumé! J'ajouterai encore un point qui vient nuancer les résultats des tests ABX. Il s'agit de biais de séléction et du petit nombres de participants. Autrement dit, un test donné n'est valable que pour une expérience donnée ET pour cet échantillon de participants. Non seulement son résultat est difficilement (voire ps du tout reproductible) mais ne peut etre généralisé à un autre groupe de testeurs. Or on entend souvent cette vérité "comme l'ont bien montré les tests en aveugle..." Pour moi ce test reste un outil d'information ( aussi pour en apprendre sur soi-meme) mais ne peut en aucun cas servir d'"absolu". Bonnes écoutes




Jago, je crois que tu n'as pas saisi la portée, l'essence et la caractéristique d'un test ABX correctement mené.

Un résultat positif, (il y a une différence identifiable entre tel et tel appareil ou cable) même obtenu par une seule personne s'impose à tous, même si tous ne sont pas en mesure de le percevoir.

J'ajoute que bien souvent, on fait dire que des test en aveugle ont pu démontrer l'absence de différence entre des appareils, ce qu'en aucun cas il n'est possible d'affirmer. Un test non réussi (n'avoir pas différentié des appareils dans les conditions de test) ne permet pas de tirer de conclusion, jamais.

il faut que tu relises les différents topics sur le sujet, qui ont suffisamment décortiqué et démontré ces points.

Ainsi, le fait que nous n'ayons pas réussi de tests de différenciation d'amplis et de cables lors de la scéance de tests ne pourra jamais nous faire conclure que ces appareils sonnent pareil. On peut juste s'étonner de leur apparente proximité de rendu dans les conditions d'écoute, rien de plus.
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7403
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 22 Jan 2009 15:58

:idee: Je crois qu'un sujet post-it sur ce qu'est un test ABX devrait s'imposer, dans un forum hi-fi... a moins que... :roll:
Denis31
Pro-Fabricant
Pro-Fabricant
 
Messages: 4527
Inscription Forum: 16 Sep 2005 9:50
Localisation: Toulouse
  • offline

Message » 22 Jan 2009 17:14

J'ai parcouru les differentes interventions au sujet de l'organisation de ce genre de test. Ma remerque concerne non pas les résultats (je comprends qu'il est difficile de démontrer l'absence ou la non-existance d'un phénomène et que ce n'est pas parce qu'on l'a démontré que le phénomène n'existe pas...)Par contre je ne comprends pas pourquoi les résultats d'un test positif (et ne dites surtout pas réussi, cela n'a pas beaucoup de sens :wink: ) devrait , comme tu le dis "s'imposer à tous"?
jago
 
Messages: 656
Inscription Forum: 01 Aoû 2008 18:02
  • offline

Message » 22 Jan 2009 17:26

jago a écrit:J'ai parcouru les differentes interventions au sujet de l'organisation de ce genre de test. Ma remerque concerne non pas les résultats (je comprends qu'il est difficile de démontrer l'absence ou la non-existance d'un phénomène et que ce n'est pas parce qu'on l'a démontré que le phénomène n'existe pas...)Par contre je ne comprends pas pourquoi les résultats d'un test positif (et ne dites surtout pas réussi, cela n'a pas beaucoup de sens :wink: ) devrait , comme tu le dis "s'imposer à tous"?


Ben ça veut dire qu'il existe au moins un être humain qui a pu entendre en aveugle de manière statistiquement irréfutable une différence entre l'appareil A et l'appareil B.
Et, à moins que cette personne soit bionique, ça veut dire que l'espèce humaine est capable d'entendre la différence entre A et B, et par extension que A et B sont des appareils différents à l'écoute, ce qui n'était pas évident au départ (c'est cette conclusion qui s'impose à tous : on ne peut plus prétendre que A et B "ça sonne pareil", ils sont différents et discernables à l'oreille humaine)

C'est à partir de ce moment-là que ça devient intéressant et que l'on peut se poser d'autres questions (non généralisables ce coup-là) : la différence est-elle importante, est-ce que A est meilleur que B, ou l'inverse, ou sont-ils simplement "différents", etc...
Dernière édition par corsario le 22 Jan 2009 17:27, édité 1 fois.
corsario
 
Messages: 2396
Inscription Forum: 01 Fév 2005 18:39
Localisation: Paris
  • offline

Message » 22 Jan 2009 17:26

Jago,


Un test est positif, dans le sens où SI , compte tenu d'un protocole correctement mis en œuvre, au moins UNE personne a réussi à entendre une différence antre deux appareils, ALORS cette différence existe réellement et s'impose donc à tous.

La portée de cette phrase étant amoindrie par le fait que les audiophiles passent de toutes façons leur temps à chercher des différences entre éléments ... :mdr:
Dernière édition par syber le 22 Jan 2009 17:34, édité 1 fois.
syber
 
Messages: 12464
Inscription Forum: 30 Juil 2005 15:07
  • online

Message » 22 Jan 2009 17:29

:wink:
Dernière édition par syber le 22 Jan 2009 18:02, édité 1 fois.
syber
 
Messages: 12464
Inscription Forum: 30 Juil 2005 15:07
  • online

Message » 22 Jan 2009 17:46

Bien compris :D . Donc si un seul des participant au test "réussi" un score élevé (quel est le nombre d'essais nécessaires pour que le test soit statistiquement significatif?) tous les autres acceptent ce résultat meme si eux-memes n'ont pas perçu de différences? Je pose ces questions sans aucune arrière-pensée négative, plutot pour ma culture générale et pour mieux comprendre la portée des résultats. :D
jago
 
Messages: 656
Inscription Forum: 01 Aoû 2008 18:02
  • offline

Message » 22 Jan 2009 19:02

Ohl, Corsario ou d'autres préciseront le nombre de tests à faire avec le nombre maximal d'erreurs, permettant de dire que le test est fiable à plus de 99%, et plus si on augmente le nombre d'essais (inférieur à 20).
La réussite d'un test (moins de 1 erreur sur 16 par exemple) signifie que l'auditeur a effectivement différencié les appareils dans 15 cas sur 16, ce qui écarte la possibilité de répondre par hasard, et donc valide la réalité de différences perceptibles entre les appareils.
Il n'y a pas à préciser quelles différences, juste à les percevoir et à reconnaitre à coup sûr le choix A ou B.
Le résultat n'a pas à être accepté ou non, il est.
Comme il n'y a pas à accepter que le noir est différent du blanc, c'est.
On peut toujours le nier, mais on aura tort.
Dernière édition par grand x le 22 Jan 2009 19:16, édité 1 fois.
grand x
Pro-Commercant
Pro-Commercant
 
Messages: 7403
Inscription Forum: 28 Juin 2005 8:50
Localisation: Paris 12°
  • offline

Message » 22 Jan 2009 21:02

jago a écrit:J'ajouterai encore un point qui vient nuancer les résultats des tests ABX. Il s'agit de biais de séléction et du petit nombres de participants.


Le biais de sélection ne nous gêne pas si nous voulons réussir le test. Bien au contraire, nous devons sélectionner les sujets les plus entraînés et les plus sensibles.
Si nous voulions déterminer l'audibilité moyenne d'une différence, alors le biais de sélection nous poserait un sacré problème, en effet. Mais nous n'en sommes pas là. Nous nageons en pleine confusion entre ceux qui disent que tout sonne pareil et ceux qui disent que sans fusibles en or, rien ne sonne correctement.
Donc notre objectif est de réussir quelques tests pour avancer un peu. Donc priorité aux oreilles d'or.

jago a écrit:Autrement dit, un test donné n'est valable que pour une expérience donnée ET pour cet échantillon de participants.


En effet. Ensuite, avec un protocole bien décrit et un compte-rendu détaillé, on permet aux lecteurs de se faire une idée de la généralisation possible. A chacun de se dire "si eux, ils y arrivent, alors étant donné mon expérience et mon installation, forcément moi aussi", ou au contraire "s'ils ont tant de difficulté avec un tel matos, aucune chance que cela fasse une différence pour moi". Ou encore "je ne peux rien en déduire, parce que j'écoute des musiques plus/moins exigeantes que celles qu'ils ont employées, sur un matériel différent".

jago a écrit:Non seulement son résultat est difficilement (voire ps du tout reproductible) mais ne peut etre généralisé à un autre groupe de testeurs. Or on entend souvent cette vérité "comme l'ont bien montré les tests en aveugle..."


Nous n'avons aucun recul pour estimer le généralisation possible d'un test aussi rigoureux que ceux que nous menons chez Grand X. On peut déjà constater qu'il est très facile de reproduire les échecs des autres, mais les causes peuvent en être multiples.

grand x a écrit:Le résultat n'a pas à être accepté ou non, il est.


Je suis loin d'être aussi catégorique, dans un sens comme dans l'autre. Que penses-tu du test ABX réussi par Garf sur Hydrogenaudio ? Le score est de 12/13, ce qui donne moins d'une chance sur 500 d'avoir réussi par hasard. Et il utilisait un logiciel ABX, ce qui garantit le double aveugle complet. Qu'écoutait-il ?...

Rien !
Il n'écoutait absolument rien ! Il avait posé la casque sur la table, et cliquait sur les boutons au hasard. Il a simplement eu de la chance. Dans ces conditions, pourtant cinq fois plus rigoureuses que celles souhaitées en hifi habituellement (1 chance sur 100), nous ne pouvons ceretainement pas affirmer qu'il a "entendu la différence".
Tout ce que nous pouvons dire, c'est que sur ce test en particulier, il avait une chance sur 500 de réussir. Le contexte permet de relativiser ce coup de chance : Garf travaillait, avec ff123, Schnofler etc, aux logiciels ABX, et par conséquent, n'hésitait pas à tester intensivement leur fonctionnement. De plus, à cette époque, nous avions eu des discussions sur les tests séquentiels, c'est-à-dire des tests illimités où l'auditeur voit son score et peut choisir de s'arrêter quand il veut. Si Garf a procédé ainsi, les probabilité sont nettement biaisées, et ses chances de succès étaient en réalité supérieures à 1/500. En l'absence de précisions sur le protocole suivi, le résultat est beaucoup moins fiable.
De plus, d'autres testeurs ont certainement réalisé la même expérience, et échoué sans en parler. Cela augmente encore la probabilité réelle de succès.

L'interprétation d'un résultat positif n'est donc pas absolue et irrévocable. Il faut tenir compte du contexte.
Avec notre protocole et l'appareil ABX, nous sommes en véritable double aveugle, c'est un point qui est réglé.
Nous allons maintenant recommencer des tests déjà tentés la dernière fois, ce qui fait que nous entrons en mode séquentiel. Ce qui va peut-être nécessiter une petite révision sur les scores à atteindre. Mais nous réalisons des entrainements et des pré-séries de 7, ce qui limite fortement le nombre de tests réels menés d'un bout à l'autre, et l'auditeur n'a pas la possibilité de poursuivre une série mal entamée.
Par contre nous sommes nombreux à essayer, ce qui multiplie les coups de chance possibles. Nous devons tenir compte de ce facteur, et c'est pourquoi nous n'en sommes plus au score basique de 7/8.
Nous testons des différences parfois peu probables techniquement (câbles de modulation), et affirmation extraordinaire nécessite preuve extraordinaire.
Enfin, nous nous plaçons dans un forum très fréquenté et nous souhaitons que notre résultat puisse, le plus possible, servir de référence. Tout cela élève l'exigence d'un score élevé, et c'est pourquoi nous visons plutôt dans les 14/15. Score qui serait normalement considéré comme inutilement élevé par matrix-hifi ou David Carlstrom, par exemple.

Nous voyons donc que les choses sont loin d'être aussi simples que "tout succès est irréfutable". Le contexte est extrêmement important.

En ce qui concerne les échecs, je ne suis également pas partisant du "cela ne prouve absolument rien". Là encore, le contexte nous apprend des choses. une écoute ordinaire peut parfois apporter certaines informations. Donc une écoute ABX en apporte aussi, et souvent plus.
Un échec complet et sans conditions ne présente effectivement pratiquement pas d'intérêt, sauf éventuellement pour l'auditeur lui-même.
Mais les choses commencent à devenir intéressantes lorsque l'échec suit une écoute comparative normale assortie d'un compte-rendu sur le son des sources comparées. L'auditeur peut alors nous décrire ce qu'il a ressenti pendant le test, et pourquoi il pense avoir échoué. Je trouve déjà cela plus intéressant qu'un compte-rendu d'écoute d'un appareil quelconque dont je n'envisage la plupart du temps pas l'achat.
L'échec peut également être consécutif à un ABX que l'auditeur est certain d'avoir réussi ! (on a des cas) Là, cela peut devenir passionnant, car cela démontre que le compte-rendu qui précédait, et qui pouvait être considéré comme une indication forte de l'existence d'une différence audible, est caduc. L'auditeur doit alors se poser la question de la pertinence de l'ensemble de ses compte-rendus d'écoute.
Enfin, il y a le cas extrême, qui est théoriquement possible, où le test pourrait démontrer que LA différence n'existe pas (et non qu'UNE différence n'existe pas, nuance). Cela se produirait si toutes les indications du monde qui nous ont permis de conclure à l'existence d'UNE différence étaient, une à une, confrontées au cas précédent : échec dans des conditions où le succès est certain. Cette différence-là serait alors réfutée... Sans préjuger de l'existence éventuelle d'une autre différence, evidemment, mais que personne au monde n'aurait jamais entendue, puisqu'on a bien dit qu'on aurait testé toutes les différences entendues, (donc tous les auditeurs du monde).

Entre toutes ces possibilités, qui vont du test complètement bâclé au passage sur le banc d'essai de tous les audiophiles du monde, il y a nos tests à nous, qui, s'ils échouent, ne prouvent pas tout, mais pas rien non plus.
Pio2001
Contributeur HCFR 2019
 
Messages: 8938
Inscription Forum: 07 Oct 2003 12:50
Localisation: Neuville-sur-Saône
  • offline

Message » 23 Jan 2009 0:17

Merci Pio pour ces précision et cette dose de nuance qui me parait indispensable. Bonne chance et surtout du plaisir dans vos écoutes (car tout ceci est fait pour cela n'est-ce pas? :D ) Je suis avec interet ce topic très instructif. Bonnes écoutes.
jago
 
Messages: 656
Inscription Forum: 01 Aoû 2008 18:02
  • offline


Retourner vers Discussions Générales

 
  • Articles en relation
    Dernier message