Modérateurs: Modération Forum Haute-Fidélité, Le Bureau de l’Association HCFR • Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 118 invités

Discussions sur le matériel Haute-Fidélité

Kangourou ABX, ép 4: du muguet pour les kangourous (1er Mai)

Message » 20 Mai 2009 10:33

corsario a écrit:
Pour ceux que ça intéresse le nombre réel d'itérations grâce à la petite l'astuce qui consiste à arrêter dès qu'on a un succès est de 372 millions au lieu de 505 millions (pas de quoi se relever la nuit toutefois), et le PC (3.4 Ghz) met 1 minute 10 pour calculer tout ça (c'est en Matlab. Si je l'avais programmé en Fortran on gagne un facteur 100 et on serait à 0.7 secondes). Mais 70 secondes pour faire 372 millions d'itérations c'est pas si mal je trouve. Pas la peine de se moquer avec ton TRS-80 :P


En effet, Matlab est completement inadapte au calcul stochastique... Peut etre meme que le generateur de nombre aleatoire n est pas fiable :wink: :wink:
:lol: , meme si au final, on reproduit des lois de proba...
qq secondes pour faire 372 millions : C est a peu pres le temps que je mets sur un pc qui a 10 ans en FORTRAN....

Pio2001 a écrit:Alors ça, c'est l'excès inverse. Qu'une personne parmi dix fasse 7/8 à l'ABX, cela arrive plus souvent qu'une fois sur trois ! On ne peut vraiment rien en déduire.

Ce resultat n est pas juste. La proba de faux succes est a peu pres 0.3% a savoir 3 chances sur 1000. WhyHey l a deja explique je crois...
Pour ceux qui ont une simulation, il faut traiter les donnees par blocs de 8 regarder la serie et chercher les occurences de 7/8 1. Meme si on traite 10 blocs de 8, SANS METTRE EN COMMMUN les blocs, la proba ne changera pas...

La configuration dans mon profil


Hi-fi : nas Qnap TS221, Transporter, Minidsp SHD, Soncoz SGD1, BoXem 4215/E2, Vivid Audio B1, Rel G2
HC : Pana EZ950, Vivid, Scandyna Minipod & Cinepod, Pana UBD820, Yamaha Rxa 1040
Avatar de l’utilisateur
JG Naum
Modérateur Œuvres & Multimédia
Modérateur Œuvres & Multimédia
 
Messages: 7505
Inscription Forum: 12 Mar 2005 20:08
Localisation: Paris
  • offline

Message » 20 Mai 2009 11:17

JG Naum a écrit:
Pio2001 a écrit:Alors ça, c'est l'excès inverse. Qu'une personne parmi dix fasse 7/8 à l'ABX, cela arrive plus souvent qu'une fois sur trois ! On ne peut vraiment rien en déduire.

Ce resultat n est pas juste. La proba de faux succes est a peu pres 0.3% [non c'est 3.5% ! Tu as dû faire une faute de frappe, lien] a savoir 3 chances sur 1000. WhyHey l a deja explique je crois...
Pour ceux qui ont une simulation, il faut traiter les donnees par blocs de 8 regarder la serie et chercher les occurences de 7/8 1. Meme si on traite 10 blocs de 8, SANS METTRE EN COMMMUN les blocs, la proba ne changera pas...


Non, non, tu n'as pas compris ce qu'à écrit Whyhey :wink: . Whyhey et moi arrivons au même résultat : la proba sur 10 essais de faire au moins 1 fois 7/8 n'est pas égale à la proba de faire 7/8 sur un essai (qui est de 3.5%). C'est d'ailleurs une évidence. Et c'est ce sur quoi on vient de passer 2 pages de calculs :mdr:

Regarde, je te cite Whyhey en enlevant les bouts de phrases qui ne servent à rien et en mettant en gras les conclusions :

si on cherche la probabilité que parmi 5 auditeurs (ou le meme auditeur répetant 5 fois la meme expérience), il y en ait un au moins (peut etre plus) qui fasse un succès (...), c'est 1- la proba que tous les auditeurs fassent un echec

Plus le nombre d'auditeurs augmente, plus [cette] proba tend vers 1.

pour 500 000 auditeurs prob = 1 - 9e-107


OK ?


Et donc, pour dix auditeurs essayant de faire un ABX à 7/8 (proba unitaire = 3.5%) la proba que sur les dix il y en ait au moins un qui réussisse est de... 30% !!

Ce que j'ai fait ensuite c'est généraliser le calcul un peu après pour différents cas de figure. Par exemple pour des succès à la suite sur 10000 essais c'est le tableau quelques posts au dessus.
corsario
 
Messages: 2396
Inscription Forum: 01 Fév 2005 18:39
Localisation: Paris
  • offline

Message » 20 Mai 2009 11:37

Je me suis en effet completement plante :oops: :oops: :oops: ... Sorry ... Pour la peine, j ai fait la simu et sur mon portable a 1.8ghz, j ai le resultat de 10*1E6 tests abx en 2 secondes
Dernière édition par JG Naum le 20 Mai 2009 11:42, édité 1 fois.

La configuration dans mon profil


Hi-fi : nas Qnap TS221, Transporter, Minidsp SHD, Soncoz SGD1, BoXem 4215/E2, Vivid Audio B1, Rel G2
HC : Pana EZ950, Vivid, Scandyna Minipod & Cinepod, Pana UBD820, Yamaha Rxa 1040
Avatar de l’utilisateur
JG Naum
Modérateur Œuvres & Multimédia
Modérateur Œuvres & Multimédia
 
Messages: 7505
Inscription Forum: 12 Mar 2005 20:08
Localisation: Paris
  • offline

Message » 20 Mai 2009 11:42

Je m'disais aussi ... Image



:D :lol:
syber
 
Messages: 12464
Inscription Forum: 30 Juil 2005 15:07
  • offline

Message » 20 Mai 2009 11:59

JG Naum a écrit:Je me suis en effet completement plante :oops: :oops: :oops: ... Sorry ...

ça nous arrive tous (moi le premier), c'est pour ça qu'un forum permet d'avancer.
Bravo à Corsario pour avoir toute la patience et la pédagogie necessaire pour remettre tout ça dans l'ordre (et la discipline :lol: ) :P
WhyHey
 
Messages: 13943
Inscription Forum: 29 Avr 2002 12:31
Localisation: WhyCity
  • offline

Message » 20 Mai 2009 12:02

WhyHey a écrit:
JG Naum a écrit:Je me suis en effet completement plante :oops: :oops: :oops: ... Sorry ...

ça nous arrive tous (moi le premier), c'est pour ça qu'un forum permet d'avancer.

+1
corsario
 
Messages: 2396
Inscription Forum: 01 Fév 2005 18:39
Localisation: Paris
  • offline

Message » 20 Mai 2009 12:47

Et pour ce qui est du concret ?????? :wink:
Le Pivert
 
Messages: 1860
Inscription Forum: 01 Juin 2006 15:53
Localisation: Belgique
  • offline

Message » 20 Mai 2009 12:47

corsario a écrit:je vais voir si on peut trouver une solution : ça m'embête de devoir dire à l'avance quelle score je vise.


Tu n'es pas obligé de dire à l'avance quel score tu vises si tu détermine le nombre d'essais à l'avance.
Tu les réalises, tu calcules après coup la probabilité qu'il y avait d'avoir ton score ou davantage par hasard, et tu compares à la vraisemblance de l'existence d'une différence audible.

corsario a écrit:Maintenant s'il faut rajouter en plus les possibilités de répétitions de succès plus petits, du genre avoir trois 14/15 ou quatre 14/15, etc... ça devient compliqué à calculer.


Effectivement, parce qu'il faut tenir compte du fait qu'une série de 10 sans erreur, suivie d'une erreur, suivie d'une autre série de 10 sans erreur, c'est aussi une série de 21 avec une erreur...

corsario a écrit:Personnellement, pour mes ABX, de manière pratique, je me limiterai aux succès à la suite et je dirai que je peux faire autant d'essais que je veux et que je cherche une série de succès à la suite, en me référant au tableau ci-dessus corrigé, comme ça pas de surprise. Tu es d'accord là dessus ?


Oui, à condition que tu ne fasses pas plus de 10 000 essais.

corsario a écrit:C'est vrai que c'est très conservatif comme probas (29% d'avoir 16 à la suite, ça fait bizarre vu comme ça), mais c'est le prix à payer si on veut avoir le liberté de ne pas compter ses essais et de ne pas dire à l'avance combien on veut faire.


C'est le problème : si on fait 8 à la suite après une erreur, on ne sait plus très bien où on en est. Le tableau indique que ce n'est pas significatif. Intuitivement c'est significatif, mais difficile de le prouver, sachant qu'on n'avait pas prévu ce cas de figure.

Plus embêtant : il peut arriver, et c'est très courant, de faire des erreurs d'inattention ou de fatigue. Un cas réaliste est par exemple de donner 9 bonnes réponses sur 10 dans un test ABX. Or dans ce cas, ton critère ne validera jamais le test comme réussi quel que soit le nombre d'essais faits par l'auditeur.

corsario a écrit:Il faudrait des tableaux de type 1 (on se fixe un objectif à l'avance) et de type 2 (on part à l'aveuglette, on essaie de faire le meilleur score, on s'arrête quand on est fatigué) qui soient fonctions du nombre d'essais effectués.


D'accord, sauf que pour éviter le problème des "tests séquentiels", il faut que les auditeurs se fixent un nombre d'essais à l'avance.

Une table de probabilités a été réalisée pare KikeG, je crois, sur Hydrogenaudio, qui indique les probabilités corrigées d'obtenir des faux succès dans un ABX séquentiel. L'auditeur commence le test et regarde son score et sa probabilité au fur et à mesure qu'il avance. Il se trouve que si l'auditeur a le courage d'aller au pire jusqu'à 100 essais, et qu'il s'arrête dès qu'il a un score avec probabilité d'erreur inférieure à 5%, il y arrive dans 20% des cas !

Donc ta méthode est bonne à condition que les auditeurs ne sachent pas leur score avant la fin. Personnellement, je pense que je serais beaucoup moins performant si je ne connaissait pas mon score au fur et à mesure. Je préfère largement m'imposer à l'avance le nombre d'essais et regarder toutes mes réponses.

D'autant qu'un test ABX demande souvent beaucoup d'efforts de concentration. Donc je préfère réduire le nombre de comparaisons au minimum. S'il faut que j'écoute dix fois le même extrait pour pouvoir donner une réponse, et que j'attends de faire une série de 30 à la suite, et que je me plante à la fin des deux premières, je dois recommencer deux fois. Cela fait 30+30+30 = 90 essais avec 10 lectures chacun, soit 900 écoutes successives du même extrait. De quoi devenir fou !
Surtout si je compare 10 modèles de câbles, et que je dois ensuite recommencer 8 fois avec les 8 autres modèles que je n'ai pas encore écouté en ABX !

corsario a écrit:Ca serait bien de rajouter toutes les possibilités avec une erreur (23/24 ou 16/17 ou 14/15), mais je n'ai pas le courage de calculer.


"The cheater's way is to simulate it", disait ff123. Tu fais une simulation et tu compte toutes les fois où ce genre de succès apparaît.
Pio2001
Contributeur HCFR 2019
 
Messages: 8922
Inscription Forum: 07 Oct 2003 12:50
Localisation: Neuville-sur-Saône
  • offline

Message » 20 Mai 2009 14:28

Moi qui voulait faire de l'ABX, là je dis: "Non merci!" :o
Le Pivert
 
Messages: 1860
Inscription Forum: 01 Juin 2006 15:53
Localisation: Belgique
  • offline

Message » 20 Mai 2009 15:57

PPVIER a écrit:Moi qui voulait faire de l'ABX, là je dis: "Non merci!" :o


Perso, je préfère écouter de la musique :wink:

La configuration dans mon profil


Adhérez à l'assoc pour que le site soit indépendant : http://www.homecinema-fr.com/l-association-hcfr/
(Ce compte ne répondra pas à vos messages privés)
ogobert
Fondateur et Membre d'Honneur
Fondateur et Membre d'Honneur
 
Messages: 48651
Inscription Forum: 04 Juil 2000 2:00
Localisation: France (78)
  • offline

Message » 13 Juin 2009 18:14

Pio2001 a écrit:
JG Naum a écrit:Il me semble que dans l histoire des abx, on est deja passe de 7/8 a 14/15 .... Vouloir passer de 14/15 a 22/23 bien qu il y ait 99.95% de chance que la reussite de X ne soit pas due au hasard, ca me semble bcp demander a un pauvre Kangourou...


C'est clair qu'il faut garder le sens des priorités.

Sur mille tests ABX, combien sont des canulars ou des poissons d'avril ?
Sur mille tests ABX, combien sont réalisés sans tirage au sort ?
Sur mille tests ABX, combien sont réalisés sans aligner les niveaux à 0.1 dB près ?
Sur mille tests ABX, combien réussissent par pure chance ?

Quand on répond à ces quatre questions, on voit que diminuer la probabilité d'erreur de type I, qui correspond à la réponse à la quatrième question, n'est vraiment pas notre priorité !


Entièrement d'accord.
Il faut certes assurer la solidité de la méthodologie statistique, mais il y a tellement d'autres facteurs (essentiellement humains, même de bonne foi) qui peuvent fausser les résultats qu'il vaut mieux, je pense, essayer de reproduire les résultats intéressants dans d'autres conditions (matériel différent, lieu différent, opérateurs/témoins différents) pour valider la reproductibilité du résultat.

A propos de résultats, j'évoquais avec corsario (sur un autre fil) la question d'un test ABX comparant un lecteur CD haut de gamme avec un lecteur CD bas de gamme branchés en sortie numérique (SPDIF ou HDMI).
Ce type de test fait-il partie des candidats à fort potentiel pour les prochains ABX ?
J'ai peut-être raté le fil parlant de la suite...
brettsinc
 
Messages: 139
Inscription Forum: 01 Avr 2006 22:40
  • offline

Message » 14 Juin 2009 20:49

Salut,

A propos de résultats, j'évoquais avec corsario (sur un autre fil) la question d'un test ABX comparant un lecteur CD haut de gamme avec un lecteur CD bas de gamme branchés en sortie numérique (SPDIF ou HDMI).
Ce type de test fait-il partie des candidats à fort potentiel pour les prochains ABX ?
J'ai peut-être raté le fil parlant de la suite...


C'est une proposition de test qui revient souvent. Reste à trouver le propriétaire de lecteur CD de haut de gamme (comment le définit-on ?) qui accepte :

- l'idée du test
- de déplacer son matériel ou d'accueillir les Kangourous* chez lui.

Il y a peut-être une prise de risque ou de mal à l'égo qui peut inquiéter ! :D

A+


* Les Kangourous sont des animaux très propres qui mettent du déodorant, mangent peu, sont relativement sobres et connaissent quelques histoires drôles. N'hésitez pas à les inviter.
syber
 
Messages: 12464
Inscription Forum: 30 Juil 2005 15:07
  • offline

Message » 14 Juin 2009 21:02

Reste à trouver le propriétaire de lecteur CD de haut de gamme

je dois avoir un Teac VRDS10 au bureau, je peux l'amener mais les ABX de lecteurs CD, c'est galère pour la synchronisation.
On pourrait enregistrer le flux numérique de plusieurs lecteurs puis comparer en ABX. Là je vois venir l'objection : et le jitter !!!!!
Donc je propose un prochain ABX des kangourous sur le thème du jitter : je peux avoir un générateur de jitter Prism JM1 que l'on pourra insérer et écouter.
Ensuite, si le jitter n'est pas audible (jusqu'à un certain point), on peut tranquillement écouter des fichiers issus de lecteurs CD.
ohl
Pro-Divers
Pro-Divers
 
Messages: 2030
Inscription Forum: 13 Aoû 2004 16:17
  • offline

Message » 14 Juin 2009 21:07

Ca me parait être une excellente idée, bien en phase avec pas mal de débats actuels sur le forum !

Donc j'abonde en ce qui me concerne. :D
syber
 
Messages: 12464
Inscription Forum: 30 Juil 2005 15:07
  • offline

Message » 15 Juin 2009 21:15

syber a écrit:Ca me parait être une excellente idée, bien en phase avec pas mal de débats actuels sur le forum !

Donc j'abonde en ce qui me concerne. :D


Et moi donc !

Le probleme sera de s'assurer des performances réelles des lecteurs retenus : le seul prix de vente ne garantissant pas les performances de ce point de vue. Des lecteurs fort couteux ayant un jitter important.

Il n'existe pas d'échelles permettant de lier taux de jitter et perception des défauts sonores qu'il engendrerait et ce, d'autant, que son effet perceptible serait lié aux fréquences reproduites. Je mets au conditionnel, car je n'ai encore trouvé personne qui réponde par l'affirmative á ces questions. hormis evidement les habituels liens renvoyant vers des revues et des constructeurs dont les propos sont tres fréquemment mis en doute par des lecteurs sachant ces choses et lisant de facon attentive ces tonnes d'articles de statuts divers.

Quel dommage que GBO ne soit plus sur le forum : dans le domaine numérique son savoir réel, son pragmatisme et sa capacité de vulgarisation étaient grands et utiles. J'ai gardé son mail personnel, car nous entretenions d'excellentes relations.
haskil
 
Messages: 60008
Inscription Forum: 06 Déc 2001 2:00
Localisation: Haute Normandie et Brésil
  • offline


Retourner vers Discussions Générales

 
  • Articles en relation
    Dernier message