Analyse fréquentielle des images

[Emmanuel Piat]

Et voici le resize du 2K avec la colo + CR + gamma ajustée rapidos à l'oeil pour mieux coller à celle de la photo (je ne suis pas trop mal) :



Je remet le gros plan photo pour comparaison :



Ca confirme que le Sony est devant. Mais l'écart n'est pas transcendantal non plus.

[Emmanuel Piat]

Comparons maintenant sur les frames d'origine :

frame 4K :



frame HD resizé x2 (en recopiant simplement chaque pixel en un bloc 2x2) : simule un projo 2K sans post-traitement



frame HD resamplée x2 (lanczos) sans sharpness :



frame HD resamplée x2 (lanczos) avec sharpness :



Mon sentiment en comparant les images 1 et 4 est que ce n'est pas sur cette frame qu'on arrivera à creuser un écart significatif entre 2K et 4K sur un projo 4K qd on connait les limitations des optiques. Ca rejoint ce qu'a montré l'analyse fréquentielle.

Bien évidemment d'autres frames creuseront un réel écart si le contenu fréquentiel de la frame 4K est bien supérieur à celui de la frame 2K. Et cet écart sera d'autant plus fort que le projo 4K est bon. Le 500ES de Raven semble très correct côté convergence et MTF : http://www.hdfever.fr/forum/viewtopic.p ... start=1080. Je pense que si Kaz avait eu cet exemplaire entre les mains, il aurait été autrement plus impressionné.

[Emmanuel Piat]

Reste un point qu'une analyse fréquentielle comme celle qui a été proposée ne permet pas de mettre en lumière : c'est le sharpness que le projo 4K peut en plus appliquer à une source 4K.

Lorsqu'on veut tester la qualité intrinsèque du moteur optique d'un projo 4K, il faut évidemment désactiver tous les sharpness (source et projo). C'est d'ailleurs un point bien souvent non précisé sur les tests lisibles sur la toile. Sans cette désactivation, le résultat du test est biaisé par l'algo de sharpness.

Maintenant, rien ne prouve que même si tous les sharpness sont à off dans les menus, le projo n'applique pas un sharpness caché (mode parano on). Plus l'optique d'un projo 4K aura des lacunes en terme de MTF, et plus le constructeur sera tenté de le faire...

Pour s'assurer qu'il n'y a pas de triche, il faut des mires spécifiques pour détecter un sharpness. Une mire N&B 1 pixel n'est pas forcément appropriée pour cela. Certains sharpness intelligents détecteront qu'un tel motif ne peut pas être sharpenisé et n'auront aucune action dessus. Il faut des mires qui proposent des motifs que les algorithmes "ont envie" de sharpeniser... On pourra en reparler.

Maintenant, en usage de projection normal, est-ce qu'il est intéressant de sharpeniser du 4K ? Cela dépendra des goûts de chacun mais à titre personnel j'ai tendance à dire oui si on n'y va pas comme un bourrin. Cette action permettra de compenser en partie la réponse passe-bas de la MTF, permettra de renforcer certaines fréq. moyennes auquel l'oeil est sensible afin d'obtenir une image plus piquée (tout en restant naturelle car plus définie grâce à son contenu fréquentiel plus riche) et enfin permettra de renforcer le contraste des détails fins pour les rendre perceptible à des distances de visionnage un peu plus éloignées que celles recommandées pour la 4K.

[Emmanuel Piat]

Une autre manière très simple d'estimer "à l'oeil" la qualité de la résolution fréquentielle d'une source 4K à partir d'une frame capturée consiste à regarder la frame 4K sur un diffuseur full HD en mapping 1:1 (ctrl-H sur irfanview). De ce fait, on ne voit qu'un quart de la frame 4K. Si la frame 4K a une excellente résolution fréquentielle, le quart d'image visualisé devrait avoir la même finesse que l'image 2K d'un bon bluray par exemple. C'est le cas de l'image de la galaxie précédente ou de la nébuleuse.

Si au contraire, le "trait est gras", cela signifie que la résolution fréquentielle est en berne entre 2K et 2.5 K. Si l'image semble un peu molle en terme de définition, on sera en gros à 3K. Si l'image semble excellente, on sera à 3.5K. J'ai analysé pas mal d'images 4K et on arrive très vite à corréler l'aspect du quart d'image 4K vue sur un moniteur 2K avec le résultat de l'analyse fréquentielle. Malheureusement, je dois dire que jusqu'à présent, les bonnes surprises se font rares...

[Emmanuel Piat]

Voici par exemple une frame tirée de cette BA 4K de Elyseum (.mkv) : http://videos.movie-list.com/vob/djaxle ... TSHDMA.mkv



Si on la regarde en mapping 1:1 sur un écran full HD (ctrl-H sous Irfanview), le trait est grossier, particulièrement sur les avants-plans de la station. La réso est donc proche de 2K à 2.5K, ce que confirme l'analyse fréquentielle :



Nota : le réglage gamma que j'utilise dorénavant pour booster les HF ds l'analyse fréq. est -12000 car c'est celui qui me semble le plus proche du ressenti visuel. C'est empirique bien sûr.

[Emmanuel Piat]

Si maintenant on refait la même chose avec la photo de Paris by night postée plus haut (resamplée ici à la réso 4K) le résultat est cette fois-ci excellent avec bcp de détails et l'analyse fréq. confirme ce point. On atteint ici la pleine résolution 4K.

[moudugnou]

Emmanuel, une question un peu bête, mais comment interprétons les graphiques que tu publies ?

[kazuya]

Il l'a déjà dit, faut suivre !

[Emmanuel Piat]

Kaz est impitoyable un vrai natural born killer

Je réexplique rapidos : sur le plan (x,y) c'est les fréquences ds une direction donnée. La fréq nulle est au centre. La fréq. max au bout des axes est +/- 0.5 cycle/pixel. Les détails fin correspondent aux hautes fréq (zone proche de la périphérie du plan x,y).

En z, c'est l'amplitude des sinusoïdes directionnelles. Plus le rouge devient clair et tend vers le jaune, plus l'amplitude est élevée. Si c'est noir, la fréq. est absente de l'image.

Sur le spectre d'une image 4K, la plus haute fréquence exprimable correspondant au 2K est à 0.25 cycle/pixel dans chaque direction du plan (mire 2 pixels). Ces fréq. forment donc un carré central qui passe par les 4 coordonnées (x,y) = (+/-0.25,+/-0.25).



Comment détecter une image 2K upscalée en 4K :
Elle ne comporte aucune fréq. supérieure à 0.25 cycle/pixel. Donc rien de déborde du carré central.

Comment détecter une image 4K avec une forte résolution :
Il y a pleins de fréq. bien au delà du carré central.

Pour plus d'info, cette page est un bon point de départ :
http://www.tsi.telecom-paristech.fr/pag ... Dimage.htm

Pour pouvez aussi jetter un oeil à ce cours en pdf à partir de la diapo 36 (amusant : le père de l'auteur(e) du pdf a été mon prof de traitement d'image qd j'étais élève ingénieur... C'était il y a plus de 20 ans... L'auteur(e) en question, donc sa fille, a fait ces études d'ingé pendant que je faisais ma thèse ds le labo du papa... ).

http://www-master.ufr-info-p6.jussieu.f ... D-tex_.pdf

[Emmanuel Piat]

Je vais terminer par quelques éléments d'information expliquant le gain qu'on obtient avec une image 4K comparativement à une image 2K.

Le rendu d'une image 4K dépend de trois facteurs qui sont AMHA par ordre d'importance décroissant :

1. la diminution de la distorsion,
2. le piqué plus fin,
3. la résolution fréquentielle supérieure.

Comme vous pouvez le voir, je mets en dernière position la résolution fréquentielle. Ce critère est de loin le moins important, ce qui explique pourquoi une image 4K, même pauvre en terme de résolution fréquentielle au delà du 2K (peu de détails fins) reste visuellement très supérieure à une image 2K, grâce aux points 1 et 2.

Ces 3 points seront développés dans les prochains posts...

[kazuya]

On parlait d'aliasing à un moment, comment expliques-tu la visualisation donnée par la transformée de Fourier ?

L'image à l'origine de cette représentation en a beaucoup non ?

[Emmanuel Piat]

Point 1. La diminution de la distorsion

Rq : j'ai déjà parlé de la distorsion d'une image numérique à plusieurs reprises sur les forums HC. Voir par exemple ici : http://hdfever.fr/forum/viewtopic.php?f=14&t=92&start=6

Nota : les call Avisynth que je donne sur le forum d'HDfever datent de 2012 et ne sont plus compatibles avec les versions récentes d'avisynth 2.6 MT de SEt. Il faut utiliser des calls comme ceux d'Eyldebrandt ici : http://forum.hardware.fr/hfr/VideoSon/T ... 8425_1.htm

La distorsion est liée à la nature digitale des diffuseurs numériques. Les sinusoïdes spatiales qui composent une image numérique ont une nature échantillonnée et il n'y a pas de convertisseur numérique-analogique couplé à un étage de sortie pour reconstituer les sinusoïdes continues qui représentent la nature physique *spatialement continue* de la lumière. La différence entre la sinusoïde continue idéale et sa version échantillonnée présente sur la matrice du projo est à l'origine de la distorsion qui se traduit visuellement par la nature "numérique" de l'image avec sa structure "pixel". Plus la fréq. augmente, plus la distorsion augmente.

Par exemple, la sinusoïde discrète qui constitue la fréquence max d'un diffuseur numérique a une fréq. de 0.5 cycle/pixel et n'exprime donc sa période (cycle) qu'avec 2 pixels, par exemple un pixel blanc et un pixel noir. Deux pixels, ça ne fait pas bcp pour représenter une variation idéalement continue sur une période... La distorsion de cette fréquence est alors maximale. Si on représente les valeurs des pixels N&B sur un graphique (0=N,1=B), on a un signal carré à la place d'une sinusoïde...

L'oeil est très sensible à cette distorsion car la structure pixel est très artificielle, donc immédiatement repérable dès que la disto commence à augmenter (c'est un ressenti réflexe). Par exemple, sur les imagettes ci-dessous, on ne se pose aucune question, la 2e est la moins naturelle des 4 car son rendu est le moins "lisse". Les 3e et 4e n'ont pas une résolution fréquentielle supérieure à la 2e mais ont une disto plus basse. La 1ère a une réso fréq. supérieure et une disto plus basse.






Par contre, si j'avais représenté sur les imagettes une variation lumineuse très faible (très basse fréquence), la 2e aurait été bcp moins facilement repérable. ll y a un effet seuil qui fait que la structure pixel n'apparaît qu'au delà de certaines fréquences. Cela dépend aussi de l'amplitude des fréq. L'effet pixel généré par une fréq. de 0.5 cycle/pixel est indiscernable si son amplitude est très faible ! C'est pour cela qu'on applique des filtres passe-bas pour supprimer les effets de crénelage induit par une structure pixellisée : la valeur de la fréq de coupure et la pente du filtre sont la conséquence directe de ce seuil variable.

Une fréq. max de 0.5 cycle/pixel (sinusoïde avec 2 pixels par période) sur un diffuseur 2K correspond sur un diffuseur 4K à une fréq. de 0.25 cycle/pixel (sinusoïde avec 4 pixels par période). La fréquence étant plus faible, la distorsion le sera aussi. Donc cette *même* sinusoïde continue représentée par 2 pixels sur le diffuseur 2K et 4 pixels sur le diffuseur 4K sera plus naturelle sur le diffuseur 4K.

De même que 0.25 est la moitié de 0.5, en affichant avec un diffuseur 4K les fréquences spatiales d'une source 2K (BRD) après upsampling, on divise par 2 les fréquences contenues dans la source, ce qui permet de faire chuter la distorsion des fréquences 2K. Donc ça leur permet de passer en dessous du seuil de perception de "l'effet pixel", ce qui donne une image bcp plus naturelle, car plus lisse.

L'image 2K postée par Worf dans son test du 1000ES est très représentative de cet effet (l'image de droite est un upsampling 2K->4K. Elle n'a pas de fréquence au-delà de 0.25 cycle/pixel sur le diffuseur 4K et est plus naturelle. La qualité de l'optique en 4K jusqu'à 0.25 cycle/pixel contribue aussi à l'amélioration du rendu (au delà la MTF se dégrade sur le 1000ES)) :
http://www..../201 ... -vw1100es/



Par conséquent, si on visionne depuis la même distance une même image sur un diffuseur 2K et sur un diffuseur 4K, celle sur le diffuseur 4K ne peut apparaître que plus naturelle, et ce de manière complètement indépendante de sa richesse fréquentielle. Evidemment, si on se recule de plus en plus, les 2 images finiront par apparaître tout aussi naturelles l'une que l'autre, du fait du pouvoir de résolution de l'oeil qui diminue avec la distance.

C'est d'ailleurs l'une des raisons pour lesquelles les tablettes avec des résolution très élevées sont très agréables à regarder. La nature numérique de l'image disparait totalement.

[Emmanuel Piat]

Sur la diapo 7 de ce pdf on a une représentation des fréquences spatiales : http://www.coe.utah.edu/~cs4640/slides/Lecture15.pdf
Ca permet de bien se rendre compte de la notion de fréquence directionnelle.

[Emmanuel Piat]

On parlait d'aliasing à un moment, comment expliques-tu la visualisation donnée par la transformée de Fourier ?
L'image à l'origine de cette représentation en a beaucoup non ?

En fait, ce n'est pas simple de répondre à cette question, surtout si on n'a pas l'historique de l'image et des traitements appliqués. Rechercher des défauts ds une représentation fréquentielle 2D n'est pas trivial (hormis la limitation fréquentielle) car l'interprétation fréq. est elle-même non triviale. Tu as qq notions d'interprétation ici à partir de la diapo 32.
https://uuu.enseirb-matmeca.fr/~megret/ ... ltrage.pdf

L'aliasing dans sa déf. première est normalement un repliement fréquentiel qui apparaît lorsqu'on fait du downsampling (ou de la conv A->N). Par exemple si tu veux faire un downsampling 4K -> 2K, il faut virer avant toutes les fréq. supérieures à 0.25 cycle/pixel sinon tu vas les retrouver repliées dans ton image 2K finale ou elles vont "bruiter" les amplitudes des fréquences présentes initialement entre 0 et 0.25 cycle/pixel ds l'image 4K (lesquelles seront entre 0 et 0.5 cycle/pixel ds l'image 2K finale).
L'aliasing se traduit soit par du crénelage soit par du moiré (voir exemples ds le lien précédent)

Je ne sais pas si ton image est une image 2K ou 4K... Quoi qu'il en soit on voit sur un des axes un signal très fort qui veut dire qu'il y a une forte structuration de l'image ds un de ses axes (horizontal ou vertical, ca dépend comment tu as tourné ta vue 3D). En plus, il n'y a pas de décroissante "naturelle" avec la fréquence, donc je pencherai pour un motif assez artificiel. Difficile d'en dire plus...

Il faudrait garder juste l'info fréq sur l'axe et faire une fft inverse pour voir à quoi ça correspond ds l'image (cf. diapo 47).

[Emmanuel Piat]

Si tu peux lire les pptx, voir aussi à partir de la diapo 21 ici :
http://www1.idc.ac.il/toky/imageproc-10 ... ft_2d.pptx