Analyse fréquentielle des images

» 20 Jan 2014 20:15

Bonjour,

Les contenus 4K (VOD, futurs bluray 4K, broadcast) commencent petit à petit à devenir une réalité. Cependant, l'incertitude règne sur leur qualité effective car le prix du Mega-octets n'est pas anodin dès qu'il s'agit de véhiculer de l'information vidéo. La tentation est donc grande pour l'industrie vidéo de sacrifier la qualité au profit de post-traitements flatteurs qui camouflent un étiolement du contenu fréquentiel et peuvent facilement duper un spectateur non averti.

Il existe cependant des moyens gratuits pour évaluer la richesse du contenu fréquentiel d'une image pour, par exemple, déterminer facilement si celle-ci n'est qu'un upscaling d'une source de résolution plus faible.

La voie royale pour cela consiste à utiliser un logiciel de traitement numérique gratuit comme Scilab :
http://www.scilab.org/fr
L'inconvénient de ce type de logiciel est que cela nécessite d'écrire soi-même les scripts de traitement numérique. Il faut donc avoir quelques connaissances basiques en programmation et également en calculs scientifiques. L'avantage est que tout est possible en terme de traitements et de visualisations car ce type de logiciel est extrêmement puissant.

D'autres solutions d'analyse existent grâce à des logiciels gratuits dédiés aux traitements d'images. Ces logiciels sont en général plus limités mais leur maniement est plus aisé pour un néofite. Nous allons commencer avec ImLab : http://imlab.sourceforge.net/

» 20 Jan 2014 21:49

Après avoir lancé Imlab, ouvrez une image (capture d'une frame 2K ou 4K) à l'aide de File/Open...

Vous trouverez par exemple 13 snapshots 2K de bonne qualité en download quelque part sur cette page :
videoprojecteurs-full-hd/vp-4k-sony-vpl-vw500-ultra-hd-4k-9-999-t30035431-270.html
et il y en aussi une autre série sur la page suivante.

Comme on ne va pas faire une analyse fréquentielle de chaque canal RGB, on va convertir l'image en niveaux de gris, ce qui revient à faire une analyse de la moyenne de l'ensemble des canaux RGB. Pour cela il faut utiliser la commande Image/Color Space/Gray

Pour réaliser la Transformée de Fourier Discrète (TFD) de l'image qui va fournir son contenu en terme de fréquences spatiales, il faut utiliser la commande Process/Domain Transform/Forward Fourier

La TFD donne une image de même taille (avec une symétrie par rapport au centre), mais chaque pixel est un nombre complexe a+ib qui peut aussi se représenter sous la forme d'un module et d'un argument. A chaque pixel complexe correspond donc 2 informations : le module qui est l'amplitude d'une fréquence spatiale et l'argument qui est son déphasage. Par défaut, ImLab affiche uniqt le module de ce nombre complexe soit sqrt(a^2 + b^2). C'est ce qui nous intéresse en 1er lieu mais vous pouvez changer ce comportement avec View/Complex to Real/ et sélectionner autre chose que Magnitude...

Les axes de l'image représentent les fréquences spatiales discrètes qui composent l'image. La fréquence nulle est au centre. Il y a donc des fréquences positives (à droite et en haut) mais également des fréquences négatives (à gauche et en bas). Ces dernières n'ont pas de réalité physique. La fréquence max correspond à +/- 0.5 cycle par pixel, autrement dit c'est une sinusoïde qui prend son max sur un pixel et son min sur le pixel voisin. Elle parcourt donc 0.5 cycle sur 1 pixel, ce qui donne au final une fois "pixélisée" (sinusoïde discrète), une alternance de pixels blanc/noir/blanc/noir etc.

De manière générale la valeur de chaque pixel affiché correspond donc à l'amplitude plus ou moins élevée d'une fréquence spatiale ds une direction donnée qui s'étale en pratique sur toute l'image (l'argument correspond lui au déphasage appliqué à cette fréquence). Lorsque toutes ces fréquences étalées sur l'image sont additionnées les unes aux autres, cela redonne l'image de départ.

Par conséquent, s'il y a bcp de pixels clairs sur les bords de la représentation fréquentielle, cela signifie qu'il y a bcp de fréquences élevées dans l'image et donc bcp de détails.

Sur la TFD obtenue, on constate que les pourtours de l'image sont quasi noir. Cela vient du fait qu'en général dans une image, même très riche en détail, l'amplitude des hautes fréquences est bcp plus faible que celle des basses fréquences. Il faut donc dilater l'échelle pour voir correctement les hautes fréquences. Habituellement, on utilise pour cela une échelle en dB qui zoome sur les amplitudes faibles. Avec ImLab, cela ne semble pas possible et on a une échelle linéaire en niveau de gris avec uniquement 256 niveaux, donc c'est ultra limitée en terme de dynamique. On va donc "ruser" en jouant sur le gamma de l'image qui va permettre de dilater les tons sombres et de compresser les tons clairs qui représentent les amplitudes.

Pour cela, il faut sélectionner View/Real Gamma/Custom ... et remplacer la valeur -1000 par -10000. L'amplitude des hautes fréquences devient visible ! Cliquez ensuite sur la loupe avec un point au centre pour avoir l'image spectrale en résolution native. Afin de mieux voir les amplitudes, je vous conseille de changer l'échelle colorimétrique. Choisissez par exemple Image/Pseudo Colors/Black body.

Cela commence à être exploitable :wink:

Pour passer en vue 3D, il semble y avoir un bug car la vue 3D affichée ne correspond pas au spectre d'amplitude (il y a en fait 2 spectres affichés correspondant à la nature complexe a+ib de chaque pixel et comme ils le sont l'un en dessous de l'autre, on n'y comprend rien). Pour contourner ce bug, faites Edit/Copy dans le menu de l'image, puis Edit/Paste New dans le menu général. Cliquez ensuite sur le bouton 3D de la nouvelle image puis sur le bouton Reset. Utilisez ensuite la souris et les touches shift + ctrl pour faire varier le positionnement 3D. C'est beau :mdr:

» 20 Jan 2014 21:56

» 20 Jan 2014 22:09

Si vous postez des spectres calculés avec le protocole précédent, afin que les amplitudes soient comparables, il faudra toujours avoir le même ajustement de gamma pour booster de manière identique les hautes fréquences. Je propose donc de tjrs spécifier la valeur -10000 ds View/Real Gamma/Custom...

» 20 Jan 2014 22:17

Un grand merci Emmanuel, ça à l'air intéressant tout ça ! :wink:

» 20 Jan 2014 22:46

Enfin un outil pour analyser le traitement des images, merci pour le tuto ! :wink:

» 20 Jan 2014 22:46

De rien Richard et Kaz

. J'espère que ça permettra à tout un chacun de faire des analyses plus critiques des images 2K et 4K en terme de finesse effective des détails.

Il faudrait ensuite associer des outils de quantification numérique (facile avec Scilab) pour sortir des indicateurs chiffrés sur la quantité de détails d'une image et leur niveau de finesse, mais malheureusement je manque de connaissance car l'analyse d'image n'est pas du tout mon domaine de recherche. Il va falloir que j'interroge qq collègues spécialisés en traitement d'image... En attendant, ce type de représentation spectrale donne déjà une idée de la richesse fréquentielle d'une image et permet de détecter instantanément de la fausse 4K (ie une 4K issue de l'upscaling d'une image 2K).

» 20 Jan 2014 22:49

Mouais.. je dis merci car c'est intéressant pour quelques psychos comme nous.. mais tu es en train de me dire que je vais devoir acheter un pc avec un lecteur blu-ray.. ou éventuellement lire de l'iso à travers mon vieux pc.. qui marche très bien pour internet et le boulot ! :roll:

Par curiosité, quels sont les films les plus "fins" que tu as pu croiser ?

» 20 Jan 2014 23:10

Mouais.. je dis merci car c'est intéressant pour quelques psychos comme nous.. mais tu es en train de me dire que je vais devoir acheter un pc avec un lecteur blu-ray..

Bah, moi je n'ai jamais eu de lecteur de salon :mdr:

Je ne peux pas, c'est incompatible avec ma nature :wink:

.

BR avec une bonne définition que j'ai récemment croisé : Samsara, Oblivion, Arabia 3D (vue en 2D), The Art of Flight, les DA avec des textures riches, ...

Mais pour être honnête, je me fiche pas mal de la réso effective d'un film une fois que je suis plongé dedans car c'est ce que le film a à raconter qui m'intéresse avant tout. Je suis capable de complètement dissocier ma cinéphilie dévorante de ma passion pour la technique de reproduction audio/vidéo. Voir par exemple un ovni comme "Dead man talking" en DVD me donne énormément de plaisir tant ce film est porté par une grâce singulière...

» 20 Jan 2014 23:35

Michel, sort de ce corps ! :mdr:

Il y a quelques années, j'étais un abruti fini.. aujourd'hui, je me soigne et j'y arrive (presque).. :wink:

» 21 Jan 2014 13:19

moudugnou a écrit:Un grand merci Emmanuel, ça à l'air intéressant tout ça !

Bonjour,

+1

et mise en post-it :wink:

» 21 Jan 2014 14:16

Super merci Emmanuel

» 21 Jan 2014 21:34

Voici une image très haute résolution que j'ai resamplé en UHD.

J'ai vérifié via analyse spectrale que cette image présente beaucoup de hautes fréquences dont un bon nombre a des amplitudes qui peuvent être faibles. Elle constitue de ce fait un test difficile pour un diffuseur 4K au niveau des petits détails de faible contraste.
http://imageshack.com/a/img545/3605/xw5m.png (16.4 MB, resize lanczos)
http://imageshack.com/a/img811/8987/0fw9.png (16.4 MB, resize spline)

L'image d'origine est dispo ici :
http://hubblesite.org/gallery/album/gal ... ires/true/

» 21 Jan 2014 23:06

Une autre encore plus poussée :

http://imageshack.com/a/img854/9195/9cdd.png (18.7 MB)

Si vous utilisez irfanview pour visualiser les images, faire ctrl-H pour la voir en mapping 1:1

La présence des champs étoilés denses permet d'aller jusqu'à la fréquence maxi de 0.5 cycle/pixel, le tout parfois avec une amplitude faible. Bref, là aussi c'est un torture test, mais encore plus difficile à relever que pour la précédente...

L'image d'origine :
http://hubblesite.org/newscenter/archiv ... ge/a/warn/
J'ai dû faire une rotation de 90° pour l'adapter au format 16/9.

» 21 Jan 2014 23:27

Naturellement un projecteur qui prétend être 4K doit être capable d'afficher ce type d'image avec une perte de contraste interpixel raisonnable ds les très hautes fréquences (MTF) : on doit pouvoir distinguer le 0.5 cycle/pixel et mieux on le voit, meilleur sera le projo.