Analyse fréquentielle des images

[Emmanuel Piat]

Point 2. Le piqué plus fin

Le piqué est directement lié au renforcement de l'acutance. Si la notion d'acutance vous est étrangère, le l'ai développé sur le forum cine&son sur le post "Discussions techniques généralistes projection" à partir de la page 14 (je ne peux pas mettre le lien ici, désolé). Le renforcement de l'acutance d'un front (ie une bordure dans une image) est engendrée par la conjugaison de 2 facteurs : le renforcement du contraste au niveau du front et le renforcement de la raideur du front. Un front est composé d'un grand nombre de fréquences dont la phase se cale pour que la partie montante (ou descendante) des sinusoïdes se synchronisent spatialement pour se renforcer par additivité. Le renforcement du contraste va jouer sur l'amplitude de ces sinusoïdes, le renforcement de la raideur nécessite d'ajouter de l'information nouvelle en ajoutant des fréquences plus élevées (ce qui est particulièrement délicat à faire car j'ajout d'information part tjrs d'un parti-pris sur la nature locale de l'image qui peut être mis en défaut ds certaines situations, ce qui engendre inévitablement des artefacts...).

Lorsqu'on upscale une image 2K en 4K, l'acutance diminue car on a vu dans le point précédent que les fréquences qui composent l'image sont divisées par deux. De ce fait les fronts semblent moins raides. La sanction est immédiate : ce que l'image gagne en naturel, elle le perd en piqué. Pour y remédier, on introduit du sharpness dans l'image qui va augmenter l'acutance en renforçant le contraste au niveau des transitions. Pour cela, on n'a pas d'autres choix d'un point de vue fréquentiel que de jouer sur l'amplitude des sinusoïdes. Toute la difficulté est alors de ne pas créer de multiple vagues de part et d'autre du front (ringing) mais juste 2 petits boosts (overshoot and undershoot) dont l'amplitude devra être ajustée de manière "intelligente" en fonction de la topologie locale de Y' (sharpness non linéaire). Les différents algorithmes d'upscaling reposent sur des compromis différents qui vont engendrer des fronts plus ou moins raides (qui va se traduire par un effet de crénelage plus ou moins lissé) et des niveaux d'overshoot et d'undershoot plus ou moins importants, ainsi que des vagues plus ou moins maitrisées en nombre et en amplitude (dispositif anti-rigging). En général, la bonne stratégie consiste à utiliser les algos qui engendrent les fronts les plus abrupts possibles sans faire de rigging puis à passer derrière un sharpen non linéaire qui va amplifier intelligemment le constraste de certains fronts. On peut aussi noter que certains sharpens modifient aussi le contraste moyen sur des zones larges pour donner l'illusion d'une dynamique renforcée sur la zone (ce qui la rend globalement plus piquée). On peut par exemple obtenir de tels effets avec un gamma adaptatif par zone dont l'ajustement peut par exemple se baser sur une information globale comme la position de la médiane de l'histogramme Y' de la zone...

Plus la source a une résolution fréquentielle élevée et plus son acutance intrinsèque sera bonne (flancs plus raides). Par ailleurs si on désire la sharpeniser, la présence d'un plus grand nombre de fréquences permet d'ajuster plus finement la largeur du boost et sa forme. C'est pour cela que l'effet d'un sharpen est tjrs plus fin sur un BRD que sur un DVD, et qu'il sera plus fin sur une vidéo 4K que sur un BRD. En pratique, plus la résolution fréquentielle d'une source augmente et plus il devient simple de la sharpeniser sans lui donner un aspect artificiel.

Je termine par 2 remarques :

1. L'upscaling d'un DVD en 2K ou 4K va donner des fréquences résultantes tellement faibles qu'il est illusoire d'espérer obtenir un renforcement important du piqué en renforçant le contraste des fronts via un algo de sharpness. Mieux vaut limiter l'amplitude de l'upscaling à quelque chose de raisonnable en résolution (du style 1360x768 pour un projo 2K) puis utiliser un zoom optique pour grossir l'image (pour un projo 4K, on peut utiliser un upscale 1280x720 suivi d'un sharpen suivi d'un resize x3 qui crée simplement des blocs de 3x3 pixels qui rentrent pile poil dans une matrice UHD : 1280 x 3 = 3840). Les pixels résultants seront certes plus gros, mais l'acutance sera bien meilleure et le DVD semblera avoir un piqué "acceptable" pour une source SD. Ensuite il suffit d'adapter son recul à la taille des pixels (ou dézoomer un peu l'image).

2. Projeter sur une grande base (4m et plus) une image 2K avec un projo 2K rend vite assez prégnant le problème de la distorsion qui augmente avec la fréquence, et donc de la visibilité des pixels aux hautes et moyennes fréquences couplées à de +/- grandes amplitudes. Les algorithmes de sharpness boostant l'amplitude au niveau des fronts, cela ne peut que renforcer la visibilité des pixels. Une bonne MTF n'arrange paradoxalement pas les choses et rend très délicat le post-traitement d'une source 2K si on veut garder une image naturelle. Une possibilité consiste alors à utiliser un algorithme d'upscaling pour passer à une résolution supérieure au 2K, suivi d'un sharpen intelligent, suivi d'un downsaling 2K. A l'arrivée, on obtient une image qui n'arrive plus à atteindre 0.5 cycle/pixel (facile à vérifier sur une mire 1 pixel) ce qui limite la distorsion HF tout en permettant d'appliquer un niveau de sharpness qui semblera assez fin grâce à la combinaison upscaling/downscaling. On obtient au final une image qui semble gagner en naturel (diminusion de la disto HF) tout en ayant une acutance renforcée grâce au sharpen. Le prix à payer est néanmoins une légère perte en définition fréquentielle sur les bon BRD qui montent haut en fréquence. Ce genre de stratégie est un peu délicate à régler mais peu donner d'excellents résultats sur grande base. C'est une approche que je mets en oeuvre depuis plusieurs années et qu'Eyldebrandt et d'autres ont repris. L'analyse fréquentielle présente sur ce post peut aider à voir si la perte de définition est contenue.

[Thebe]

Bonjour,

Emmanuel, pourrais-tu passer ces deux images à ta "moulinette" et nous dire si ce qui a été posté sur AVS est exact ou non ?

post177976877.html#p177976877

Merci d'avance...

[Emmanuel Piat]

Le JVC se fait complètement démolir par le Sony. Rien d'étonnant vu sur quoi repose l'eshift qui n'est qu'un upsampling travaillant par 1/2 pixel.
Je vais poster les FFT. Par contre, les photos ne montent vraiment pas très haut en fréq. Celle du Sony atteint péniblement 2K ... JVC est en gros à 1.2 K ...

Ce type d'algo d'upsampling par demi pixel commence à fonctionner en temps réel sur PC. Madshi vient d'en mettre un (NNEDI3) sur madVR. Le résultat semble impressionnant sur les upscaling 2K->4K.

Il y a aussi une version avisynth de NNEDI3 accélérée par GPU mais je ne sais pas si on arrive à faire du temps réel avec : http://forum.doom9.org/showthread.php?t=169766

Madshi est parti de cette version pour la porter ds madVR.

[Emmanuel Piat]

JVC



SONY



Sur les axes x,y on note qd même que les deux montent jusqu'à la réso max du 4K mais pas en dehors des axes. Je ne sais pas comment l'interpréter... L'appareil photo ou un éventuel downscaling des photos shootées avant publication peuvent peut être jouer là-dessus.

[Emmanuel Piat]

Si on regarde bien les FFT en mapping 1:1, on trouve des points minuscules sur les axes et en dehors des axes qui forme un quadrillages très espacé et qui monte au moins à 3K. Le points sont moins marqués sur la FFT du JVC.

Ce type d'info fréquentielle signifie qu'il y a plusieurs tramages ds l'image avec des fréquences différentes qui montent très haut ... Grille ? Artefacts lié à la photo ??? Autres ???

[Emmanuel Piat]

Juste pour info, l'algo NNEDI3 d'upscaling x2 non linéaire (réseau de neurone) qui fonctionne par 1/2 pixel est à droite (à afficher en pleine réso) :

[Thebe]

JVC



SONY



Sur les axes x,y on note qd même que les deux montent jusqu'à la réso max du 4K mais pas en dehors des axes. Je ne sais pas comment l'interpréter... L'appareil photo ou un éventuel downscaling des photos shootées avant publication peuvent peut être jouer là-dessus.

Emmanuel,

c'est vrai que là, même en regardant les images en "taille réelle", la différence n'est pas fondamentale, même si on voit globalement plus de "définition" sur le Sony...

[Emmanuel Piat]

Le Sony est qd même bien devant (quasiment le double de réso fréq.).

Maintenant, la manière dont l'oeil réagit à un doublement de réso est une autre affaire (voir mon classement plus haut, j'ai mis la réso en 3...). Je suis surpris en lisant les forums par la manière dont les gens jugent des images UHD qu'ils trouvent formidables. La plupart sont pourtant franchement pauvre en résolution. Preuve que la notion de résolution est soit mal comprise, soit que d'autres param. plus importants semblent passer devant (par exemple les points 1 et 2 ds mon classement). En fait, la zone autour de 2K me semble très critique (à confirmer). Dès qu'on dépasse un peu le 2K, on sent un net gain en résolution fréq (exemple de Tears of Steel). Ensuite j'ai l'impression que ce sentiment de gain s'émousse très vite au delà de 2.5 K (sauf si on se colle à l'image bien sûr) parce que le piqué prend le dessus.

Éduquer les gens à analyser une image UHD en terme de contenu pour être capable de faire la part des choses entre les points 1,2 et 3 que j'ai mis en avant me semble presque illusoire, hormis sur les forums. Rien que déjà comprendre la différence entre résolution et piqué...

Pour démarrer, je dirais que regarder des photos UHD d'objets célestes pris en super haute résolution est déjà très instructif pour comprendre la notion de résolution avec des détails supérieurs à 3K. On peut alors assimiler le potentiel proprement démentiel de la 4K en terme de réso. Ensuite il faut comprendre la notion de piqué en montrant qu'on peut conserver un piqué remarquable (acutance) en dégradant la réso jusqu'à 2K...

Mon sentiment est que les vidéos/films UHD qu'on aura ds le futur seront massivement inférieurs ou au mieux à 3K hormis qq films shootés en 65mm puis scannés en 8K (ou docus filmés avec des caméras numérique très très haute définition).

[Emmanuel Piat]

Voici maintenant l'analyse de quelques frames du fichier HD.Club-4K-Chimei-inn-60mbps.mp4 (252M) dispo ici :
http://www.hdfever.fr/forum/viewtopic.p ... 9&start=15

Si on regarde l'aspect des frames en mapping 1:1 sur un moniteur 2K (1/4 de la frame visible) on est typiquement ds le cas de figure suivant :

Si l'image semble un peu molle en terme de définition, on sera en gros à 3K.

Ce que l'analyse fréq. confirme.

Plan géné au début (frame 313)



Plat en vue de dessus (frame 788)



Visage à la fin (frame 1185) : ici la réso est un peu en retrait : on est plutôt entre 2.5 et 3K

[Emmanuel Piat]

Le gros plan sur l'oeil que j'ai zoomé pour faire apparaître les pixels (cliquer sur l'imagette) montre effectivement qu'on est encore loin de détails "1 pixel" : cf le trait au crayon (eye liner) sous l'oeil dont la texture manque de précision. La 4K permettrait en théorie d'aller plus loin. Encore faut il que la caméra et l'encodeur en soit capable et que la mise au point soit absolument parfaite... En avançant frame par frame, on constate du motion blur dès le moindre mouvement (oeil, lèvre, ...) et du flou dès que la profondeur de champ devient limite. Sur ToS, l'encodage trop limite fait que les textures deviennent souvent complètement floues dès qu'on est en interframe... Il y a aussi des pb sur les bords de certains objets en mouvement (personnages). D'après une personne qui l'a vu, le DCP est bien meilleur.

[Emmanuel Piat]

Tout cela me conforte ds l'idée qu'aller au delà de 3K en vidéo va être très très difficile...

[Hugo S]

Bjr,

Merci Emmanuel.

Hugo

[gbaya]

Donc, le passage de 2k à 4k sur nos appareils de reproduction vidéo n'est pas encore pertinent au regard des sources que l'on dispose.
Encore faudra-t-il que ces dernières soient réellement en 4k.
Il semblerait que les prises de vues soient maintenant faites, en vidéo, en 5K.
Le reste de la chaine de reproduction ne suit pas pour des raisons de coûts et de frilosité de changement de support. On ne est pas encore au flux de 4k grand public sur les réseaux de diffusion dématérialisé.
Un essai, validé, a été réalisé au Japon sur le réseau TNT en 8k !

[kazuya]

Moi je trouve que si pour l'avoir vu en vrai, l'apport est énorme même si pas à la mesure de la capacité réelle du 4K !

J'essaierai de faire des tests moi aussi quand j'aurai un peu de temps...

[Emmanuel Piat]

Donc, le passage de 2k à 4k sur nos appareils de reproduction vidéo n'est pas encore pertinent au regard des sources que l'on dispose.

Les softs 4K vont peu à peu devenir une réalité. Il ne faut pas non plus oublier que ce qu'on nous vend pour être du 2K (BRD) n'est en fait qu'environ du 1.5K en terme de contenu fréq. (voir moins... il y a pas mal de disparité selon l'âge du film, sa restauration éventuelle etc.).

Les gains en naturel et en piqué sont immédiatement visibles sur une source 4K même assez médiocre. Du 2.5K est très supérieur à du 1.5K en terme de rendu ! L'argument de la résolution très supérieure du 4K n'est probablement pas le bon argument à mettre en avant, tout au moins à mettre en avant en 1ère position des facteurs qui permettent à une image 4K d'être supérieure à une image 2K...

Dis plus précisément, c'est l'accroissement de la réso sur la plage fréq. 1.5K -> 2.5K (ie freq. allant de 0.187 à 0.312 cycle/pixel) qui est très probablement important. Au delà, en vidéo, ça n'aura quasiment aucun impact. En photo, par contre, ce sera important, mais on consomme une image photographique de manière très différente d'une image vidéo car le regard se pose longuement.

Donc en fait, sur cette plage 1.5K -> 2.5K tout concourt à rendre l'image "4K" supérieure (naturel, piqué et résolution fréq.).

Maintenant, sur on part d'une image 2.5K et qu'on la downscale en un vrai 2K (en profitant au max du 2K), l'écart pourrait ne pas être très important avec la source "4K". Personnellement, ce que je reproche le plus à ces images downscalées & post-traitées en 2K, c'est un certain manque de naturel. Leur nature numérique "affleure". Voir la série de photos sur ces 2 liens :
post177782183.html#p177782183
post177782304.html#p177782304