jacko a écrit:Concernant l'IA ... terme globalement galvaudé un peu partout (c'est la hype du moment ...)
Il faudrait savoir ce qu'entend madVR Labs par IA ?
Ayant vu le MotionIA plusieurs fois ... ben bof, ce n'est pas plus infaillible que le reste.
Mais je reconnais la complexité de la chose. Il faudrait une base de donnée qui indique au processing quoi faire en fonction du film lorsque le réal crée volontairement des effets motion particuliers.
Si Davrous passe par là, vu que l'IA concerne son métier, il pourrait nous en dire davantage sur ce qu'il faut prendre en compte et ce qui est valable ou pas.
Je découvre que l'on parle de moi 2 ans après
De ce que j'ai compris, MadVR utilise le terme IA (très galvaudé) pour utiliser à la fois l'upscaling (comme dans les jeux vidéo avec le DLSS) et pour rendre plus fluide l'image (à nouveau inspiré du jeu vidéo avec le frame generation).
L'IA c'est un terme fourre-tout, bien pratique pour le marketing
Cela permet d'attirer plein de clients avec de la magie. Et encore, on trouve pire avec le terme "quantique". Je travaille essentiellement sur les GenAI à base de transformers (OpenAI, Claude, Copilot, etc.) mais je connais bien aussi les autres que l'on retrouve depuis un moment dans nos TVs récentes. Dans ce cas précis, ils utilisent du Deep Learning pour avoir un modèle capable d'inventer des pixels de manière la plus "naturelle" (la blague
) possible. Cela se fait en entrainant un modèle de la manière (simplifiée) suivante : tu génère une frame en 4K, la même frame en 1080p et tu entraines le modèle pour qu'il essaie de reproduire la frame 4K à partir de la frame 1080p. On ajoute également des méta données présentes dans les moteurs de jeux vidéo pour tenter d'aider "l'IA" à être la plus pertinente possible. Cela fonctionne ultra bien en jeux-video. C'est très difficile par exemple de faire la différence entre un rendu interne 1440p upscalé par l'IA en 4K et le rendu 4K natif. Pour la compensation de mouvement, cela fonctionne également très bien. Mais en jeux-vidéo, on peut utiliser les vecteurs de mouvements car nous avons accès à la matrice de calcul pour les vertex & co. Ces vecteurs permettent de guider l'IA pour générer les frames intermédiaires de manière parfaitement intégrée comme si l'on avait vraiment généré ces frames. C'est assez impressionnant. Par contre, cela ajoute du délai, donc de l'input lag.
nVidia a recemment mis à jour son DLSS en v4 pour justement s'appuyer sur les transformers pour l'upscaling et cela a permis d'améliorer sensiblement la qualité de l'image.
Dans le cas de l'application d'une technologie similaire dans la vidéo, générer les frames intermédiaires nécessite sûrement d'abord de détecter (par "IA") les vecteurs de mouvements pour ensuite alimenter un autre modèle d'IA pour générer les frames. J'ai du mal à croire qu'un petit dev tout seul, aussi bon soit-il, arrive à faire un truc nickel avec en plus tout le reste à gérer. Ensuite, il est peut-être possible de s'appuyer sur des librairies / SDK de nVidia pour faire une partie du travail. J'avoue avoir regardé essentiellement la partie dédiée aux JV mais il faudrait que j'essaie de jouer avec les SDK pour voir si l'on peut faire un truc assez rapidement sur la vidéo.
Rien n'empêche un jour d'avoir un dev qui fasse un plug-in utilisant une lib de nVidia pour avoir un upscaling et compensation de mouvement par "IA" sur un PCHC custom. On peut aussi envisager de faire un modèle custom ou "fine tuned" mais cela demande :
- une vraie expertise en IA. Je ne sais pas si le dev de MadVR en dispose. En général, on peut rarement être au four et au moulin.
- beaucoup, beaucoup, d'argent car le processus de collecte de données, de classification puis l'entrainement sur des gros GPU coute une fortune. Donc la plupart de nos clients par exemple préférent utiliser des modèles tout fait sur étagère.
Bref, vous voyez la très forte dépendance vis-à-vis de nVidia (comme l'ensemble de l'industrie d'ailleurs...).
Créé le 15 Jan 2015 19:04
