Match moving

Le match moving est une technique utilisée dans le domaine des effets spéciaux et liée à la motion capture. Ce terme est utilisé pour faire référence aux différentes techniques permettant d'extraire les informations de mouvement depuis une séquence vidéo, et surtout les mouvements de caméra. Est aussi connu sous le nom de motion tracking.

Dans cet article, match moving sera défini comme étant l'art d'extraire l'information de mouvement depuis une unique séquence vidéo. L'utilisation de caméras supplémentaires, de capteurs de mouvement, d'une caméra de type motion control, ou d'un autre système sont envisageables comme supplément, mais non nécessaires.

La technique de match moving est essentiellement utilisée pour tracker le mouvement d'une caméra pendant une prise de sorte à ce que ce mouvement puisse être reproduit comme une copie conforme sur une caméra virtuelle dans un programme informatique. Ainsi, quand les scènes réelles et virtuelles seront fusionnées ensemble (opération nommée compositing), elles donneront l'impression vraisemblante d'avoir été filmées du même point de vue.

Il y a deux types de techniques de match moving :

• Les programmes de compositing tel que Adobe After Effects, Discreet Combustion et Shake, peuvent appliquer une technique de match moving bidimensionnel. Cette fonctionnalité est capable d'effectuer des translations d'objets dans l'espace image et d'ajouter des effets tels que du blur pour masquer les erreurs de trajectoires entre deux objets en mouvements. Cette technique est suffisante pour créer une impression de vraisemblance dans le cas où il n'y a pas de changements important des paramètres de la caméra. A titre d'exemple, un panneau publicitaire positionné en arrière-plan d'une séquence vidéo peut être aisément traqué en dimension deux, puis remplacé par une image contenue en mémoire.

• Les outils de match moving tridimensionnels peuvent extrapoler les informations tridimensionnelles à partir de photographies bidimensionnelles. Parmi les logiciels capables d'effectuer un match moving tridimensionnel on peut citer :
  • 2d3 Boujou
  • Icarus (freeware, toujours utilisé malgré un arrêt du développement)
  • Maya Live (Module de Maya Unlimited)
  • PixelFarm PFTrack (réincarnation commerciale d'Icarus)
  • Realviz MatchMover
  • Ssontech SynthEyes
  • Sciene. D. Visions 3DEqualizer (qui a gagné une récompense académique pour accomplissment technique)
  • Voodoo (logiciel gratuit)
  • VooCAT (logiciel commercial, réincarnation commerciale de Voodoo)

Ces programmes permettent aux utilisateurs de déduire les mouvements de caméras mais aussi d'autres mouvements relatifs à partir d'un métrage quelconque. Les informations de tracking peuvent alors être transférées sur un logiciel d'infographie et d'animation 3D tel que Blender, 3D Studio Max, Lightwave ou Maya afin d'être utilisées pour animer des caméras virtuelles et des objets en image de synthèse.

Le premier, et l'un des meilleurs, exemple où la technique de match moving a été utilisée est le film Jurassic Park. Les réalisateurs ont positionnés des balles de tennis colorées dans la scène comme marqueurs. Ils ont ensuite utilisé ces marqueurs pour traquer le mouvement de la camera durant les différentes scènes. Ceci a permis à de nombreux objets virtuels, tels que des dinosaures en images de synthèse, d'être ajouté à des scènes ayant des mouvements de caméra complexes ou alors même des caméras-épaule. Les balles de tennis ont été ensuite peintes numériquement pour les exclure du montage final.

Le match moving est d'ores et déjà un outil reconnu dans le milieu des effets spéciaux.

Comment fonctionne le match moving

Le processus de match moving peut être scindé en deux parties.

Tracking

La première étape consiste à identifier ainsi qu'à tracker des cibles. Une cible est un point spécifique de l'image qu'un algorithme de tracking peut verrouiller (dans le sens militaire) et suivre sur plusieurs images. Le choix de ces cibles dépend de l'algorithme de tracking, mais sont fréquemment des lieux lumineux/sombres, des arrêtes ou des coins. L'important est que chaque cible représente un point spécifique de la surface d'un objet réel. Quand elle est trackée, une cible devient une suite de coordonnées bidimensionnelles représentant la position de la cible à travers la séquence d'image. Cette suite est nommée track. Une fois que ces tracks ont été calculées, elles peuvent soit être utilisées immédiatement pour faire du match moving 2D, soit être utilisées pour calculer les informations 3D.

Calibrage

La seconde étape nécessite une résolution pour obtenir le mouvement 3D. L'objectif est de déduire le mouvement de la caméra en résolvant une projection inverse des chemins 2D pour la position de la caméra. Ce processus est nommé calibrage.

Plus exactement : lorsque un point de la surface d'un objet tridimensionnel est photographié, sa position dans l'image 2D peut être calculée par une fonction de type projection 3D. On considère généralement qu'une caméra est une abstraction qui contient l'ensemble des paramètres indispensable à la modélisation d'un caméra dans un univers réel ou virtuel. Ainsi, une caméra est un vecteur qui contient comme éléments : la position de la caméra, son orientation, sa focale, et d'autres paramètres envisageable qui définissent comment la caméra focalise la lumière sur la pellicule. La manière dont est construit ce vecteur importe peu tant qu'il existe une fonction de projection P compatible.

La fonction de projection P prend comme entrée un vecteur de caméra (noté camera) et un autre vecteur représentant la position d'un point 3D dans l'espace (noté xyz), et retourne un point 2D qui est le projeté du point 3D sur un plan dit image et localisé devant la caméra (noté XY) On a alors l'expression suivante :

XY = P (camera, xyz)

La fonction de projection transforme un point 3D surtout en supprimant la composante de profondeur. Sans connaitre la profondeur, une projection inverse peut uniquement retourner un ensemble de points 3D solutions. Cet ensemble est une droite partant du centre optique de la caméra et passant par le point 2D projeté. On peut exprimer la projection inverse par :

xyz ∈ P' (camera, XY)

ou

{xyz :P (camera, xyz) = XY}

Supposons que nous sommes dans le cas où les cibles que nous sommes en train de traquer sont sur la surface d'un objet rigide, par exemple un bâtiment. Comme nous savons que le point réel xyz restera au même lieu dans l'espace (sauf si le bâtiment se déforme) d'une image sur l'autre, on peut contraindre ce point à être constant lorsque bien même on ne connait pas sa position. Donc :

xyz_i = xyz_j

où les indices i et j sont des numéros arbitraires d'images de la scène que nous sommes en train d'analyser. Cela nous permet d'affirmer que :

P' (camera_i, XY_i) ∩ P' (camera_j, XY_j) ≠ {}

Du fait que la valeur XY_i a été déterminée pour l'ensemble des images où la cible a été traquée par le programme, on peut résoudre la projection inverse entre deux images tant que P' (camera_i, XY_i) ∩ P' (camera_j, XY_j) est un ensemble restreint. La totalité des vecteurs camera envisageable qui sont solutions de l'équation aux instants i et j (noté C_ij).

C_ij = { (camera_i, camera_j)  :P' (camera_i, XY_i) ∩ P' (camera_j, XY_j) ≠ {})

Il y a par conséquent un ensemble de pairs de vecteurs caméra C_ij pour lesquels l'intersection de la projection inverse de deux points XY_i et XY_j est non-vide, plutôt petit, et est centré autour du point théoriquement stationnaire xyz.

En d'autres termes, imaginez un point noir flottant dans un espace blanc et une caméra. Pour chaque position de l'espace où on place la caméra, il y a un ensemble de paramètres correspondants (orientation, focale, etc) qui vont photographier ce point précisément de la même manière. Comme C a un nombre de membres illimités, un seul point est insuffisant pour déterminer la position actuelle de la caméra.

En augmentant le nombre de points ciblés, on peut restreindre la totalité des positions envisageables pour la caméra. A titre d'exemple, si on dispose d'un ensemble de points {xyz_{i, 0}, ..., xyz_{i, n}} et {xyz_{j, 0}, ..., xyz_{j, n}} i et j étant toujours des indices d'image et n est un indice représentant chacune des cibles. On peut alors obtenir un ensemble de paires de vecteur-caméra {C_{i, j, 0}, ..., C_{i, j, n}}.

De cette manière, on restreint la totalité des paramètres envisageables de caméra. La totalité des paramètres envisageables qui conviennent à la caméra, F, est l'intersection de l'ensemble des ensembles :

F = C_{i, j, 0} ∩... ∩ C_{i, j, n}

Plus petit est cet ensemble, plus il est facile d'approcher le vecteur-caméra solution. Cependant en pratique, des erreurs introduites par la phase de suivi impose une approche statistique pour déterminer la solution, des algorithmes d'optimisation sont fréquemment utilisés.. Malheureusement, il y a tellement de paramètres dans un vecteur-caméra que quand chacun de ces paramètres est indépendant des autres, on peut être incapable de restreindre F à une unique possibilité peu importe le nombre de points qu'on essaie de suivre. Plus le nombre de paramètres qu'on peut restreindre lors d'une prise est grand (surtout la focale), plus il est facile de déterminer la solution.

On nomme le traitement consistant à restreindre le nombre de solutions envisageable du mouvement de la caméra afin d'atteindre une seule possibilité qui conviennent à la phase de compositing : phase de résolution 3D.

Projection du nuage de point

Une fois que la position de la caméra a été déterminé pour chaque image, il devient alors envisageable d'estimer la position de chaque cible dans l'espace réel par projection inverse. La totalité de points résultant est fréquemment appelé nuage de point du fait de son apparance nébuleuse. Comme le nuage de points révèle fréquemment une partie de la forme de la scène 3D, il est parfois utilisé comme référence pour placer des objets en image de synthèse ou, avec un programme de reconstruction, créer une version virtuelle de la scène réelle.

Détermination du plan représentant le sol

La caméra et le nuage de point nécessitent d'être orientés dans l'espace. Ainsi, une fois la calibration terminée, il est indispensable de définir le plan représentant le sol. Théoriquement, il y a un plan unitaire qui détermine l'échelle, l'orientation et l'origine de l'espace projeté. Certains programmes essaient de la faire automatiquement cependant, le plus fréquemment, c'est l'utilisateur qui définit ce plan. Comme de la modification de ce plan ne résulte qu'une simple transformation sur l'ensemble des points, la position d'un tel plan n'est vraiment qu'une question de convenance.

Reconstruction

La reconstruction est le processus interactif qui consiste à recréer un objet photographié en utilisant les données de tracking. Cette technique est liée à la photogrammétrie. Dans ce cas spécifique, il s'agit d'utitiliser le logiciel de match moving dans l'objectif de reconstruir la scène depuis une prise correcte.

Un programme de reconstruction peut créer des objets tridimensionnels représentants les vrais objets de la scène photgraphiée. En utilisant les données du nuage de point et l'estimation de l'utilisateur, le programme peut créer un objet virtuel et extraire une texture depuis la vidéo qui sera projetée sur l'objet virtuel comme texture surfacique.

Tracking automatique vs. Tracking interactif

Il existe deux méthodes par lesquelles l'information de mouvement peut être extraite depuis une image. Le tracking interactif se repose sur les capacités de l'utilisateur à suivre les cibles durant une séquence. Les points traqués par l'utilisateur sont alors utilisés pour calculer le mouvement de la caméra. Le tracking automatique se repose sur des algorithmes pour identifier et suivre les cibles durant la séquence.

L'avantage du tracking interactif est qu'un humain peut suivre une cible durant toute une séquence sans être désorienté par les cibles qui ne seraient pas rigides. Le défaut est que l'utilisateur va infailliblement introduire des petites erreurs qui vont, en suivant les objets, infailliblement conduire vers une dérive.

L'avantage du tracking automatique est que l'ordinateur peut créer énormément plus de points que ne le peut un humain. Un plus grand nombre de points peuvent être analysés pour statistiquement déterminer quelle sont les données les plus fiables. Le désavantage du tracking automatique est que, selon l'algorithme, l'ordinateur peut aisément être embrouillé et perdre les cibles.

Les logiciels de match moving professionnels utilisent le plus souvent une combinaison tracking interactif- tracking automatique. Un artiste peut enlever les points clairement anormaux et utiliser un ou plusieurs tracking mattes pour bloquer les informations parasites hors du processus de tracking.

Matte tracking

Un "matte tracking" est un concept identique au Matte painting. Cependant l'objectif d'un matte tracking est d'empêcher l'algorithme de tracking d'utiliser des données non-fiables, sans rapport ou non-rigides. A titre d'exemple, dans une scène où un acteur marche devant un arrière-plan, le match mover (celui qui s'occupe du match moving) voudra utiliser uniquement cet arrière-plan pour obtenir le mouvement de sa caméra sachant que le mouvement de l'acteur va interférer dans les calculs. Dans ce cas, l'artiste va construire un matte tracking pour suivre l'acteur dans la scène et bloquer cette information dans le processus de tracking.

Affinage

Comme il y a fréquemment de multiples solutions possibiles au processus de calibration et qu'une quantité significative d'erreur peut s'accumuler, l'étape finale pour obtenir le mouvement implique fréquemment un affinage (refining en anglais) de la solution manuelle. Cela veut dire modifier soi-même le mouvement de la caméra en donnant des indices au moteur de calibration. Cette calibration, plus intéractive est quelquefois nommée affinage de la calibration.

Approche matérielle

Occasionnellemen où :

• un personnage doit intéragir avec un environnement créé par ordinateur
• la combinaison d'un changement d'angle et d'un zoom rende le chemin ambigu
• la résolution requise par le placement de la caméra est supérieure à celle qu'on peut obtenir par traitement d'une vidéo.
• les positions des composants les uns comparé aux autres ne sont pas constantes (la scène est un solide déformable)

une approche matérielle est indispensable. Dans ces cas-là, des DELs visibles ou infrarouges peuvent être fixées sur des objets tels que des supports ou sur les caméras et un dispositif optique de tracking est parfois utilisé pour traquer les caméras, les acteurs et les supports.

Cette méthode n'est préférée que quand le matériel est déjà requis pour traquer les acteurs ou les supports, l'approche logicielle fonctionnant suffisamment bien et ne nécessitant aucun matériel. Un dispositif de marqueurs actifs tel que celui de PhaseSpace [1] permet d'intégrer ces marqueurs à l'intérieurs des objets de la scène et apportés en temps réel les coordonnées relatives du dispositif autorisant des intéractions complexes. Des processeurs embarqués modulent la luminosité des DELs pour différencier chaque marqueur et ainsi des centaines d'objets peuvent être traqués.

Conseils pour les "match movers"

1. Mémorisez tout.
   Comme dans tout effet visuel photographique, prenez note de chaque aspect de la prise. Cela aidera durant l'estimation.
   • Mémorisez la distance focale.
   • Connaissez la taille du filmback / du capteur.
   • Mesurez la hauteur de la lentille comparé au sol.
   • Mesurez la distance entre le centre optique et les cibles évidentes.
   • Mesurez la distance entre les cibles évidentes.
   • Mesurez la distance entre les positions de début et de fin de mouvement de la caméra.
2. Créez des cibles s'il n'en existe pas de bonnes.
   Evitez les larges surfaces qui ont des textures particulièrement petites ou particulièrement répétitives. Faites des marques ou ajoute des objets dans la scène qui pourront être aisément traqués. Il suffira des les repeindre numériquement pour les supprimer de la scène. Utilisez des balles colorées, des points colorés, ou une grille de points sur un écran bleu ou vert. Les sphères sont ce qui fonctionne le mieux car il est facile de déterminer leur centre peut importe l'angle de vue.
3. Contraignez tout autant de paramètres que envisageable.
   Moins il y aura de paramètres variables, plus facile sera la résolution du mouvement de la caméra.
   • Utilisez une focale constante. Ne zoomez pas.
   • Restez sur un pied. Évidemment vous le ne ferez pas, mais ça serait plus facile.
   • Faites les effets tels que les panoramiques en tournant autour du centre optique. Il s'agit du point théorique autour duquel on peut effectuer une rotation sans que cela ne modifie la perspective. Même lors d'une prise sur un chariot, cela simplifiera largement le mouvement général de la caméra.
   • Restez sur un chariot. Certains algorithmes de calibration peuvent contraindre le mouvement 3D à une droite ou une courbe.
4. Introduisez des mouvements latéraux dans vos prises.
   Si vous translatez horizontalement ou verticalement, vous introduirez des parallaxes dans votre scène. Cela peut perfectionner la précision de votre calibration et des projections de nuage de points.
5. Evitez les effets de blur.
   Le blur peut augmenter l'erreur dans la vision de la location de la cible. De grandes quantités de blur peuvent créer des pertes de suivi dans le processus de tracking ce qui résulte par des discontinuités dans les tracks. Gardez les prises à la caméra-épaule le plus stable envisageable et utilisez des lentilles larges.

Liens externes

• (en) 3D Estimation and Applications to Match Move Un article qui explique en profondeur la théorie mathématique qui est derrière le match moving.

Logiciel

• 2d3 boujou
• Realviz Matchmover
• Pixel Farm PFtrack
• (en) SynthEyes Camera tracker Outils pour la mocap, le match moving et autres applications pour les effets spéciaux.
• (en) Voodoo Un programme de match moving gratuit et fonctionnel pour Linux et Microsoft Windows.
• (en) ICARUS (Interactive Calibration And Reconstruction from Image Sequences), programme gratuit de match moving.

Matériel

• (en) PhaseSpace - Solution de mocap temps réelle basée sur un dispositif de DELs pour réalité virtuelle, réalité augmentée, application médicales, ...

Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Match_moving.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 15/04/2009.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.