Retour
R&D
Pour cette édition 2021 encore marquée par les restrictions sanitaires liées au Covid 19, il ne nous a pas été possible d’embarquer les partenaires prévus et nous avons dû penser aux alternatives possibles. Aussi nous avons décidé, en collaboration avec les équipes éditoriales de la Direction des Sports de France Télévisions, de réfléchir à l’utilisation de la Réalité Augmentée (RA) pour l’Antenne de Roland Garros. Ces réflexions nous ont conduit à à la production de deux séquences en Réalité Augmentée de présentation des finalistes dames et messieurs en plateaux extérieurs. La fabrication des modèles 3D a été confiée à la fabrique via l’atelier vidéographique de Nancy. Nous avons donc fait évoluer notre solution interne « JP Tech » de RA pour lui permettre de fonctionner, en mobilité, dans les allées de Roland Garros afin de réaliser ces séquences.
La Réalité Augmentée (RA) en extérieur et en mobilité JPTech permet de réaliser des séquences vidéo RA en extérieur, sans aucune infrastructure lourde, en utilisant uniquement du matériel léger, sans fil et à faible coût !
Des conditions qui poussent à l'innovation
A l’heure actuelle, les dispositifs RA pour le broadcast sont limités aux studios de télévisions ou, si l'on souhaite les utiliser à l’extérieur, nécessitent une logistique et des coûts importants, avec de nombreuses contraintes techniques comme un accès au courant.
Après avoir expérimenté la RA en extérieur à faible coût, nous avons décidé d’y apporter une évolution pour ajouter à cette solution une dimension de mobilité. En effet, notre précédente solution permettant de faire de la RA en extérieur était basée sur de l’équipement devant être branchée sur secteur. Le système de tracking (suivi de position dans l’espace) notamment, qui utilisait le système Lighthouse de Valve, nécessitait le déploiement de balises Lighthouse requérant du courant 220v et le casque HTC vive devait être connecté au courant et au PC RA. Pour apporter la mobilité, il a fallu trouver des solutions alternatives pour n’utiliser plus que des dispositifs qui fonctionnent sur batterie et transmettent les informations de tracking, de vidéo et du son sans fil. Cela offre à l’équipe de tournage une plus grande liberté de mouvements et de choix de l’emplacement de la séquence RA.
Savoir rebondir et s'adapter rapidement, le propre de l'innovation
Le système de tracking, cœur de la RA, est l’élément crucial dans cette situation, car tous les autres maillons de la chaine existent depuis très longtemps et sont parfaitement connus et maitrisés. Cependant, un système de tracking dédié à la RA sans fil et à faible coût, fonctionnant en extérieur sans infrastructure, et suffisamment fiable pour le broadcast n’existe pas clef en main à l’heure actuelle. Partant de ce constat, nous avons dû trouver un système permettant de répondre à ces critères.
Initialement notre choix s’est porté sur la caméra Realsense T265, offrant un tracking spatial 6DOF (6 degrés de liberté, ce qui signifie que la position du device et sa rotation sur 3 axes sont donnés à chaque instant) en intérieur comme en extérieur. C’est un device peu encombrant qui se connecte en USB. Cette caméra est compatible avec de nombreux logiciels et notamment Unity, le moteur 3D temps réel sur lequel est développé la solution.
Les résultats des tests avec ce device se sont avérés très
corrects dans un environnement intérieur ou peu lumineux, beaucoup moins en
extérieur et en plein jour. Or la fiabilité du tracking est primordiale, la
moindre aberration ou anomalie dans la position fournie par la Realsense engendre
des mouvements incohérents des images 3d par rapport aux images réelles, brisant
instantanément résultat final. De ce fait, nous avons
dû réfléchir à un autre système de
tracking plus efficace et robuste en extérieur.
Après quelques développement et tests, notre choix s’est porté sur
l’utilisation du casque VR (Réalité Virtuelle) Oculus Quest. En effet ce casque
répond à tous les critères, il est bon marché, autonome, sans fil, possède le
wi-fi, et surtout, il dispose d’une fonctionnalité intégrée
de tracking spatial perfectionné précis et fiable, qui a l’avantage de
fonctionner aussi en plein jour.
Ainsi nous récupérons les informations de tracking temps réel de l’Oculus Quest pour les transmettre jusque notre PC RA grâce à un modem relié à un VPN 4G fournit par Orange et garantissant une bande passante quel que soit le nombre d’utilisateurs de la 4G dans la zone, pour être sûr que les données soit transmises sans perte et sans trop de latence. En effet l’Oculus Quest envoie sur le réseau 72 fois par seconde sa position et son orientation dans l’espace avec une précision millimétrique ! Une fois les données de tracking reçues nous pouvons générer les images 3D sous le même angle que la caméra vidéo réelle.
Toutefois, les informations de tracking et la vidéo ne sont
pas synchronisées quand l’ordinateur les reçoit, nous avons donc réalisé
cette étape du processus manuellement.
De manière générale, la vidéo, de par sa transmission sans fil en
IP, nous parvient avec un retard par rapport à la réalité, et surtout par
rapport aux informations de tracking qui, elles nous sont
transmises beaucoup plus rapidement. Pour cela notre logiciel de
RA est en capacité d’ajouter du délai sur le traitement des informations de
tracking pour générer les images 3D. Cependant ce délai à ajouter doit être
déterminé manuellement en observant le résultat ; nous comparons les mouvements
de la caméra vidéo et ceux des objets 3D. Si les objet 3D se déplacent en avance,
on ajoute du délai et inversement s’ils sont en retard, on retire du délai, et
ce jusqu’à la synchronisation parfaite des 2 mouvements.
L’autre difficulté est de fournir une image 3D ayant les mêmes perspectives que la caméra vidéo réelle, et il y a 2 problématiques sous-jacentes :
Pour résoudre le problème du delta, on sait que comme
l’attache est fixe entre le casque et la caméra, il faut mesurer et appliquer
ce delta dans nos calculs. Donc on mesure
physiquement (hauteur, longueur, largeur) la distance qui sépare le casque et
la caméra et
ensuite on saisit ces informations dans notre logiciel RA.
Autre point
d’attention ; De même l’orientation
du casque peut être différente de la caméra et nécessite donc une procédure pour la corriger.
Pour le problème du champ de vision, nous avons mis en place une procédure pour comparer la taille d’un objet du monde réel et un équivalent en 3d, ensuite on ajuste des paramètres afin de faire correspondre les tailles.
En suivant notre procédure de calibration qui est propre à chaque caméra nous arrivons à générer une images 3D selon la même perspective que la caméra vidéo réelle.
Notre système implique une contrainte : la focale de la caméra doit rester fixe car nous ne récupérons pas l’information de changement de focal, de ce fait on ne peut pas utiliser le zoom de la caméra. Donc pour simuler un zoom, le caméraman doit avancer ou reculer physiquement.
La mobilité apporte la capacité d’ajouter de la RA dans des
séquences broadcast tournées dans des lieux jusqu’ici inaccessibles
à une production RA classique. Cependant notre dispositif confère
aussi la capacité potentielle de se déplacer sur des échelles plus
grandes ! En effet, cette technologie devrait à terme nous permettre
d’imaginer des séquences RA où le cadreur pourrait se déplacer sur une
vingtaine de mètre offrant des possibilités scénaristiques d’envergure.
Une affaire à suivre !
