Retour
R&D
Les expériences, proposées sur différentes plateformes et écrans immersifs, viennent compléter les travaux menés lors de la précédente édition sur les espaces immersifs en y intégrant, notamment, la restitution de matchs en 3D.
Le dispositif mis en place pour cette édition 2023 a été imaginé et conçu par France Télévisions, avec des partenaires technologiques français et étrangers. Cinq démonstrateurs, développés par les équipes de la direction de l’innovation, autour de 3 sujets émergents sont exposés sur la terrasse du RGLab tout au long de la quinzaine :
- La restitution de matchs sur les espaces immersifs en motion capture
- La vidéo volumétrique sur dispositifs immersifs
- L’IA comme assistant virtuel
Lors de la précédente édition du RGLab, la direction de l’Innovation avait présenté un espace social immersif Stade 2 - Roland Garros sur le réseau social VRChat en réalité virtuelle. Les allées du stade ainsi que le court Philippe Chatrier avaient été reconstitués en 3D pour être le terrain de mini jeux, d’un musée, d’un espace de watchparty et de rassemblement autour de l’évènement. Toutefois, ces premières démonstrations des mondes virtuels ne permettaient pas de restituer fidèlement ce qui se passe sur les courts de Roland Garros. C’est donc ce qui va être présenté cette année.
La restitution de matchs en 3D
Une première expérience sur Roblox*
Créer une première expérience sur Roblox à l’occasion de Roland Garros permet à France Télévisions de se familiariser avec cette plateforme qui rassemble un public très jeune, pour mieux le comprendre et imaginer de futures offres. L’expérimentation développée constitue un pont entre la traditionnelle couverture d’évènements sportifs de France Télévisions et un medium interactif et ludique.
La direction de l’Innovation s’est associée à Hawk-Eye Innovations, fournisseur de données de match pour la Fédération Française de Tennis, pour reconstituer, en 3D sur Roblox, des matchs de tennis ayant eu lieu sur le court Philippe Chatrier. En effet Hawk-Eye traque les positions des joueurs sur le terrain, la trajectoire de la balle, et analyse les données de matchs avec précision pour déterminer, à chaque instant, quelle action a lieu sur le court. S 'appuyant sur l’utilisation de ces données de tracking de centre de masse, l’équipe Innovation a développé une application disponible sur Roblox qui permet de faire rejouer ces données à des avatars dans un court P. Chatrier fidèlement remodélisé en 3D.
A l’avenir cette brique technologique pourra être au cœur d’une expérience complète sur Roblox avec la possibilité d’y ajouter des jeux, des extraits vidéo réalisés par France Télévisions et des évènements communautaires autour de compétitions sportives. Cette plateforme constitue également un terrain de jeu idéal pour exposer des évènements culturels ou musicaux de grande ampleur qui rassemblent des publics de tous les âges. C’est également, pour les départements jeunesse et éducation de France Télévisions, une nouvelle opportunité d’adresser cette cible qui se détourne potentiellement de la télé traditionnelle.
*Roblox est un jeu vidéo (PEGI 7) gratuit et massivement multijoueur en ligne à destination des enfants et des adolescents (cible 9/16 ans), lancé en 2006 et disponible sur PC, mobile (80 % des usages), tablette et console de salon. Ce jeu est de type bac-à-sable : il permet à ses utilisateurs de créer des mondes et des jeux pour qu’ils soient visités par d’autres utilisateurs. Plus de 50 millions de jeux sont ainsi disponibles sur la plateforme.
Pousser l’immersion plus loin sur VRChat*
C’est dans le même court Chatrier en réalité virtuelle que France Télévisions présente cette année un démonstrateur permettant de voir et rejouer des séquences de matchs capturés à Roland Garros et restituées en 3D grâce à la technique de motion capture développée par la société GVCap.
Ainsi, deux expériences sont proposées sur casque VR :
La première consiste à visualiser, depuis son avatar, sur le terrain du court Chatrier, le déroulé d’un match entre deux tennismen, avec la possibilité de se déplacer sur le court à l’endroit de son choix, pour pouvoir bénéficier du meilleur angle de vue. Deux avatars aux mouvements hyper réalistes rejouent fidèlement les points capturés par la technologie de la société GVCap. Cette technologie, qui s’appuie sur l’utilisation de caméras du marché (type GoPro), permet de capturer les mouvements des joueurs, de leur raquette, leur position précise sur le terrain et la trajectoire de la balle. Le traitement de ces images par la technologie d’IA de GVCAP permet de restituer ces données sur des avatars et de rejouer le match, virtuellement, tel qu’il avait eu lieu dans la réalité.
Les technologies de captures de mouvement vont évoluer pour permettre un traitement de ces données en temps réel. Ainsi, il sera possible, dans un avenir proche, d’accéder à ce match virtuel en live.
La seconde expérience proposée permet de rejouer, avec son avatar, le match contre l’un des joueurs présents sur le terrain. Ainsi, il est possible –avec le choix de 4 niveaux de difficulté- d’affronter le joueur avec les vraies données de tracking (placement du joueur adverse et trajectoire de la balle) telles qu’elles avaient été capturées lors du match joué sur le court Chatrier. En fonction de la difficulté choisie, il faut être capable de renvoyer la balle le plus rapidement possible pour marquer le plus de points. Les plus aguerris allant jusqu’à utiliser la vitesse réelle de la balle... 😊
*VRChat est un réseau social en réalité virtuelle. Cette plateforme permet à ses utilisateurs de créer des avatars et des mondes virtuels pour y interagir avec d’autres utilisateurs en ligne, par l'intermédiaire de casques de réalité virtuelle ou sur ordinateur en mode bureau.
La vidéo volumétrique avec 4DViews
Pour aller encore plus loin dans l’immersion et le réalisme, France Télévisions s’est associée à la société 4DViews pour proposer des séquences de gestes techniques de tennis en vidéo volumétrique.
Ainsi, l’équipe de l’innovation s’est rendue sur les plateaux de tournage de 4DViews à Grenoble pour capturer plusieurs séquences vidéo d’un tennisman en mouvement afin d’en extraire plusieurs extraits ultra réalistes en 3D.
Le tennisman (Malo) a été filmé puis rendu en vidéo volumétrique grâce au Holosys. HOLOSYS est le système de capture volumétrique de 4Dviews qui permet d'introduire des êtres humains réels dans des expériences numériques. Le système enregistre les performances humaines dans une zone de capture de 5 mètres de large à partir de plusieurs points de vue avec 48 caméras 4K recadrées, créant des vidéos volumétriques de haute qualité à partir de maillages et de textures. Avec des applications dans les domaines du sport, de l'entraînement et du divertissement, les jumeaux numériques créés à l'aide de HOLOSYS peuvent être intégrés de manière transparente en réalité augmentée, en réalité virtuelle et dans les formats médiatiques traditionnels. Ces fichiers ont été traités puis encodés avec respectivement les logiciels 4Dfx et 4Dcoder pour être intégrés et lue grâce au SDK de 4DViews dans le moteur 3D temps réel Unity.
Ces séquences ont ainsi été intégrées par les équipes de France Télévisions au sein de deux démonstrateurs permettant de visualiser, au plus près du modèle 3D, les différents gestes techniques capturés :
- Sur casque VR : avec la possibilité de se déplacer autour du modèle 3D et d’apprécier les mouvements sous l’angle de son choix,
- Sur écran Spatial Reality Display Elf-SR2 de SONY : Cet écran 3D 4K 27 pouces offre la particularité de restituer le modèle 3D, dans l’environnement 3D du court P. Chatrier, sans avoir utiliser de lunettes. En effet l’écran affiche simultanément deux images, une pour chaque œil, et une caméra située en haut de l’écran permet de traquer le visage et notamment les yeux de l’utilisateur. Ainsi le tennisman en vidéo volumétrique apparait en relief sur court, et l’utilisateur peut changer de perspective autour de lui et se promener dans l’image sans contraintes.
Au-delà des applications professionnelles, ces technologies préfigurent les futurs écrans et notamment ceux des PC et tablettes qui permettront d’accéder à ces mondes virtuels en offrant un premier niveau d’immersion, sans avoir à mettre un casque ou des lunettes.
Vidéo animée par IA
En partenariat avec la société Coréenne Deepbrain.AI, France Télévision s’est intéressé au sujet des avatars humains. Cette société propose en effet la mise à disposition d’avatars humains capables de restituer du texte en langage parlé.
Pour ce faire, un humain est filmé et enregistré pendant quelques heures en train de lire 500 phrases sur fond vert, par les caméras de Deepbrain.AI. Ces enregistrements permettent d’identifier la voix appliquée à différents mots et contextes de phrase, mais également de filmer les émotions du visage et la gestuelle des mains.
Toutes ces informations sont ensuite traitées par les algorithmes d’Intelligence Artificielle de Deeprain.Ai (Machine learning et Deep learning) pendant plusieurs semaines pour donner naissance à un avatar humain, ultra réaliste, capable de restituer en vidéo n’importe quel texte.
Ainsi “Paris”, avatar de langue anglaise (dans la vidéo ci-dessus), a été choisie sur la plateforme Ai Studios pour assurer- en anglais- la présentation des différentes innovations de ce RG Lab.
Cela ne préfigure en rien l’utilisation de ces avatars humains par France Télévisions, dont la position à ce sujet est très claire : Ils n’ont pas vocation à remplacer les journalistes ou les présentateurs. Il est cependant essentiel pour France Télévisions de suivre ces évolutions technologiques pour en comprendre les enjeux et en maitriser les usages.
