Depuis 2 ans, j’ai l’impression de parler autant (si ce n’est plus) d’IA que de RA dans mes articles et mes interventions sur la réalité augmentée. Je n’ai aucun doute sur l’importance que cette technologie a prise depuis la sortie publique de ChatGPT et d’ailleurs, j’ai plusieurs fois évoqué ici sa dimension incontournable pour la diffusion des lunettes, ainsi que sa face contraingnante.. Cependant, on voit arriver un petit travers habituel quand on tente des associations trop « exclusives » : une confusion des fonctionnalités qui pourrait laisser imaginer qu’on ne peut avoir l’une sans l’autre. Ou, dit autrement, impossible de faire de la RA dans y ajouter de l’IA. Ce n’est pas sans rappeler la confusion de 2022 entre Metaverse, NFT et crypto. Je vous propose donc de refaire un point rapide sur les complémentarités entre RA et IA, pour en tirer les meilleurs résultats.
Commençons par enfoncer une porte ouverte, les expériences de RA utilisent de nombreuses technologies complémentaires. Avec l’Internet des Objets (IoT) par exemple, on peut récupérer des données issues de capteurs placés sur des machines ou dans des environnements physiques. C’est une fonctionnalité puissante pour la maintenance industrielle. On peut aussi penser à la 5G et au « edge computing » pour rendre plus rapide les transmissions de données, réduire la latence et donc permettre une utilisation en temps réel. Et on peut continuer en citant la blockchain (pour sécuriser et tracer l’origine des données affichées), la robotique (pour guider ou assister des opérations automatisées), La BCI (pour faciliter la compréhension des intentions de l’utilisateur) et tout le reste. Le point commun de toutes des associations est d’ajouter les bonnes fonctionnalités à l’expérience de RA pour qu’elle remplisse pleinement sa mission. Et c’est exactement pareil avec l’IA.
Dans ma pratique, je vois 3 grands domaines ou l’IA apporte des éléments qui facile les expériences de RA (ou de XR).
L’IA générative comme créatrice de contenus
C’est probablement l’usage le plus évidemment : l’aide à la création de contenus pour les expériences immersives. L’intelligence artificielle générative automatise des processus auparavant manuels, coûteux à la fois en temps et en ressources. Plusieurs outils permettent de générer des modèles 3D avec des prompts ou à partir d’autres modèles, puisés dans une base de données. D’autres aident à la génération de photos 360° pour servir de décors (comme Skybox AI ou Blockade Labs), ou de personnages réalistes à partir de photos de visages ou de descriptions. Il est même possible de construire un squelette d’animation simple pour rendre ces avatars dynamiques.
Dans une expérience immersive, il n’y a pas que de la 3D, on doit aussi penser à l’ambiance sonore, à la trame narrative, aux dialogues, etc. Tous ces éléments peuvent également être créés avec l’assistance de l’IA. C’est pourquoi l’utilisation de cette technologie s’invite dans les outils de création (authoring tools) puisqu’elle est naturellement adaptée aux profils des utilisateurs de ses solutions. On trouve de nombreux exemples comme la plateforme d’EON reality, d’Uptale ou celle de WixAR (que je connais mieux). Pour cette dernière par exemple, l’IA générative va servir à la fois d’assistant dans la création de la structure de la formation, mais également d’outils pour générer des contenus rapidement. De cette manière, un spécialiste métier peut construire les éléments de son expérience sans connaissances particulière en XR et rapidement obtenir un prototype à affiner.
Enfin, nous ne devons pas négliger la partie « code » de toutes applications et, ici aussi, l’IA générative peut apporter de l’aide. Des éléments de l’application aux scripts Unity en passant par du WebXR utilisant A-Frame, une personne en charge du développement trouvera aujourd’hui des quantités d’outils adaptés. Bien entendu, créer une application n’est pas la fin de l’histoire. Vous devez la faire connaitre, communiquer, faire des tutoriels, gérer des prospects, répondre aux questions, etc. Je ne vous apprendrai rien en vous disant que d’autres outils d’IA, ou même basiquement un « simple » LLM peut vous faciliter la vie.
Vous l’avez compris, l’IA rend la création de contenu plus facile, mais cela ne veut pas dire que la création elle-même est facile. Et c’est bien le piège de cette technologie. Il faut toujours maitriser la création pour l’utiliser l’IA de manière la plus efficace possible.
L’IA comme interface d’utilisation de l’expérience
Nous savons tous que le design d’une application est essentiel pour guider l’utilisateur et lui fournir tous les éléments nécessaires à une bonne expérience. Mais cela n’enlève jamais complètement le besoin d’une « aide en ligne » qui peut débloquer une situation particulière. L’IA générative à ce pouvoir presque magique de transformer cette aide en discussion naturelle. L’interprétation multimodale permet aux systèmes de comprendre simultanément voix, gestes ou direction du regard, libérant l’utilisateur de la dépendance aux contrôleurs physiques et permettant des interactions plus naturelles. Avec l’IA, nous n’avons jamais été aussi proches de supprimer les courbes d’apprentissages traditionnelles des applications de XR. Sous la forme d’un avatar, d’un objet ou d’une forme plus désincarnée, elle va permettre à l’utilisateur de débloquer une situation en posant des questions ou même, proactivement, d’identifier un point de blocage et de proposer une aide.
Comme dans la partie création de contenu, l’utilisation de l’IA demande une certaine maitrise de l’assistance pour ne pas créer des utilisateurs passifs, incapables de naviguer sans leur guide virtuel. La frustration peut également survenir lors d’interprétations erronées des intentions utilisateurs, particulièrement dans les contextes dans lesquels la précision est cruciale. La formation est un exemple criant. Les utilisateurs doivent apprendre, le dosage de l’aide est primordial pour ne pas détruire le parcours d’acquisition.
Autre point important, l’assistance ne doit pas se substituer à la décision de l’utilisateur au risque de l’infantiliser, limitant sa compréhension des systèmes sous-jacents et sa capacité à les exploiter pleinement. Imaginer un outil de maintenance augmentée où les techniciens équipés de lunettes AR accèdent à un assistant IA qui ne laisse aucune latitude. Quel intérêt pour un utilisateur transformé en marionnette ? Et comme aucun système n’est parfait (ni entièrement sécurisé), comment va-t-il réagir à une explication erronée ? Paradoxalement, pour être bien assisté par une IA, il faut aussi savoir quand ne pas suivre ses directives !
L’IA comme outil de personnalisation
Si dans le cas précédent, l’IA répond généralement à une sollicitation de l’utilisateur, elle va ici utiliser des informations pour adapter le parcours sans demande explicite. En étudiant le temps de réponse devant une question, en évaluant une erreur ou même en utilisant des données physiologiques (stress, concentration, mouvement), l’IA pour adapter en temps réel l’expérience. Elle va peut-être diminuer la difficulté d’une étape, ajouter des éléments de contexte, inclure un temps particulier de repos, etc. En ayant toujours en ligne de mire l’objectif final, l’outil peut modifier intelligemment le parcours pour augmenter les chances de réussite.
Comme pour les autres parties, on comprend rapidement que le dosage de la personnalisation est important. Un excès risque de créer des bulles d’expérience hermétiques. En adaptant constamment l’environnement pour maximiser le confort et l’engagement, ces systèmes peuvent renforcer les biais cognitifs existants plutôt que les challenger. Cette optimisation risque de priver les utilisateurs d’expériences délibérément inconfortables, mais potentiellement importantes pour acquérir de l’expérience.
La personnalisation implicite par IA soulève également de sérieuses préoccupations éthiques. La collecte omniprésente de données biométriques et comportementales nécessaire à son fonctionnement pose d’importantes questions pour la vie privée. Ces systèmes accumulent des profils personnels détaillés, souvent à l’insu des utilisateurs, créant des vulnérabilités sans précédent en cas de fuite ou d’exploitation malveillante. Je ne vais pas m’étendre ici sur la difficulté supplémentaire de la réglementation changeante et parfois contradictoire entre les différents pays.
L’IA : un outil formidable, mais pas une baguette magique
Évidement, les trois catégories précédentes ont des bords flous. L’interface est aussi un élément de personnalisation et elle peut être utilisée pour générer à la demande des nouveaux contenus utiles à la réalisation de l’expérience en maximisant le succès. Vous l’avez compris, l’important est de savoir placer aux bons endroits la puissance de l’IA.
Mais il faut également maitriser cette puissance et lui donner un cadre. Choisir un modèle de LLM ou de génération d’image n’est pas suffisant, il faut savoir le contraindre au scénario d’usage et s’assurer qu’il s’y tienne. Rappelons ici que les modèles génératifs ont pour fonction principale de « générer » des résultats, pas de s’assurer que ces derniers sont appropriés (ou véridiques). Sans cette maitrise, les résultats peuvent être au mieux surprenant, au pire carrément contre-productif. Il y a peu de risques pour le premier usage qui sera de toute manière validée ou non à la conception, mais pour le temps réel, c’est une autre histoire. Si votre avatar intelligent explique la recette de la tarte aux fraises pendant une formation incendie ou s’il se transforme en love coach à la demande de l’utilisateur (par exemple un collégien bien curieux) vous pourriez regretter vos choix 🙂
Autre point à prendre en compte quand on ajoute des capacités de personnalisation grâce à de l’IA générative, l’utilisateur se voit confier des capacités de créateur. Il va agir sur l’expérience pour en modifier des parties. Si vous êtes le créateur, vous avez un travail non négligeable pour savoir comment doser cette capacité de manière à ce qu’elle ne compromette pas les objectifs de votre application. Avec des modèles d’IA qui changent rapidement, des possibilités qui évoluent de mois en mois, ce travail est loin d’être anecdotique.
