L'importance du son spatialisé dans la Réalité Virtuelle

Illustration produite via ChatGPT

A l'occasion de la fête de la musique, nous vous dépeignons succinctement dans cet article l'importance du son dans les expériences 3D immersives. 

LS GROUP, anciennement connue comme "Light & Shadows", propose depuis 2009 son savoir-faire dans la mise en valeur des données 3D des industriels et des divers usages qu'elles peuvent combler. Comme notre nom l’indique, nous mettons en "lumière" les numérisations ou « digital twins » des produits de nos clients dans l’aéronautique, l’automobile, l’énergie, ou encore le luxe ou le retail. Cela leur permet de mieux vendre, mieux former, et concevoir de meilleurs systèmes de production. 

Avant tout visuelle, cette mise en valeur se traduit sous forme de sites web, applications mobiles, jeux sérieux sur PC à la puissance dédiée, ou encore sur des casques de réalité virtuelle et mixte qui ont pénétré le marché grand public depuis maintenant une décennie. 

Or pour créer des expériences plus engageantes et immersives, il convient de considérer l'ensemble du système sensoriel humain, dont l'ouïe. Les sons font évidemment partie des signaux que notre cerveau capte et interprète en permanence. Ainsi, de la même manière que nous générons des stimuli visuels 3D pour immerger un utilisateur dans un monde virtuel, nous pouvons également générer une ambiance sonore virtuelle qui viendra appuyer et conforter le sujet dans ce nouvel univers qui lui est proposé. 

Immersion, Son et Psychologie Cognitive 

Pourquoi allons-nous au cinéma, plutôt que de regarder un film sur une télévision ou notre smartphone ? C’est pour renforcer ce sentiment « d’immersion » qui nous envahit dans les salles obscures, où tout est fait pour que notre attention, visuelle et sonore, soit portée uniquement sur le contenu cinématographique. 

Pourquoi jouer à un jeu vidéo dans un casque de Réalité Virtuelle (RV) plutôt que sur une console portable ? Exactement pour les mêmes raisons : parce que les systèmes immersifs nous permettent de nous concentrer sur le jeu ou l’expérience virtuelle proposés, tout en effaçant les distractions de l’environnement et des stimuli réels. 

Enfin, pourquoi les casques de réalité mixte prennent de plus en plus le pas sur les casques de RV des générations précédentes ? Parce qu’ils permettent de mêler de manière pertinente les stimuli virtuels et les éléments du monde réel dont on ne veut pas nécessairement se couper complètement (collègues, obstacles alentours, et éléments de contexte visuels et géographiques pertinents), ramenant un aspect plus social et moins personnel souvent nécessaire en milieu de travail industriel. 

D’un point de vue évolution, c’est avant tout le système visuel performant de l’Homme qui lui a permis de survivre et évoluer dans son environnement : voir nos proies au loin pour manger, et voir venir nos prédateurs avant d’être mangé ! Mais l’ouïe n’en reste pas moins importante, car l’audition permet de capter des signaux et dangers avant qu’ils n’entrent dans le champ de vision. Les sons sont donc aussi une partie importante de la quantité d’informations sensorielles que le cerveau humain traite en permanence. Vient ensuite le toucher, puis dans une moindre mesure chez l’humain, le goût et l’odorat. 

C’est grâce à cette hiérarchie des sens et à la maturité technologique des équipements audio que nous pouvons aujourd’hui de créer de véritables stimuli auditifs virtuels convaincants et utiles, pour créer des expériences uniques et toujours plus utiles. 

Les fonctions du son en immersion 

On peut penser principalement à deux types de sons : 

• Des sons immersifs réalistes, enregistrés, générés ou transmis, qui permettent d’augmenter le niveau d’immersion d’un utilisateur, et de rendre la scène décrite plus convaincante. Par exemple : le bruit d’un moteur de voiture pendant l’accélération, ou des champs d’oiseau lors d’une balade virtuelle en pleine nature, etc. 

  Notez que même sans visuels 3D pour les accompagner, ces sons peuvent se suffirent à eux-mêmes pour « transporter » la personne ailleurs ; tels que le ferait un podcast de méditation pour vous transporter l’espace d’un instant prêt d’un cours d’eau. Un tchat vocal immersif rentre également dans cette catégorie des sons immersifs réalistes (tel que Microsoft Teams Immersive Spaces), puisque les interlocuteurs s’entendent localisés en fonction de la position de leurs avatars respectifs dans l’espace 3D, et le son de leur voix est alors envoyé, traité et spatialisé. 

• Des sons générés, fonctionnels, permettant de comprendre l’état de l’application, tel que le « bip » du lave-linge pour nous indiquer qu’on a bien appuyé sur le bouton tactile « Start ». La sonification des interfaces 3D virtuelles, c’est-à-dire le design graphique et sonore des interfaces, permet à un utilisateur de mieux comprendre l’état d’un bouton, d’un paramètre, la réception d’une notification, etc… 

  Pour prendre des exemples de la vie réelle, on peut penser au retour sonore d’un détecteur de métaux ou encore d’un compteur Geiger : le son vient alors mimiquer une grandeur physique, et permet de mieux en apprécier les variations, ou encore la position du capteur dans l’espace. La sonification est particulièrement importante dans le design d’interface en réalité virtuelle, puisque bien souvent, tous les sens ne sont pas forcément pris en compte par les systèmes immersifs. Ainsi, le son peut venir remplacer un retour « haptique » (= une vibration) qu’on aurait plus classiquement sur un smartphone à l’appui d’un bouton. S’il est bien conçu, cet échange de modalité du feedback utilisateur, bien que non-naturel, peut être tout à fait accepté par l’utilisateur. Il comprend alors que dans cette réalité (virtuelle), un « contact » de son doigt avec un menu est gratifié d’un léger « tic » de confirmation, le confortant dans la bonne réussite de son action. 

Quel que soit son type (réaliste ou généré) un son qu’on inclura dans une expérience immersive aura une fonction bien précise : créer une ambiance, informer, localiser, ou encore alerter… 

Quelques bénéfices du son immersif 

• Le son apporte non seulement des informations supplémentaires, mais également une immersion fortement renforcée, un cachet et une crédibilité à l’environnement virtuel proposé, d’autant plus si accompagné de visuels réalistes  

  
  

• Un véritable sentiment de « bulle », qui permet à notre système auditif de temporairement se déconnecter des stimuli réels, avec du matériel adapté (casques audio ou écouteurs fermés). 

  
  

• Une localisation précise et instantanée des objets virtuels autours de nous, même hors champs de vision (utile pour les systèmes de notifications, ou dans les jeux d’action en RV), qui font appels à un ensemble de réflexes utilisateurs élargi et plus naturel que via la vue seule. 

Quelques challenges du son immersif 

• Le son immersif n’est pas toujours adapté à un usage industriel. En effet, il fait bien souvent appel à l’usage de casques audio, qui sont parfois non réglementaires dans certaines usines et industries, en raison des dangers auxquels les ouvriers sont exposés. 

  Les retours sonores sont alors parfois à exclure de la conception des solutions proposées à ces industriels.

  
  

• Dans les expériences collaboratives, il est courant d’avoir besoin d’un système de tchat vocal. Lorsque les utilisateurs sont à distance, et donc chacun dans une pièce, il est simple de colocalisé leur voix avec leurs avatars virtuels. Cependant, dans le cas d’une expérience multi-utilisateur locale (c’est-à-dire avec plusieurs utilisateurs immergés dans la même pièce), donner un système de communication avec du son immersif peut devenir plus contraignant. Il peut en effet y avoir des dissonances entre position réelle de deux utilisateurs côte-à-côté, et leurs avatars qui sont plus éloignés, ou alors face-à-face dans la simulation. Leur voix se propage simultanément dans l’air, ainsi que via les micro-casques respectifs des utilisateurs, créant des potentiels échos et une certaine gêne. Dans ce genre de situation, le système de communication virtuelle doit être soit adapté, soit abandonné complètement au bénéfice d’une communication verbale purement réelle et sans équipement particulier. 

Quelques usages plus poussés et originales du son immersifs 

• Ingress est jeu mobile en Réalité Augmentée géolocalisée développé par Niantic (les développeurs de Pokémon Go). En 2023, ils ont annoncé exploiter les capacités de AR Audio offertes par certains casques grâce au tracking 3D de la tête de l’utilisateur. En se baladant dans la rue, le joueur peut entendre où se situent les “portails” virtuels autour de lui en tournant la tête, avec une précision saisissante et qui correspond à la carte GPS qui lui est offerte à l’écran. 

  
  

  Voir l’article associé ici : https://ingress.com/news/audio-ar-more-devices 

  

• Un jeu de tir à la première personne (FPS) pour personnes aveugles, qui ne nécessite ni ne contient aucun visuel. Le site du créateur contient l’accès à sa démonstration (application mobile), ainsi qu’un article et une vidéo de making-of : https://www.libo.dev/blind-arcade 

  
  

  

  
  

• Concernant les FPS « visuels » plus classiques, JBL propose Quantum Guide Play : l’audio 3D au service de l’accessibilité dans les FPS, à l’intention des malvoyants

  
  

  voir l’article de korben.info : https://korben.info/jbl-quantum-guide-play-audio-3d-accessibilite-fps.html

• Dans un contexte moins ludique mais parfaitement utile, les villes et autres collectivités peuvent se servir de simulations 3D immersives sonores pour évaluer l’impact d’un projet immobilier, de transformation urbaine, ou encore de construction de route sur le confort acoustique. Ces simulations peuvent s’effectuer pour prendre des décisions à d’autres échelles, comme pour l’acoustique des salles de concert selon le nombre de places assises, l’emplacement, la quantité d’objets et de décors sur scène.  Certaines entreprises se spécialisent dans la création de moteurs 3D audio dans la production de simulation acoustiques réalistes, prenant en compte les matériaux et leurs propriétés physiques. Des technologies similaires à celles du Raytracing sont alors utilisées pour optimiser ces simulations, voire pour obtenir des résultats en temps-réel. Nous collaborons notamment avec les experts de chez Noise Makers pour aborder ce genre d’usages. 

  
  

  Pour aller plus loin, cette vidéo de Vercidium illustre parfaitement les bases de ces techniques de simulation acoustiques pour les jeux ou d’autres usages : https://www.youtube.com/watch?v=u6EuAUjq92k 

• Dans le cadre d’un projet Saint-Gobain, LS GROUP a répondu à l’objectif principal qui était de doter les équipes commerciales d’un outil performant pour optimiser la vente de vérandas lors de leurs déplacements chez les clients potentiels. Pour répondre à ce besoin, une application iPad en marque blanche a été développée. L’application se structure en plusieurs modules couvrant l’ensemble du parcours client : un configurateur pas à pas pour concevoir la véranda, un comparateur d’images physico-réalistes pour évaluer les différents vitrages, un module de réalité augmentée permettant de projeter la véranda sur la maison du client, ainsi qu’un module acoustique innovant. 

  
  

  Ce dernier joue un rôle clé dans l’expérience utilisateur : il permet d’appréhender concrètement l’impact sonore des matériaux choisis en simulant des sons réalistes d’intempéries (pluie, grêle, vent) sur différents types de vitrages ou de toitures. L’acoustique étant un critère souvent sous-estimé mais pourtant déterminant dans le confort au quotidien, cette fonctionnalité renforce considérablement l’argumentaire commercial en rendant tangible une dimension difficile à expliquer avec des mots. En plaçant le client dans une situation immersive, ce module favorise une décision plus éclairée et renforce la valeur perçue du produit. 

  
  

Projet configurateur vérandas Saint-Gobain

Envie de vous essayer à l’implémentation de son 3D ? 

Pour les personnes techniques voulant se renseigner et s’essayer à l’implémentation de moteurs 3D audio dans leurs applications, en voici une liste non-exhaustive : https://soundbarrier.io/posts/3daudio/ 

Aussi, les moteurs de jeux principaux du marché, tels que Unity 3D et Unreal Engine, peuvent inclure divers moteurs audios permettant la spatialisation des sons par rapport à un utilisateur VR. 

Et pour ce 21 juin, quid de la musique immersive ? 

Si vous voulez en lire davantage et plus spécifiquement sur la Musique Immersive, jetez un œil à cet article de BPI France : https://bigmedia.bpifrance.fr/nos-dossiers/musique-immersive-les-innovations-et-la-tech-francaise-changent-lecoute 

Auteur : Benjamin CAPEL 

Co-auteur : Titouan MOTREUIL