Aurélien Pocheville

À propos

Après un doctorat en réalité virtuelle, haptique et infohaptie, j’ai crée pour Nintendo European R&D la Nintendo Classic Mini: Nintendo Entertainment System. Je suis actuellement disponible pour diverses missions. L’infohaptie traite du couplage des systèmes informatiques et de réalité virtuelle avec des dispositifs haptiques.

Le titre de ma thèse est: “Développement et Réalisation d’une architecture logicielle de prototypage pour l’infohaptie: I-Touch”. Voir la liste de mes publications.

Rapports et publications

Publications

Rapports

Introduction à l’haptique

Qu’est-ce que l’haptique ?

L’haptique concerne l’étude du sens du toucher, au sens large. On peut décomposer notre interaction avec des objets par le biais de notre main par exemple, de la façon suivante:

  • Le sens kinésthésique: c’est la sensation des forces. Notre système moteur nous informe en permanence de la position de notre bras, ainsi que des efforts que nous effectuons pour le mouvoir. Lorsque nous effectuons un effort mais que notre bras ne bouge pas, nous avons une sensation de force. C’est pas exemple le cas lorsque nous appuyons notre bras sur une table.
  • Le sens tactile: c’est la sensation des textures. Au bout de nos doigts (et plus largement sur notre peau), nous possédons des capteurs de pression qui nous donne une information sur le relief de l’objet. C’est ce qui nous permet de différencier facilement un objet lisse d’un objet rugeux, par exemple.
  • Le sens thermique: c’est la sensation de froid ou de chaleur. Cette sensation nous renseigne sur deux points: tout d’abord, la température de l’objet par rapport à notre doigt (quand notre doigt est froid, les objets nous paraissent plus chauds). Ensuite, la nature de l’objet. Même si un morceau de bois et un morceau de métal sont à la même température, nous les percevons différement. Pour nous, le métal est plus “froid” que le bois.

Ces différents sens sont encore mal connus, par exemple, quelle est notre capacité à distinguer les objets uniquement par leur caractéristiques thermiques ? Est-ce que la vision est plus, ou moins importante que ce l’on ressent avec nos doigts pour connaitre un objet ? Ces aspects impliquent aussi l’étude de l’humain, afin d’indentifier nos forces et nos faiblesses concernant le sens du toucher, ce qui permet de les exploiter ensuite (par exemple en utilisant des illusions). C’est lors de cette phase d’étude que l’infohaptie prend toute sa dimension. Nous allons maintenant examiner comment chacune de ces sensations peut-être rendue avec les moyens actuels.

Le sens kinéthésique (le “retour d’effort”)

Image d'un phantom
Exemple de bras haptique

C’est, de loin, le sens qui a suscité de part le monde le plus de travail de recherche. La raison en est double: tout d’abord, c’est le sens le plus pratique, c’est celui qui nous sert à mouvoir les objets. Ensuite, c’est aussi le plus facile à restituer, puisqu’il suffit de contraindre l’utilisateur (en ce sens, une table pourrait être un dispositif haptique extrèmement primitif, puisqu’elle empêche d’aller en dessous). Cela est fait par l’intermédiaire de bras motorisés, à l’instar des bras de robots. Ces bras permettent de restituer des forces, en trois (uniquement les translations) ou en six dimensions (les translations et les rotations).

Principaux dispositifs kinéthésiques

Image d'un gant haptique
Exemple de gant haptique

  • Le leader international des bras haptiques s’appelle Sensable. Ils produisent le Phantom (Phantom Desktop, Phantom Omni) qui est assez répandu dans les milieux de recherche.
  • Un autre constructeur de dispositif, Haption produit des bras haptiques plus gros (plus d’espace de travail), mais moins performants. Leur API est aussi plus jeune, ce qui entraîne des difficultés d’intégration.
  • Il existe aussi des gants haptiques, qui permettent de ressentir les efforts que l’on a en saisissant un objet.
  • Pour finir, nous avons dans notre environnement de nombreux dispositifs kinéthétiques : manettes de jeu vidéos vibrantes, joysitcks/volants à retour d’effort. En général, le but premier de ces dispositifs n’est pas la fidélité mais un coût pas trop élevé.

Réalisation d’un dispositif kinéthésique

La difficulté dans la réalisation des dispositifs haptique résident dans leur poids: en effet, il n’est pas admissible que l’effecteur (le bout final) “pèse” dans la main de l’utilisateur, cela nuit à la sensation de transparence. La transparence traduit le fait que quand dans le monde virtuel il n’y a pas de force, dans le monde réel la main ne doit pas ressentir non plus d’effort ni de gène au déplacement. Si le dispositif est trop lourd, il aura une inertie et par là même l’utilisateur devra faire un effort pour le mouvoir. De plus, de la part de la consitution de la plupart des bras, si le bout est lourd, afin d’excercer un effort en bout, il faudra des moteurs plus puissants à la base. Cela amène les constructeurs de bras haptiques à imaginer des systèmes permettant de faire passer les forces dans le bras en gardant le plus gros des moteurs dans la base. Cela est fait le plus souvent avec un système de cable, ou un système pneumatique.

Utilisation d’un dispositif kinéthésique

Un dispositif kinéthésique s’utilise en commandant les moteurs actionnant les différents axes du bras. Ces moteurs permettent de tourner, et donc par là même d’effectuer des efforts en rotations. En connaissant le modèle géométrique du bras, il est possible de calculer quelles consignes affecter aux différents moteurs pour obtenir des forces dans un environnement cartésien (x,y,z). Cela est encapsulé dans l’API (Application Programming Interface) du bras haptique.

Le sens tactile (“la texture”)

Matrice tactile Exemple de matrice tactile

Le sens tactile a vu, ces dernières années, un regain d’intérêt. On y voit un moyen de faire passer des informations plus fines qu’avec le sens kinéthésique, et peut avoir des applications dans la téléopération (pour permettre de sentir des textures à distance). La difficulté de la simulation de texture vient du fait que la surface et les forces à simuler sont à petite voire très petite échelle, cela est donc d’autant plus difficile pour constuire un système capable de le simuler.

Principaux dispositifs tactiles

A l’heure actuelle, la plupart des dispositifs tactiles sont inertes, c’est à dire qu’ils ne bougent pas ou peu (de manière macroscopique), ce qui en limite énormément l’intérêt. Certains dispositifs à base de petit pics existent, mais procurent des sensations assez échelonnées.

Réalisation d’un dispositif tactile

La recherche en est encore à ses balbutiements concernant les dispositifs tactiles. Il se pose notamment une question: l’information tactile est-elle perçue en tant que vibration (donc dans le domaine de la fréquence), ou bien d’une autre manière (capteurs de pression…) ? De plus, nous ne ressentons pas nécéssairement la même chose, selon que l’on fait glisser notre peau sur un objet, ou bien que nous appuyons simplement dessus. Les études récentes dans ce domaine incluent des dispositifs en fréquence (qui vibreraient à la bonne fréquence, donnant “l’illusion” d’une surface bosselée. Les dispositifs à même de réaliser cela pourraient être les piézo-électriques. D’autre part, des actionneurs à base de polymères pourraient se montrer prometteurs.

Applications d’un dispositif tactile

Si les dispositifs tactiles se font attendre, les applications les concernant sont nombreuses, dans le domaine du handicap visuel, notamment. La possibilité de simuler une surface permet aussi de réaliser de la téléprésence, et d’utiliser les compétences uniques de l’homme plutôt que les systèmes décisionnels d’un robot, qui peuvent se montrer limités.

Le sens thermique (la “chaleur”)

Dispositif Peltier
Dispositif Peltier

Si le sens thermique n’a pas éveillé l’interêt de beaucoup de personnes jusqu’alors, c’est qu’il n’est pas certain que celui-ci soit d’une grand précision, d’une part, et que d’autre part, nous ne l’utilisons que rarement à des fins “utiles”. Pourtant, les sensations thermiques véhicules certaines informations, par exemple quelque chose de tiède est généralement perçu comme “agréable”, alors que quelque chose de brûlant nous avertira d’un danger. Ces informations peuvent être utilisées afin de transmettre un message, même sans rapport avec un matériau réel. Bien entendu, des dispositifs thermiques plus fins permettent de transmettre plus d’information, voire de donner l’illusion de matériaux réels.

Principaux dispositifs thermique

Il n’existe pas à l’heure actuelle, de dispositif thermique. En fait, la théorie sur la sensation thermique chez l’homme est encore à compléter. Toutefois, il existe un élément incontournable dans la réalisation d’un tel dispositif, il s’agit d’un module à effet Peltier. C’est un processus qui permet, en injectant un courant électrique dans un sens ou dans un autre, de créer un flux thermique. Ce flux thermique permet de créer du chaud et du froid, ceci dans un seul dispositif qui se pilote facilement.

Réalisation d’un dispositif thermique

La réalisation d’un dispositif thermique réactif est très délicate, en effet les phénomènes thermiques ont une forte latence (retard), il faut donc contrebalancer ces effets. La partie commande est primordiale, il faut connaître les bonnes commandes à envoyer au bon moment afin de simuler correctement un matériau. Les dernières avancées dans ce domaine sont en passe de réussir ce défi. Il sera donc possible, dans un futur proche, de simuler, et ainsi de mieux comprendre, les sensations thermiques que nous procurent un matériau à une certaine température.

Introduction à la réalité virtuelle

Qu’est-ce que la réalité virtuelle ?

Derrière cet apparent paradoxe - comment une réalité pourrait-elle être virtuelle? - se trouve un domaine extrêmement puissant en informatique. La réalité virtuelle permet de simuler, à l’intérieur d’un ordinateur, un monde virtuel, mais qui obéirait à des lois similaires à celles du monde réel (par exemple, la gravité). Un des points clés pour classer un programme dans la réalité virtuelle et non pas dans la simulation par ordinateur est l’interactivité. Une réalité virtuelle doit interagir avec l’utilisateur, lui permettant par exemple de se mouvoir à l’intérieur du monde. C’est cette interactivité qui va imposer des contraintes fortes sur la partie informatique et matérielle. En effet, il faut alors disposer du temps réel, où une seconde de temps écoulée dans le monde réel équivaut à une seconde dans le monde virtuel (il faut que l’ordinateur calcule ce qui se passe pendant un temps x en moins de temps (ou égal) que x). En effet, si ce n’est pas le cas, il va se produire un décalage, et fatalement ce décalage sera visible ou se fera sentir au niveau des interfaces entre le monde virtuel et le monde réel (écran, enceintes, dispositif haptique…). Le temps réel est parfois difficile à atteindre si l’on ajoute d’autres contraintes comme la fidélité.

La réalité virtuelle aujourd’hui

ball schema Différence de réalisme

La réalité virtuelle est omniprésente aujourd’hui, en effet les jeux vidéos basés sur cette techniques sont de plus en plus nombreux à proposer des mondes ultra-réalistes dans lesquels le joueur évolue. Toutefois, dans ces jeux, souvent le réalisme “physique” (ie. les objets agissent comme ils agiraient dans le monde réel) est abandonné au profit d’un réalisme “perçu” (ie. les objets ont “l’air” de bien se comporter). Un exemple de cette différence est illustré ci-contre. Une réalité virtuelle pourrait décider de simuler le comportement d’une balle sur une table en déclarant que si la balle passe “en dessous” de table, on la contraint au dessus. Mais cette simulation ne permettra pas de simuler un roulement (2B) ou un rebondissement (2A). A contrario, une réalité virtuelle qui implémentera les équations classiques des chocs et des contacts aura de de manière naturel ce comportement qui émergera. Ici, on aurait les propriétés de balles comme son élasticité et son poids, la rugosité de la table, qui définiraient comment la balle réagirait à un choc avec elle. Suivant la vitesse initiale, la balle rebondira ou roulera.

Exemples de réalité virtuelle

  • Un jeu vidéo réaliste: Call of Duty. Call of Duty, grâce à un moteur physique propose un grand réalisme dans la simulation. La simulation des fluides, la gravité, les collisions… sont simulé avec une certaine fidélité.
  • Un jeu vidéo réaliste, mais pas réel: Star Wars. Ici, bien que le comportement soit réaliste, on peut par exemple faire usage de la force (alors que cela n’existe pas dans le monde réel), faire de la télékinésie etc…
  • Simulateur interactifs : Aviation pour l’armée, simulateur médical, Tactical Iraki… Les exemples sont nombreux et montrent l’intérêt de l’armée, de l’industrie et du médical pour la réalité virtuelle. Mis en avant sont les avantages financiers et humains (il n’y a plus besoin de cobaye par exemple).

L’interaction multimodale

multimodal interaction Interaction multimodale

L’interaction multimodale consiste à réunir les différentes modalités (sens) en une expérience unique, pour une immersion totale dans la réalité virtuelle. Les différents sens considérés ici sont la vue, l’ouïe, le gout et l’odorat ainsi que le toucher. Il se trouve que la vue et l’ouïe sont des domaines maintenant bien maitrisés, à contrario le gout et l’odorat peinent à émerger, sans doute pour des questions de marché qui resterait à définir en dehors des marchés de niches. De part son aspect unique, le toucher intéresse de plus en plus de chercheurs et d’industriels. L’interaction multimodale va donc consister en général de la combinaison vue, ouïe, et toucher. Bien entendu, il est possible de rajouter d’autres sensations. La plupart du temps, on cherche en même temps à immerger le plus possible l’utilisateur dans la réalité virtuelle multimodale, on va donc utiliser des dispositifs les plus exhaustifs possibles. Pour la partie visuelle, cela passe par l’utilisation de caves par exemples, qui sont des grandes pièces dans lesquelles une image est projetée sur chacun des murs en 3D (cela est possible grâce aux techniques de polarisation de la lumière). Pour le son, des ensembles hautes fidélité restituant un son 3D sont disposés tout autour de la scène).

La réalité virtuelle et l’haptique

La réalité virtuelle, si elle n’est interfacée qu’avec des dispositifs passifs (écrans, enceintes…), peut se permettre certaines approximations, bien qu’inexactes, portant peu à conséquence dans la plupart des cas. Un exemple de cela pourrait être un objet qui serait mal placé dans la scène virtuelle, avec une de ses parties étant en collision avec un mur. La réalité virtuelle, afin de remédier à ce problème, va “téléporter” l’objet en question à un emplacement qui relâche la contrainte. Sur le plan visuel, cela peut tout à fait passer inaperçu, et si cela se voit, cela ne porte pas forcément à conséquence. Par contre, si la réalité virtuelle est mise en relation avec l’utilisateur par le biais d’un dispositif haptique (qui non seulement renvoie de l’information mais aussi en prend, et qui est en contact avec l’utilisateur), alors cette téléportation virtuelle peut se traduire dans le monde réel par une force brusque qui peut déconcerter l’utilisateur. De plus, comme les dispositifs haptiques sont actifs, des phénomènes de résonances peuvent tout à fait apparaitre, du fait que l’utilisateur va réagir aux réactions de l’environnement, qui lui même va à nouveau réagir etc… Il faut donc des algorithmes spécialisés afin d’éviter cela. De plus, les dispositifs haptiques requiert une fréquence de mise à jour de 1000 Hz (c’est à dire toute les millisecondes), et comme la réalité virtuelle doit être temps réel, cela pose de grosses contraintes sur les algorithmes employés afin de réaliser la détection de collision et les calculs physiques.

Logos

Voici les logos du CNRS (sans texte) et du laboratoire IBISC en vectoriel et en PNG haute définition.

logo isibc large

logo cnrs large