Derrière cet apparent paradoxe - comment une réalité pourrait-elle être virtuelle? - se trouve un domaine extrêmement puissant en informatique. La réalité virtuelle permet de simuler, à l'intérieur d'un ordinateur, un monde virtuel, mais qui obéirait à des lois similaires à celles du monde réel (par exemple, la gravité). Un des points clés pour classer un programme dans la réalité virtuelle et non pas dans la simulation par ordinateur est l'interactivité. Une réalité virtuelle doit interagir avec l'utilisateur, lui permettant par exemple de se mouvoir à l'intérieur du monde. C'est cette interactivité qui va imposer des contraintes fortes sur la partie informatique et matérielle. En effet, il faut alors disposer du temps réel, où une seconde de temps écoulée dans le monde réel équivaut à une seconde dans le monde virtuel (il faut que l'ordinateur calcule ce qui se passe pendant un temps x en moins de temps (ou égal) que x). En effet, si ce n'est pas le cas, il va se produire un décalage, et fatalement ce décalage sera visible ou se fera sentir au niveau des interfaces entre le monde virtuel et le monde réel (écran, enceintes, dispositif haptique...). Le temps réel est parfois difficile à atteindre si l'on ajoute d'autres contraintes comme la fidélité.

Différence de réalisme
La réalité virtuelle est omniprésente aujourd'hui, en effet les jeux vidéos basés sur cette techniques sont de plus en plus nombreux à proposer des mondes ultra-réalistes dans lesquels le joueur évolue. Toutefois, dans ces jeux, souvent le réalisme "physique" (ie. les objets agissent comme ils agiraient dans le monde réel) est abandonné au profit d'un réalisme "perçu" (ie. les objets ont "l'air" de bien se comporter). Un exemple de cette différence est illustré ci-contre. Une réalité virtuelle pourrait décider de simuler le comportement d'une balle sur une table en déclarant que si la balle passe "en dessous" de table, on la contraint au dessus. Mais cette simulation ne permettra pas de simuler un roulement (2B) ou un rebondissement (2A). A contrario, une réalité virtuelle qui implémentera les équations classiques des chocs et des contacts aura de de manière naturel ce comportement qui émergera. Ici, on aurait les propriétés de balles comme son élasticité et son poids, la rugosité de la table, qui définiraient comment la balle réagirait à un choc avec elle. Suivant la vitesse initiale, la balle rebondira ou roulera.

Interaction multimodale
L'interaction multimodale consiste à réunir les différentes modalités (sens) en une expérience unique, pour une immersion totale dans la réalité virtuelle. Les différents sens considérés ici sont la vue, l'ouïe, le gout et l'odorat ainsi que le toucher. Il se trouve que la vue et l'ouïe sont des domaines maintenant bien maitrisés, à contrario le gout et l'odorat peinent à émerger, sans doute pour des questions de marché qui resterait à définir en dehors des marchés de niches. De part son aspect unique, le toucher intéresse de plus en plus de chercheurs et d'industriels. L'interaction multimodale va donc consister en général de la combinaison vue, ouïe, et toucher. Bien entendu, il est possible de rajouter d'autres sensations. La plupart du temps, on cherche en même temps à immerger le plus possible l'utilisateur dans la réalité virtuelle multimodale, on va donc utiliser des dispositifs les plus exhaustifs possibles. Pour la partie visuelle, cela passe par l'utilisation de caves par exemples, qui sont des grandes pièces dans lesquelles une image est projetée sur chacun des murs en 3D (cela est possible grâce aux techniques de polarisation de la lumière). Pour le son, des ensembles hautes fidélité restituant un son 3D sont disposés tout autour de la scène).
La réalité virtuelle, si elle n'est interfacée qu'avec des dispositifs passifs (écrans, enceintes...), peut se permettre certaines approximations, bien qu'inexactes, portant peu à conséquence dans la plupart des cas. Un exemple de cela pourrait être un objet qui serait mal placé dans la scène virtuelle, avec une de ses parties étant en collision avec un mur. La réalité virtuelle, afin de remédier à ce problème, va "téléporter" l'objet en question à un emplacement qui relâche la contrainte. Sur le plan visuel, cela peut tout à fait passer inaperçu, et si cela se voit, cela ne porte pas forcément à conséquence. Par contre, si la réalité virtuelle est mise en relation avec l'utilisateur par le biais d'un dispositif haptique (qui non seulement renvoie de l'information mais aussi en prend, et qui est en contact avec l'utilisateur), alors cette téléportation virtuelle peut se traduire dans le monde réel par une force brusque qui peut déconcerter l'utilisateur. De plus, comme les dispositifs haptiques sont actifs, des phénomènes de résonances peuvent tout à fait apparaitre, du fait que l'utilisateur va réagir aux réactions de l'environnement, qui lui même va à nouveau réagir etc... Il faut donc des algorithmes spécialisés afin d'éviter cela. De plus, les dispositifs haptiques requiert une fréquence de mise à jour de 1000 Hz (c'est à dire toute les millisecondes), et comme la réalité virtuelle doit être temps réel, cela pose de grosses contraintes sur les algorithmes employés afin de réaliser la détection de collision et les calculs physiques.