Berkeley fonde sa philosophie sur un principe qui se décompose en deux parties. La première est la suivante :

Esse est percipi

Ce qui peut se traduire par Etre (au sens d'exister), c'est être perçu. La négation de cette équivalence revient à dire que ce qui n'est pas perçu n'existe pas. Ce qui a valu à Berkeley de nombreuses critiques ou sarcasmes de nombre de ses contemporains qui prirent des exemples du type : si je vois un arbre devant moi alors il existe, mais dès que je tourne la tête, il cesserait donc d'exister... L'absurdité apparente d'une telle assertion tient à la croyance d'un monde existant dans l'absolu, d'une essence des choses qui se manifeste au travers de leur apparence. Berkeley, lui, s'en tient au fait que seules existent les perceptions.

L'objet de ce post n'est pas de prendre parti dans cette opposition de conceptions mais d'illustrer comment le postulat de Berkeley est pertinent dans le cadre des mondes virtuels. Soit donc un univers virtuel du type Second Life. Cet univers est vaste, et comprend par exemple de nombreux arbres. Imaginons que dans cet univers il existe du vent (ou un phénomène s'y apparentant), qui fait donc bouger les feuilles des arbres. Si mon avatar se trouve devant un tel arbre, il est donc normal que je voie ses feuilles bouger. Si maintenant je m'en vais, les feuilles de cet arbre vont-elles continuer de s'agiter ?

Un recyclage d'une conception largement partagée sur le fonctionnement du monde réel nous conduirait à dire que oui (bien que dans aucun des cas nous ne puissions en être témoins puisque nous ne sommes par là...). Cependant continuer de calculer les mouvements des feuilles de cet arbre est extrêmement couteux en ressources de calcul quand personne n'est là pour en profiter. Surtout lorsqu'on multiplie cet arbre en des milliers d'exemplaires...

Une solution pour diminuer ce coût est le recours à une "représentation générative". Le terme est repris d'un échange dans les commentaires suite à un article de Rémi Sussan sur la création d'objets dans mes univers virtuels. Les représentations générative consiste en l'utilisation d'une "graine" à laquelle on applique une suite de règles pour reconstruire un objet à la demande. Par exemple le nombre 33 232 930 569 601 est  égal à l'application à quatre reprise de la règle "monter au carré" à la graine "7". Ainsi le stockage d'une graine et d'un ensemble simple de règles peut se révéler beaucoup plus économique en permettant de reconstruire les objets à la demande que le maintient d'une simulation complexe en permanence.

Dans ce type de mondes générés selon les besoins, ce qui existe est bien ce qui perçu. Et la frontière entre le monde virtuel et monde réel est plus fine qu'on ne s'empresse de s'en convaincre. Il suffira de regarder Matrix ou de songer à ces rêves plus vrais que nature qui nous troublent tant...

Le prochain post sera consacré à la seconde partie du principe de Berkeley qui permettra de faire le lien avec la réalité augementée, et le suivant à la relation entre la doctrine des signes de Berkeley et le web sémantique.

Navigation météorique

Notre espace physique étant à 3 dimensions, nous ne faisons jamais physiquement l'expérience d'un espace à 2 dimensions. Une simplification mentale nous fait cependant concevoir un écran d'ordinateur, une page de livre, un mur, une façade comme un espace 2D.

Une telle surface plane étant baignée dans un espace de dimension 3 il est possible à l'observateur de s'en éloigner ou de s'en rapprocher en évoluant selon la dimension orthogonale à cette surface (je peux coller mon nez au mur ou prendre du recul).

A l'évidence lorsqu'on s'écarte d'une surface, on se permet de l'embrasser du regard plus largement mais on distingue moins bien les détails qui y figurent. Il existe donc un compromis entre la surface observée et la résolution d'observation. Ainsi, si du pied de la tour Montparnasse je m'éloigne, je vais pouvoir (pourvu que je puisse m'éloigner suffisamment) observer la tour dans son ensemble d'un seul regard, i.e. sans avoir à lever la tête. Je ne pourrai cependant plus percevoir les traces de doigts sur les vitres à cette distance.

Il s'agit là du principe mis à l'oeuvre dans la navigation météorique (dont il fut question dans un article précédent sur les espaces contigus et continus) : s'éloigner pour changer d'échelle, et offrir une perspective plus large et des déplacements plus rapides.

Jeux vidéos 2D

La perception des détails n'est par ailleurs pas identique pour l'ensemble d'une surface observée : si la résolution est inversement proportionnelle à la distance d'observation, ce qui est loin de moi m'apparait moins clairement. Ainsi regardant la tour Montparnasse, et étant moi même au sol, certains détails qui seront observable sur la partie inférieure de la tour (les montants des fenêtres par exemple) ne le seront pas pour le sommet (qui est beaucoup plus loin de moi, cf théorème de Pythagore...). Ce principe ne se vérifie pas seulement lorsqu'on observe un surface 2D. La résolution est inversement proportionnelle à la profondeur de champ.

Voilà quelques années encore la plupart des jeux se jouaient en 2D et à la 1ère personne. Pour rendre dans le monde 2D les limites de la vision humaine, ces jeux ont recréé un "flou" sous forme d'un assombrissement centré sur le ou les avatars incarnés par le joueur (voir screenshot de Civilization 3 ci-dessous). Puisque nous ne sommes pas capables, nous créatures 3D, de nous projeter dans un monde en 2D, les conditions d'une projection sont artificiellement recréées en nous empêchant de voir ce que nous pourrions voir du fait de notre distance à l'écran mais que nous ne pourrions pas voir si nous étions à l'intérieur du monde rendu.

Champ de vision et cloisonnement

Pour les jeux à la première personne le champs de vision ainsi recréé est de forme circulaire. Sauf à l'intérieur de bâtiments où les murs restreignent la profondeur de champ. Ainsi le joueur devant l'écran pourrait voir ce qu'il y a derrière le mur, mais l'avatar ne le peut pas. La projection du champ de vision se fait donc en rendant sa dégradation avec la distance mais aussi son possible cloisonnement...

Le cloisonnement est (pour nous habitant un monde en 3D) propre à un espace 3D. Si on met de côté la projection dans un espace 2D dont il vient d'être question, il est impossible de construire un "mur" dans un espace 2D. Le cloisonnement conduit à passer de la notion d'espace à la notion de "site" (place en anglais chez Dourish). Le cloisonnement d'un appartement permet d'en séparer les différentes pièces. Il permet une spécialisation des sites ainsi créés. Et de cette spécialisation découlent des conventions et des schémas mentaux qui conditionnent notre action. Si à un diner chez des amis je cherche un couteau, je commencerais par chercher la cuisine.

Cet exemple peut sembler trivial, mais si sur un ordinateur qui n'est pas le mien je recherche un document particulier, par où vais-je commencer à chercher ? La spécialisation permet donc en premier lieu de diviser l'information entre les différents sites et ainsi de réduire la charge informationnelle en chacun d'eux. En second lieu, la spécialisation des espaces permet la mise en place de routines qui réduisent la charge cognitive des tâches à effectuer : prenez en exemple ces matin où, de votre lit, vous vous rendez à votre douche presque mécaniquement, puis avalez votre petit-déjeuner et vous retrouvez au métro sans même avoir l'impression d'avoir réalisé une seule opération consciente.

Angles morts, point de vue et immersion

Le cloisonnement est reproductible en 2D par projection au travers d'un avatar. Hors des jeux, cette technique n'a, me semble-t-il, jamais été utilisée dans des interfaces. Elle mériterait qu'on s'y intéresse...

Le cloisonnement est associé à la définition du champ de vision. De la même manière l'angle mort est associé à la définition du point de vue. Je ne peux voir les deux profils d'un même visage en même temps (sauf dans les peintures de Picasso). Il faudrait disposer d'une 4e dimension, celle du recul, pour pouvoir embrasser un objet 3D dans son ensemble (4e dimension difficile à se représenter, j'en conviens). Les angles mort au sens strict sont les zones du champs de vision obstrués par des objets (le cloisonnement n'est alors rien d'autre que la définition d'angles morts). Ici l'angle mort peut aussi prendre le sens de "face cachée", c'est-à-dire la portion d'un objet appartenant à la zone du champ de vision que lui-même obstrue.

En changeant de position, les angles mort changent aussi. Chaque point de vue est unique. Cette variation en fonction de la position est extrêmement difficile à recréer par projection dans un univers 2D, d'où le qualificatif d'immersif accolé aux mondes synthétiques 3D : la sensation d'immersion liée au point de vue ne peut être recréé sans la troisième dimension.

Conclusion : De la 3D à la notion de chemin

Dans ce post j'ai utilisé les notions de champ de vision et de point de vue pour distinguer espaces 2D et espaces 3D. Des différences qui ont été relevées il faudrait ensuite passer aux conséquences sur nos pratiques. Celles-ci sont cependant, en général, le résultat d'un parcours, d'un succession d'actions prenant place dans les mondes physiques et/ou digitaux. Il existe donc une forte connexion entre les pratiques et les déplacements topographiques. Nous entrons là dans la sphère du design d'interaction. L'étape suivante est de s'interroger sur ce en quoi les chemins (au sens de parcours) dans des espaces 3D diffèrent des chemins dans les espaces 2D. Par ailleurs il pourrait être fructueux de confronter les notions de champ de vision et de point de vue aux espaces contigu (comme le web) alors qu'elles semblent consubstantielles aux espaces continus.

Vidéo de présentation de Seadragon

Des oiseaux de mauvaise augure ne manquent pas de poser les questions du type : et comment je fais pour retrouver une photo en particulier ? etc... J'ai confiance dans le développement de ce type de navigation car, je le disais dans un article sur différentes interfaces innovantes à propos je crois l'humain plus à même de lire une carte qu'un arbre (hiérarchique), et je crois dans le fonctionnement stygmergique (qui se concrétise dans ce cas par un déplacement naturel et continu par association d'idée, d'une idée générale à une idée particulière) qu'une telle interface rend plus accessible.

Après cette forme de navigation et d'organisation de l'information n'est pas amenée à remplacer toutes les autres. Elles sauront trouver une complémentarité. Encore une fois ce seront les pratiques qui en émergent qui seront les juges de paix.

Un espace contigu est un espace discret, et se représente par graphe/réseau.

Un espace contigu est discret, un espace continu dispose d'une étendue. L'humain évolue dans un espace continu. Tout ce qui est réel et physiquement (par opposition à conceptuellement) accessible à l'humain dispose d'une étendue.

Les mondes digitaux continus recréent un sentiment d'étendue en utilisant des briques (pixels) de taille suffisamment réduite pour dissimuler la nature discrète des espaces numériques.

Définition de l'adresse

La notion d'adresse est aisée à définir dans le cas d'un espace contigu de par son caractère discret : il suffit de numéroter (même arbitrairement) les noeuds du réseau.

Bien qu'on puisse penser que l'adresse postale est une adresse définie dans un espace continu, elle est en fait une adresse dans un espace contigu superposé à un espace continu (nesté aurai-je dit dans un post précédent).

Il est cependant prématuré de réduire une adresse "continue" à une adresse "contiguë" suite à une discrétisation d'un espace continu. La définition d'adresse donnée antérieurement est à revoir...

Différents types de navigation

La navigation est différente entre un espace contigu et un espace continu. La navigation dans un espace continu est une navigation différentielle ("Qui procède par différences infiniment petites", Trésor). La navigation dans un espace contigu peut elle être qualifiée de navigation proximale (de proche en proche) : on s'y déplace d'un noeud à l'un des noeuds voisins.

La superposition d'un espace contigu à un espace continu tend à déformer ce dernier : deux points éloignés peuvent se trouver être deux noeuds voisins de l'espace contigu. La possibilité de se déplacer le long de ce lien correspond à ce qu'on appelle la télétransportation. S'il s'agit seulement d'information, on retrouve la métaphore du "village-monde" popularisée avec l'émergence des réseaux de télécommunication.

Cette superposition replie le monde continu sur lui-même.

Les espaces continus admettent une autre forme de navigation que j'appelle navigation météorique (du grec "s'élever"). Elle consiste premièrement à s'écarter de l'objet de la navigation puis à s'en rapprocher après avoir choisi le point de destination. Un exemple en serait d'effectuer un zoom arrière sur une carte Mappy puis un recentrage et enfin un zoom avant.

Les contraintes physiques limitent l'utilisation d'une telle navigation dans le monde réel, mais les espaces digitaux s'y prêtent particulièrement bien. La lévitation dans les mondes 3D ou le zoom dans les interfaces 2D l'autorisent. Un billet sur quelques interfaces innovantes donnait l'exemple de l'interface Zumobi qui en fait usage. Je pense que le concept pourrait être poussé plus loin...

La navigation météorique peut être vue comme un intermédiaire entre navigation différentielle et navigation proximale : elle est essentiellement une navigation différentielle mais permet de se déplacer d'un point à un autre sans franchir l'espace qui les sépare.

Le type de navigation employée influe nécessairement sur la représentation que l'utilisateur se fait de l'espace dans lequel il évolue. Dans la lignée de l'analyse des représentations subjectives des notions d'espace et de site (traduction de place) que fait Paul Dourish, il serait intéressant d'analyser le rôle de la navigation dans ces représentations , ainsi que de celle du chemin.

La réalisation d'une tâche est le résultat d'une intention ("je veux réaliser telle tâche maintenant"). Il arrive de réaliser une tâche en première intention mais c'est loin d'être toujours le cas. On distingue alors 3 modes d'initiation de la tâche en "seconde intention".

1. Initiation procédurale : lorsque la tâche n'est pas réalisée en première intention, il en est pris note : en mémoire, dans un calepin, ou sur tout autre support, y compris IHM. La réalisation de la tâche nécessite alors une nouvelle intention qui est une intention de consultation du support où a été portée la note. La consultation du support, et de la note, permet de replacer la tâche dans le champ de l'attention. Et cela se concrétise par l'intention de réaliser la tâche, si le moment est approprié.
   L'intention de consultation de ses supports de mémorisation est généralement une habitude, voire une routine. Cette routine de consultation est initiée elle-même soit par une autre routine ("à la fin de chaque tâche je consulte ma liste") soit par un évènement particulier ("je pars pour un mois" entraine la consultation d'une check list mentale " fermer l'eau, le gaz, l'électricité, les volets,...").
2. Initiation automatique : l'aspect procédural est alors délégué. Il peut s'agir de votre secrétaire, d'une alarme pré-réglée, d'un mail automatiquement envoyé qui porte à votre attention la tâche à réaliser.
3. Initiation indiciée : c'est un indice que vous avez perçu de manière involontaire (une croix au stylo sur le dos de la main, la photo de votre mari/femme sur le bureau,...) qui soit vous remet en mémoire la tâche elle-même soit déclenche l'intention d'interroger vos supports de mémorisation.

L'initiation indiciée a pour avantage un overhead limité et présente donc une plus grande flexibilité. L'initiation procédurale nécessite par exemple la mémorisation d'une note. La mémoire humaine étant ce qu'elle est, on s'oriente plutôt vers des supports physiques ou digitaux. L'overhead est alors constitué du coût de manipulation du support, du temps de rédaction de la note, etc... L'overhead comprend aussi le coût cognitif d'avoir à se souvenir de consulter ses notes. Ce coût est éliminé dans le cas d'une initiation automatique mais au prix d'un accroissement de la complexité de la note : il faut préciser quand l'alarme doit être donné, par quel moye, avec quelle fréquence elle doit être répétée, etc...

L'initiation indiciée permet de réduire cet overhead en se basant sur des indices qui sont des structures légères : une image, un son, etc... Un bon exemple d'initiation indiciée est le post-it. Souvent même il n'est pas nécessaire de le lire : on sait ce qui y figure.

Je vois dans cette initiation indiciée l'explication à la fameuse question : pourquoi certains préfèrent-ils avoir un bureau en désordre ? En effet lorsque tous les éléments et documents sont bien rangés ils ne fournissent aucun indice de leur utilité/fonction. Un bureau mal rangé optimise la surface du bureau pour afficher un maximum d'indices. Par extension une interface d'ordinateur classique avec une architecture d'information sous forme d'arbre hiérarchique est un très mauvais pourvoyeur d'indices. L'interface Bumptop, dont il fut question dans un billet recensant des interfaces innovantes, permet de retrouver la métaphore du bureau mal rangé avec des documents que l'on peut éparpiller, superposer de manière irrégulière, afficher au mur, dont on peut réduire ou augmenter la taille.

De mon point de vue l'indiciation est une des voies que doivent explorer les mondes virtuels. J'aurai l'occasion d'y revenir mais je pense que leurs spécificités les rendent particulièrement indiqués pour l'initiation indiciée des tâches.

Ensuite le Virtual Worlds Management Industry Forecast, qui regroupe les prévisions/attentes de nombreux acteurs du domaine des mondes virtuels. Ci-dessous j'ai regroupé autour de 4 thèmes quelques phrases qui m'ont semblé pertinentes :

Spécificité des mondes virtuels : les mondes virtuels présentent des caractéristiques qui les rendent différents de l'internet actuel. J'ai déjà écrit sur le sujet (sur le web3D) et serai amené à en reparler rapidement

Third challenge will be to really understand what makes vitual worlds different from other forms of media. (Matt Bostwick, MTV Music Group)

L'associationnisme est une théorie qui postule qu'à tout moment notre état mental est déterminé par nos états mentaux précédents et nos sensations. Ce système philosophique implique une forme de déterminisme : nos actions et nos décisions sont rendues nécessaires par nos états mentaux qui eux-mêmes sont la conséquence déterminée des états précédents.

Bergson réfute que cette théorie puisse s'appliquer à toutes les décisions. Il reconnait cependant que nombre de nos actes sont conditionnés (Essai sur les données immédiates de la conscience) :

Sans rentrer dans un débat sur les ressorts de l'intelligence humaine, il existe des preuves empiriques de mécanismes qui, parce qu'ils sont inconscients, remettent en cause au moins en partie le libre arbitre.

Biais de résonnement

Je donne ci-après deux exemples de processus inconscients qui produisent des biais dans nos résonnements sans que nous puissions nous en apercevoir. Par certains aspects nous sommes déterminés. Le premier exemple est tiré de Le nouvel inconscient de Lionel Naccache :

Cette construction du mécanisme visuel permet d'expliquer des phénomènes tels que le blindsight (vision inconsciente lorsque le cortex visuel est détruit) ou les messages subliminaux (image exposée de manière trop courte pour être vue consciemment).

L'exemple de la vision prouve que seulement une partie de nos sensations sont objectivées, les autres étant assimilées de manière subjective. Ces sensations sont ensuite traitées par le cerveau, et là, de nouveaux déterminismes se font jour : il existe des filtres culturels qui font qu'une même scène est mémorisée différemment par des personnes de cultures. Umberto Eco souligne en particulier l'importance de la langue parlée (Le Signe) :

Et Eco de prendre l'exemple de la neige pour laquelle le français ne possède qu'un mot quand les Esquimaux en ont seize. Ainsi là où nous rappellerions une étendue blanche, d'autres se souviendraient de bien plus. Parce que leur langage le leur permet.

Rapport avec les IHM

Les IHM font appel aujourd'hui de manière intensive à l'attention et à l'intention conscientes, alors qu'une part importante de notre activité intellectuelle est inconsciente et que nous fonctionnons largement sur un modèle stimulus-réponse. C'est à mon avis un des enjeux des futures IHM et du design d'interaction que de s'adresser à l'attention périphérique (que j'ai à d'autres occasions appelée attention latérale) afin de déclencher nos actions sur un mode stimulus-réponse qui soit beaucoup moins consommateur de ressources cognitives.

Sans envisager de programmer l'inconscient de l'individu, le recours à l'attention périphériques consiste en la possibilité de disséminer des indices qui, sans s'adresser directement à nous, nous fournissent certaines informations. Ces indices sont moins volumineux que les informations elles-mêmes, mais parce qu'ils leurs sont associés sont de même valeur. La limite à cette indiciation (néologisme, équivalent de cue-ing) est constituée par les différences entre cultures et entre personnes qui font que les réponses à un même indice peuvent différer. Il faudra alors soit personnaliser soit trouver des valeurs communes...

Quelques exemples d'utilisation de l'attention périphérique :

• La mise en tâche de fond illustrée par Stefana Broadbent : certains indices tels qu'un mot, un son, une couleur, conduisent l'utilisateur à ramener une tâche au premier plan, mais ils peuvent aussi être ignorés.
• Certaines personnes se font une croix au stylo sur le dos de la main pour se rappeler qu'elles ont une tâche particulière à effectuer. La vision de cette croix déclenche l'intention de faire et non l'inverse comme dans le cas d'un agenda où l'intention (de me rappeler) précède l'attention.
• Lorsque je prépare mon petit-déjeuner je sors le jus d'orange ou les biscuits en premier suivant que mon regard s'est porté en premier sur le frigo ou sur le placard...

"A terme, la jonction de ces mondes virtuels pourrait constituer le Metaverse, la représentation d’une plateforme Internet dans laquelle les interfaces utilisateurs 2D auront totalement laissé place à un système interactif en trois dimensions."

Mon opposition tient d'une part à ce qu'une telle affirmation fait un amalgame entre deux notions : structure et dimension de l'espace, et d'autre part à ce que l'immersion n'est pas une réponse universelle.

Structure et dimension d'un espace

Pour reprendre la distinction évoquée par Richard Bartle et rapportée par Nicolas Nova, la structure d'un univers virtuel peut être de (au moins ?) deux types : contiguë ou continue.

Un univers contigu est un graphe où la navigation se fait de noeud en noeud en transitant pas les liens. Internet est l'exemple d'un monde contigu.

La dimension d'un espace a un sens lorsque celui-ci est continu. On peut ainsi donner quelques exemples : le jeu vidéo Zelda (comme bien d'autres) était à l'origine en 2D (vue du dessus ou vue en coupe). Un monde comme Habbo est dit 2,5D (vue isométrique) et Second Life est un monde en 3D. On a tendance à parler d'immersion quand il s'agit d'évoluer dans ces mondes continus en 3D.

Enfin pour pimenter un peu les choses, il est possible de remarquer qu'une page internet est actuellement en 2D. Elle constitue donc le noeud d'un monde contigu et dispose cependant d'une dimension.

C'est que chaque noeud contient des données à restituer à l'utilisateur qui évolue lui dans un espace continu (l'espace physique, réel). Ces données ne peuvent nous être rendues intelligibles que dans une représentation continue (de même les graphes ne nous sont accessibles qu'au travers de leurs représentations...). Il y a nestage d'un espace continu au sein du noeud d'un espace contigu.

Croquet est un exemple de monde contigu reliant des espaces continus en 3 dimensions. A plus court terme, on peut replacer les initiatives de Dassault Systèmes autour de 3DVia dans la perspectives de mixer 2D et 3D sur des sites internet "à l'ancienne".

Limites de l'immersion

Lorqu'il est question de dimensionnalité d'un espace il convient donc de préciser s'il s'agit de la dimension de l'espace continu en question, ou s'il s'agit de la dimension des espace nestés dans l'espace contigu en question.

Enfin, je ne suis pas un pourfendeur de la 3D ou des mondes continus, mais l'aveuglement technophile que l'on peut trouver ici ou là nécessite d'affirmer une fois de plus qu'il n'y a pas d'interface universelle. Et que ce sont les pratiques qui, s'accompagnant de contextes physiques et cognitifs particuliers, font la pertinence de telle ou telle interface. Voici quelques exemples des limites de l'immersion :

1. La puissance de l'hyperlien est reconnue. Il est consubstantiel aux mondes contigus.

2. L'immersion est par définition une tâche de premier plan et convient donc mal pour tous les usages ayant tendance à se cumuler en arrière-plan (voir la présentation des travaux de Stefana Broadbent par Nicolas Nova).

3. Si la 2D n'avait pas d'intérêt nos supports d'expression seraient tous en 3D, autrement dit nous serions tous sculpteurs.

4. J'achète mes livres sur un libraire en ligne (en 2D) pour éviter la foule des centres commerciaux, pourquoi irai-je dans SL pour les acheter et être confronté aux mêmes problèmes que dans la réalité : trouver le livre (problème d'indexation) et y accéder (problème d'encombrement dû aux autres individus).