Comment utiliser IMAGE ?

Aperçu, commandes, installation et matériel

Pour utiliser IMAGE, installez l'extension dans votre navigateur web. Un nouvel élément de menu contextuel "Obtenir un rendu IMAGE" apparaîtra lorsque vous ouvrirez un menu contextuel (clic droit, ou équivalent clavier pour votre système d'exploitation) sur des graphiques, et un bouton intitulé "Obtenir un rendu IMAGE" apparaîtra sur les cartes Google intégrées. Ces deux fonctionnalités vous permettront de choisir un graphique spécifique pour lequel vous souhaitez bénéficier d'une expérience plus riche. En sélectionnant "Obtenir un rendu d'IMAGE", vous enverrez le graphique au serveur IMAGE. Le serveur IMAGE renvoie alors une ou plusieurs interprétations qui vous sont présentées soit par le biais de l'audio, du texte ou de l'haptique. Comme le graphique est envoyé à un serveur, veillez à ne jamais utiliser IMAGE sur des graphiques susceptibles de contenir des informations sensibles ou personnelles.

Pour une meilleure expérience d'écoute des rendus, veuillez utiliser des écouteurs stéréo. Additionnellement, si vous le souhaitez, vous pouvez utiliser des dispositifs haptiques avec IMAGE. Il s'agit d'un travail en cours, absolument non obligatoire, mais améliorera l'expérience! Vous pouvez utiliser soit le Haply 2diy, soit un Dot Pad. Pour une explication plus approfondie de ces appareils, consultez notre page 'Technologie'.


Interpréter les rendus

Photos

IMAGE interprète les photos comme étant composées de deux grandes classes : la première est constituée de régions, la deuxième de choses et de personnes.

Régions

Les régions sont de larges zones de photos composées d'objets similaires, comme des arbres dans une forêt, ou de grandes choses, comme un mur ou un sol. Elles vous donnent une idée de l'endroit où se trouvent les plus grands composants de la photo par rapport aux autres éléments du graphique, de la forme approximative et de l'étendue spatiale.

Voici à quoi ressemblent trois régions ensemble:

Pour comprendre ce que vous entendez ou ressentez, imaginez qu'en utilisant le son du bourdonnement, vous tendez votre bras devant vous pour sentir le bord de la région, et que vous tracez les contours du bord dans le sens des aiguilles d'une montre, de gauche à droite, la hauteur changeant au fur et à mesure qu'elle descend et monte.

Les objets et les gens

Les objets et les personnes sont détectés par nos programmes de détection d'objets. Les objets englobent généralement un large éventail d'objets, tandis que les personnes sont des êtres humains. Ils seront généralement regroupés.

Voici un exemple d'objets et de personnes:

Il y avait deux groupes de choses différentes, ainsi que des personnes identifiées dans ce graphique, et vous auriez dû entendre leurs emplacements relatifs dans la scène sous forme de bruits d'éclatements.

Essayez-le: Un ours dans les bois

A black bear in a forest.

Pour exécuter IMAGE:

  1. Utilisez la touche tab pour naviguer vers le graphique.
  2. De la même manière que vous ouvrez un menu contextuel sur un lien pour l'ajouter à vos favoris, ouvrez un menu contextuel sur le graphique.
  3. Sélectionnez Obtenir le rendu d'IMAGE. Vous serez informé de l'envoi du graphique, du traitement des données et de l'ouverture de la fenêtre de rendu.
  4. Après quelques secondes, une fenêtre pop-up apparaîtra avec des boutons intitulés "Interprétation" suivis d'un numéro et d'une description. Cliquez sur les boutons pour obtenir des représentations textuelles ou audio du graphique
  5. Vous pouvez lire le rendu en appuyant sur le bouton "Play", ou vous pouvez sélectionner la partie du rendu que vous souhaitez écouter à l'aide du menu déroulant.

Essayez-le : Une intersection encombré

A street level view of downtown Toronto, at the intersection of Yonge and Queen Streets.

Suivez les mêmes étapes que ci-dessus sur une photo plus complexe. Essayez d'avoir une idée de l'endroit où se trouvent tous les éléments de la photo.

Cartes

MAGE utilise des cartes intégrées de Google Maps pour créer des rendus de type point d'intérêt. Si vous connaissez le projet Autour du Shared Reality Lab, ce projet est similaire, mais diffère à plusieurs points.

Points d'intérêt

Si la carte Google Map intégrée comporte une latitude et une longitude, vous pourrez entendre les cartes avec un rendu de type "points d'intérêt". Imaginez que vous vous trouvez à l'endroit indiqué par la latitude et la longitude et que vous êtes orienté vers le nord. Vous entendrez un petit tintement dans une direction relative au nord, suivi du nom d'un lieu. Le volume du jingle indique la proximité du lieu : plus fort s'il est proche, plus faible s'il est éloigné.

Voici 5 points d'intérêt centrés autour d'un lieu touristique populaire de Toronto, en Ontario. Deux d'entre eux sont à droite, un est derrière, et les deux autres sont à gauche.

Essayez-le: Le musée Royal Tyrell à Drumheller, Alberta.

Voici comment obtenir l'expérience des points d'intérêt pour une carte Google intégrée.

  1. Utilisez la touche Tab pour accéder à la carte intégrée.
  2. Après la carte intégrée, il existe un certain nombre de liens que vous pouvez parcourir à l'aide des onglets. Continuez à naviguer jusqu'à ce que vous trouviez un bouton intitulé "Get IMAGE Map Rendering".
  3. Sélectionnez le bouton "Get IMAGE Map Rendering".
  4. Après quelques secondes, une fenêtre pop-up apparaît avec des boutons intitulés "Interprétation" suivis d'un numéro et d'une description. Cliquez sur les boutons pour obtenir une représentation audio des points d'intérêt autour du centre de la carte.
  5. Vous pouvez écouter le rendu en appuyant sur le bouton "Play".

Vous entendrez les points d'intérêt tourner autour de votre tête comme si vous vous teniez face au nord de la carte.

Graphiques

IMAGE peut interpréter des graphiques et des diagrammes réalisés avec Highcharts.

Graphiques linéaires

Actuellement, IMAGE peut transformer des graphiques linéaires avec une seule variable en audio spatialisé. Vous entendrez le titre du graphique, suivi du site Web sur lequel il se trouve et de la variable mesurée. Vous entendrez ensuite un bruit allant de gauche à droite, du début à la fin de l'axe des abscisses. La hauteur du bruit augmente lorsque la valeur qu'il représente augmente et diminue lorsque la valeur diminue.

Voici un exemple de ce que vous allez entendre.


Essayez de naviguer vers un graphique intégré à Highcharts. Nous avons eu beaucoup de chance avec ceux d'Etherscan.

  1. Tab pour naviguer vers le graphique.
  2. Après le graphique, il y a un certain nombre de liens que vous pouvez parcourir. Continuez à naviguer jusqu'à ce que vous trouviez un bouton intitulé "Get IMAGE Chart Rendering".
  3. Sélectionnez le bouton "Get IMAGE Map Rendering".
  4. Après quelques secondes, une fenêtre pop-up apparaît avec des boutons intitulés "Interprétation" suivis d'un numéro et d'une description. Cliquez sur les boutons pour obtenir une représentation audio de la modification de la valeur
  5. Vous pouvez lire le rendu en appuyant sur le bouton "Play".

Remarquez le changement de tonalité au fur et à mesure que la valeur augmente et diminue.