Le projet IMAGE

Si vous êtes aveugle ou malvoyant, avez-vous déjà voulu « entendre » une photographie ou un diagramme en secteurs, plutôt que simplement lire sa description ?
Le projet IMAGE (Internet Multimodal Access to Graphical Exploration) ajoute des contrôles aux graphiques dans votre navigateur pour que vous puissiez l’activer sur des photographies, des cartes ou certains graphiques, sur n’importe quelle page web.
Vous entendrez ensuite une expérience qui combine voix et sons spatialisés autour de votre tête, indiquant où se trouvent les éléments, leur taille ou d’autres informations selon le graphique.
Nous travaillons aussi sur des expériences tactiles à l’aide de la tablette braille à plots Humanware Monarch, mais ces expériences IMAGE ne sont pas encore disponibles.

Pour essayer IMAGE dès maintenant, consultez le tutoriel ou installez l’extension de navigateur depuis la page Chrome Web Store du projet IMAGE.

Notre approche

Nous combinons l’audio enrichi (sonification) et le toucher (haptique) pour offrir une expérience plus rapide et plus nuancée des graphiques sur le web.
Par exemple, grâce à l’audio spatialisé — où l’utilisateur perçoit le son se déplacer autour de lui — il est possible de transmettre rapidement les relations spatiales entre les objets d’une scène, sans devoir lire de longues descriptions.
De plus, plutôt que de simples expériences auditives passives, un dispositif haptique optionnel permet à l’utilisateur de ressentir physiquement les régions d’un paysage, les objets d’une photo ou les liens entre les éléments d’un schéma.
Exemples de rendus générés par l’extension IMAGE pour Google Chrome.
Exemples de rendus générés par l’extension cliente IMAGE pour Google Chrome.

Mobilisation de la communauté

Les partenaires Gateway Navigation CCC Ltd et le Conseil canadien des aveugles (CCA), une organisation de consommateurs canadiens aveugles, nous aident à adapter notre système aux besoins de la communauté.
Nous menons également des études avec des enseignants et des élèves utilisant la tablette braille Monarch.
Nous accueillons volontiers les retours : n’hésitez pas à nous écrire pour toute question, suggestion ou commentaire !
Tablette braille Monarch
Tablette braille Monarch

Développeurs

IMAGE est modulaire (microservices Docker) et extensible.
Vous pouvez créer vos propres microservices en vous appuyant sur ceux existants, exécuter votre propre serveur IMAGE et l’utiliser en ajoutant son URL dans les options de l’extension.
Le projet est open source, avec des dépôts GitHub pour les composants serveur et l’extension Chrome.

Pour en savoir plus, consultez notre article
IMAGE : An Open-Source, Extensible Framework for Deploying Accessible Audio and Haptic Renderings of Web Graphics
puis le wiki du dépôt IMAGE-server pour les détails techniques.

Nous acceptons les pull requests — veuillez lire notre accord de licence de contributeur.
Si vous souhaitez bâtir un projet sur IMAGE, contactez-nous ! Nous serions ravis de voir chercheurs, développeurs et designers collaborer pour rendre les graphiques web plus accessibles.

Chercheurs

IMAGE est un projet de recherche en cours au Shared Reality Lab de l’Université McGill.
Les thèmes évoluent selon les étudiant·e·s, mais nous visons à :
  • Mener des études utilisateurs sur la meilleure manière de transmettre l’information selon les profils et besoins. Par exemple : peut-on rendre une photo plus compréhensible à une personne aveugle de naissance en la transformant en paysage sonore basé sur la « profondeur » relative des objets ?
  • Optimiser l’apprentissage des techniques de rendu audio spatialisé pour les personnes non familières avec ce type d’interaction.
  • Expérimenter des dispositifs haptiques tels que le Haply 2diy et la tablette Monarch.
  • Créer des outils facilitant la conception d’effets haptiques sans programmation, par exemple via l’apprentissage automatique (Investigating Haptic Co-creation with Reinforcement Learning).
  • Travailler avec les enseignant·e·s et étudiant·e·s pour l’usage de graphiques en classe et la personnalisation des rendus IMAGE.
  • Améliorer la plateforme technique IMAGE pour générer des expériences plus riches, comme décrit dans notre publication citée ci-dessus.
Si vous souhaitez évaluer IMAGE, consultez les README des préprocesseurs du dépôt IMAGE-server pour connaître leur état actuel.

Financement et partenariats

Ce projet est mené par le Shared Reality Lab (SRL) de l’Université McGill, en partenariat stratégique avec Gateway Navigation CCC Ltd et le Conseil canadien des aveugles (CCA).
Nous remercions nos nombreuses sources de financement :

Presse

Conférences et présentations