Facebook fait un pas vers les aveugles et les malvoyants. Ce mardi, le réseau de Mark Zuckerberg lance une nouvelle fonctionnalité qui utilise des avancées de l’intelligence artificielle, notamment en termes de reconnaissance d’objets, pour décrire le contenu de photos publiées sur son réseau.

La technologie est disponible uniquement dans un premier temps sur les appareils mobiles d’Apple (iOS) et pour les utilisateurs anglophones de cinq marchés spécifiques (Etats-Unis, Royaume-Uni, Canada, Australie, Nouvelle-Zélande). L’objectif est toutefois de l’étendre rapidement à d’autres langues et à d’autres plateformes.

Une description audio de ce qui s’affiche

La nouvelle fonctionnalité, baptisée « automatic alternative text », fonctionne avec les logiciels utilisés par les aveugles pour obtenir une description audio de ce qui s’affiche sur leur écran.

Dans le cas d’une image publiée sur Facebook, ce type de logiciel se contentait toutefois généralement jusqu’ici de dire qu’il s’agissait d’une photo avec le nom de son auteur, et de lire le cas échéant les commentaires écrits en dessous, ce qui ne donnait pas forcément d’indication sur son contenu.

La nouvelle fonctionnalité ambitionne d’enrichir cette description en fournissant à l’utilisateur quelques mots sur ce qui a pu être automatiquement reconnu dans l’image. Lors d’une démonstration pour des journalistes, le système indiquait par exemple qu’une photo pouvait montrer du ciel et un arbre, une pizza, ou trois personnes qui sourient en extérieur.

Une centaine d’éléments reconnus pour le moment

Cela reste une description partielle du contenu de l’image, avec pour l’instant une centaine d’éléments reconnus automatiquement, qu’il s’agisse de modes de transport (voiture, bateau, avion, vélo…), d’éléments naturels (extérieur, montagne, arbre, océan, soleil…), de types de sports (tennis, natation, golf…) ou de nourriture (pizza, sushi, café, dessert) ou encore de mots aidant à décrire l’apparence d’une personne (bébé, lunettes, barbe, souriant…).

Le choix des éléments de cette liste, qui a vocation à s’allonger au fil du temps, repose sur la fréquence d’apparition des choses en question dans les photos publiées sur Facebook, mais aussi sur la capacité du système à les reconnaître de manière fiable, ont expliqué aux journalistes Jeff Wieland, un des membres de l’équipe s’occupant des questions d’accessibilité chez Facebook, et Matt King, un ingénieur du groupe qui a perdu la vue quand il était à l’université.

Dans le futur, le système pourrait être développé pour fournir des descriptions plus complètes, par exemple en précisant les activités auxquelles se livrent les personnes sur une photo, ou peut-être leur identité, ont-ils détaillé.