Faciliter l'apprentissage des langues des personnes sourdes

Un avatar et un robot social interagissent avec des bébés sourds pour faciliter l'apprentissage du langage.

Utilisation de la capacité de détection avancée et multimodale pour faciliter une tâche complexe.

Le système RAVE est conçu comme un agent double qui utilise un robot physique et un humain virtuel pour engager des nourrissons sourds âgés de 6 à 12 mois dans des interactions linguistiques. Le système a été renforcé par un système de perception capable d'estimer l'attention et l'engagement du nourrisson grâce à l'imagerie thermique et au suivi des yeux. RAVE a été conçu et vécu par une population unique (les nourrissons sourds) au cours de trois années d'observation et de l'élaboration de trois études de cas. Ce système a réussi à solliciter l'attention du nourrisson, à attirer l'attention sur le contenu linguistique et à maintenir l'engagement du nourrisson pendant des durées appropriées à son développement. Des cas ont également été observés de nourrissons copiant le comportement du robot, de nourrissons produisant des signes affichés par l'avatar et de nourrissons produisant des signes qu'ils avaient observés que l'humain virtuel exécutait sur l'agent robot non-signataire. Ces expériences initiales laissent espérer qu'une exposition à plus long terme à un système basé sur ce travail pourrait avoir un impact sur l'apprentissage à long terme dans cette population unique.