Une caméra orientée vers le haut du collier surveille le dessous du menton de l’utilisateur.
Si vous vous trouvez dans une réunion d’affaires ou dans une bibliothèque tranquille, il ne serait pas vraiment approprié que vous lâchiez soudainement « Siri, vérifie tes e-mails ». C’est là qu’intervient le collier Speechin, qui reconnaît la parole silencieuse.
Ce dispositif expérimental est mis au point par le professeur adjoint Cheng Zhang et le doctorant Ruidong Zhang de l’université Cornell. Il s’appuie sur le collier NeckFace, dévoilé par Cheng Zhang l’année dernière, qui surveillait les expressions faciales de la personne qui le portait.
Outre un microprocesseur, une batterie et un module Bluetooth, Speechin est équipé d’une caméra infrarouge orientée vers le haut qui prend des images du dessous du menton de la personne qui le porte. Il est maintenu dans cette orientation par un ensemble d' »ailes » qui s’étendent de chaque côté, ainsi que par une pièce de monnaie qui sert de poids sur sa partie inférieure. Pour des raisons de confidentialité, il ne pointe pas directement vers le visage de l’utilisateur.
Grâce à des algorithmes basés sur l’apprentissage automatique, l’appareil est capable de déterminer les commandes que son utilisateur prononce silencieusement, en fonction des mouvements de son menton. Il peut ensuite relayer ces commandes à un smartphone couplé.
Le système a d’abord été entraîné en surveillant les mouvements du menton de 20 volontaires pendant qu’ils prononçaient silencieusement des mots et des phrases connus – 10 de ces personnes parlaient anglais, tandis que les 10 autres parlaient mandarin. Lors de tests ultérieurs, les participants ont prononcé à voix basse 54 commandes courantes en anglais, ainsi que 44 mots et phrases en mandarin.
Le collier s’est avéré précis à 90,5 et 91,6 % dans la reconnaissance de l’anglais et du mandarin, respectivement. Ces chiffres ont baissé de manière significative lorsque les volontaires ont utilisé l’appareil en marchant, car leur style de marche individuel faisait bouger leur tête de manière imprévisible.
On espère qu’une fois développée, cette technologie pourra être utilisée non seulement dans des environnements où les gens doivent rester silencieux, mais aussi dans des environnements bruyants où les smartphones sont incapables d’entendre leurs utilisateurs. Le collier Speechin pourrait également être utilisé par les personnes qui n’ont pas la parole.
https://news.cornell.edu/stories/2022/02/smart-necklace-recognizes-english-mandarin-commands
