Be My Eyes est le premier assistant visuel numérique fonctionnant avec le nouveau modèle.
La première application intégrant les capacités de reconnaissance d’images du GPT-4 a été décrite comme « changeant la vie » par des utilisateurs malvoyants.
Be My Eyes, une start-up danoise, a appliqué le modèle d’IA à une nouvelle fonctionnalité destinée aux personnes aveugles ou malvoyantes. Baptisé « Virtual Volunteer », l’outil de reconnaissance d’objets peut répondre à des questions sur n’importe quelle image qui lui est envoyée.
Imaginons, par exemple, qu’un utilisateur ait faim. Il lui suffit de photographier un ingrédient et de demander les recettes correspondantes.
S’il préfère manger au restaurant, il peut télécharger l’image d’une carte et obtenir l’itinéraire pour s’y rendre. Une fois sur place, il peut prendre une photo du menu et écouter les options proposées. S’ils veulent ensuite éliminer les calories supplémentaires dans une salle de sport, ils peuvent utiliser l’appareil photo de leur smartphone pour trouver un tapis roulant.
« Si nous nous trouvons actuellement au beau milieu d’un cycle d’engouement pour l’IA, plusieurs bêta-testeurs ont utilisé l’expression « changer la vie » pour décrire le produit », explique Mike Buckley, PDG de By My Eyes.
« Ceci a une chance d’être un changeur de donne en donnant à la communauté des ressources sans précédent pour mieux naviguer dans les environnements physiques, répondre aux besoins quotidiens et acquérir plus d’indépendance ».
Virtual Volunteer bénéficie d’une mise à jour du logiciel d’OpenAI. Contrairement aux itérations précédentes des modèles vantés par l’entreprise, GPT-4 est multimodal, ce qui signifie qu’il peut analyser à la fois des images et du texte en tant qu’entrées.
Be My Eyes a saisi l’occasion de tester cette nouvelle fonctionnalité. Bien que les systèmes de conversion de texte en image ne soient pas nouveaux, la startup n’avait jamais été convaincue par les performances du logiciel.
« Les outils disponibles sur le marché n’étaient pas en mesure de répondre aux nombreux besoins de notre communauté, qu’il s’agisse du trop grand nombre d’erreurs ou de l’impossibilité de converser », explique Mike Buckley.
« La reconnaissance d’images offerte par GPT-4 est supérieure, et les couches analytiques et conversationnelles alimentées par OpenAI augmentent la valeur et l’utilité de manière exponentielle. »
Be My Eyes soutenait auparavant les utilisateurs exclusivement avec des volontaires humains. Selon OpenAI, la nouvelle fonctionnalité peut générer le même niveau de contexte et de compréhension. Mais si l’utilisateur n’obtient pas une bonne réponse ou préfère simplement une connexion humaine, il peut toujours appeler un bénévole.
Be My Eyes
La première version de l’application gratuite a été lancée en 2015, dans le but de créer une vie plus indépendante pour les 253 millions de personnes aveugles ou malvoyantes. Crédit : Be My Eyes
Malgré les premiers résultats prometteurs, Mike Buckley insiste sur le fait que le service gratuit sera déployé avec prudence. Les bêta-testeurs et l’ensemble de la communauté joueront un rôle central dans ce processus.
En fin de compte, Mike Buckley pense que la plateforme offrira aux utilisateurs à la fois un soutien et des opportunités. Be My Eyes aidera aussi bientôt les entreprises à mieux servir leurs clients en donnant la priorité à l’accessibilité.
« On peut affirmer sans risque que la technologie pourrait donner aux personnes aveugles ou malvoyantes non seulement plus de pouvoir, mais aussi une plateforme permettant à la communauté de partager encore plus de ses talents avec le reste du monde », conclut Mike Buckley. « Pour moi, c’est une possibilité incroyablement convaincante.
https://thenextweb.com/news/be-my-eyes-app-uses-openai-gpt-4-help-visually-impaired
https://thenextweb.com/topic/apps
https://thenextweb.com/topic/artificial-intelligence
https://www.bemyeyes.com/blog/introducing-be-my-eyes-virtual-volunteer
