Quand l'IA ne sait pas compter — et ce que font les chercheurs pour y remédier
infohightech ·
Aujourd'hui, l'intelligence artificielle peut décrire des images, reconnaître des objets et expliquer des relations complexes. Son développement est remarquable : les modèles vision-langage (VLM) combinent la compréhension du texte et de l'image de manière impressionnante. Pourtant, paradoxalement, ils peinent avec une tâche en apparence simple : le comptage. Des chercheurs de l'Institut des systèmes d'information (iisys) de l'Université des sciences appliquées de Hof travaillent actuellement à résoudre ce problème ; un article est disponible sur le serveur de prépublications arXiv .
« De nombreux modèles courants excellent dans la reconnaissance des éléments visibles sur une image, mais peinent à déterminer avec précision le nombre d'objets présents », explique le professeur René Peinl de l'Institut des systèmes d'information (iisys) de l'Université des sciences appliquées de Hof. Les erreurs se multiplient lorsqu'il y a plus de quatre ou cinq objets identiques.
Pourquoi le comptage est-il si difficile pour l'IA ?
Le problème est plus profond qu'il n'y paraît. Si les humains appréhendent intuitivement les petites quantités, les grands nombres nécessitent un comptage actif. Cette étape cruciale est souvent absente des modèles d'IA. De plus, les données d'entraînement existantes sont souvent inadaptées. « Certains jeux de données sont trop simples et ne favorisent que la reconnaissance de formes ; d'autres sont trop complexes ou présentent des lacunes, par exemple à cause d'objets cachés ou de questions ambiguës », explique le professeur Peinl, directeur de l'institut. Par conséquent, les modèles ont tendance à « deviner » ou à se fier à des attentes apprises, ce qui peut parfois donner des résultats étonnamment erronés.
Pour s'attaquer à ce problème de manière ciblée, iisys a développé le jeu de données SITUATE. Au lieu d'utiliser de véritables photographies, les chercheurs génèrent des scènes 3D artificielles aux propriétés clairement définies. « Nous souhaitions créer un environnement nous permettant de contrôler précisément ce qui se passe dans l'image – et ce qui n'y est pas », explique le professeur Peinl.
Ces scènes comportent des objets géométriques tels que des cubes, des sphères ou des cylindres, positionnés de manière claire (par exemple, « à gauche de la table »), ce qui permet de poser des questions ciblées, notamment sur la couleur, la quantité ou l'emplacement. On obtient ainsi un environnement d'apprentissage non pas aléatoire, mais spécifiquement conçu pour développer des compétences précises.
Un aspect essentiel du projet réside dans la manière dont l'IA apprend à compter. Outre les réponses simples, les chercheurs utilisent des explications détaillées où l'IA décrit étape par étape ce qu'elle voit et comment elle compte. Par exemple : « Il y a deux objets sur la table et trois à côté, soit cinq au total. »
Cette approche dite de « raisonnement en chaîne » s'avère efficace, du moins pour les grands nombres. « Nous constatons que les modèles s'améliorent considérablement sur les tâches de comptage plus complexes grâce à cette approche structurée », explique le professeur Peinl. Cependant, cette méthode présente aussi des limites : pour les petits nombres, l'IA a tendance à « halluciner » des objets supplémentaires afin de rester cohérente avec son propre raisonnement.
De meilleurs résultats et de nouvelles perspectives
Les expériences montrent clairement que les modèles d'IA entraînés avec SITUATE généralisent mieux. « La combinaison de différents ensembles de données donne les meilleurs résultats lors de nos tests. Mais nous constatons également que le type d'entraînement influence fortement la façon dont l'IA "pense". Ce qui est particulièrement intéressant, c'est que les modèles présentent des comportements qui rappellent ceux des humains. Les petites quantités sont rapidement reconnues, tandis que les plus importantes nécessitent des stratégies structurées », explique le professeur Peinl. Parallèlement, il apparaît clairement que l'IA ne développe souvent pas une véritable conception des nombres, mais apprend plutôt des schémas visuels.
Implications pour l'avenir de l'IA
Les recherches de Hof démontrent également que les progrès en intelligence artificielle ne dépendent pas uniquement de modèles toujours plus grands, mais surtout de données de meilleure qualité et de méthodes d'apprentissage bien conçues. « Notre ensemble de données montre qu'il est possible de travailler spécifiquement sur les faiblesses des modèles et que les données synthétiques, c'est-à-dire générées par ordinateur, ne sont pas intrinsèquement inférieures », souligne le professeur Peinl.
Un élément constitutif pour des systèmes d'IA plus fiables
Que ce soit dans l'industrie, la médecine ou la logistique, de nombreuses applications dépendent de l'IA pour non seulement reconnaître les objets, mais aussi les compter avec précision et les interpréter correctement. Avec SITUATE, l'iisys de l'Université des sciences appliquées de Hof contribue de manière significative à l'amélioration de ces capacités. Suite au succès des premiers tests, un second ensemble de données, beaucoup plus diversifié, est en cours de développement afin de permettre des stratégies de comptage encore plus nuancées.