Amazon Web Services (AWS), la division cloud computing d’Amazon, lance un nouvel outil pour lutter contre les hallucinations , c’est-à-dire les scénarios dans lesquels un modèle d’IA se comporte de manière peu fiable.
Annoncé lors de la conférence AWS re:Invent 2024 à Las Vegas, le service Automated Reasoning checks valide les réponses d’un modèle en recoupant les informations fournies par le client pour en vérifier l’exactitude. (Oui, le mot « checks » est en minuscule.) AWS affirme dans un communiqué de presse qu’Automated Reasoning checks est la « première » et la « seule » protection contre les hallucinations.
Mais c’est, eh bien… pour le dire généreusement.
Les vérifications de raisonnement automatisé sont presque identiques à la fonction de correction déployée par Microsoft cet été, qui signale également les textes générés par l’IA qui pourraient être erronés. Google propose également un outil dans Vertex AI, sa plateforme de développement d’IA, pour permettre aux clients de « fonder » des modèles en utilisant des données provenant de fournisseurs tiers, de leurs propres ensembles de données ou de Google Search.
Dans tous les cas, les vérifications de raisonnement automatisé, disponibles via le service d’hébergement de modèles Bedrock d’AWS (en particulier l’outil Guardrails), tentent de comprendre comment un modèle est arrivé à une réponse et de déterminer si la réponse est correcte. Les clients téléchargent des informations pour établir une sorte de vérité fondamentale, et les vérifications de raisonnement automatisé créent des règles qui peuvent ensuite être affinées et appliquées à un modèle.
Lorsqu’un modèle génère des réponses, le raisonnement automatisé les vérifie et, en cas d’hallucination probable, s’appuie sur la vérité fondamentale pour trouver la bonne réponse. Il présente cette réponse en même temps que la fausse vérité probable afin que les clients puissent voir à quel point le modèle a pu être erroné.
AWS affirme que PwC utilise déjà des contrôles de raisonnement automatisé pour concevoir des assistants IA pour ses clients. Et Swami Sivasubramanian, vice-président de l’IA et des données chez AWS, a suggéré que ce type d’outils est exactement ce qui attire les clients vers Bedrock.
« Avec le lancement de ces nouvelles fonctionnalités », a-t-il déclaré dans un communiqué, « nous innovons au nom des clients pour résoudre certains des principaux défis auxquels l’ensemble du secteur est confronté lors du passage des applications d’IA génératives à la production. » La clientèle de Bedrock a été multipliée par 4,7 au cours de la dernière année pour atteindre des dizaines de milliers de clients, a ajouté Swami Sivasubramanian.
Mais comme un expert l’a dit cet été, essayer d’éliminer les hallucinations de l’IA générative, c’est comme essayer d’éliminer l’hydrogène de l’eau.
Les modèles d’IA hallucinent parce qu’ils ne « savent » rien en réalité. Ce sont des systèmes statistiques qui identifient des modèles dans une série de données et prédisent quelles données viennent ensuite en fonction d’exemples déjà vus. Il s’ensuit que les réponses d’un modèle ne sont pas des réponses, mais des prédictions sur la manière dont les questions doivent recevoir une réponse, dans une marge d’erreur .
AWS affirme que les contrôles de raisonnement automatisé utilisent un « raisonnement logiquement précis » et « vérifiable » pour arriver à ses conclusions. Mais l’entreprise n’a fourni aucune donnée prouvant que l’outil est fiable.
Dans d’autres nouvelles de Bedrock, AWS a annoncé Model Distillation, un outil permettant de transférer les capacités d’un grand modèle (par exemple, Llama 405B ) vers un petit modèle (par exemple, Llama 8B ) qui est moins cher et plus rapide à exécuter. En réponse à Distillation de Microsoft dans Azure AI Foundry , Model Distillation offre un moyen d’expérimenter différents modèles sans se ruiner, explique AWS.
« Une fois que le client a fourni des exemples d’invites, Amazon Bedrock fera tout le travail pour générer des réponses et affiner le modèle plus petit », a expliqué AWS dans un article de blog, « et il peut même créer davantage d’exemples de données, si nécessaire, pour terminer le processus de distillation. »
Mais il y a quelques réserves.
Pour le moment, Model Distillation ne fonctionne qu’avec les modèles hébergés par Bedrock, provenant d’Anthropic et de Meta. Les clients doivent sélectionner un grand et un petit modèle de la même « famille » de modèles, car les modèles ne peuvent pas provenir de fournisseurs différents. De plus, les modèles distillés perdront une certaine précision, « moins de 2 % », affirme AWS.
Si rien de tout cela ne vous décourage, Model Distillation est désormais disponible en aperçu, ainsi que les vérifications de raisonnement automatisé.
La « collaboration multi-agent » est également disponible en avant-première. Il s’agit d’une nouvelle fonctionnalité de Bedrock qui permet aux clients d’assigner l’IA à des sous-tâches dans le cadre d’un projet plus vaste. Dans le cadre de Bedrock Agents , la contribution d’AWS à l’engouement pour les agents IA , la collaboration multi-agent fournit des outils pour créer et ajuster l’IA à des tâches telles que l’examen des dossiers financiers et l’évaluation des tendances mondiales.
Les clients peuvent même désigner un « agent superviseur » pour répartir et acheminer automatiquement les tâches vers les IA. Le superviseur peut « [donner] à des agents spécifiques l’accès aux informations dont ils ont besoin pour terminer leur travail », explique AWS, et « [déterminer] quelles actions peuvent être traitées en parallèle et lesquelles nécessitent des détails sur d’autres tâches avant qu’un agent puisse avancer ».
« Une fois que toutes les [IA] spécialisées ont terminé leurs saisies, l’agent superviseur [peut rassembler] les informations [et] synthétiser les résultats », a écrit AWS dans le message.
Cela semble intéressant, mais comme pour toutes ces fonctionnalités, nous devrons voir si elles fonctionnent bien une fois déployées dans le monde réel.
https://techcrunch.com/2024/12/03/aws-new-service-tackles-ai-hallucinations/
