Des escrocs manipulent les résultats de recherche par IA pour vous attirer directement dans leurs pièges : voici comment.

Des outils d'IA comme Google AI Overview et Perplexity Comet sont trompés et suggèrent des numéros d'assistance frauduleux.

Les points clés: - Une nouvelle attaque empoisonne les sources de contenu utilisées par les chatbots IA. - Des sites publics comme YouTube et Yelp ont été utilisés à mauvais escient pour héberger des liens de spam. - Les réponses basées sur l'IA peuvent faire apparaître des contenus malveillants et mettre les utilisateurs en danger.

Les cybercriminels se tournent désormais vers les sources publiques que les chatbots IA exploitent pour promouvoir les numéros de centres d'appels frauduleux, selon des chercheurs, créant ainsi une nouvelle surface d'attaque pour les escrocs du monde entier.

Empoisonnement de numéros de téléphone LLM : un nouveau risque pour la sécurité de l’IA ?

Selon une nouvelle étude publiée le 8 décembre par Aura Labs d'Aurascape, les acteurs malveillants « manipulent systématiquement le contenu web public » dans ce que l'équipe a baptisé empoisonnement de numéros de téléphone par modèle de langage étendu (LLM).

Dans le cadre d'une campagne surveillée par la société de cybersécurité, cette technique est utilisée pour s'assurer que les systèmes basés sur des modèles LLM, notamment Google AI Overview et le navigateur Comet de Perplexity , aient recommandé des numéros de téléphone frauduleux de support client et de réservation de compagnies aériennes comme s'il s'agissait de coordonnées officielles et fiables.

Comment fonctionne l'empoisonnement téléphonique par LLM ?

Aurascape explique que plutôt que de cibler directement les LLM, cette technique – qui rappelle les attaques par injection de prompt – consiste à empoisonner le contenu qu'un LLM récupère et indexe pour fournir le contexte et les informations nécessaires pour répondre aux requêtes des utilisateurs.

Beaucoup d'entre nous ont entendu parler de l'optimisation pour les moteurs de recherche (SEO), mais qu'en est-il de l'optimisation générative pour les moteurs de recherche (GEO) ou de l'optimisation pour les moteurs de réponse (AEO) ? Ces techniques visent à faire d'un site web ou d'un service en ligne une source de résumés et de réponses aux requêtes de recherche basés sur l'IA, plutôt que d'optimiser le contenu pour apparaître en haut des résultats des moteurs de recherche traditionnels.

Dans les campagnes recensées par Aurascape, voici comment les termes GEO et AEO sont utilisés à mauvais escient pour promouvoir des contenus d'hameçonnage et des arnaques :

• Du contenu indésirable est téléchargé sur des sites web compromis et à forte autorité, notamment des sites web gouvernementaux et universitaires, ainsi que sur des domaines WordPress de haute qualité.
• Les services publics qui autorisent le contenu généré par les utilisateurs, comme YouTube et Yelp, sont également utilisés à mauvais escient pour insérer des textes et des avis optimisés pour le référencement géographique et aérospatial, parfois via des commentaires de robots.
• Lorsque cela est possible, les escrocs téléchargent ou injectent également des informations frauduleuses, notamment des numéros de téléphone et de fausses réponses à des questions-réponses, dans ces domaines. Ces informations sont structurées de manière à faciliter leur extraction et leur diffusion par les réseaux de cybercriminels.

Maintenant que ces fausses sources d'information sont en place, les assistants basés sur LLM et les fonctions de résumé fusionnent chaque source en réponses « fiables » et digestes qui peuvent être fournies aux utilisateurs de services d'IA et de navigateurs.

Selon l'équipe, dans certains cas, cela signifie que des utilisateurs non avertis sont orientés vers des arnaques, notamment des centres d'appels frauduleux.

« En diffusant du contenu malveillant sur des sites gouvernementaux et universitaires compromis, des blogs WordPress populaires, des descriptions YouTube et des avis Yelp, ils orientent les réponses de recherche de l'IA vers des centres d'appels frauduleux qui tentent d'extorquer de l'argent et des données sensibles à des voyageurs sans méfiance », expliquent les chercheurs.

Exemples de requêtes empoisonnées

Les chercheurs ont relevé plusieurs cas d'utilisation active de cette technique dans la nature.

Par exemple, lorsque Perplexity a été interrogé sur le « numéro officiel de réservation d'Emirates Airlines », l'IA a renvoyé une « réponse entièrement fabriquée contenant un numéro frauduleux de centre d'appels ». Un autre numéro frauduleux de centre d'appels a été renvoyé lorsque l'équipe a demandé le numéro de réservation de British Airways.

L'outil d'analyse d'IA de Google a également été identifié comme diffusant des informations de contact frauduleuses et potentiellement dangereuses. Interrogé sur le numéro de téléphone d'Emirates, il a fourni « plusieurs numéros de centres d'appels frauduleux présentés comme étant les lignes légitimes du service client d'Emirates ».

Comment rester en sécurité

Le problème, c'est que les plateformes de partage de contenu (LLM) diffusent à la fois du contenu légitime et frauduleux, ce qui peut donner l'impression que le contenu est digne de confiance et rendre la détection des arnaques difficile.

Il ne s'agira pas seulement des sources utilisées par les systèmes Google ou Perplexity. Comme le souligne Aurascape, nous assistons probablement à l'émergence d'un « effet de contamination généralisé et interplateforme ».

« Même lorsque les modèles fournissent des réponses correctes, leurs citations et leurs couches de recherche révèlent souvent une exposition à des sources polluées », ont noté les chercheurs. « Cela nous indique que le problème ne se limite pas à un seul modèle ou à un seul fournisseur ; il devient systémique. »

Cette technique pourrait être considérée comme une variante de l'injection indirecte de requêtes , où le code ou les fonctionnalités d'un site web sont compromis pour forcer un utilisateur malveillant à effectuer une action ou à agir de manière malveillante. Par mesure de sécurité , si vous utilisez un navigateur basé sur l'IA ou si vous vous fiez à des résumés fournis par l'IA, vous devriez toujours vérifier les réponses obtenues, surtout si elles contiennent des informations de contact.

De plus, il est fortement déconseillé de communiquer des informations sensibles aux assistants IA, surtout compte tenu de leur nouveauté et du manque de fiabilité de ces technologies. Leur praticité ne garantit en rien leur sécurité, quel que soit le fournisseur.

https://www.zdnet.com/article/scammers-poison-ai-search-results-customer-support-scams

https://aurascape.ai/blog/llm-search-poisoning-fake-support-numbers/