La société de renseignement sur les menaces Abnormal Security voit des cybercriminels utiliser l’IA générative pour faire du phishing ; la même technologie fait partie de la défense.

Les compromissions de messagerie professionnelle, qui ont supplanté les ransomwares l’année dernière pour devenir les principales organisations menaçant les vecteurs d’attaque à motivation financière, sont susceptibles de devenir plus difficiles à suivre. 

De nouvelles enquêtes d’Abnormal Security suggèrent que les attaquants utilisent l’IA générative pour créer des e-mails de phishing, y compris des attaques d’usurpation d’identité de fournisseur du type Abnormal signalé plus tôt cette année par l’acteur surnommé Firebrick Ostricth .

Selon Abnormal, en utilisant ChatGPT et d’autres grands modèles de langage, les attaquants sont capables de créer des missives d’ingénierie sociale qui ne sont pas ornées de drapeaux rouges tels que des problèmes de formatage, une syntaxe atypique, une grammaire incorrecte, la ponctuation, l’orthographe et les adresses e-mail.

L’entreprise a utilisé ses propres modèles d’IA pour déterminer que certains e-mails envoyés à ses clients identifiés plus tard comme des attaques de phishing étaient probablement générés par l’IA, selon Dan Shiebler, responsable de l’apprentissage automatique chez Abnormal. 

« Alors que nous effectuons toujours une analyse complète pour comprendre l’étendue des attaques par e-mail générées par l’IA, Abnormal a constaté une nette augmentation du nombre d’attaques avec des indicateurs d’IA en pourcentage de toutes les attaques, en particulier au cours des dernières semaines », a-t-il déclaré. a dit.

Utiliser de fausses violations de Facebook comme leurre

Une nouvelle tactique notée par Abnormal consiste à usurper les notifications officielles de Facebook informant la cible qu’elles sont « en violation des normes communautaires » et que leur page n’a pas été publiée. L’utilisateur est ensuite invité à cliquer sur un lien et à faire appel, ce qui conduit à une page de phishing pour récolter les informations d’identification de l’utilisateur, permettant aux attaquants d’accéder à la page Facebook de la cible ou de vendre sur le dark web (Figure A).

Figure A

Une fausse note de « Meta for Business » avertissant la cible d’hameçonnage qu’elle a enfreint les politiques de Facebook, entraînant la suppression de sa page. L’escroquerie demande au destinataire de cliquer sur le lien inclus et de déposer un recours. Ce lien mène en fait à une page de phishing. Image : Logiciel anormal

Dan Shiebler a déclaré que le fait que le texte des parodies de Facebook soit presque identique au langage attendu de Meta for Business suggère que les attaquants moins sophistiqués pourront facilement éviter les pièges habituels du phishing.

« Le danger de l’IA générative dans les attaques par e-mail est qu’elle permet aux acteurs de la menace d’écrire un contenu de plus en plus sophistiqué, ce qui rend plus probable que leur cible soit trompée en cliquant sur un lien ou en suivant leurs instructions », a-t-il déclaré, ajoutant que l’IA peut également être utilisé pour créer une plus grande personnalisation.

« Imaginez si les acteurs de la menace saisissaient des extraits de l’historique des e-mails de leur victime ou du contenu du profil LinkedIn dans leurs requêtes ChatGPT. Les e-mails commenceront à montrer le contexte, la langue et le ton typiques auxquels la victime s’attend, rendant les e-mails BEC encore plus trompeurs », a-t-il déclaré.

Ressemble à un hameçon (phish) mais peut être un dauphin

Selon Abnormal, une autre complication dans la détection des exploits de phishing qui utilisaient l’IA pour créer des e-mails implique de faux résultats positifs. Étant donné que de nombreux e-mails légitimes sont construits à partir de modèles utilisant des phrases courantes, ils peuvent être signalés par l’IA en raison de leur similitude avec ce qu’un modèle d’IA générerait également, a noté Shiebler qui a déclaré que les analyses donnent une indication qu’un e-mail peut avoir été créé par l’IA, « Et nous utilisons ce signal (parmi des milliers d’autres) pour déterminer l’intention malveillante. »

Compromis de fournisseur généré par l’IA, fraude à la facture

Cas anormaux trouvés de compromissions de messagerie professionnelle construites par l’IA générative pour se faire passer pour des fournisseurs, contenant des factures demandant le paiement à un portail de paiement illégitime.

Dans un cas signalé par Abnormal, les attaquants se sont fait passer pour le compte d’un employé de l’entreprise cible et l’ont utilisé pour envoyer un faux e-mail au service de la paie afin de mettre à jour les informations de dépôt direct au dossier.

Dan Shiebler a noté que, contrairement aux attaques BEC traditionnelles, les salves BEC générées par l’IA sont écrites de manière professionnelle. 

« Ils sont écrits avec un sens de la formalité auquel on s’attendrait autour d’une question commerciale », a-t-il déclaré. « L’avocat usurpé provient également d’un cabinet d’avocats réel – un détail qui donne à l’e-mail un sentiment de légitimité encore plus grand et le rend plus susceptible de tromper sa victime », a-t-il ajouté.

Il faut en connaître un : utiliser l’IA pour attraper l’IA

Dan Shiebler précise que la détection de la paternité de l’IA implique une opération miroir : l’exécution de textes d’e-mails générés par LLM via un moteur de prédiction d’IA pour analyser la probabilité qu’un système d’IA sélectionne chaque mot dans un e-mail.

Abnormal a utilisé de grands modèles de langage open source pour analyser la probabilité que chaque mot d’un e-mail puisse être prédit compte tenu du contexte à gauche du mot. 

« Si les mots dans l’e-mail ont une probabilité constamment élevée (ce qui signifie que chaque terme est fortement aligné sur ce qu’un modèle d’IA dirait, plus que dans un texte humain), alors nous classons l’e-mail comme éventuellement écrit par l’IA », a-t-il déclaré. (Figure B).

Figure B

Résultat de l’analyse des e-mails, avec des mots verts jugés comme très alignés avec l’IA (dans le top 10 des mots prédits), tandis que les mots jaunes sont dans les 100 premiers mots prédits. 

Dan Shiebler a averti qu’étant donné qu’il existe de nombreux cas d’utilisation légitimes où les employés utilisent l’IA pour créer du contenu de courrier électronique, il n’est pas pragmatique de bloquer tous les e-mails générés par l’IA en cas de suspicion de malveillance. 

« En tant que tel, le fait qu’un e-mail comporte des indicateurs d’IA doit être utilisé avec de nombreux autres signaux pour indiquer une intention malveillante », a-t-il déclaré, ajoutant que la société effectuait une validation supplémentaire via des outils de détection d’IA tels que OpenAI Detector et GPTZero .

« Les e-mails légitimes peuvent sembler générés par l’IA, tels que les messages modélisés et les traductions automatiques, ce qui rend difficile la capture des e-mails légitimes générés par l’IA. Lorsque notre système décide de bloquer ou non un e-mail, il intègre de nombreuses informations au-delà de la possibilité que l’IA ait généré l’e-mail en utilisant l’identité, le comportement et les indicateurs associés.

Comment lutter contre les attaques de phishing par IA

Le rapport d’Abnormal suggère aux organisations de mettre en œuvre des solutions basées sur l’IA capables de détecter des attaques hautement sophistiquées générées par l’IA et presque impossibles à distinguer des e-mails légitimes. Ils doivent également voir quand un e-mail généré par l’IA est légitime par rapport à quand il a une intention malveillante.

« Considérez-le comme une bonne IA pour combattre la mauvaise IA », indique le rapport. La société a déclaré que les meilleurs outils basés sur l’IA sont capables de référencer le comportement normal dans l’environnement de messagerie – y compris les modèles de communication, les styles et les relations spécifiques à l’utilisateur, par rapport à la simple recherche d’indicateurs de compromis typiques (et protéiformes). Grâce à cela, ils peuvent détecter les anomalies qui peuvent indiquer une attaque potentielle, peu importe si les anomalies ont été créées par un humain ou une IA.

« Les organisations doivent également pratiquer une bonne hygiène en matière de cybersécurité, notamment en mettant en place une formation continue de sensibilisation à la sécurité pour s’assurer que les employés sont vigilants sur les risques BEC », conclut Dan Sheibler. « De plus, la mise en œuvre de tactiques telles que la gestion des mots de passe et l’authentification multifacteur garantira que l’organisation peut limiter les dommages supplémentaires en cas de réussite d’une attaque. »

https://www.techrepublic.com/article/ai-vs-ai-phishing-wars/