Skip to main content

13 Fév, 2024

Comment Walmart, Delta, Chevron et Starbucks utilisent l’IA pour surveiller les messages des employés, comme Nestlé et AstraZeneca

Comment Walmart, Delta, Chevron et Starbucks utilisent l’IA pour surveiller les messages des employés, comme Nestlé et AstraZeneca

Aware, une société d’IA spécialisée dans l’analyse des messages des employés, a déclaré que des entreprises telles que Walmart, Delta, T-Mobile, Chevron et Starbucks utilisaient sa technologie.

Aware a déclaré que son référentiel de données contient des messages qui représentent environ 20 milliards d’interactions individuelles pour plus de 3 millions d’employés.

« Une grande partie de ces données relève du délit d’opinion imaginaire », a déclaré Jutta Williams, cofondatrice de Humane Intelligence, à propos de la technologie de surveillance des employés par l’IA en général. Elle a ajouté : « Cela revient à traiter les gens comme des stocks d’une manière que je n’ai jamais vue ».

C’est une référence à George Orwell.

Selon l’endroit où vous travaillez, il y a de fortes chances que l’intelligence artificielle analyse vos messages sur Slack, Microsoft Teams, Zoom et d’autres applications populaires. De grands employeurs américains tels que Walmart, Delta Air Lines, T-Mobile, Chevron et Starbucks, ainsi que des marques européennes comme Nestlé et AstraZeneca, se sont tournés vers une startup vieille de sept ans, Aware, pour surveiller les conversations entre leurs employés, selon l’entreprise.

Jeff Schumann, cofondateur et directeur général de cette société basée à Columbus, dans l’Ohio, explique que l’IA aide les entreprises à « comprendre les risques liés à leurs communications », à connaître le sentiment des employés en temps réel, plutôt que de dépendre d’une enquête annuelle ou semestrielle.

En utilisant les données anonymes du produit d’analyse d’Aware, les clients peuvent voir comment les employés d’un certain groupe d’âge ou d’une zone géographique particulière réagissent à une nouvelle politique d’entreprise ou à une campagne de marketing, selon Jeff Schumann. Les dizaines de modèles d’intelligence artificielle d’Aware, conçus pour lire les textes et traiter les images, peuvent également identifier les brimades, le harcèlement, la discrimination, la non-conformité, la pornographie, la nudité et d’autres comportements, a-t-il ajouté.

L’outil d’analyse d’Aware – celui qui surveille le sentiment et la toxicité des employés – n’a pas la capacité de marquer les noms des employés individuels, selon Jeff Schumann. Mais son outil distinct d’eDiscovery peut le faire, en cas de menaces extrêmes ou d’autres comportements à risque prédéterminés par le client, a-t-il ajouté.

Aware a déclaré que Walmart, T-Mobile, Chevron et Starbucks utilisent sa technologie pour la gouvernance, le risque et la conformité, et que ce type de travail représente environ 80 % des activités de l’entreprise.

Personne n’a pas reçu de réponse de Walmart, T-Mobile, Chevron, Starbucks ou Nestlé concernant leur utilisation d’Aware. Un représentant d’AstraZeneca a déclaré que l’entreprise utilisait le produit eDiscovery mais qu’elle n’utilisait pas d’outils d’analyse pour surveiller les sentiments ou la toxicité. Delta a déclaré à CNBC qu’elle utilisait les outils d’analyse et d’eDiscovery d’Aware pour surveiller les tendances et les sentiments afin de recueillir les commentaires des employés et d’autres parties prenantes, et pour la conservation des documents juridiques sur sa plateforme de médias sociaux.

Il n’est pas nécessaire d’être un adepte des romans dystopiques pour comprendre que tout cela pourrait très mal tourner.

Jutta Williams, cofondatrice de l’organisation à but non lucratif Humane Intelligence, a déclaré que l’IA ajoute une nouvelle dimension, potentiellement problématique, aux programmes de lutte contre le risque d’initiés, qui existent depuis des années pour évaluer des phénomènes tels que l’espionnage d’entreprise, en particulier dans le cadre des communications par courrier électronique.

S’exprimant de manière générale sur la surveillance des employés par l’IA plutôt que sur la technologie d’Aware en particulier, Jutta Williams a déclaré: « Une grande partie de cette technologie devient une forme de criminalité intellectuelle : « Une grande partie de ces activités relève de la criminalité intellectuelle ». Elle a ajouté : « C’est traiter les gens comme des stocks d’une manière que je n’ai jamais vue ».

L’IA de surveillance des employés est une niche en pleine expansion d’un marché de l’IA plus vaste qui a explosé l’année dernière, suite au lancement du chatbot ChatGPT d’OpenAI à la fin de 2022. L’IA générative est rapidement devenue l’expression à la mode dans les appels de résultats des entreprises, et une forme ou une autre de cette technologie automatise des tâches dans presque tous les secteurs, des services financiers à la recherche biomédicale, en passant par la logistique, les voyages en ligne et les services publics.

Le chiffre d’affaires d’Aware a augmenté de 150 % par an en moyenne au cours des cinq dernières années, a déclaré Jeff Schumann, et son client type compte environ 30 000 employés. Ses principaux concurrents sont Qualtrics, Relativity, Proofpoint, Smarsh et Netskope.

Par rapport aux normes de l’industrie, Aware reste assez mince. La société a levé des fonds pour la dernière fois en 2021, lorsqu’elle a obtenu 60 millions de dollars dans le cadre d’un tour de table mené par Goldman Sachs Asset Management. À titre de comparaison, des entreprises spécialisées dans les grands modèles de langage, ou LLM, telles qu’OpenAI et Anthropic, ont levé des milliards de dollars chacune, en grande partie auprès de partenaires stratégiques.

Suivi de la toxicité en temps réel

Jeff Schumann a créé l’entreprise en 2017 après avoir passé près de huit ans à travailler sur la collaboration d’entreprise au sein de la compagnie d’assurance Nationwide.

Avant cela, il était entrepreneur. Et Aware n’est pas la première entreprise qu’il a créée et qui lui a fait penser à Orwell.

En 2005, Jeff Schumann a fondé une entreprise appelée BigBrotherLite.com. Selon son profil LinkedIn, l’entreprise a développé un logiciel qui « améliorait l’expérience de visionnage numérique et mobile » de la série de téléréalité « Big Brother » de la chaîne CBS. Dans le roman classique d’Orwell « 1984 », Big Brother était le chef d’un État totalitaire dans lequel les citoyens étaient soumis à une surveillance perpétuelle.

« J’ai conçu un lecteur (player) simple, axé sur une expérience de consommation plus propre et plus facile pour les personnes qui regardent l’émission de télévision sur leur ordinateur », précise Jeff Schumann dans un courriel.

Chez Aware, il fait quelque chose de très différent.

Chaque année, l’entreprise publie un rapport regroupant des informations tirées de milliards de messages – en 2023, le chiffre était de 6,5 milliards – envoyés par de grandes entreprises, présentant les facteurs de risque perçus et les scores de sentiment sur le lieu de travail. M. Schumann considère les billions de messages envoyés chaque année sur les plateformes de communication professionnelle comme « l’ensemble de données non structurées qui connaît la croissance la plus rapide au monde ».

En incluant d’autres types de contenus partagés, tels que les images et les vidéos, l’IA analytique d’Aware analyse plus de 100 millions de contenus par jour. Ce faisant, la technologie crée un graphe social de l’entreprise, en observant quelles équipes internes se parlent plus que d’autres.

« Il suit en permanence le sentiment des employés en temps réel, ainsi que la toxicité en temps réel », explique Jeff Schumann à propos de l’outil d’analyse. « Si une banque utilise Aware et que le sentiment des employés augmente au cours des 20 dernières minutes, c’est parce qu’ils parlent de quelque chose de positif, collectivement. La technologie serait en mesure de leur dire de quoi il s’agit ».

Aware a confirmé qu’elle utilise les données de ses entreprises clientes pour former ses modèles d’apprentissage automatique. Le référentiel de données de l’entreprise contient environ 6,5 milliards de messages, représentant environ 20 milliards d’interactions individuelles pour plus de 3 millions d’employés, a indiqué l’entreprise.

Lorsqu’un nouveau client s’inscrit à l’outil d’analyse, il faut environ deux semaines aux modèles d’IA d’Aware pour s’entraîner sur les messages des employés et apprendre à connaître les modèles d’émotion et de sentiment au sein de l’entreprise afin de pouvoir distinguer ce qui est normal de ce qui est anormal, a déclaré M. Schumann.

« Il n’y aura pas de noms de personnes, pour protéger la vie privée », a précisé Jeff Schumann. Les clients verront plutôt que « peut-être les travailleurs de plus de 40 ans de cette région des États-Unis voient les changements apportés à [une] politique de manière très négative en raison du coût, mais que tous les autres, en dehors de ce groupe d’âge et de cette région, les voient de manière positive parce qu’ils sont touchés d’une manière différente ».

Mais l’outil eDiscovery d’Aware fonctionne différemment. Une entreprise peut mettre en place un accès aux noms des employés basé sur les rôles, en fonction de la catégorie de « risque extrême » de son choix, ce qui permet à la technologie d’Aware d’extraire le nom d’un individu, dans certains cas, pour les ressources humaines ou un autre représentant de l’entreprise.

« Les catégories les plus courantes sont la violence extrême, les brimades extrêmes et le harcèlement, mais elles varient en fonction du secteur d’activité », a déclaré M. Schumann, ajoutant que dans les services financiers, les délits d’initiés présumés seraient suivis.

Par exemple, un client peut spécifier une politique de « menaces violentes », ou toute autre catégorie, en utilisant la technologie d’Aware, lance Jeff Schumann, et demander aux modèles d’IA de surveiller les violations dans Slack, Microsoft Teams et Workplace by Meta. Le client pourrait également coupler cela avec des drapeaux basés sur des règles pour certaines phrases, déclarations et autres. Si l’IA trouve quelque chose qui viole les politiques spécifiées d’une entreprise, elle peut fournir le nom de l’employé au représentant désigné par le client.

Ce type de pratique est utilisé depuis des années dans les communications par courrier électronique. Ce qui est nouveau, c’est l’utilisation de l’IA et son application sur les plateformes de messagerie professionnelle telles que Slack et Teams.

Amba Kak, directeur exécutif de l’AI Now Institute de l’université de New York, s’inquiète de l’utilisation de l’IA pour déterminer ce qui est considéré comme un comportement à risque.

« Elle ajoute que la Federal Trade Commission, le ministère de la justice et l’Equal Employment Opportunity Commission ont tous exprimé des inquiétudes à ce sujet, même si elle ne parlait pas spécifiquement de la technologie d’Aware. « Il s’agit autant de questions relatives aux droits des travailleurs qu’à la protection de la vie privée.

Selon Jeff Schumann, bien que l’outil d’eDiscovery d’Aware permette aux équipes de sécurité ou d’enquête RH d’utiliser l’IA pour rechercher dans des quantités massives de données, une « capacité similaire mais basique existe déjà aujourd’hui » dans Slack, Teams et d’autres plates-formes.

« Une distinction clé ici est qu’Aware et ses modèles d’IA ne prennent pas de décisions », a déclaré Jeff Schumann. « Notre IA facilite simplement le passage au peigne fin de ce nouvel ensemble de données afin d’identifier les risques potentiels ou les violations de politiques. »

Préoccupations en matière de protection de la vie privée

Même si les données sont agrégées ou rendues anonymes, la recherche suggère que ce concept est imparfait. Une étude de référence sur la confidentialité des données utilisant les données du recensement américain de 1990 a montré que 87 % des Américains pouvaient être identifiés uniquement à l’aide de leur code postal, de leur date de naissance et de leur sexe. Les clients d’Aware qui utilisent son outil d’analyse ont la possibilité d’ajouter des métadonnées au suivi des messages, telles que l’âge de l’employé, son lieu de travail, sa division, son ancienneté ou sa fonction.

« Ce qu’ils disent, c’est qu’ils s’appuient sur une notion très obsolète et, je dirais, entièrement démentie à ce stade, selon laquelle l’anonymisation ou l’agrégation est comme une solution magique au problème de la protection de la vie privée », a déclaré Amba Kak.

En outre, le type de modèle d’IA utilisé par Aware peut être efficace pour générer des déductions à partir de données agrégées, en faisant des suppositions précises, par exemple, sur les identifiants personnels basés sur la langue, le contexte, les termes argotiques et autres, selon une recherche récente.

« Aucune entreprise n’est en mesure de donner de grandes garanties sur la confidentialité et la sécurité des LLM et de ce type de systèmes », assure Amba Kak. « Personne ne peut affirmer sans sourciller que ces problèmes sont résolus.

Et qu’en est-il des recours des employés ? Si une interaction est signalée et qu’un employé est sanctionné ou licencié, il lui sera difficile de se défendre s’il n’a pas accès à toutes les données, a expliqué M. Williams.

« Comment faire face à l’accusateur quand on sait que la capacité d’explication de l’IA est encore immature ? a déclaré  Jutta Williams.

Jeff Schumann a répondu à cette question : « Aucun de nos modèles d’IA ne prend de décisions ou de recommandations concernant la discipline des employés ».

« Lorsque le modèle signale une interaction », a déclaré Schumann, « il fournit un contexte complet autour de ce qui s’est passé et de la politique qu’il a déclenchée, donnant aux équipes d’enquête les informations dont elles ont besoin pour décider des prochaines étapes conformément aux politiques de l’entreprise et à la loi. »

https://www.cnbc.com/2024/02/09/ai-might-be-reading-your-slack-teams-messages-using-tech-from-aware.html