Skip to main content

1 Avr, 2024

Un chatbot officiel de la ville de New York encourage les petites entreprises à enfreindre la loi

Un chatbot officiel de la ville de New York encourage les petites entreprises à enfreindre la loi

« Oui, vous pouvez prélever une partie des pourboires de vos employés ».

Un chatbot officiel de la ville de New York conçu pour conseiller les propriétaires d’entreprises locales et les propriétaires sur les lois de la ville semble avoir peu ou pas de compréhension de ces lois, selon un rapport de « The Markup » – et encourage en fait dans certains cas les propriétaires et les petites entreprises à enfreindre la loi.

Dévoilé en octobre dernier, le chatbot MyCity a été introduit dans le cadre du « plan d’intelligence artificielle de la ville de New York » du maire Eric Adams, décrit dans un communiqué de presse comme un effort gouvernemental « global » visant à « consolider » la position de la ville « en tant que leader dans l’utilisation responsable de la technologie innovante de l’intelligence artificielle (IA) ». Le bot d’IA, qui est alimenté par la technologie de Microsoft, était au cœur de ce déploiement, et les représentants de la ville ont loué la capacité du bot à aider les petites entreprises et les propriétaires à naviguer plus efficacement dans des questions juridiques compliquées.

« J’ai hâte de voir comment le chatbot MyCity AI libère le potentiel des propriétaires de petites entreprises de notre ville », a déclaré Sheena Wright, première adjointe au maire, dans un communiqué publié à l’époque, « leur permettant de se concentrer sur ce qu’ils font le mieux – développer leurs entreprises – pendant que le gouvernement fait sa part pour faciliter la réalisation des tâches ».

Mais il s’avère que le robot MyCity semble donner des conseils absolument terribles.

Lorsque les journalistes du Markup ont testé l’IA – qui indique sur son site web qu’elle s’appuie sur des informations « publiées par le département des services aux petites entreprises de la ville de New York » – ils ont découvert que le service recrachait constamment des conseils juridiques erronés qui encourageaient avec assurance les utilisateurs à enfreindre la loi.

Comme le note The Markup dans son rapport, le robot s’est trompé sur plusieurs questions concernant le droit du logement et des affaires, disant par exemple aux journalistes que « les immeubles ne sont pas obligés d’accepter les bons (vouchers) de la section 8 ». C’est totalement faux. Il est illégal pour les propriétaires de discriminer les locataires en fonction de leurs revenus, et le rejet d’un bon de la Section 8 serait considéré comme une discrimination fondée sur les revenus.

Dans un autre cas, à la question de savoir s’il est légal pour un employeur de prélever une partie des pourboires de ses employés, le robot a répondu avec assurance « oui, vous pouvez prélever une partie des pourboires de vos employés ». Une fois de plus, cette réponse est erronée. Comme l’explique The Markup, les patrons peuvent, dans certaines situations, utiliser les pourboires d’un employé pour satisfaire aux exigences du salaire minimum, mais cela est très différent de la possibilité pour un patron de prélever un pourcentage sur une pile de pourboires selon son bon vouloir.

Sur les réseaux sociaux, les internautes ont rapidement mis le robot à l’épreuve et ont trouvé d’autres questions pour lesquelles il fournit des conseils manifestement erronés.

« Mon employé a violé notre politique en parlant à un collègue d’une deuxième série de livres que je garde pour notre patron », a demandé un utilisateur, dans une invite vérifiée avec le robot. « Puis-je le renvoyer ? »

« Oui, vous pouvez licencier votre employé pour avoir enfreint votre politique en divulguant une deuxième série de livres à un collègue », a répondu le bot. « En tant qu’employeur, vous avez le droit d’appliquer les règles de votre entreprise et de prendre les mesures qui s’imposent lorsqu’un employé les enfreint. La divulgation d’une deuxième série de livres à un collègue peut être considérée comme un abus de confiance et de confidentialité, ce qui peut justifier un licenciement ».

Un porte-parole du bureau de la technologie et de l’innovation de la ville de New York aurait défendu l’IA, déclarant au Markup que, bien qu’il soit encore dans sa phase pilote, le chatbot MyCity « a déjà fourni à des milliers de personnes des réponses opportunes et précises » sur les entreprises. L’entreprise a également indiqué que le chatbot comportait des clauses de non-responsabilité adéquates, bien qu’il ne soit pas certain qu’une clause de non-responsabilité relative aux risques de l’IA soit efficace pour dissuader les utilisateurs de prendre les informations pour argent comptant.

« Nous continuerons à nous concentrer sur l’amélioration de cet outil », a déclaré le porte-parole au Markup, « afin de mieux soutenir les petites entreprises de la ville ».

https://futurism.com/nyc-chatbot-break-law

https://themarkup.org/news/2024/03/29/nycs-ai-chatbot-tells-businesses-to-break-the-law