Le ministre de la statistique déclare que la nouvelle charte sur les algorithmes – utilisés des feux de circulation aux décisions de la police – est un « élément important pour gagner la confiance du public ».
Les opérations de police font partie des nombreuses utilisations des algorithmes, déclare le ministre néo-zélandais des statistiques James Shaw, tout en saluant la nouvelle charte du gouvernement sur les normes des organismes publics en matière de technologie.
Le gouvernement néo-zélandais affirme qu’il est le premier au monde à produire un ensemble de normes sur la manière dont les organismes publics doivent utiliser les algorithmes qui orientent de plus en plus les décisions des fonctionnaires dans tous les domaines de la vie publique.
L’application croissante d’algorithmes par les gouvernements du monde entier – en particulier lorsqu’ils sont déployés pour établir le profil des citoyens ou générer des décisions concernant les citoyens par les services de police, d’immigration, d’aide sociale et de santé – s’est avérée controversée ces dernières années. Les critiques affirment que la prise de décision basée sur des lignes de code peut être inexacte et discriminatoire et que leur utilisation est souvent tenue secrète.
En février, un tribunal néerlandais a jugé qu’un système de surveillance automatisé destiné à détecter les fraudes aux prestations sociales était illégal – une décision qui a suscité un débat sur la nécessité d’un examen plus approfondi dans d’autres pays.
La Nouvelle-Zélande ne fait pas exception : une étude de 2019 sur l’utilisation des algorithmes dans le secteur public a révélé « une énorme variabilité quant à l’étendue de l’utilisation et à la manière dont ils sont utilisés », a déclaré James Shaw, le ministre des statistiques et co-dirigeant du parti de gauche des Verts.
Il a déclaré que les algorithmes déterminaient des problèmes allant de l’apparemment inoffensif – comme lorsque les feux de circulation ont changé dans une rue du centre de Wellington – au plus grave, y compris la prise de décision par la police pour les agents de première ligne, et que leur utilisation était en expansion.
La charte néo-zélandaise devait être lancée mardi avec 19 agences gouvernementales comme premiers signataires. Dans cette charte, les ministères s’engagent à être publiquement transparents sur la façon dont la prise de décision est guidée par les algorithmes, notamment en donnant des explications « en langage clair » ; à mettre à disposition des informations sur les processus utilisés et la façon dont les données sont stockées, sauf si la loi l’interdit (par exemple pour des raisons de sécurité nationale) ; et à identifier et gérer les biais qui influencent les algorithmes.
Les agences doivent également tenir compte des te ao Māori, ou la vision du monde des « indigènes », sur la collecte de données – en Nouvelle-Zélande, les Māori sont représentés de manière disproportionnée dans le système judiciaire et pénitentiaire – et consulter les groupes concernés par leurs équations.
« Cela est dû en partie au fait que les gens sont maintenant de plus en plus conscients du fonctionnement de Facebook et de la mesure dans laquelle nos vies sont façonnées par l’utilisation et la manipulation des données », a déclaré James Shaw, en référence à la façon dont les entreprises de médias sociaux utilisent les algorithmes pour orienter les utilisateurs vers le contenu. « C’est une partie vraiment importante de la construction de la confiance du public dans les institutions gouvernementales ».
Parmi les ministères qui se sont engagés à respecter la charte, on trouve le régime d’indemnisation des accidents de la Nouvelle-Zélande – qui a été critiqué en 2017 pour avoir utilisé des algorithmes pour détecter les fraudes parmi ses employés – et l’agence correctionnelle, qui a déployé des algorithmes pour déterminer le risque de récidive d’un détenu. L’agence de l’immigration, qui a découvert en mars dernier qu’elle établissait le profil des demandeurs par algorithme, est également signataire.
Mais d’autres organismes qui ont fait l’objet d’affaires très médiatisées dans lesquelles les critiques ont dénoncé l’utilisation d’algorithmes – notamment la police, qui a essuyé les critiques des défenseurs de la vie privée en 2019 pour avoir introduit une technologie de reconnaissance faciale sans l’annoncer, et les agences d’espionnage du pays – ne figuraient pas parmi les signataires.
Un porte-parole du bureau de James Shaw a déclaré qu’aucune agence n’avait exclu la charte et que d’autres devaient la signer plus tard.
Les normes ne comprennent pas de mécanisme d’application. James Shaw a déclaré qu’il espérait que dans quelques mois, les agences qui avaient signé la charte fourniraient des informations sur leurs sites web expliquant comment les algorithmes étaient utilisés, voire même fournissant le code source – et que si elles ne le faisaient pas, le public pourrait l’exiger.
Colin Gavaghan, professeur de droit à l’université d’Otago, a participé à la révision de 2019 qui a suggéré la création d’un régulateur indépendant pour superviser l’utilisation des algorithmes par les agences – une mesure que le gouvernement n’a pas retenue dans sa charte. Il a déclaré qu’il y avait « beaucoup de choses à aimer » dans les nouvelles normes et qu’il espérait qu’elles pourraient servir de modèle à d’autres gouvernements.
« Comme toujours, le diable est dans les détails et cela signifie la mise en œuvre », a-t-il dit. « Nous avons toujours le sentiment qu’une sorte d’organisme de contrôle et de régulation qui devrait avoir une compétence gouvernementale semble être une bonne idée ».
Colin Gavaghan a fait l’éloge d’un point de la charte qui exige que les agences fournissent un canal de recours contre les décisions éclairées par des algorithmes, mais a ajouté que « les gens ne savent pas toujours » qu’ils ont fait l’objet de telles décisions, même en vertu des nouvelles normes.
James Shaw a déclaré qu’il pensait que le document était une première mondiale – aucun autre gouvernement n’avait produit de normes qui couvriraient tous les algorithmes utilisés par chaque agence signataire.
