Deux IA sont en désaccord sur la raison pour laquelle une personne ne peut pas emprunter de l'argent.

Lorsqu'on leur a demandé d'expliquer le rejet d'une demande de prêt par un algorithme, deux modèles d'IA ont donné des raisons totalement différentes. Si l'IA peut être en désaccord de la sorte, qu'est-ce que cela signifie pour la transparence ?

Imaginez qu'une demande de prêt déposée par une propriétaire de petite entreprise vienne d'être rejetée par un algorithme. Conformément aux normes internationales , elle a le droit de savoir pourquoi.

Pour expliquer leur raisonnement, les prêteurs utilisent un outil d'explication basé sur des coefficients, souvent appelé intelligence artificielle explicable (IA explicable) , afin d'analyser et de décrypter le fonctionnement de l'algorithme. Ce processus devrait toujours aboutir à un résultat plus ou moins identique – du moins en théorie.

Ces outils d'IA sont présentés aux prêteurs comme des outils de transparence et des sources de vérité.

Notre étude comparative, qui sera bientôt publiée dans les actes de la conférence  IntelliSys 2026 , a testé ces méthodes d'explication par IA les unes par rapport aux autres sur 1200 demandes de prêts réelles de petites et moyennes entreprises au Bangladesh.

Dans un exemple, la première réponse de l'IA se base sur l'historique de remboursement du demandeur comme motif de refus de prêt : antécédents de retards de paiement, montant du prêt demandé, flux de trésorerie mensuel, etc.

Le deuxième outil, appelé LIME (Explications locales interprétables et agnostiques du modèle), donne une réponse totalement différente. Il s'intéresse à la durée d'activité de son entreprise, au nombre de personnes qu'elle emploie et à la fréquence de ses emprunts antérieurs.

Comparez les deux listes de raisons et vous constaterez qu'aucun point commun n'apparaît.

Notre étude a évalué trois approches explicatives utilisées pour interpréter les décisions de crédit pilotées par l'IA : les explications additives de Shapley (SHAP) , LIME et l'analyse directe des coefficients , la méthode la plus simple de toutes.

Chaque méthode d'explication s'est vu poser la même question : quelles caractéristiques ont le plus influencé la décision prise par l'algorithme de notation de crédit et dans quelle mesure chaque caractéristique a-t-elle contribué à cette décision ?

L'analyse des coefficients et le SHAP ont donné des résultats cohérents, leurs classements complets étant corrélés de manière quasi parfaite.

LIME a complètement rompu ce schéma.

Elle ne correspondait à aucune des cinq principales caractéristiques déterminées par l'analyse des coefficients. Et la correspondance était à peine meilleure lorsqu'elle était comparée à SHAP.

Quelle que soit la méthode de comparaison employée, LIME racontait une histoire différente concernant la même décision sous-jacente.

Les problèmes de divergence au sein de l'IA peuvent entraîner une moins bonne information concernant le refus de prêt. Photo : Getty Images

Toutes les explications ne se valent pas.

Les chercheurs qui étudient l'IA explicable ont un nom pour ce phénomène : le problème du désaccord .

Elle a surtout été décrite comme une curiosité technique, un motif de prudence parmi les spécialistes de l'apprentissage automatique.

Notre étude lui confère une forme réglementaire spécifique, car un établissement de crédit n'utilise généralement pas trois systèmes d'explication simultanément.

En réalité, elle en utilise une, l'intègre dans son logiciel de traitement des prêts et l'applique de manière uniforme.

Quelle que soit la méthode choisie, elle devient la réponse officielle pour chaque demandeur débouté, non pas parce que cette méthode est plus précise que les autres, mais en raison d'une décision prise bien avant même le dépôt de la demande.

Ce désaccord ne se résume pas non plus à trois perspectives également valables sur une même vérité.

Lorsque nous avons réentraîné les modèles de crédit en utilisant uniquement les cinq principales caractéristiques de chaque outil d'IA explicable, les modèles d'analyse des coefficients et SHAP ont conservé une précision prédictive quasi optimale. Cela signifie que leurs cinq caractéristiques clés suffisaient à reproduire les éléments sur lesquels le modèle initial s'appuyait pour prendre sa décision.

Les fonctionnalités choisies par LIME n'ont pas aussi bien résisté à la comparaison.

Les raisons invoquées étaient bien plus éloignées de ce que faisait réellement le modèle original, et n'étaient pas simplement formulées différemment.

Une emprunteuse dont la lettre de refus est générée par LIME ne reçoit pas une explication alternative, mais tout aussi légitime, de la décision. Elle reçoit une explication tout simplement moins fidèle à la réalité.

Ce que la loi présuppose concernant les explications de l'IA

Cette distinction est importante car deux grands cadres juridiques partent déjà du principe que l'on peut faire confiance à ce type d'explications.

Le Règlement général sur la protection des données (RGPD) de l'Union européenne donne aux individus le droit d'obtenir des informations pertinentes sur la logique qui sous-tend une décision automatisée les concernant.

La loi américaine sur l'égalité des chances en matière de crédit va plus loin, exigeant que les prêteurs indiquent des raisons spécifiques pour une décision de crédit défavorable, et non une simple mention générale qu'un mannequin était impliqué.

Les deux cadres d'analyse considèrent l'explication comme un fait établi concernant une décision, un élément que le prêteur peut retrouver et communiquer, et que l'emprunteur peut utiliser pour éclairer ses décisions futures.

Cette hypothèse a un coût réel pour l'emprunteur, et pas seulement pour l'organisme de réglementation.

Si la raison qui lui est donnée est erronée, elle risque de passer l'année suivante à régler un problème qui n'a jamais été la cause de son refus, à rembourser une dette injustifiée ou à poursuivre un indicateur erroné, tandis que le véritable obstacle à l'approbation restera intact.

Si l'explication dépend de la méthode utilisée pour la générer, la raison communiquée à l'emprunteur ne relève pas d'un fait tiré du modèle. Il s'agit d'un choix effectué à l'insu de l'emprunteur comme du prêteur.

Nous avons déjà la réponse.

Ces mêmes éléments de preuve indiquent également une solution qui ne nécessite pas de nouvelles technologies.

L'analyse des coefficients, la plus simple et la plus ancienne des trois méthodes, a égalé ou surpassé les autres en termes de fidélité, produisant des explications stables et s'exécutant à une fraction du coût de calcul requis par LIME pour la même tâche.

Elle fonctionne aussi bien précisément parce qu'elle correspond aux modèles de crédit linéaires que de nombreuses institutions de microfinance utilisent déjà.

Des explications plus justes et plus pertinentes en matière de prêts ne nécessitent pas d'outil non éprouvé. Il faut choisir celui que les données probantes privilégient déjà et faire preuve de transparence quant à celui qu'elles ne privilégient pas.

Les autorités de réglementation supervisant les prêts basés sur l'IA, au Bangladesh et sur tous les marchés utilisant des décisions de crédit automatisées dans le monde, devraient cesser de considérer l'IA explicable comme une simple case à cocher.

La législation actuelle sur la divulgation d'informations ne demande pas quel modèle d'IA est le plus proche de la vérité.

Les prêteurs devraient être tenus de divulguer la méthode d'explication ayant donné lieu à un avis de décision défavorable et de justifier ensuite ce choix selon une norme équitable, et non pas simplement de certifier qu'une explication a été fournie.

Tant que cette condition n'est pas remplie, une demande d'emprunt refusée n'est pas expliquée aux demandeurs. On lui indique simplement le résultat obtenu par un outil particulier, parmi plusieurs qui divergent entre eux.

https://pursuit.unimelb.edu.au/articles/two-ais-disagree-about-the-reason-someone-cant-borrow-money