Chapitre 9 — Quand le score devient décision
Un score n’est qu’une statistique. Il devient une décision lorsqu’une organisation lui attache un seuil, une procédure et une conséquence que la personne devra subir ou contester.
Frances avait quatre-vingt-cinq ans. Après une mauvaise chute, elle devait apprendre à vivre avec une épaule brisée, des douleurs fortes et un corps ralenti. Se lever, s’habiller, passer du lit au fauteuil et aller seule aux toilettes étaient redevenus des apprentissages.
Elle avait été admise dans un établissement de réadaptation. Les soignants notaient ses progrès, mais aussi ce qu’elle ne pouvait pas encore faire sans aide. Son assureur relevait de Medicare Advantage1. Un outil utilisé par l’entreprise avait calculé une durée estimée de séjour à partir de son diagnostic, de son âge, de sa situation de vie et des capacités de patients jugés comparables.
Dans le cas rapporté par une enquête de STAT, le nombre affiché était 16,6 jours. Les informations publiques ne permettent pas de savoir exactement ce que cette valeur représentait ni par quelle règle elle avait acquis une force pratique. Le dix-septième jour, l’assureur interrompit la prise en charge.
Le dossier médical décrivait pourtant une femme encore incapable d’accomplir seule plusieurs gestes essentiels. L’estimation avait d’abord résumé l’expérience d’autres patients. Elle avait ensuite servi de calendrier, puis de seuil. Frances devait désormais démontrer que son état réel justifiait de dépasser le chiffre [1, 2].
Le cas de Frances ne raconte pas une machine qui aurait décidé seule. Une organisation a choisi l’outil, la durée à prévoir, la place donnée au résultat et le moment auquel il deviendrait possible d’arrêter le paiement. La prédiction a acquis sa force dans une procédure orientée vers le contrôle des dépenses.
Les débats sur les algorithmes portent souvent sur leurs biais, leurs erreurs ou leur opacité. Ces questions restent indispensables. Elles ne suffisent pas. Un modèle plus exact et mieux expliqué peut encore servir une règle injuste. L’étape décisive vient lorsque l’assureur, la banque, l’administration ou le tribunal choisit ce que le nombre fera. Une probabilité devient alors une prime, un contrôle, un délai, une autorisation ou un refus.
La classification comme prise
Du sujet aux facteurs de risque
Le sociologue français Robert Castel avait décrit, à propos de la psychiatrie, le passage d’un jugement porté sur la dangerosité d’une personne à une gestion probabiliste des risques. L’institution n’a plus besoin de partir d’une rencontre singulière. Elle combine des caractéristiques, attribue une probabilité et répartit les individus entre plusieurs formes d’intervention [3].
Le professionnel peut encore rencontrer la personne. Il intervient toutefois après qu’une infrastructure a choisi les dossiers à examiner, l’ordre des priorités et la forme du problème. Le profil ne fait donc pas disparaître le sujet. Il prépare la manière dont l’institution le verra. Un examen supplémentaire, une autorisation préalable, un marché spécialisé ou une surveillance renforcée peuvent suivre.
L’assurance ne peut fonctionner sans catégories. Elle doit identifier la personne et le bien couverts, définir les garanties et déterminer si une perte relève du contrat. Le problème ne tient donc pas au classement en lui-même. Il tient aux distinctions retenues, aux informations utilisées et aux conséquences qui leur sont attachées.
Une catégorie prépare une action. Elle s’inscrit dans des formulaires, des logiciels, des budgets et des routines [4]. Un code médical ouvre un protocole. Un code postal modifie une prime. Une zone d’inondation affecte la valeur d’une maison. La politiste Béatrice Hibou décrit la bureaucratisation comme un ensemble d’opérations d’abstraction qui rendent les cas comparables et permettent de gouverner à distance [5].
Cette mise à distance est ambivalente. Une règle impersonnelle peut limiter l’arbitraire et améliorer la cohérence. Elle peut aussi effacer les circonstances particulières. Le classement protège lorsqu’il ouvre un soin, une aide ou une mesure de prévention. Il devient contraignant lorsqu’il sert à surveiller, à renchérir ou à exclure.
L’État a longtemps simplifié les territoires et les populations pour les rendre administrables [6]. Les entreprises produisent aujourd’hui leurs propres systèmes de lecture. Elles classent pour fixer un prix, organiser un portefeuille, détecter une fraude ou sélectionner un client. L’assurance se tient au croisement de ces deux histoires.
Le dossier conserve aussi une mémoire. Une maladie ancienne, une condamnation ou une série de sinistres peuvent devenir des traits durables de la personne. Le droit à l’oubli limite précisément ce pouvoir. Une information peut avoir été vraie sans devoir gouverner indéfiniment l’accès au crédit et à la protection.
Le score étend cette logique. Il rassemble davantage de traces, déduit des propriétés qui n’ont pas été déclarées et déplace rapidement les frontières. Il paraît individualiser le traitement, mais raisonne toujours par comparaison. La personne ressemble à d’autres cas et reçoit une position parmi eux. Dans une société ordinale, chacun est continuellement situé par rapport aux autres [7].
Du formulaire au score
Le formulaire rendait visible une partie du classement. Il demandait l’âge, l’adresse, la profession, les antécédents ou les revenus. La personne voyait au moins la question. Elle pouvait la contester et le législateur pouvait l’interdire.
L’inférence rend la question moins apparente. L’institution agrège des traces et reconstruit une caractéristique sans la demander directement. L’adresse peut renseigner sur la ségrégation du quartier, les horaires de connexion sur le travail et les achats sur la santé. Une variable interdite peut ainsi revenir sous la forme d’un proxy, c’est-à-dire d’une information qui lui est assez liée pour en reprendre une partie des effets.
Interdire une variable ne suffit donc pas lorsque d’autres données permettent de la reconstituer. Les proxys ne sont toutefois pas le seul problème. Les traces doivent aussi être interprétées. Un passage près d’un lieu de culte ne prouve aucune pratique religieuse. Un achat dans un bar-tabac peut concerner des timbres. Une présence dans une manifestation peut correspondre à un trajet. Le modèle réduit ces histoires possibles aux catégories qu’on lui a demandé de reconnaître.
Avec le score, la personne doit parfois contester une architecture dont elle ignore les éléments décisifs. Elle ne connaît ni les données retenues, ni le poids de chaque facteur, ni le seuil, ni le rôle du fournisseur externe. L’institution peut alors invoquer le secret commercial ou la lutte contre la fraude sans indiquer ce qui a placé le dossier du mauvais côté. Cette asymétrie caractérise la société de la boîte noire [8].
Les organisations accumulent les traces et produisent des classements. Les personnes reçoivent surtout la conséquence. Une prime augmente, une demande attend, un soin s’interrompt ou un contrôle commence. L’opacité porte donc sur l’organisation de la décision autant que sur le code [9].
Une explication qui ne permet ni correction ni recours reste une formalité. Le droit au motif doit donner une prise sur la décision et, dans certains cas, sur l’usage même du score. Dans l’assurance, la boîte noire possède une puissance particulière. Elle monétise le classement par une prime, une franchise, un plafond ou un non-renouvellement.
De l’opacité technique à l’opacité organisationnelle
L’automatisation peut réduire certaines incohérences. Elle peut aussi rendre l’erreur plus difficile à négocier en la transformant en état du système. Une pièce manquante, une adresse mal reconnue ou une discordance dans un fichier deviennent des défauts que la personne doit réfuter.
Documenter le modèle et ses données reste nécessaire. Mais une explication n’a de valeur que si elle permet une correction, une suspension ou un recours. La boîte noire ne se trouve pas seulement dans le code. Elle se trouve aussi dans l’objectif, l’indicateur de succès, la place laissée au professionnel et la conséquence attachée au résultat.
Dans un texte consacré aux comptes de l’assurance vie, Claude Bébéar imagine un actuaire inquiet de voir sa science devenir trop compréhensible. Pour protéger son autorité, le personnage invente un langage « ésotérique », puis produit avec les comptables des rapports que personne n’ose discuter de peur de paraître ignorant [21].
La satire ne condamne pas la technicité. Une compagnie d’assurance a besoin de calculs complexes pour estimer ses engagements. Elle vise l’usage du jargon lorsque celui-ci protège une décision contre la critique. Des nombres peuvent être exacts et rester politiquement opaques si les assurés, les actionnaires ou les contrôleurs ne savent pas quelles hypothèses les ont produits et quelles décisions ils autorisent.
Les normes professionnelles ont progressivement renforcé les obligations de documentation et de communication. Les principes actuariels américains de tarification reconnaissent explicitement le rôle du jugement et demandent que les hypothèses importantes puissent être expliquées [22]. La transparence ne consiste donc pas à supprimer l’expertise. Elle consiste à rendre possible la discussion de ce que l’expertise fait dans l’organisation.
L’opacité contemporaine vient souvent de la dispersion du jugement. Une équipe choisit les données, une autre construit le modèle, un fournisseur propose un score et un service opérationnel fixe le seuil. Chacun connaît une partie du dispositif. Personne ne peut facilement expliquer l’ensemble du trajet qui mène de la trace au refus.
La gouvernance par les nombres transforme aussi une règle discutable en cible à atteindre. Une organisation demande de réduire une durée, d’augmenter un taux de détection ou de diminuer un coût [23]. La justice bureaucratique doit pourtant arbitrer entre exactitude, efficacité, équité et accès [24]. L’algorithme formalise ces compromis. Il ne les supprime pas.
La présence d’un humain ne suffit donc pas. Un professionnel chargé de valider des dossiers déjà triés, soumis à des objectifs de volume et disposant de peu de temps peut devenir le surveillant du système plutôt que son contradicteur. Il faut demander quelles informations il reçoit, quelle autorité il conserve et combien de temps il peut consacrer à un cas qui s’écarte de la recommandation. L’automatisation réorganise le travail humain au lieu de le faire disparaître, souvent en reléguant la vérification et la correction à ceux qui disposent du moins de pouvoir [20].
Travelers a décrit un dispositif dans lequel les contrats habitation reçoivent un score, puis les dossiers les plus risqués sont dirigés vers des souscripteurs auxquels l’outil présente les informations jugées pertinentes [25]. Le professionnel intervient, mais après le tri et devant un dossier déjà composé.
Une proposition législative en Floride aurait interdit qu’un algorithme soit l’unique fondement d’un refus d’indemnisation et exigé l’intervention d’un professionnel qualifié. Adoptée par la Chambre en mars 2026, elle n’a pas achevé son parcours législatif [26]. La règle proposée allait dans le bon sens, mais la signature d’une personne n’aurait pas suffi à elle seule. Il aurait encore fallu garantir son accès au dossier et sa possibilité réelle de s’écarter du score.
Le cadre du NIST5 présente ces systèmes comme sociotechniques. Leur fonctionnement dépend à la fois du modèle, des personnes, des procédures et de l’organisation [27]. Un outil peut être valide et explicable tout en servant une politique de rationnement. L’institution doit donc répondre de la conséquence et pas seulement de la qualité du calcul.
Que cherche-t-on à optimiser ?
L’expression « intelligence artificielle » réunit des opérations très différentes. Un système peut lire un document, étiqueter une image, estimer une perte, classer des dossiers, recommander un examen ou rédiger un courrier. L’étiquette leur donne une unité trompeuse. Il vaut souvent mieux parler d’automatisation et demander ce qui est précisément automatisé. La question porte alors moins sur l’intelligence supposée de la machine que sur la tâche et le pouvoir que l’organisation lui confie [20].
Dire que « l’intelligence artificielle a refusé le sinistre » masque la chaîne de décision. Une entreprise a choisi un outil, défini une procédure et utilisé sa sortie pour produire un refus. Nommer la tâche permet de retrouver cette responsabilité.
Le choix politique commence avec la cible. « Améliorer la gestion des sinistres » peut signifier payer plus vite, repérer davantage de fraudes, réduire le montant moyen des indemnisations ou interrompre plus tôt certaines prestations. Ces objectifs ne sont pas équivalents.
Un système réglé pour manquer moins de fraudes orientera davantage de demandes légitimes vers une enquête. Un modèle de durée peut reproduire correctement une moyenne tout en transformant les récupérations lentes en anomalies. La fonction objectif6 formalise ces priorités. Elle décide de l’erreur qui compte, du coût rendu visible et du dommage laissé hors du calcul [28].
La place de la sortie dans la procédure est tout aussi importante. Un score peut déclencher un second examen ou suspendre le paiement. Une estimation peut aider un expert ou plafonner son offre. Une durée prévue peut attirer l’attention d’un médecin ou devenir une présomption d’arrêt.
L’alternative n’oppose donc pas mécaniquement l’humain à la machine. Elle oppose plusieurs organisations du pouvoir de décider. Une automatisation peut accélérer les dossiers simples et libérer du temps pour les situations complexes. Elle peut aussi repérer le premier moment défendable pour réduire une prestation. Les deux usages abaissent parfois les coûts, mais ils ne servent pas la même promesse.
La production organisée de l’indifférence
La décision est distribuée entre l’assureur, le fournisseur de données, le concepteur du modèle, le gestionnaire et le régulateur [5]. Le fournisseur produit le score. L’assureur fixe le seuil. Le gestionnaire applique la procédure. Le régulateur vérifie certaines obligations.
Chacun peut accomplir correctement la tâche qui lui a été confiée tandis que l’ensemble conduit à exclure une personne. Cette exclusion n’a pas besoin d’avoir été voulue par un acteur unique. La division du travail produit une distance qui facilite l’indifférence.
La responsabilité exige alors de reconstruire la chaîne. Qui a choisi la finalité ? Qui a fourni les données ? Qui a fixé le seuil ? Qui pouvait déroger ? Qui a organisé le recours ? Une responsabilité divisée ne devient pas une absence de responsabilité.
Au-delà de l’équité algorithmique
Les travaux sur l’équité algorithmique ont rendu visibles des discriminations indirectes et fourni des métriques, des audits et des méthodes de correction [29]. Ils restent indispensables. Mais l’équité du score ne justifie pas à elle seule l’usage du score.
Corriger un taux d’erreur ne dit pas si une prime doit dépendre de la variable, si une autorisation doit être automatisée ou si le risque élevé devrait plutôt ouvrir une aide. Isoler le modèle de son contexte efface les relations sociales et historiques dans lesquelles il agit [30]. Une technologie peut reproduire des hiérarchies tout en respectant une métrique de parité [31, 32].
L’évaluation doit donc porter sur trois objets. Il faut savoir ce que le modèle estime et avec quelle qualité. Il faut ensuite examiner la tâche qui lui est confiée. Il faut enfin regarder ce que la personne peut faire après la décision. Une bonne performance sur un test ne prouve pas qu’un système convient à une situation réelle, où comptent le contexte, la relation professionnelle et les conséquences de l’erreur [20].
En tarification, une fréquence prédite n’annonce pas ce qui arrivera à une personne. Elle décrit une moyenne parmi des risques jugés comparables. Même un modèle bien calibré laisse subsister une forte incertitude sur chaque cas. Sans possibilité de comprendre et de contester, une estimation solide à l’échelle du portefeuille peut néanmoins devenir un critère automatique d’accès.
La personne sans catégorie commune
Les anciennes tables plaçaient les individus dans un nombre limité de classes reconnaissables. Ces catégories pouvaient enfermer, mais elles rendaient parfois visible un sort commun. Les femmes tarifées comme femmes pouvaient nommer la règle et organiser une contestation.
Le score situe plutôt la personne sur une échelle fine. La catégorie réapparaît lorsque l’institution fixe un seuil. Le dossier devient ordinaire ou prioritaire, le risque faible ou élevé, le contrat accepté ou refusé. Le score ne fait pas disparaître les frontières. Il permet de les déplacer plus facilement et de les rendre moins visibles.
Ce classement individualisé repose toujours sur des comparaisons. Deux personnes peuvent recevoir la même conséquence sans savoir qu’elles ont franchi le même seuil ni quelles caractéristiques les ont rapprochées [33]. Chaque refus paraît alors résulter d’une combinaison particulière d’attributs. Une même règle produit une série de problèmes présentés comme personnels.
Le score peut ainsi dissoudre le groupe capable de contester la classification. Corriger une donnée améliore un dossier sans nécessairement modifier le système. La procédure de recours doit donc reconstruire ce que le modèle sépare. Elle doit permettre de comparer les décisions, d’agréger les motifs et de rendre visibles les régularités.
Un droit au recours reste fictif si la personne doit comprendre seule le modèle, obtenir toutes les pièces, financer une expertise et attendre sans protection provisoire. Dans les procédures d’invalidité, le sentiment de justice augmente lorsque la personne peut comprendre la norme, présenter les éléments pertinents et constater que l’administration les a réellement examinés [24].
La contestation doit fonctionner à plusieurs niveaux. L’assuré doit connaître les données et les faits décisifs, corriger une erreur et obtenir une révision qui ne soit pas la simple confirmation du résultat initial. Lorsque la santé, le logement ou le revenu sont en jeu, le recours devrait empêcher qu’une décision irréversible produise tous ses effets avant l’examen.
Le contrôle doit aussi être collectif. Les régulateurs, les associations, les chercheurs, les syndicats et les représentants des assurés doivent pouvoir comparer les décisions et auditer leurs effets. On ne peut attendre de chaque personne qu’elle découvre seule un seuil qui déplace massivement les refus.
L’audit vérifie le fonctionnement d’une règle. La délibération porte sur la règle elle-même. Plus l’institution dispose de données et d’expertise, plus la charge d’expliquer lui revient. Le droit à une explication ne consiste pas à visiter le modèle. Il doit ouvrir une possibilité réelle de faire réexaminer la conséquence.
Gouverner les usages
Les modèles peuvent accélérer un droit, repérer une incohérence, cibler la prévention ou documenter une discrimination. Leur valeur dépend de la tâche qui leur est attribuée. Une même prédiction peut ouvrir une aide, modifier une prime, imposer une preuve ou interrompre un soin.
Plus la décision touche à une protection essentielle, plus la justification doit être publique et contestable. Il faut connaître la finalité, les données, le seuil, le rôle laissé au professionnel et les voies de recours. Il faut aussi vérifier si l’usage a changé depuis l’évaluation initiale. Un outil conçu pour attirer l’attention peut progressivement devenir une règle de refus.
Une carte qui signale l’exposition d’une maison peut ouvrir des travaux ou une aide. Elle peut également servir à augmenter la prime, à imposer une condition de crédit ou à préparer un retrait. Le modèle climatique change d’échelle, mais pas le mécanisme. L’organisation fixe la conséquence, puis demande au territoire et à ses habitants de s’adapter.
Références
Medicare est le programme fédéral américain d’assurance santé principalement destiné aux personnes âgées de soixante-cinq ans ou plus et à certaines personnes handicapées. Dans Medicare Advantage, la couverture est administrée par des assureurs privés rémunérés dans un cadre public. Ces contrats peuvent imposer des réseaux de soins et des autorisations préalables, c’est-à-dire l’accord de l’assureur avant la prise en charge de certains soins.↩︎
La SCHUFA est la principale agence privée allemande de renseignement sur le crédit. Elle rassemble des informations transmises par ses partenaires et produit des scores destinés à estimer la probabilité qu’une personne respecte ses engagements financiers. Ces scores peuvent intervenir dans l’octroi d’un crédit, la location d’un logement ou la conclusion d’un contrat.↩︎
COMPAS signifie Correctional Offender Management Profiling for Alternative Sanctions. Cet outil américain d’évaluation des risques et des besoins utilise des informations tirées du dossier et d’un questionnaire pour produire notamment des scores de récidive.↩︎
Un score est calibré lorsque, parmi un grand nombre de cas auxquels il attribue une probabilité donnée, l’événement se réalise à une fréquence proche de cette probabilité. La calibration décrit une propriété collective. Elle ne permet pas de déclarer qu’une prédiction individuelle était vraie ou fausse après un seul résultat [16].↩︎
Le National Institute of Standards and Technology est une agence scientifique et technique du gouvernement américain. Son cadre de gestion des risques liés à l’intelligence artificielle propose aux organisations d’examiner les modèles dans leur contexte d’usage, avec les personnes, les fournisseurs et les procédures qui leur donnent une portée pratique.↩︎
Dans la construction d’un modèle, la fonction objectif traduit la performance que l’on cherche à améliorer. Elle peut, par exemple, accorder davantage d’importance à la détection d’une fraude qu’au risque d’enquêter inutilement sur une demande légitime. Le choix de cette fonction ne résulte donc pas du seul calcul. Il exprime une priorité de l’organisation.↩︎