Vers une « justice automatisée »

02/05/2018

Notre monde fonctionne à bien des égards grâce aux big data (données massives), aux algorithmes et à l'intelligence artificielle (IA) : les réseaux sociaux nous suggèrent avec qui devenir ami, les algorithmes placent nos actions en bourse, et notre vie amoureuse n'est plus une zone dénuée de statistiques. Le couple big data-algorithmes est devenu une problématique cruciale en matière de renseignement, de sécurité, de défense, d'anti-terrorisme et de politique criminelle : les ordinateurs aident l’armée à trouver ses cibles et, comme l'a révélé Edward Snowden en 2013, les agences de renseignement étayent leurs analyses sur la base d'une surveillance préventive de masse des réseaux publics de télécommunications. Les algorithmes qui permettent d’interpréter de façon intelligible les big data constituent un nouveau type de production de connaissances dans le domaine de la lutte contre la criminalité. Pour décider de l’affectation de leurs moyens, les forces de l’ordre utilisent de plus en plus de logiciels de prévision des crimes. De son côté, la justice pénale s'appuie de façon grandissante sur des algorithmes et des instruments de prédiction de la peine.

Alors que les informaticiens sont préoccupés par les exigences croissantes en matière de capacité de calcul, de stockage et de communication (elles atteignent les limites des lois physiques en termes de fiabilité et d'économie), les chercheurs en sciences sociales de leur côté n'ont pas encore pleinement saisi les implications sociales et éthiques des paradigmes informatiques existants. La question n'est pas seulement de savoir jusqu’où ira (et devrait aller) l'automatisation de la gouvernance grâce à ces nouvelles solutions informatiques très puissantes, telles que l'informatique quantique, bio-inspirée et participative ; elle est aussi de déterminer quelles sont les conséquences socialement destructrices des big data et des systèmes automatisés de prise de décision – qui sont déjà à l'œuvre dans les sociétés capitalistes contemporaines basées sur la surveillance.

Nous pouvons déjà observer des discriminations qui touchent en premier lieu les couches les moins aisées et les moins puissantes de la population, par exemple dans les domaines de l'assurance, de l'éducation, de l'emploi, de la criminalité et de la sécurité, et on constate de nombreuses distorsions des processus démocratiques, par exemple sur la base de données de réseaux sociaux, comme l'ont révélé les dénonciateurs de Cambridge Analytica en 2018.

Criminalité et sécurité

Les processus décisionnels automatisés empiètent fortement sur les libertés fondamentales dans le cadre pénal et policier, car ces acteurs détiennent le monopole de l'usage légal de la force physique. Au cours des siècles suivant les Lumières, des concepts et des procédures juridiques très nuancés ont été conçus pour réglementer le recours à la force. Ce qui est en jeu avec les processus décisionnels automatisés grâce à l'IA est le fondement même des concepts et procédures juridiques pensés pour réguler ce recours. Aujourd'hui, les forces de l’ordre n'opèrent plus seulement dans le paradigme du système de punition ex-post facto fondé sur des actes criminels manifestes ; elles utilisent de manière croissante des mesures préventives ex ante, basées sur des états psychologiques présumés, comme la notion de « terroriste dormant » dans la législation anti-terroriste allemande de l'après-11 septembre, qui est un exemple édifiant d'identification « algorithmique » d'une « cible » (par la suite invalidée par la Cour constitutionnelle fédérale).

Lorsqu’à des fins de profilage ou pour prédire le lieu et l'heure de futurs locus delicti commissi, les forces de l’ordre et les services de renseignement collectent des données - ou confient cette mission à des géants des télécom en échange d'un régime réglementaire complaisant - les frontières entre les concepts de « suspect », d'« accusé »  et de « condamné »  commencent à disparaître. Lorsque les logiciels de prévision policière utilisent des statistiques concernant tous les types de crimes, la petite délinquance attire davantage l'attention que les « crimes en col blanc ». Certes, les délits mineurs aident PredPol – logiciel de prédiction de délits – à prévoir les coordonnées GPS des infractions graves, mais à quel prix ? La police se concentre de façon disproportionnée sur les minorités qui, par conséquent, sont « sur-policiarisées » : en portant une attention accrue à un groupe spécifique, la police y détecte davantage de crimes, ce qui génère des données incitant à amplifier encore le contrôle policier. Les crimes financiers ou autres « crimes en col blanc » sont, quant à eux, négligés de façon totalement disproportionnée par rapport à l'ampleur des dommages causés.

La justice pénale utilise également de plus en plus d'outils décisionnels d'IA pour pronostiquer les futurs crimes des personnes en attente d'un procès ou d’une libération conditionnelle, mais aussi pour prédire le refus de collaborer avec les autorités dans les procédures de mise en liberté sous caution. L'algorithme de la fondation Arnold, qui est utilisé dans 21 juridictions aux États-Unis, brasse ainsi 1,5 million d'affaires pénales pour prévoir le comportement des accusés. Une étude menée par des chercheurs de l'Université Stanford à partir 1,36 million de cas de détention provisoire assure qu'un ordinateur peut prédire si un suspect fuira ou récidivera mieux qu'un juge humain.

Données et algorithmes sont des artefacts humains. Les systèmes automatisés de prise de décision sont donc susceptibles d’amplifier considérablement les erreurs et les défauts humains. Comme avec les « flash crashes » du trading à haute fréquence, où 99% de la valeur d'une action peut être réduite à néant en quelques minutes, les systèmes de décision automatisés peuvent envoyer de manière disproportionnée certains groupes en prison. Se fier excessivement aux calculs automatisés du risque peut déclencher un cercle vicieux de mauvaises décisions et exacerber les problèmes sociaux existants.

Par exemple, dans une évaluation détaillée de l'algorithme de récidive COMPAS, ProPublica a découvert que le système était biaisé contre les personnes noires. Plusieurs chercheurs ont d’ailleurs mis en garde contre la façon dont la « gouvernance automatisée » ou la « gouvernementalité algorithmique » pouvait perpétuer et amplifier les discriminations. Cela a déjà empiété sur les libertés fondamentales, dont le droit à la non-discrimination fait partie, et reproduira inévitablement les inégalités, puisque les données recueillies sont divisées selon des critères économiques, raciaux, ethniques et de genre. Dans le cadre de la justice pénale, l’intelligence artificielle porte atteinte à l’égalité des parties dans les procédures judiciaires, ainsi qu'au droit à un procès équitable, c'est-à-dire le droit à un juge humain ainsi qu’à un tribunal indépendant et impartial. La procédure pénale doit concilier équité et efficacité, mais l'équité a toujours primé : mieux vaut laisser dix criminels s'évader de prison que de condamner un innocent. Cela a longtemps été l'une des principales distinctions entre les systèmes politiques autoritaires et démocratiques.

De la démocratie à l'« algocratie » ?

Une expérience menée sur la contagion émotionnelle massive des utilisateurs de Facebook a démontré comment des outils puissants induisent l'humeur et l’opinion. Le récent cas de Cambridge Analytica a montré que de puissants outils existent aussi pour induire une « contagion politique » auprès du grand public. La « justice automatisée » n'est qu’une part infime d'une tendance plus large vers une « gouvernance automatisée » susceptible de fausser les processus démocratiques. Ce qui est en jeu avec l'avènement d'outils de prise de décision basés sur l'IA, c'est l'État de droit, lentement remplacé par la « règle de l'algorithme ». Avec, en perspective, une algocratie supplantant insidieusement la démocratie.

Traduction : Aurélie Louchart

References

  1. Ambasna-Jones, M. (2015, August 3). The smart home and a data underclass. The Guardian.
     
  2. Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016, May 23). Machine Bias: There’s Software Used Across the Country to Predict Future Criminals. And it’s Biased Against Blacks. ProPublica.
     
  3. Barocas, Solon, and Andrew D. Selbst (2015). Big Data’s Disparate Impact. SSRN Scholarly Paper ID 2477899. Rochester, NY: Social Science Research Network.
     
  4. Cohen, J. E., Hoofnagle, C. J., McGeveran, W., Ohm, P., Reidenberg, J. R., Richards, N. M., … Willis, L. E. (2015). Information Privacy Law Scholars’ Brief in Spokeo, Inc. v. Robins (SSRN Scholarly Paper No. ID 2656482). Rochester, NY: Social Science Research Network.
     
  5. Dewan, S. (2015, June 26). Judges Replacing Conjecture With Formula for Bail. The New York Times.
     
  6. Ekowo, M., & Palmer, I. (2016). The Promise and Peril of Predictive Analytics in Higher Education. New America.
     
  7. Kerr, I., & Earle, J. (2013). Prediction, Preemption, Presumption: How Big Data Threatens Big Picture Privacy. Stanford Law Review Online, 66(65), 65–72.
     
  8. Kleinberg, J., Lakkaraju, H., Leskovec, J., Ludwig, J., & Mullainathan, S. (2017). Human Decisions and Machine Predictions (No. w23180). Cambridge, MA: National Bureau of Economic Research.
     
  9. Koumoutsakos, P. (2017). After Digital? Emerging Computing Paradigms, Workshop, December 8, 2017, Collegium Helveticum, Zürich.
     
  10. Kramer, A. D. I., Guillory, J. E., & Hancock, J. T. (2014). Experimental evidence of massive-scale emotional contagion through social networks. Proceedings of the National Academy of Sciences, 111(24), 8788–8790.
     
  11. Lewis, P., & Hilder, P. (2018, March 23). Leaked: Cambridge Analytica’s blueprint for Trump victory. The Guardian.
     
  12. Lyon, D. (2017). Big Data Vulnerabilities: Social Sorting on Steroids?, 6. April, Lecture at Vulnerability conference, University of Copenhagen.
     
  13. Meek, A. (2015, September 14). Data could be the real draw of the internet of things – but for whom? The Guardian.
     
  14. Morozov, E. (2013). To Save Everything, Click Here: Technology, Solutionism, and the Urge to Fix Problems that Don’t Exist. London: Allen Lane.
     
  15. O’Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown.
     
  16. Rouvroy, A. & Berns, T. (2013). Gouvernementalité algorithmique et perspectives d'émancipation », Réseaux 2013/1 (No 177), p. 163-196.
     
  17. Selingo, J. (2017, November 4). How Colleges Use Big Data to Target the Students They Want. The Atlantic.
     
  18. Webb, A. (2013, January 28). Amy Webb: Why data is the secret to successful dating. Visualised. The Guardian.

Ajouter un commentaire