Avant-propos

La réalisation de ce travail a nécessité en amont un important effort d’investigation afin de dissiper une partie de l’opacité entourant le programme I-Police. En commençant nos recherches, nous nous sommes vite rendu à l’évidence que les informations laissées en libre accès ne suffiraient pas à appuyer notre argumentation. Il a donc fallu nous tourner directement vers les autorités compétentes. Nous ne pouvons cacher le fait que la prise de contact avec les instances policières fut laborieuse. Outre les longs mois sans réponse et les changements inopinés d’interlocuteur.rices, obtenir de la documentation fut pénible. Néanmoins, ces démarches furent récompensées par l’obtention du dossier de sélection décrivant le marché public I-Police. En continuant d’insister, nous avons également eu l’occasion d’avoir un entretien téléphonique avec l’un des project managers d’I-Police. Cette conversation fut riche en renseignements. Toutefois, ce dernier n’a pas donné suite au courriel dans lequel il lui était demandé d’approuver ses déclarations. Ayant interprété son silence comme accord, nous nous permettons d’utiliser les informations retranscrites dans cet entretien. Cette expérience appuie le manque de transparence qui a pu être observé à l’égard des outils de police prédictive¹.

Sur tout autre chose, nous tenons à préciser d’emblée que nous nous rallions à la position de la Ligue des droits humains quant à l’usage du terme « race » et de ses dérivés. Ceux-ci sont « contestables, à de nombreux points de vue, et ne sont pas pertinents. Ils ne sont dès lors utilisés dans le présent document que lorsqu’il n’y a pas moyen de les éviter, c’est-à-dire lorsqu’ils sont mobilisés par une structure qui continue à avoir recours à cette terminologie erronée »².

Introduction

§1 L’académicien Jean Dutourd a dit : « la seule chose dont on soit sûr, en ce qui concerne l’avenir, c’est qu’il n’est jamais conforme à nos prévisions »³. Cette affirmation est tellement évidente qu’elle pourrait en devenir une lapalissade. Pourtant, l’État belge a cru à la théorie selon laquelle le crime est prédictible. En 2014, les autorités ont annoncé le lancement aux environs 2020-2030 d’« I-Police », outil de police prédictive censé assister les forces de l’ordre dans leurs missions quotidiennes⁴. Néanmoins, si le terme de « police prédictive » donne lieu à de nombreux fantasmes et attentes⁵, l’introduction de ces nouvelles technologies multiplie les interrogations, parmi lesquelles la problématique des discriminations. En effet, nous ayant devancés dans l’utilisation de ces nouveaux programmes⁶, les États-Unis ont pu tirer certaines conclusions. L’expérience américaine dévoile notamment que les statistiques criminelles historiques, empreintes de pratiques policières discriminatoires, alimentent les bases de données et par conséquent les logiciels prédictifs. Cela aurait pour effet de corrompre ces logiciels en les rendant à leur tour discriminants⁷. Partant, la police belge étant accusée de profilage ethnique par Amnesty International⁸, il parait censé de s’interroger quant à l’emploi du système I-Police. Se pose dès lors la question suivante : « En théorie, comment I-Police peut-il se rendre coupable de discrimination ? ».

Afin de répondre à la question de recherche, il a été décidé d’opter pour une approche formaliste basée sur la « technique juridique »⁹. Dans cette optique, la cadre légal belge relatif aux discriminations sera délimité pour ensuite l’appliquer pratiquement au cas d’I-Police. L’idée est de construire l’hypothèse dans laquelle ce système prédictif pourrait devenir discriminant et donc violer la législation en vigueur.

Pour y parvenir, cet article s’articulera en deux grands chapitres. Le premier rendra le sujet de la police prédictive plus limpide. Il a pour mission de donner au.à la lecteur.ice les outils nécessaires afin qu’iel puisse s’approprier la démonstration qui sera faite plus loin. Y seront évoqués la théorie générale, les enjeux et bien sûr le système I-Police en lui-même. La seconde partie de cette étude rappellera d’abord le cadre législatif anti-discrimination en vigueur. Elle s’attèlera ensuite à démontrer que le profilage ethnique constitue une discrimination répréhensible, qu’il est employé par la police belge et que par conséquent il imprègne les données utilisées par I-Police, transformant ce dernier en un outil discriminant.

Police prédictive : une réalité proche de la fiction

§2 Rares sont ceux qui savent à quoi renvoie le terme de « police prédictive ». Quelques irréductibles s’évertuent toutefois à faire référence à la nouvelle de Philip K. Dick adaptée à l’écran par Steven Spielberg : Minority Report. Une dystopie dans laquelle la société ne connait plus de crimes grâce aux prédictions de trois oracles permettant l’arrestation des criminels par une unité spécialisée et ce, avant qu’ils n’aient même commis leurs méfaits.

L’ancrage de cette œuvre dans l’inconscient collectif est intéressant car il déteint aujourd’hui sur les attentes liées à l’usage d’outils prédictifs par la police¹⁰. À ce titre, il est assez cocasse d’apprendre que le terme anglais pour « police prédictive » (predictive policing) est lui-même tiré du film de 2002 dans lequel joue Tom Cruise¹¹. Les images véhiculées par les médias sont également le reflet de ce qui est projeté comme le remède miracle à la criminalité¹². Il n’y a qu’à lire les titres d’articles annonçant l’usage d’outils prédictifs en Belgique : « i-Police: la police va prévoir la criminalité grâce à des algorithmes »¹³, « La police va bientôt anticiper les délits grâce au nouveau système iPolice »¹⁴ ou encore « Voici venu le temps de l’iPolice belge ! »¹⁵.

L’idée dans ce chapitre est de préalablement démystifier le terme de « police prédictive » et de clarifier ses contours en définissant les notions clefs qui gravitent autour. D’abord, en décortiquant les catégories d’outils englobés sous cette appellation, puis en exposant brièvement certains modèles utilisés à l’étranger afin d’en présenter les applications concrètes. S’ensuit le développement des différents enjeux que soulève l’utilisation du prédictif dans la lutte contre le crime. Ce sera ainsi l’occasion d’amorcer la problématique qui est la nôtre. En dernier lieu, le système I-Police lui-même sera abordé, une importance primordiale lui étant accordée car toutes les informations connues à son égard y seront compilées. De fait, il est essentiel d’en apprendre le plus possible sur celui-ci afin de démontrer ultérieurement en quoi il pourrait devenir problématique.

Vue d’ensemble

§3 La formule « police prédictive » sous-tend une série de notions telles qu’« algorithme » ou encore « big data ». Le premier point s’évertuera de manière concise et intelligible à les définir afin de faciliter la compréhension du présent travail. Au sein des outils prédictifs, différents paramètres cohabitent et influencent les problématiques qui en découlent. Ils seront déclinés en plusieurs catégories (point « les différentes catégories »). Par ailleurs, de nombreux pays expérimentent ou ont adopté des logiciels prédictifs. Ainsi, dans le cadre de ce travail, les États-Unis, la France et les Pays-Bas ont été sélectionnés dans une approche comparative pour mettre en avant la traduction pratique des modèles, leurs bilans et entrevoir les possibles inspirations d’I-Police (point « exemples internationaux »).

Définition

§4 La définition largement répandue du terme « police prédictive » englobe le domaine de recherche ayant pour objectif l’élaboration d’outils qui pourraient « prédire » – selon un taux de probabilité – soit les lieux et moments d’activités criminelles, soit les auteur.ices ou victimes de crimes. Outre un nombre croissant de données diverses, sont utilisées pour cela des techniques analytiques/de statistiques avancées et des algorithmes¹⁶.

§5 Il est utile d’approfondir plusieurs termes employés ci-dessus. Le premier est « algorithme », entendu comme une « suite finie et non ambiguë d’opérations permettant d’atteindre un résultat. Par extension, un ensemble de codes informatiques ou instructions réalisant les opérations »¹⁷. Un algorithme sert à « résoudre un problème ou effectuer une tâche, à partir d’entrées, en suivant certaines étapes »¹⁸. La police prédictive emploie, entre autres, des algorithmes apprenant par eux-mêmes (dits de « machine learning »). Cela correspond à « une forme d'intelligence artificielle (IA) qui permet à un système d'apprendre à partir des données et non à l'aide d'une programmation explicite »¹⁹. Pour alimenter les programmes prédictifs, des données sont donc indispensables. Celles-ci sont souvent associées à des expressions telles que « big data » ou encore « data mining ». La première expression désigne les « mégadonnées » c’est-à-dire « l’analyse de gros volumes de données » tandis que la seconde se comprend comme « un type d’apprentissage automatique qui consiste à repérer des constantes intéressantes dans d’énormes quantités de données »²⁰. Ces dernières sont de plus en plus nombreuses dans le domaine du prédictif²¹.

§6 Dans la définition générale donnée plus haut, le terme « prédire » a été mis entre guillemets de manière réfléchie. En effet, les formules d’« outil d’aide à la décision » ou « analyse décisionnelle » sont fréquemment préférées. Comme rapidement évoqué plus haut, le terme de « police prédictive » est à prendre avec précaution²². Il a surtout été choisi pour son côté avant-gardiste, idéal pour illustrer un renouveau des forces de police à l’ère des nouvelles technologies²³. Cette stratégie s’avère plutôt payante vu l’engouement suscité dans les médias. Toutefois, promettre de prédire la criminalité ne sert qu’un dessein de communication publique. En réalité, les programmes « prédictifs » auront souvent tendance à jouer sur la proactivité des forces de l’ordre et l’optimisation de leurs ressources. Ils auront un rôle d’adjuvant dans la constitution de politiques de prévention et de sécurisation de l’espace public. Les données produites vont pouvoir aider à l’amélioration des choix tactiques, à une meilleure gestion des patrouilles et à un suivi plus encadré des agent.es²⁴.

Les différentes catégories

§7 Il n’existe pas un seul modèle prédictif commun à tous les logiciels employés par la police, plusieurs variables peuvent être observées. Trois d’entre elles ont été sélectionnées en raison du fait qu’elles influencent différemment les enjeux traités plus loin dans cet article. D’abord, il sera question des « cibles » choisies par l’outil qui pourront être des personnes ou des lieux. Ensuite, il sera discuté d’algorithmes spécifiques et de l’importance des données ingérées. Le dernier point, quant à lui, introduira les notions d’outils « internes » ou « externes » se distinguant par leur concepteur.rice.

« Person-based » ou « place-based predictive policing »

§8 Les outils « person-based » sont ceux qui prennent pour cible une personne. Deux options s’ouvrent alors : soit il est décidé de surveiller de potentiel.es auteur.ices de méfaits, soit d’identifier des personnes risquant d’être des victimes. Ils sont utilisés, par exemple, pour chiffrer la probabilité de récidive des détenu.es en passe d’être libéré.es. Ils se prêtent également à la dissuasion et la prévention ciblée à l’encontre de certains individus dits « à risque » car susceptibles d’être impliqués dans des violences entre gangs ou domestiques²⁵. Principalement prisés outre-Atlantique avec des programmes tels que la Strategic Subject List initiée à Chicago (qui sera évoquée plus loin), ces types d’outils sont loin d’être majoritairement adoptés en Europe. Cela s’explique par les risques engendrés par ces dispositifs en matière de protection de la vie privée et de collecte de données personnelles. De facto, les moindres faits et gestes des cibles – et de leur entourage – se verront scrutés. En outre, l’attribution d’une étiquette « victime » ou « auteur » pose, elle aussi, question²⁶.

§9 Quant aux outils « place-based », l’objectif est de définir via une carte interactive « les lieux et moments où le crime a le plus de risque de survenir »²⁷. Le postulat de base justifiant leur usage résulte de la théorie selon laquelle un crime se produit là où il a déjà eu lieu ; les crimes seraient comme l’Histoire : un éternel recommencement²⁸. La carte recouvre donc une zone préalablement définie, découpée elle-même en plus petites aires géographiques pour former visuellement une sorte de maillage. Plus les secteurs délimités par les quadrillages seront réduits, plus les prédictions seront fiables²⁹. Outre un découpage spatial, ces systèmes nécessitent d’opter pour un type d’infractions à poursuivre (ex. : cambriolages, agressions, etc.). Habituellement, ils passent d’abord par une phase d’apprentissage durant laquelle ils repèrent des patterns³⁰ dans les données mises à leur disposition. Ensuite, ils calculent le risque afin d’obtenir un score plus ou moins élevé, propre à chaque division territoriale³¹. Ce score se traduira graphiquement par une échelle de couleur (le rouge étant souvent indicateur d’un besoin accru de vigilance) d’où les appellations « hotspotting » et « heatmap »³². Certes, il a toujours fait partie du travail policier de rechercher dans les données collectées certaines tendances criminelles. Cependant, la donne a aujourd’hui changé avec le recours à de nouveaux outils analytiques dotés d’une certaine intelligence et disposant d’une masse de données considérable pouvant être exploitée³³. À l’instar des modèles « person-based », les dispositifs « place-based » sont pointés du doigt pour certaines dérives. Bien que cela fasse l’objet de développements plus approfondis dans la suite de cette étude, il peut être dès à présent signalé que l’usage de ces outils présente un risque de discrimination indirecte : si ceux-ci poussent à surveiller certains quartiers en priorité et de manière répétée, il est fort probable que certaines populations expérimentent une différenciation de traitement (due à la découpe irrémédiable du territoire selon des facteurs socio-économiques). Les données utilisées jouent d’ailleurs un rôle premier dans cet engrenage³⁴.

Données et algorithmes

§10 Brièvement évoqués au début, les algorithmes d’apprentissage (ou utilisés pour effectuer du « machine learning ») composent certains outils prédictifs. L’avantage de ceux-ci réside dans leur habilité à traiter de vastes volumes de données souvent complexes. De plus, ils se démarquent grâce à leur capacité d’autocorrection et d’auto-apprentissage. Toutefois, l’inconvénient majeur de ce type d’instruments tient à leur opacité – ils sont d’ailleurs qualifiés de « black box »³⁵. Pour faire simple, il n’est pas aisé de mettre en lumière un lien de corrélation entre les données fournies à l’entrée et le résultat obtenu par le programme à la sortie³⁶.

§11 D’autres types d’algorithmes moins complexes sont également employés. Ils se matérialisent sous la forme de modèles statistiques expressément destinés à un usage prédictif. Au sein de ceux-ci, sont présentes deux catégories : les « near-repeat models » et les « time-space models ». Rappelez-vous, tous les programmes prédictifs s’accordent à dire que « les incidents criminels ne se produisent pas par hasard et présentent un pattern prévisible qu'il convient de trouver »³⁷. Les « near-repeat models » poussent la théorie encore plus loin et prétendent que certains délits (principalement les cambriolages) se propagent selon un schéma identique aux épidémies ou au séismes (l’illustration la plus marquante étant le logiciel Predpol qui sera introduit ci-après). Ces algorithmes requièrent uniquement l’historique des infractions comprenant les informations suivantes : lieu, date et type de délits. Les « time-space models » se distinguent par le fait qu’en plus des données criminelles, ils intègrent d’autres sources (telles que des données démographiques ou géographiques par exemple). Cela nécessite en conséquence une présélection des sources pertinentes³⁸.

§12 Pour fonctionner, tous ces algorithmes ont un carburant commun : les données³⁹. Celles-ci proviennent majoritairement des institutions policières mais le recours à des éléments externes est de plus en plus fréquent avec par exemple la météo, la densité de population, les évènements publics, etc⁴⁰. Leur qualité et volume vont définir le résultat final du programme. La formule anglaise « garbage in, garbage out » résume ce phénomène. Nourrir les modules avec des données biaisées, erronées ou bancales amène automatiquement à des contre-performances ou pire (à des discriminations, inégalités, traitements défavorables, etc.)⁴¹. D’où l’importance de la collecte et de la sélection des données. Cette étape ne peut être laissée exclusivement à la machine⁴². L’autre condition requise au bon fonctionnement est celle d’une masse suffisante de données, comme en témoigne le fait que seul un nombre restreint de délits, comme les cambriolages ou les vols de voitures, peuvent faire l’objet de prédictions. Ces incidents sont souvent bien documentés étant donné qu’ils se produisent en nombre, font l’objet de signalements/plaintes et peuvent être rattachés à un lieu et à une date, voire une heure. Dans le cas d’infractions peu dénoncées à l’instar des viols ou violences domestiques, les programmes prédictifs seront a contrario inefficaces⁴³.

Outils internes ou externes

§13 Derrière cette variable existe la possibilité pour les États désirant user du prédictif de concevoir seuls leur propre logiciel ou à l’inverse, de faire appel à des entreprises privées afin d’acheter un produit fini, prêt à utilisation. Ce choix n’est nullement neutre et ses répercussions sont considérables. Les grands groupes et même les start-ups ont bien compris que le marché de la prédiction sécuritaire est en plein essor⁴⁴. Il existe auprès des dirigeant.es et politiques une pression sociale pour plus de sûreté. Celleux-ci voient donc dans la prédiction policière un moyen d’y parvenir, ou à tout le moins, de séduire une partie de l’opinion publique⁴⁵. Aux États-Unis, où l’emploi de ces nouvelles technologies est largement répandu, ce sont des entreprises qui ont été à l’origine de leur conception. Elles sont désormais à la pointe et dominent le marché⁴⁶. Il est tentant de passer par l’intermédiaire d’acteur.ices privé.es en raison d’un aspect pratique et d’une mise en place plus rapide. Cependant, il faut attirer l’attention sur les aléas que cela comporte. Il y a tout d’abord la naissance d’une dépendance du service public à l’égard de l’opérateur commercial. Celle-ci se traduit au niveau de la maintenance quotidienne/régulière du programme et de l’assistance en cas de dysfonctionnement. En vendant un produit directement prêt à l’emploi, les entreprises fournissent en réalité des « black box », c’est-à-dire des outils dont le fonctionnement et l’articulation restent obscurs pour le.a client.e. À cela s’ajoute le fait qu’à tout moment, le.a développeur.se peut modifier le programme à sa guise ou même ne plus le mettre à jour. L’autre inconvénient inhérent à ces « black box » est évidemment le manque de transparence. Il est difficile d’imaginer qu’un service public – ici, la police – ne puisse rendre des comptes aux citoyen.nes quant aux moyens qu’il emploie. De fait, comment évaluer publiquement un système s’il reste incompris par celleux qui en font usage ? Toujours dans la même veine, il est raisonnable de s’interroger sur le sort des données générées, notamment celles relatives à la criminalité. Il se pourrait qu’elles soient récupérées par le.a concepteur.rice (souvent basé.e à l’étranger) à cause de règles en matière de propriété intellectuelle et/ou droit des brevets. Dès lors, la situation pourrait dériver vers un enjeu de souveraineté nationale si des données policières venaient à devenir propriété de sociétés installées dans d’autres pays. Confier une part de la politique de sécurité publique au privé amène en définitive à douter du fait que puisse être encore pertinent le concept de « service public »⁴⁷. De surcroît, au regard du coût exorbitant des logiciels privés, le choix d’outils internes apparaitra comme plus judicieux. Néanmoins, un temps de développement plus long et un manque de communication à leur propos peuvent leur être reprochés.

À la lecture des éléments exposés ci-dessus, il est plus facile de comprendre pourquoi en Europe la tendance se situe davantage dans le développement d’instruments internes tels que les système CAS (Pays-Bas), Predvol ou encore Paved (France)⁴⁸. Le point ci-dessous s’attardera, entre autres, sur ces derniers.

Exemples internationaux

§14 Au fil des paragraphes précédents, l’accent a été mis sur ce qu’est « la police prédictive » théoriquement et synthétiquement. Il pourrait sembler superflu d’ajouter à cela une présentation de différents logiciels prédictifs en guise d’exemples pratiques. Au contraire, l’intérêt d’explorer les applications internationales réside ailleurs. Connaître ce qui se fait à l’étranger, c’est en apprendre plus sur ce qui pourrait se réaliser chez nous. Les États communiquent et s’inspirent mutuellement. C’est ce qu’il se passe avec I-Police : la conception de ce dernier s’accompagne notamment de discussions avec les Pays-Bas⁴⁹. Partant, poser un regard sur les outils néerlandais et français s’avère indispensable tant ils nous éclairent sur le futur de la prédiction policière belge. La comparaison avec ces deux pays est naturelle comme en témoignent nos ressemblances d’un point de vue juridique et l’utilisations de langues communes. En ce qui concerne les États-Unis, ne pas parler de leur expérience en la matière semble malavisé compte tenu du fait que tous les programmes en activité descendent de leurs semblables américains, pionniers en la matière⁵⁰.

États-Unis

§15 La naissance aux États-Unis des premières solutions prédictives s’explique par un terreau particulièrement fertile à ce genre d’expérimentations. Ces programmes viennent à point nommé dans un contexte où la population n’a plus confiance en sa police, où il faut faire plus avec les mêmes moyens et où le pays fait face à des phénomènes de violences particuliers (violences urbaines aggravées par le droit à porter une arme, guerres des gangs, tuerie de masses/school shootings). Encore une fois, c’est cette idée d’une solution miracle, neutre et plus économique qui séduit et pousse les États à financer le déploiement massif de ces nouveaux alliés⁵¹. Trois de ces outils méritent une attention singulière justifiée par leur influence, leur fonctionnement ou encore leur importance : Predpol, Hunchlab et SSL.

§16 Predpol est sans doute la « star » des logiciels prédictifs. Projeté sur le devant de la scène en 2011, il succède à Compstat, outil précurseur ayant pour mission de rassembler les données de la criminalité new-yorkaise ainsi que de faire rapport de la réponse policière⁵². Predpol est arrivé avec un concept révolutionnaire : prédire en continu où et quand le crime va sévir. Pour cela, la société américaine Predpol Inc se base sur les données archivées par la police et les passe au travers d’un algorithme afin d’obtenir une carte où sont mis en évidence des points chauds (dits « hotspots ») symbolisant les endroits où le risque de crime est le plus élevé. En se référant aux catégories présentées précédemment, Predpol rentre dans les cases d’outil externe, « place-based » et « near-repeat model ». Il peut être qualifié de « near-repeat model » car ses concepteur.ices se sont calqué.es sur un algorithme utilisé en sismologie pour prévenir les tremblements de terres⁵³. Iels soutiennent l’hypothèse selon laquelle les crimes agissent comme les secousses secondaires d’un séisme, c’est-à-dire qu’ils « sont dépendants les uns des autres et se déplacent de proche en proche »⁵⁴. Le succès du logiciel s’explique principalement par sa simplicité, mais aussi par le fait que la carte produite est facilement lisible, la formation nécessaire à l’utilisation est brève et le programme peut être installé tant sur smartphone/tablette que sur ordinateur⁵⁵. Un autre point fort est le guidage des patrouilles puisque le logiciel calcule le temps nécessaire pour une présence policière optimisée dans certains secteurs⁵⁶. Ce succès est visible au travers de son expansion : conçu originellement pour Los Angeles, il s’est vite exporté dans d’autres villes américaines (notamment à Atlanta, Richmond et Modesto) et même au Royaume-Uni (à Londres, dans le Kent et le Yorkshire)⁵⁷.

§17 Derrière ce tableau a priori idyllique, Predpol tire également sa célébrité des critiques le désignant comme un exemple à ne pas suivre. D’un point de vue technique, lui sont reprochés : un manque de flexibilité quant à l’inclusion de données autres que celles de la police⁵⁸, une incapacité à anticiper des infractions dites « spontanées » ou peu documentées⁵⁹ et l’impossibilité de prouver tangiblement son efficacité. Les rares études s’étant penchées sur les résultats de Predpol ont été pour la plupart diligentées par ses créateur.ices. Lorsqu’iels prétendent diminuer la criminalité, cela doit être largement relativisé en fonction des chiffres disponibles et du type d’infraction⁶⁰. L’illustration parfaite est le cas du Kent : introduit là-bas en 2013, Predpol fut abandonné en 2018 car il n’avait pu lui être officiellement attribué une quelconque baisse de la criminalité. Le coût de licence étant exorbitant, le choix fut vite fait⁶¹. D’autres voix se sont élevées pour dénoncer l’outil. Parmi elles, celle de David Marsan, père des algorithmes prédictifs en sismologie. Lui-même est perplexe quant au rapprochement fait entre les séismes et le crime. Il met en exergue le côté imprévisible et évolutif de la criminalité, celle-ci ne pouvant être assimilée à un phénomène naturel⁶². Enfin, il a été observé que les patrouilles dirigées par Predpol étaient constamment envoyées dans les quartiers majoritairement composés d’afro-américain.nes ou hispaniques, plus « criminogènes »⁶³. Certain.es y voient l’indice d’un biais intrinsèque au système⁶⁴.

§18 Concurrent direct de Predpol, Hunchlab est aussi un outil « place-based » à la différence que celui-ci est un « time-space model ». Il n’utilise donc pas que les trois variables (type de crime-lieux-temps) mais emploie également d’autres sources (voy. « Données et algorithmes ») pour essayer de pallier les résultats faussés par des biais⁶⁵. Dans sa première version, en 2008, Hunchlab a connu un échec cuisant⁶⁶. Il a fallu attendre la sortie de Predpol en 2011, pour que Hunchlab fasse l’objet d’une profonde réorientation. En 2013, il revient et innove en arguant ne pas être un logiciel prédictif⁶⁷. Hunchlab se positionne comme un gestionnaire de patrouille. Il vise l’optimisation, l’aide à la décision en suggérant des zones à surveiller et en analysant les risques de surcontrôle de certains endroits. Il n’impose donc pas aux policiers un parcours de patrouille et met en place un examen a posteriori pour évaluer « leur travail et l’efficacité des propositions faites par le système »⁶⁸. L’évaluation du système permet à ce dernier de s’autocorriger. À la différence de Predpol, Hunchlab fait preuve de transparence en n’ayant déposé aucun brevet sur ses composants⁶⁹. Ils partagent toutefois un point commun : aucune étude n’atteste de leur réelle efficience⁷⁰.

§19 Un rapide survol sera fait de la Strategic Subject List de Chicago (abrégée SSL). L’intérêt réside dans le fait que cet outil ciblait des personnes. Fondée sur l’historique des arrestations couvrant une période de quatre ans, elle répertoriait les personnes ayant le plus de chances de se retrouver impliquées dans une fusillade. Cette liste comprenait les auteur.ices et victimes potentiel.les ; iels étaient à peu près 400.000. Dans un but de prévention, ces personnes recevaient la visite régulière de policier.es et de travailleur.ses sociaux.les. En outre, les potentiel.les auteur.ices listé.es se voyaient infliger une peine maximale en cas de passage à l’acte. Le programme prit fin en 2019. Les raisons avancées sont multiples : inefficacité, partage des données avec d’autres services judicaires (« law enforcement agencies »), biais inhérents dus aux données policières utilisées, coût financier important, atteinte aux droits fondamentaux, etc⁷¹.

§20 Ce qu’il est important de garder en mémoire c’est le phénomène de biais des données utilisées par la police américaine. Leurs registres sont imprégnés de pratiques racistes ayant fait partie des habitudes policières pendant très longtemps. La plus connue est la politique dite « Terry Stop » ou « Stop-and-frisk » qui permettait aux policier.es d’arrêter et de détenir un individu momentanément même s’il n’existait à son encontre aucun soupçon d’implication dans une activité criminelle (conséquence directe de l’arrêt Terry c. Ohio de la Cour Suprême américaine⁷² et du principe de stare decisis⁷³). Cette pratique fut jugée inconstitutionnelle en 2011 par la United States District Court for the Southern District of New York car elle avait pour répercussion de viser trop fréquemment les personnes afro-américaines et hispaniques⁷⁴. Elle laisse cependant 43 ans de discriminations dans les données policières, aujourd’hui exploitées par les outils prédictifs⁷⁵.

Pays-Bas

§21 Les Pays-Bas expérimentent plusieurs outils prédictifs. Deux attirent particulièrement notre attention : le Criminaliteit Anticipatie Systeem (abrégé CAS) et le Sensing Project. Le premier est le produit phare de la police néerlandaise. Le second est un projet-pilote qui pose déjà bon nombre de questions.

Le CAS fonctionne comme un outil « place-based », un « time-space model ». Il utilise des données relatives aux infractions passées et des données statistiques socio-économiques (âge de la population, revenus, aides sociales, etc.). Il établit toutes les deux semaines une carte prédictive où certaines zones sont colorées en rouge, orange ou jaune en fonction du niveau de risque estimé. Cela permet aux policier.es de savoir où intensifier la surveillance. Parmi les infractions ciblées se trouvent surtout les cambriolages, les vols et les agressions⁷⁶. Testé en 2014 à Amsterdam, il est finalement étendu au reste du pays en 2017. Cette extension résulte d’une évaluation positive quant à l’efficience du système⁷⁷. Cependant, celle-ci est encore une fois à relativiser. En effet, à l’échelle nationale rien ne démontre une réelle baisse de criminalité – et encore moins en ce qui concerne les cambriolages⁷⁸. Des inquiétudes surgissent également à propos des données utilisées. Il est fort à parier que celles-ci soient biaisées. En cause, la place prise par le profilage ethnique au sein de la Nationale Politie⁷⁹.

§22 Le Sensing Project est un outil-pilote déployé à Roermond afin de lutter contre le banditisme itinérant, en particulier le vol à la tire et le vol à l’étalage. Il scanne à l’aide de caméras « ANPR »⁸⁰ les véhicules entrant dans la ville et analyse leurs allers et venues. Il tire de cela un certain nombre de données : modèle, marque, année, couleur, lieu d’immatriculation, etc. Ces données sont ensuite soumises à un algorithme pour en sortir un score de risque censé indiquer quels véhicules les policier.es doivent contrôler en priorité⁸¹. Amnesty International, dans un rapport publié en 2020, a dénoncé la discrimination qu’opère le programme à l’égard des individus originaires d’Europe de l’Est, a fortiori ceux issus des communautés roms. Selon elle, être immatriculé dans certains pays de l’Est augmente considérablement le score de risque attribué⁸². À cela, le Ministre de la Justice et de la Sécurité néerlandais a rétorqué qu’il n’y avait pas de discrimination. Il avoue néanmoins que l’accent a été mis sur les véhicules originaires de Roumanie, Bulgarie et du Royaume-Uni. Pour lui, ce traitement différencié est justifié par les chiffres qui montrent que les groupes se livrant au vol à la tire ou à l’étalage sont principalement issus de ces pays-là. Il ajoute que le Procureur général (de « officier van justitie ») a estimé cette différenciation admissible au vu des principes de proportionnalité et de subsidiarité⁸³.

France

§23 En France, les outils prédictifs connus ont été conçus en interne par la gendarmerie. Il sera évoqué deux d’entre eux : Predvol et PAVED.

Predvol est le nom d’un programme créé par la gendarmerie (sur le modèle de Predpol) et testé dans l’Oise par celle-ci et la BAC (Brigade Anti-Criminalité). Il se présentait sous la forme d’une carte de chaleur et visait la délinquance commise à l’encontre des véhicules. En ce qui concerne les données, étaient utilisées les archives policières en plus de celles générées par la machine. Le fait que les prédictions pointaient souvent les mêmes endroits (eux-mêmes déjà connus avant son déploiement) a suggéré une faille dans la précision des prédictions (l’insuffisance de données étant une possible explication au problème). C’est cela qui a précipité son abandon⁸⁴.

§24 PAVED⁸⁵ fut développé en parallèle de Predvol et ce dès 2013. Initialement expérimenté dans onze départements, il a ensuite été étendu au reste de la France en 2018. Le principe est plutôt classique : le logiciel se compose d’un volet statistique proposant des « analyses quantitatives de la délinquance au niveau départemental »⁸⁶ et d’un volet prédictif (même si les gendarmes préfèrent parler d’outil « d’aide à la décision ») reposant sur une heatmap. Cette carte diffère selon les départements et les données disponibles dans chacun d’entre eux (le type de criminalité pouvant varier d’un endroit à l’autre). De manière constante, ce sont les cambriolages et les vols de véhicules qui sont ciblés. Les données traitées sont fournies par l’INSEE (données statistiques socio-économiques) et les services d’ordre (police/gendarmerie)⁸⁷. Malgré des résultats positifs avancés par le commandement⁸⁸, les agents de terrain reprochent au logiciel de mettre en avant des endroits déjà décelés comme criminogènes par leurs soins, le poids réel de celui-ci devant être revu à la baisse⁸⁹. De plus, un manque de précision et de portabilité est également rapporté⁹⁰. Afin de ne pas s’exposer aux critiques, le commandement et les concepteur.rices ont préféré s’éloigner du terme « prédictif ». Pour elleux, l’outil sert les diverses stratégies de prévention, dissuasion et sécurisation. Il représenterait une réelle plus-value pour la hiérarchie, notamment dans l’optimisation de la présence policière sur le terrain⁹¹.

Les enjeux soulevés par le prédictif

§25 La théorie générale et plus particulièrement les logiciels abordés ci-dessus ont semé les graines d’une réflexion plus profonde sur les enjeux soulevés par le prédictif. Il a été entrevu que l’usage de ces derniers posait problème à différents niveaux. Il a été décidé de répartir ces enjeux en quatre sphères : respect des droits fondamentaux, protection des données personnelles, efficacité, égalité de traitement et discrimination. Le dernier point est central dans le cheminement amenant une réponse à la problématique, par conséquent, il nécessite un développement plus important.

Respect des droits fondamentaux

§26 Abstraction faite des droits à la non-discrimination et à la protection des données personnelles, d’autres droits fondamentaux sont menacés par l’utilisation de systèmes prédictifs. Prenons la présomption d’innocence. Le logiciel délivre une prédiction, celle-ci amène à contrôler un individu préventivement ou à intensifier la surveillance autour de lui. Pourtant, il n’existe aucune suspicion raisonnable d’implication dans une activité criminelle. Cette personne aura raison d’invoquer une violation de la présomption⁹². C’est aussi en l’absence de toute suspicion raisonnable que le Sensing Project provoque le contrôle d’automobilistes prétendu.es plus enclin.es à la criminalité mobile⁹³. Dans une situation analogue, la Cour européenne des droits de l’Homme (abrégée CEDH) a condamné le Royaume-Uni qui autorisait ses policier.es à stopper/fouiller/inspecter un véhicule et ses occupant.es sans soupçons légitimes pour autant que cela s’inscrive dans la lutte contre le terrorisme. La Cour y a vu une violation de l’article 8 de la Convention⁹⁴. Dans un autre contexte, l’Autorité de protection des données expose, dans un rapport de 2017, l’hypothèse suivante : « si par exemple un modèle d'iPolice analyse les réactions de citoyens sur les médias sociaux en vue d'exécuter des missions de police administrative ou judiciaire, l'analyse d'impact devra prendre en considération le risque et l'influence au niveau de la liberté d'expression des personnes concernées sur les médias sociaux »⁹⁵. La liste des droits en danger s’allonge à nouveau. Enfin, la législation européenne protège le droit à un recours effectif et à un procès équitable⁹⁶. S’il advenait qu’une personne veuille contester les décisions issues d’algorithmes prédictifs, elle aurait du mal à le faire en n’ayant pas accès à la totalité des informations relatives au fonctionnement du logiciel⁹⁷. Un manque de transparence entrainerait dès lors la violation de ces garanties élémentaires. Notons dans tout cela que le risque d’atteinte aux droits fondamentaux sera souvent plus élevé dans le cadre d’outils « person-based »⁹⁸. L’Union européenne ainsi que le Conseil de l’Europe, conscients de l’insécurité provoquée par ces nouveaux moyens, ont tous deux préconisé la réalisation d’une étude d’impact sur les droits humains préalable aux expérimentations d’appareils prédictifs⁹⁹.

Protection des données et transparence algorithmique

§27 L’évocation du droit au respect de la vie privée nous amène irrémédiablement à la question des données personnelles. Les programmes prédictifs interrogent d’abord sur les types de données qu’ils utilisent mais également sur celles qu’ils collectent, et en quelle quantité. Dans son rapport de 2017, l’Autorité belge de protection des données rappelle qu’« établir des "corrélations" avec ou sur la base de données à caractère personnel sensibles (comme des données relatives à la race, à l'origine ethnique, aux opinions politiques, à la religion ou aux convictions philosophiques, à l'appartenance syndicale, au statut génétique ou à l'état de santé, ou à l'orientation sexuelle ou relatives aux condamnations pénales et aux infractions ou aux mesures de sureté connexes) est en principe interdit, à moins qu'une exception légale existe et que des garanties soient prévues »¹⁰⁰. Cette sécurité émane du règlement général sur la protection des données en vigueur dans l’Union européenne¹⁰¹. Ces « données à caractère personnel sensibles » ont été précisées par la CEDH et incluent entre autres celles collectées dans l’espace public¹⁰². Amnesty International, dans son étude du Sensing Project, arrive à la conclusion que l’ingérence dans la vie privée due aux outils prédictifs ne peut se justifier du point de vue des critères de subsidiarité et de proportionnalité car ces outils opèrent en réalité une surveillance de masse¹⁰³. L’emploi de « données à caractère personnel sensibles » est généralement l’apanage des logiciels « person-based ». Leur rareté dans l’espace européen s’explique notamment par le cadre législatif sévère et d’application large constitué par le règlement en matière de protection des données personnelles¹⁰⁴. Cependant, il existe un risque de « ré-identification » même avec les programmes « place-based »¹⁰⁵. En effet, il a été « démontré à plusieurs reprises au cours des dernières années que même des données soi-disant anonymisées ou codées pouvaient être reliées sans beaucoup de difficulté à des individus »¹⁰⁶. En cela, les « projets pour lesquels on utilise des ensembles de données riches en variables » présentent « une grande probabilité qu'une combinaison de ces variables détermine un individu de manière univoque »¹⁰⁷. En lien indirect avec les données à caractère personnel se trouve le débat sur la transparence. Le constat qui est fait aujourd’hui est celui d’une opacité entourant les programmes prédictifs¹⁰⁸. Nombreuses sont les interrogations quant au fonctionnement interne des outils, aux données collectées et traitées, aux algorithmes utilisés... Moins nombreuses sont les réponses¹⁰⁹. Pourtant il est dans l’intérêt de l’État d’apporter plus de clarté afin d’éviter une perte de confiance chez les citoyen.nes¹¹⁰. Cette transparence permet aussi de rassurer en ce qui concerne les risques d’intrusion dans la vie privée¹¹¹. Le manque de transparence peut être le fait de la police mais pas seulement. Dans certains cas, il provient des compagnies commercialisant les logiciels et arguant que ceux-ci sont leur propriété¹¹². Face à cette carence, il existe pourtant un principe de loyauté qui suppose que « les personnes concernées doivent être informées de manière loyale sur le traitement de leurs données à caractère personnel et de leur conférer notamment un droit d’accès »¹¹³.

Efficacité réelle de ces systèmes

§28 Predpol dans le Kent, Predvol en France, la SSL de Chicago, Shreveport¹¹⁴, etc. Ce sont autant d’exemples de programmes abandonnés en raison d’un manque probant d’efficacité. Même dans les cas où une preuve d’efficience a été avancée, le doute est permis (comme cela a déjà été souligné plus haut). Plusieurs soucis peuvent être relevés dans l’évaluation de ces systèmes. Outre la rareté des évaluations, c’est surtout leur objectivité qui est compromise. Elles sont souvent commandées par les entreprises elles-mêmes. Les systèmes ne sont pas soumis à un examen critique effectué par un organisme indépendant¹¹⁵. De plus, il a été constaté dans les rapports d’utilisation qu’il n’est fait référence qu’aux statistiques de criminalité et à la bonne gestion des patrouilles¹¹⁶. Or, dans l’idéal, il faudrait plutôt se concentrer sur la précision effective des prédictions générées¹¹⁷. Avoir une évaluation méticuleuse c’est permettre la mise en balance éclairée entre les intérêts sécuritaires et les atteintes potentielles aux droits fondamentaux¹¹⁸. C’est également justifier l’usage des systèmes et mesurer la plus-value apportée par de nouvelles variables¹¹⁹. Reste enfin la tendance que les logiciels ont à susciter « leur propre validité » en « pré-formatant la réalité »¹²⁰.

§29 L’inefficacité peut être due à de multiples facteurs :

• La survalorisation de la police prédictive¹²¹. Résultant principalement des médias et de la publicité des vendeur.ses, le prédictif est perçu comme une boule de cristal capable de faire appréhender les criminel.les en flagrant délit. Cette perception d’infaillibilité¹²² va à l’encontre de ce que les outils prédictifs savent vraiment faire : rechercher des patterns et quantifier le risque¹²³. De plus, en fonctionnant sur base des données des crimes passés, une prédiction ne constitue qu’une « extrapolation du passée »¹²⁴.
• « L’effet plumeau » ou « effet de déplacement »¹²⁵. Les programmes prédictifs ont fréquemment pour conséquence de faire baisser temporairement la criminalité à un niveau local. L’explication est simple : une fois la présence policière intensifiée dans une zone, les auteur.ices d’infraction iront d’instinct opérer ailleurs. C’est logique et cela révèle pourquoi au niveau national, la criminalité n’observe aucune baisse (voy. le Criminaliteit Anticipatie Systeem). Au final, les logiciels influent sur le processus qu’ils analysent¹²⁶.
• Les modestes conséquences des erreurs de prédiction. Au contraire des séismes, une erreur prédictive en matière de police ne sera jamais vraiment ratée. Il vaudra mieux cela que de ne rien faire du tout. En résumé, « la robustesse d’une prédiction est inversement proportionnelle à ses conséquences pratiques »¹²⁷.

Égalité de traitement et discrimination

§30 Semés tout au long de ce travail ont été les indices du mal frappant les outils prédictifs et nous intéressant le plus : le risque de discrimination. En tête nous avons l’idée populaire selon laquelle les nouvelles technologies, les algorithmes et autres intelligences artificielles sont infaillibles, neutres et objectives ; les « robots » ne peuvent avoir de préjugés. Cette affirmation est éminemment fausse¹²⁸. Un programme prédictif est avant tout le fruit de son environnement. Il est le produit d’êtres humains, le reflet d’une société dans laquelle stéréotypes et discriminations cohabitent¹²⁹. Tout est une histoire de contexte. Pour comprendre les logiciels prédictifs, il faut avoir égard aux entreprises qui les conçoivent. Celles-ci peuvent être dirigées par d’ancien.nes policier.es ou personnes ayant travaillé dans le monde judiciaire et ayant des idées préconçues issues de leurs expériences. En vendant leurs logiciels aux forces de l’ordre, iels savent ce que ces dernières recherchent et feront en sorte de présenter un outil répondant à leurs attentes¹³⁰. Peut aussi être pointé le manque de diversité au sein des équipes de designer¹³¹. Si celleux-ci ne représentent pas la société dans son hétérogénéité, cela se ressentira forcément sur le résultat final.

§31 Au-delà de ces considérations hypothétiques, il existe un consensus sur la propension des outils prédictifs à inclure des biais¹³². Souvenez-vous de l’adage « garbage in, garbage out »¹³³. Le principe était qu’en nourrissant un algorithme avec des données biaisées, celui-ci les reproduisait. Si ces données sont empreintes de discriminations, l’outil reproduira ces discriminations¹³⁴. Même si les avis divergent sur les manières dont un programme prédictif peut devenir discriminant, deux phases apparaissent comme essentielles au phénomène : la conception et l’apprentissage¹³⁵. Au sein de ces deux étapes, il a pu être mis en avant six procédés pouvant être le point de départ de décisions discriminantes. Il s’agit « de la définition de la variable cible et des étiquettes de classe, de l’étiquetage des données d’apprentissage, de la collecte des données d’apprentissage, de la sélection des caractéristiques, du choix des données indirectes. Enfin, les systèmes peuvent être délibérément utilisés à des fins discriminatoires »¹³⁶. S’applique à notre étude « la collecte des données d’apprentissage ». Les outils de police prédictive apprennent et fonctionnent grâce aux données engrangées en matière de criminalité. Si dans le passé la police a particulièrement ciblé certains groupes ethniques, les quartiers populaires ou les personnes issues de l’immigration par exemple (voy. Terry Stop et Stop-and-frisk aux États-Unis), ces dernier.es seront par conséquent surreprésenté.es dans les fichiers policiers. Le modèle va dès lors intégrer que ces populations (ou ces endroits) sont plus enclines à la commission d’infractions. Au final, les prédictions qui seront générées reproduiront les discriminations présentes dans les bases de données¹³⁷. Outre le risque de reproduction, il existe également un risque d’amplification via le concept de « boucle de rétroaction ». Le système ayant appris à prédire sur base de biais, il va diriger les patrouilles sur les zones historiquement harcelées. De ces interventions seront tirées de nouvelles données qui serviront à nouveau comme base d’apprentissage et qui amplifieront les biais originels¹³⁸. En bref, les « discriminations s’autoalimentent »¹³⁹.

§32 Les concepteur.rices de logiciels prédictifs ont admis la problématique des biais et y apportent globalement deux types de réponses. La première consiste à dire que l’algorithme n’est pas meilleur ou pire que l’être humain et qu’au fond il se comporte tel un miroir. S’il produit discrimination et inégalité, cela reflète uniquement l’état actuel de la société. La machine ne fait pas pire que l’humain¹⁴⁰. Outre cette vision plutôt cynique, Predpol et Hunchlab ont pour projet d’inclure au sein de leur logiciel un paramètre censé équilibrer le ratio interventions profitables/infructueuses. Les mathématiques pourraient selon eux participer à amoindrir le préjudice inhérent à l’activité policière¹⁴¹. N’en demeure pas moins compliqué de prouver une discrimination opérée par une intelligence artificielle¹⁴². Le manque de transparence (souligné précédemment) rend complexe l’obtention d’une preuve, les systèmes se caractérisant par leur aspect « black box »¹⁴³.

Belgique : la modernité grâce à I-Police

§33 Avant de poser un regard critique sur l’outil, il faut en connaitre la nature et l’agencement. Ce point s’évertuera à le faire grâce aux investigations effectuées en amont. La collecte d’informations a été laborieuse notamment en raison d’une communication sporadique des institutions policières ainsi que du manque de documentation en libre accès (cela fait écho au problème de la transparence). Afin de dresser le portrait d’I-Police, nous reprendrons la structure de la section traitant des différentes catégories (outil « person-based » ou « place-based », données et algorithmes, etc.). D’éventuelles précisions seront ajoutées subséquemment.

§34 I-Police fut présenté dans la presse comme un modèle prédictif, or il ne résume pas qu’à cela. Il résulte d’abord d’un plan global de modernisation de la police¹⁴⁴. L’objectif principal est une fusion de différentes bases de données actuellement cloisonnées. Il existe bien la BNG (Banque de données Nationale Générale) recensant des millions de fichiers policiers mais elle n’est plus suffisante aujourd’hui au vu de la multiplication des informations et des ponts nécessaires entre celles-ci¹⁴⁵. Cette nouvelle base de données servira à tous les agents qui verront leur accessibilité différer selon le niveau de confidentialité des renseignements demandés¹⁴⁶. La facilité résidera dans la possibilité pour le.a fonctionnaire de l’avoir à disposition « sur le terrain via sa tablette ou son smartphone »¹⁴⁷. La nature des futures données exploitables sera détaillée par la suite. Reste à noter qu’en plus de cette fusion, I-Police souhaite automatiser un maximum de tâches quotidiennes du policier.e et exploiter/analyser automatiquement les données en leur possession (les big data entre autres)¹⁴⁸.

§35 Passons au volet qui nous intéresse : le prédictif. Les autorités ne cachent pas leur enthousiasme quant à la possibilité d’user des prédictions¹⁴⁹. Notre contact en charge d’I-Police auprès de la police fédérale, va d’ailleurs dans ce sens quand il explique qu’à l’heure actuelle, la police ne peut se permettre de faire sans le prédictif. Peu importe, selon lui, que les résultats ne soient pas systématiquement conformes à la réalité, les situations réellement anticipées prévaudront¹⁵⁰. Un peu de flou entoure cet aspect car le produit voulu par la police doit être « non-fini », c’est-à-dire ne pas constituer une black box¹⁵¹. Il y a derrière cette exigence le désir d’une « architecture » développée sur « un mode de copropriété »¹⁵². En simplifiant, la police cherche une dépendance minimale à l’égard du concepteur.rice du modèle et veut pouvoir participer à la construction de ce dernier. Une mise en œuvre progressive est prônée afin d’inclure graduellement de nouvelles applications. Ceci explique donc le flou évoqué concernant le volet prédictif qui, même s’il est souhaité et prévu, n’a encore aucune traduction concrète¹⁵³. Comme vous l’aurez sans doute deviné à la suite des indications précédentes, I-Police est un outil « externe » (voy. ci-dessus). Il a fait l’objet d’une procédure de marché public avec dialogue compétitif¹⁵⁴.

§36 La forme choisie sera certainement un modèle « place-based »¹⁵⁵. Pour appuyer cette affirmation, nous nous en tenons à certains extraits du document décrivant le marché public I-Police. Un chapitre de celui-ci intitulé « Inspirational Epic – une journée dans la vie d’un(e) policier(ière) anno 2020 » est particulièrement interpellant. Il décrit la journée-type d’un.e policier.e « du futur » et indique par exemple que, « grâce à l'analyse informatisée d'un certain nombre d'incidents récents et des accidents de la circulation, et l'ouverture prochaine d'une nouvelle Zone PME, un modèle “prédictif” sera réalisé et un plan pour la surveillance préventive des bâtiments des PME sera mis au point »¹⁵⁶. Un autre scenario projette qu’un.e agent « consulte par le biais de Police-Maps, les lieux où il doit aller dans son quartier et le “smart device” lui suggèrera, suite à sa question, l'itinéraire optimal en tenant compte des absences déclarées de citoyens qui souhaitent que leur habitation soit contrôlée par la police ou qui ont besoin d'une réponse. Une illustration indique également que, dans l'après-midi, il y a un évènement sportif qui traverse le quartier »¹⁵⁷. Enfin, I-Police pourra apparemment détecter une recrudescence « de vols de bicyclettes autour d'un certain endroit et à certains moments » et ce grâce aux « “data scientists” à Bruxelles [qui] ont programmé le système pour reconnaître des “anomalies” de ce type ». Partant, l’agent pourra « travailler proactivement et résoudre les problèmes », en prévoyant des « patrouilles récurrentes »¹⁵⁸. Outre ces pastilles anticipatives, le choix de cartes prédictives et de hotspots où seront dirigées des patrouilles préventives/dissuasives, ne fait pas débat. À l’inverse, il semble être écarté l’usage de programmes « person-based »¹⁵⁹. Un point d’interrogation subsiste néanmoins dans le type d’infraction ciblé. Le spectre envisagé est encore large allant des cambriolages au terrorisme¹⁶⁰. Cependant, cela peut être nuancé au vu de l’opinion donnée par Pieter De Crem (alors Ministre fédéral de la Sécurité et de l’Intérieur) qui préconisait d’ « identifier les phénomènes criminels qui sont les plus adéquats à prédire » afin d’éviter « un outil inefficace »¹⁶¹.

§37 Demeure l’enjeu des données et algorithmes exploités. L’ambition est clairement d’optimiser le rendement des outils prédictifs avec le plus de données possible. Des notions telles que « big data », « data mining », « masterdata » séduisent et fascinent¹⁶². Concrètement, les données premières sont policières¹⁶³. Elles sont bien connues, elles alimentent tous les algorithmes prédictifs. Dans le cas d’I-Police elles proviennent « du fonctionnement opérationnel de la police (celles enregistrées en réponse au fonctionnement quotidien de la police) », « des partenaires de la police (Registre national, Banque-Carrefour des entreprises, etc.) » ou ont été « transférées par des tiers (par exemple, les données des antennes des opérateurs de télécommunication) »¹⁶⁴. Aux côtés de ces dernières, il y a les « sources ouvertes » ou « open data » qui sont « accessibles au public et reprises par la police »¹⁶⁵. Elles peuvent provenir des réseaux sociaux, de la presse ou des instituts météorologiques¹⁶⁶. Le sujet des données et l’exploitation pharaonique qui en est souhaitée soulèvent quelques inquiétudes¹⁶⁷. L’Organe de contrôle de l’information policière (abrégé COC) s’interroge, dans un avis de 2018, sur l’existence d’une « base légale suffisante pour instaurer le futur concept d’I-Police » en raison des informations exploitées « qui ne sont pas encore évaluées et/ou validées »¹⁶⁸. Le COC insiste sur la prudence qui est de mise « dans des situations de contrôle pouvant avoir des effets sur les droits et libertés des personnes »¹⁶⁹. Font aussi état de ces inquiétudes les nombreuses questions parlementaires pointant les potentielles dérives (profilage ethnique¹⁷⁰, atteinte à la vie privée, etc.)¹⁷¹. Outre l’invocation d’un cadre législatif protecteur¹⁷² et d’une consultation de l’Autorité de protection des données (en collaboration avec le monde universitaire)¹⁷³, une réponse de Pieter de Crem démontre que l’exécutif est bien conscient des risques auquel il s’expose en mettant en œuvre des logiciels prédictifs. Il déclare : « Sans disposer des résultats des différentes études dont vous me parlez, mais en se basant sur les expériences européennes et d’autres études internationales sur le sujet, mon administration estime important avant toute chose de bien construire la base de ce qui fera la “police prédictive”, c’est-à-dire les données. Trop souvent, les données exploitées sont les statistiques policières et seulement celles-ci. En agissant ainsi, on installe un biais dans le système et on force les algorithmes à reproduire des préjugés et des interprétations erronées des faits. Les statistiques policières reflètent avant toute chose l’activité policière. Elles ne reflètent pas la réalité criminelle d’un territoire donné »¹⁷⁴. Notre interlocuteur en charge d’I-Police avance afin de rassurer : la maîtrise des outils en interne, la mise en place d’une gouvernance et l’existence d’organismes de contrôle (le Comité P, le COC). Il souligne également l’importance de l’obligation de rendre compte devant le Parlement ainsi que du dialogue déjà établi en matière de données avec la Liga voor Mensrechten¹⁷⁵.

§38 Alors que le déploiement global d’I-Police est prévu pour 2026¹⁷⁶, un modèle prédictif a déjà été expérimenté dans la zone de police de Zennevallei (Brabant flamand). Censé débuté en novembre 2019, il fut finalement lancé début 2020 et prolongé en raison du Covid-19. Mené en collaboration avec l’Université de Gand, il visait entre autres la prédiction des cambriolages¹⁷⁷. Un projet similaire aurait également vu le jour en Province d’Anvers en partenariat avec l’UAntwerp¹⁷⁸.

Discrimination raciale : une fatalité pour I-Police ?

§39 Dans la présente étude, nous avons pris connaissance du concept de police prédictive, nous l’avons détaillé et en avons fait ressortir les grandes problématiques. Parmi elles, il a été mis en exergue le risque de reproduction voire d’amplification des discriminations. Pour expliquer ce mécanisme, il a été démontré qu’entraîner les algorithmes à l’aide de données biaisées par des pratiques racistes aboutissait au « clonage » de ces dernières. En dernier lieu, nous avons opéré la dissection du logiciel I-Police, objet de notre recherche, afin d’en apprendre un maximum sur sa teneur.

§40 Le présent chapitre est crucial tant il va s’évertuer à démontrer qu’I-Police sera un relais pour les discriminations raciales. On tend ici à prouver que les données policières belges sont faussées par le profilage ethnique. En exposant cela, il est facile de prédire que le logiciel apprendra à fonctionner sur base de données empreintes de discrimination raciale, qu’il ne fera que répéter. Dans cette optique, ce chapitre sera subdivisé en trois parties. Il sera d’abord rappelé de manière concise le cadre législatif de la lutte anti-discrimination. La démonstration de la présence de profilage ethnique au sein de la police viendra dans un second temps. S’il est nécessaire de prévenir d’un danger, il l’est tout autant de proposer une issue. Pour cela un ultime point sera consacré aux potentielles alternatives censées éviter la déroute.

Les armes législatives dans la lutte contre les discriminations

§41 Même si un inventaire de l’arsenal législatif s’impose en raison de l’approche choisie, la brièveté sera ici de mise.

En guise de préambule, il convient de définir la notion de « discrimination ». Précédé en cela par la jurisprudence, le droit de l’Union distingue la discrimination directe et indirecte¹⁷⁹. Pour qu’il y ait discrimination directe, « il doit y avoir une différence dans le traitement de personnes placées dans des situations analogues ou comparables » en sachant que « seules les différences de traitement fondées sur une caractéristique identifiable (“situation”) sont susceptibles de revêtir un caractère discriminatoire »¹⁸⁰. La discrimination indirecte est pour sa part décrite comme « une différence de traitement [pouvant] consister en un effet préjudiciable disproportionné occasionné par une politique ou une mesure qui, bien que formulée de manière neutre, opère une discrimination à l’égard d’un groupe »¹⁸¹.

§42 Liane Chancerelle a été plus loin en élaborant, dans le cadre de l’intelligence artificielle, une définition spécifique de la discrimination qui prend place « lorsque deux personnes similaires en termes de critères légitimes ne reçoivent pas les mêmes prédictions, recommandations ou appariement du fait de leur différence en termes de critères illégitimes »¹⁸².

§43 La discrimination est actuellement couverte dans une multitude de textes législatifs. Son interdiction passe d’abord par un niveau international avec notamment le Pacte international relatif aux droits civils et politiques¹⁸³, la Convention internationale sur l'élimination de toutes les formes de discrimination raciale¹⁸⁴, la Déclaration universelle des droits de l’homme¹⁸⁵ et la Convention de sauvegarde des droits de l’homme¹⁸⁶. Au sein de l’Union européenne, plusieurs sources sont primordiales : la Charte des droits fondamentaux de l’Union européenne¹⁸⁷, le traité sur le fonctionnement de l'Union européenne¹⁸⁸ ou encore la directive 2000/43/CE¹⁸⁹. Notre domaine de recherche appelle également à ce que l’on cite le RGPD, qui en son considérant 71, requiert de prévenir « entre autres, les effets discriminatoires à l'égard des personnes physiques fondées sur la l'origine raciale ou ethnique (…) »¹⁹⁰. Notons toutefois que, n’étant qu’un considérant, cette disposition n’a aucun pouvoir coercitif¹⁹¹.

§44 Si l’on se recentre sur la Belgique, il y a évidemment en premier lieu les articles 10 et 11 de la Constitution¹⁹². En second lieu, afin de transposer en droit national le droit européen cité plus haut¹⁹³, le législateur belge a adopté les célèbres lois du 10 mai 2007 (la loi antiracisme¹⁹⁴, la loi anti-discrimination¹⁹⁵ et la loi dite « genre »¹⁹⁶)¹⁹⁷. À ce titre, il faut souligner que ces lois valent tant au civil qu’au pénal, et intègrent les discriminations directes et indirectes¹⁹⁸. En dernier lieu, les législations régionales et communautaires peuvent également être citées. Ces dernières luttent contre les discriminations à l’intérieur des compétences qui leur sont attribuées et pour cette raison, nous ne nous épancherons pas dessus.

La problématique du profilage ethnique dans la police belge et son influence sur I-Police

§45 Avant de développer, reprenons l’affirmation de départ. Comme enseigné précédemment, tout outil prédictif apprend et fonctionne sur base des données qui lui sont fournies. Un risque existe donc : qu’elles soient biaisées. Il a été vu à ce propos que la collecte des données d’apprentissage est l’un des moments propices à l’intégration de biais. En se focalisant sur la police prédictive, l’usage veut que ses modèles se servent des archives, des banques de données policières. À cette fin, I-Police dispose, par exemple, des sources de police « administrative, judiciaire et de circulation, d’informations classifiées et non-classifiées, d’informations sur des faits concrets et non concrets, etc. »¹⁹⁹. Parler de collecte de données d’apprentissage revient dans notre cas à regarder le contexte dans lequel les fichiers policiers se sont construits. Aux États-Unis, il a été observé que les archives de la police étaient imprégnées de pratiques historiquement racistes (voy. Terry-Stop et Stop-and-frisk) et c’est de ce constat que découle l’allégation suivant laquelle la surexposition des minorités génère « un biais dans ces banques de données à la base des activités dites prédictives »²⁰⁰. En conséquence, les systèmes prédictifs reproduiront (ou amplifieront) les discriminations tirées des données qu’ils ont exploitées. Ainsi, les minorités²⁰¹ feront face à « un nombre disproportionné de correspondances et, en cascade, d’arrestations, incarcérations, condamnations, etc. »²⁰². Avant d’entamer la suite, citons Madame E. Tendayi Achiume, rapporteuse spéciale de l’ONU sur les formes contemporaines de racisme, de discrimination raciale, de xénophobie et de l’intolérance qui y est associée, qui a déclaré : « Technology is not neutral or objective. It is fundamentally shaped by the racial, ethnic, gender and other inequalities prevalent in society, and typically makes these inequalities worse. It is resulting in discrimination and unequal treatment in all areas of life, from education and employment to healthcare and criminal justice »²⁰³.

§46 Là où les Américain.es ont vu leur données biaisées par les politiques Terry-Stop et Stop-and-frisk, nous soutenons la thèse selon laquelle les données qui nourriront I-Police sont altérées par le profilage ethnique exercé par la police belge. Cette démonstration opérera en trois étapes. La première consistera à définir l’expression « profilage ethnique ». Dans un second temps, nous verrons de quelle manière cela constitue une discrimination prohibée en droit. En dernier lieu, nous établirons l’utilisation de cette méthode au sein de la police belge.

La Commission Européenne contre le Racisme et l’Intolérance (abrégée ECRI) définit le profilage ethnique comme « l’utilisation par la police, sans justification objective et raisonnable, de motifs tels que la race, la couleur, la langue, la religion, la nationalité ou l’origine nationale dans des activités de contrôle, de surveillance ou d’investigation »²⁰⁴. La formulation de « profilage ethnique » pose en soi des questions²⁰⁵. À ce sujet, la Ligue des droits humains déclare que « la problématique du profilage correspond parfois plus à un profilage “au faciès” qu’à une véritable “ethnicité” supposée »²⁰⁶. Cependant, la dénomination « ethnique » sera retenue par la suite en raison du fait qu’elle est utilisée par « les recherches académiques », « les pouvoirs publics » et surtout « les personnes concernées par ces contrôles »²⁰⁷.

§47 Tel que défini ci-dessus, il fait peu de doute que le profilage ethnique constitue une discrimination répréhensible aux yeux du droit. En ce sens l’Agence des droits fondamentaux de l’Union européenne (abrégée FRA) décrète que « toute forme de profilage ethnique est probablement illégale, en termes de droit international également, en ce qu’elle contrevient aux garanties contenues dans la Convention internationale pour l’élimination de toute forme de discrimination raciale. Cette convention lie tous les États membres de l’UE »²⁰⁸. Le terme « probablement » fait écho à l’idée qu’en des circonstances particulières, des « formes spécifiques de profilage criminel » puissent être licites²⁰⁹. Par exemple, les profils de suspects basés sur les dires de témoins et comprenant des caractéristiques telles que la couleur de peau demeurent légaux tant qu’ils font partie d’une « description détaillée (…) circonscrite dans le temps et dans l'espace »²¹⁰. Pour la FRA, il est essentiel « que l’origine ethnique, la race ou la religion de la personne ne soit pas l’unique ou la principale raison justifiant le contrôle et la fouille ou toute autre action de la police »²¹¹. Dans le cas contraire, nous serions face à un cas de discrimination directe réprimée par la loi²¹². À l’inverse, il a également été plaidé qu’importe ses modalités, le profilage ethnique constitue une discrimination répréhensible²¹³. C’est en tout cas ce qui ressort du Programme d’action de Durban où le profilage ethnique est identifié chaque fois que « la police et les autres agents des forces de l’ordre se fient, si peu que ce soit, à la race, à la couleur, à l’ascendance ou à l’origine nationale ou ethnique pour soumettre des personnes à des investigations ou déterminer si un individu donné a des activités criminelles »²¹⁴. On constate dès lors une définition englobant un nombre plus important de situations et qui va être mobilisée par le Comité pour l’élimination de la discrimination raciale (abrégé CERD) dans sa recommandation générale n°36²¹⁵. Le Comité va ainsi condamner le « profilage racial » qu’il considère comme « contraire à l’idée même de la Convention » et exhorte les États parties à faire en sorte « qu’il ne se produise pas » ou « ne soit pas facilité »²¹⁶.

§48 Cette interdiction du profilage ethnique (tel que défini par l’ECRI ou la FRA), la Belgique va elle-même l’affirmer dans un rapport soumis au Comité pour l’élimination de la discrimination raciale en 2019²¹⁷. Malgré que cela n’ait pas toujours été clair²¹⁸, la Cour européenne des droits de l'homme a, elle aussi, fini par condamner la pratique du profilage ethnique dans l’arrêt Timishev c. Russie²¹⁹. Plus récemment dans l’arrêt Lingurar c. Roumanie, la Cour a jugé que les « requérants ont été visés parce qu’ils étaient Roms et parce que les autorités considéraient les membres de la communauté rom en général comme des délinquants »²²⁰. Selon elle, « ces éléments montrent que les autorités ont établi de manière automatique un lien entre origine ethnique et délinquance » et y a vu, par conséquent, « un profilage ethnique des requérants et une pratique discriminatoire, emportant violation de l’article 14 combiné avec l’article 3 »²²¹. Dans l’affaire Rosalind Williams Lecraft c. Espagne, notons que le Comité des droits de l’homme a lui vu dans le profilage ethnique une « forme de discrimination raciale » ainsi qu’une « violation des droits humains fondamentaux »²²².

§49 Il reste à démontrer la présence du profilage ethnique dans les habitudes policières. La preuve d’une telle pratique en Belgique est difficile à apporter en raison de l’absence de chiffres officiels sur le phénomène et l’insuffisance d’études académiques traitant du sujet²²³. À cela s’ajoute le déni complet des autorités et des gouvernant.es quant à ce fléau²²⁴.

Cependant, il est possible d’affirmer aujourd’hui que le profilage ethnique est une réalité ancrée dans les habitudes de maintien de l’ordre. Ce sont d’abord les ONG qui nous ont permis de prendre connaissance du problème, en cela Amnesty International et la Ligue des droits humains²²⁵. Celles-ci renvoient aux conclusions d’autres organismes faisant, eux aussi, le constat d’un usage répandu du profilage ethnique en Europe²²⁶, et plus particulièrement en Belgique²²⁷. Toutefois, la clef de voûte de notre argumentation réside dans les rapports périodiques d’un organe des Nations Unies : le Comité pour l’élimination de la discrimination raciale. Dès 2014, en parlant de la Belgique, ce dernier s’inquiète des « informations selon lesquelles les personnes d’origine étrangère sont surreprésentées dans le système de justice pénale, notamment du point de vue du taux et de la durée d’incarcération »²²⁸. Rien de nouveau vu le rapport de 2002 faisant état « de plusieurs incidents racistes, survenus dans des postes de police, dans lesquels étaient impliqués des agents des forces de l’ordre et dont les victimes étaient des immigrants et des demandeurs d’asile »²²⁹. Finalement, la situation atteint son paroxysme en avril 2021 lorsque le Comité dit être « préoccupé du fait que le profilage racial par la police continue d’être un problème persistant dans l’État partie et qu’il n’existe aucune loi interdisant explicitement le profilage racial »²³⁰.

§50 En guise d’éléments supplémentaires, il peut être relevé l’existence d’un rapport d’audition sur le profilage ethnique fait au nom de la Commission de l’Intérieur, des Affaires générales et de la Fonction publique²³¹, ainsi que l’enregistrement des contrôles d’identité dans la zone de police Malines-Willebroek afin de lutter contre le profilage ethnique²³². De plus, il a été observé à Bruxelles que « les quartiers les plus équipés en caméras de surveillance sont le centre-ville et les quartiers populaires à forte densité de population immigrée (ex. : Matongé et le centre historique de Molenbeek) »²³³. Témoignages de violences racistes au sein de la police belge, nous renvoyons également les lecteur.rices aux affaires Turan Cakir²³⁴, Bouyid²³⁵ et Boutaffala²³⁶ portées devant la Cour européenne des droits de l’homme²³⁷.

Les solutions face à un naufrage annoncé

§51 Bien que cela ne soit pas la fonction première de ce travail, il parait pertinent de poser des pistes de solution face au désastre que sera le volet prédictif d’I-Police. À notre humble avis, l’abandon pur et simple du projet est le choix le plus raisonnable au vu des dangers suscités. Cependant, il semble que les autorités ne soient pas disposées à renoncer au prédictif²³⁸.

Dans cette perspective, une réforme législative serait nécessaire pour garantir les droits et libertés des citoyen.nes dans le cadre très spécifique des nouvelles technologies policières²³⁹. Une réponse adéquate devrait émerger au niveau européen ; à cet effet, le RGPD pourrait être modifié afin de renforcer la protection contre les discriminations issues notamment des procédés d’intelligences artificielles²⁴⁰.

De plus, il est important de garantir aux personnes victimes de discriminations engendrées par les prédictions un droit de recours effectif²⁴¹. Cette prérogative pourrait s’exercer auprès d’un organe désigné exclusivement pour cela²⁴², comme l’envisage le droit européen²⁴³.

§52 À un moment donné, l’absence d’expertises objectives des systèmes prédictifs et les lacunes dans les rares exceptions ont été pointées du doigt. L’évaluation consciencieuse des risques et du fonctionnement de ceux-ci est un point à parfaire²⁴⁴. Des études d’impact sont nécessaires à plusieurs niveaux. Elles doivent porter tant sur les risques inhérents à l’algorithme utilisé (cibles, critères choisis, etc.)²⁴⁵ que sur les données employées²⁴⁶. Pour celles-ci, il faut étudier « la collecte, le stockage la préparation, l’analyse et l’utilisation »²⁴⁷. Enfin, une évaluation performante est une évaluation qui s’effectue « en cours d’utilisation et en continu »²⁴⁸.

§53 Face au manque de transparence des programmes prédictifs, l’une des solutions proposées est la mise en place de « stop forms »²⁴⁹ ou « récépissés »²⁵⁰. Le principe est le suivant : à la suite de chaque contrôle de police, un document indiquant certaines informations – telles que l’origine ethnique de la personne contrôlée et les raisons du contrôle – serait octroyé aux individus contrôlés²⁵¹. Ces stop forms permettraient d’évaluer statistiquement si un modèle atteint disproportionnellement certaines personnes qui auraient en commun une caractéristique protégée²⁵². Toujours dans cette idée de transparence, une autre recommandation plébiscitée est l’instauration d’un vrai dialogue entre les acteur.rices de la société civile et les autorités à propos du prédictif²⁵³. Ce dialogue peut être optimisé par l’établissement d’une collaboration entre le monde universitaire, scientifique et les institutions policières²⁵⁴.

Conclusion

§54 L’aboutissement de cet article ne peut se concevoir sans réemprunter le cheminement qui l’y a amené. En débutant par une vue d’ensemble, les bases et notions clefs ont pu être posées. Au-delà de son utilité irréfutable dans la compréhension du présent travail, elle a mis en évidence l’importance des données et s’est servie de l’expérience américaine comme illustration de la théorie générale. L’expérience américaine a été cruciale car c’est grâce à elle qu’ont pu être observées les conséquences d’un modèle prédictif intrinsèquement biaisé. En cause, l’ancrage durable de pratiques policières racistes. Cet exemple a conduit à évoquer les enjeux liés au prédictif et plus particulièrement l’inquiétude relative aux discriminations. Les discriminations sont reproduites par le programme si celui-ci s’est (ou a été) entrainé à l’aide de données biaisées. L’intégration de biais pouvant s’opérer au moment de la collecte des données d’apprentissage. Ceci explique l’influence néfaste des politiques Terry Stop et Stop-and-frisk sur les logiciels étasuniens. Une fois ce mécanismes exposé, il a fallu l’appliquer au cas d’I-Police. La Belgique ne connait pas les même pratiques que celles présentes aux USA mais trouve son pareil dans la problématique du profilage ethnique. Il a été démontré que son usage est répandu et encore observable en 2021 au sein de la police belge. À cela s’est superposé son caractère illégal car discriminant. Partant, il ne fait aucun doute que les données utilisées par I-Police seront biaisées car imprégnées par ce procédé. Par conséquent, l’outil prédictif reproduira indéniablement ce qu’il a appris, c’est-à-dire des discriminations.

§55 Il a été évoqué ci-avant les solutions existantes afin de limiter la casse. Cependant il ne faut pas se leurrer, ces solutions apparaissent finalement comme des bouées de sauvetage là où c’est le navire qu’il faut empêcher de couler. L’usage de la police prédictive est un non-sens pour plusieurs raisons dont certaines ont été évoquées au fil de cette recherche. Pire qu’un non-sens, elle constitue à pleins d’égards un danger qu’il ne faut sous-estimer en raison de l’apparence faussement neutre attribuée aux technologies. Le temps, l’énergie et l’argent investis dans ces outils auraient pu trouver un placement plus rentable dans l’éducation, la police de proximité ou dans la lutte contre les inégalités qui sont des moyens durables de lutter contre la délinquance. Certain.es me traiteront d’utopiste mais où se trouve réellement l’utopie quand on prétend pouvoir prédire le crime ?