L’intelligence artificielle en droit pénal et son utilisation par les autorités policières et judiciaires dans les affaires pénales

La commission des libertés civiles, de la justice et des affaires intérieures a adopté un rapport d’initiative de Petar VITANOV (S&D, BG) sur l’intelligence artificielle (IA) en droit pénal et son utilisation par les autorités policières et judiciaires dans les affaires pénales.

L’IA comporte un certain nombre de risques potentiels, tels que l’opacité de la prise de décision, différents types de discrimination, l’intrusion dans notre vie privée, les défis en matière de protection des données à caractère personnel, de la dignité humaine et de la liberté d’expression et d’information. Ces risques sont aggravés dans le secteur de la répression et de la justice pénale, dans la mesure où ils peuvent porter atteinte à la présomption d’innocence, aux droits fondamentaux à la liberté et à la sûreté de la personne et au droit à un recours effectif et à un procès équitable.

Le présent rapport traite les questions soulevées par l’utilisation de l’IA dans le droit pénal et son utilisation par les autorités policières et judiciaires en matière pénale. Tout en reconnaissant les possibilités et les avantages potentiels que l’IA peut apporter, il met également en évidence les risques et les conséquences importants qu’elle peut entraîner.

Respect des droits fondamentaux

Étant donné que le traitement de grandes quantités de données est au cœur de l’IA, les députés estiment que le cadre juridique de l’Union en matière de protection des données et de la vie privée doit être pleinement respecté et qu’il devrait constituer un fondement pour toute future réglementation en matière d’IA aux fins d’une utilisation par les services répressifs et judiciaires. Toute utilisation de l’IA incompatible avec les droits fondamentaux devrait être interdite. De plus, l’utilisation des applications d’IA devrait être classée comme à haut risque lorsqu’elle est susceptible d’avoir une incidence significative sur la vie des personnes.

Le rapport réaffirme que toutes les solutions d’IA à des fins répressives et judiciaires devraient respecter les principes de non-discrimination, de liberté de circulation, de présomption d’innocence et de droits de la défense, y compris le droit au silence, de liberté d’expression et d’information, de liberté de réunion et d’association, d’égalité devant la loi, d’égalité des armes et de droit à un recours effectif et à un procès équitable, conformément à la charte et à la convention européenne des droits de l’homme.

Tous les outils d’IA développés ou utilisés par les services répressifs ou judiciaires devraient, au minimum, être sûrs, solides, sécurisés et adaptés à l’usage prévu, respecter les principes d’équité, de minimisation des données, de responsabilité, de transparence, de non-discrimination et d’explicabilité. En outre, leur développement, déploiement et utilisation devraient être soumis à une évaluation des risques et à un contrôle strict de la nécessité et de la proportionnalité, les garanties devant être proportionnées aux risques repérés.

Surveillance et profilage de masse

Certaines technologies d’identification fondées sur des algorithmes qui sont utilisées actuellement commettent de nombreuses erreurs d’identification et de catégorisation et portent donc préjudice aux personnes racialisées, aux personnes appartenant à certaines communautés ethniques, aux personnes LGBTI, aux enfants et aux personnes âgées, ainsi qu’aux femmes.

Les députés estiment que les garanties contre l’utilisation abusive des technologies d’IA par les autorités répressives et judiciaires devraient être réglementées de manière uniforme dans toute l’Union.

Le rapport souligne l’obligation légale de prévenir la surveillance de masse au moyen de technologies d’IA et d’interdire l’utilisation d’applications qui pourraient y conduire. Il demande d’accentuer les efforts pour éviter les discriminations automatisées et les biais d’automatisation.

Risques liés aux fuites de données

Le rapport souligne que les aspects liés à la sécurité et à la sûreté des systèmes d’IA utilisés par les services répressifs et judiciaires doivent être soigneusement examinés et suffisamment solides et résilients pour prévenir les conséquences d’attaques malveillantes contre les systèmes d’IA. Il met l’accent sur l’importance de la sécurité dès la conception, ainsi que d’une surveillance humaine spécifique avant l’utilisation de certaines applications critiques, et demande que les autorités répressives et judiciaires n’utilisent que les applications d’IA qui respectent le principe de la protection de la vie privée et des données dès la conception de manière à éviter tout détournement d’usage.

Les députés appellent au respect du principe de précaution dans toutes les applications d’IA dans le cadre répressif et soulignent que dans les cadres judiciaires et répressifs, les décisions produisant des effets juridiques ou similaires devraient toujours être prises par un être humain, qui peut être tenu responsable des décisions prises.

Analyses d’impact obligatoires

Le rapport préconise l’explicabilité, la transparence, la traçabilité et la vérification des algorithmes, en tant qu’éléments indispensables de la surveillance, afin de garantir que le développement, le déploiement et l’utilisation des systèmes d’IA pour les services judiciaires et répressifs respectent les droits fondamentaux et bénéficient de la confiance des citoyens.

Les députés demandent qu’une étude d’impact obligatoire sur les droits fondamentaux soit réalisée avant la mise en œuvre ou le déploiement de tout système d’IA à des fins répressives ou judiciaires, afin d’évaluer tout risque potentiel pour les droits fondamentaux. Ces analyses d’impact devraient être menées avec la participation active de la société civile. Elles devraient définir clairement les garanties nécessaires pour faire face aux risques décelés et être rendues publiques, dans toute la mesure du possible, avant le déploiement de tout système d’IA.

Le rapport demande qu’une autorité indépendante effectue un audit périodique et obligatoire de tous les systèmes d’IA utilisés par les services répressifs et judiciaires lorsque ces systèmes sont susceptibles d’avoir une incidence significative sur la vie des personnes. Il souligne également la nécessité d’assurer une formation spécialisée sur les dispositions éthiques, les dangers potentiels, les limites et la bonne utilisation des technologies d’IA, en particulier pour le personnel policier et judiciaire.

Reconnaissance faciale

Les députés demandent un moratoire sur le déploiement des systèmes de reconnaissance faciale à des fins répressives destinés à l’identification, à moins qu’ils ne soient utilisés qu’aux fins de l’identification des victimes de la criminalité, jusqu’à ce que les normes techniques puissent être considérées comme pleinement respectueuses des droits fondamentaux.