Systèmes d’IA à haut risque : quelles obligations pour les entreprises ?

Les systèmes d’intelligence artificielle à haut risque transforment des secteurs clés comme la santé ou le recrutement, mais leur puissance s’accompagne de responsabilités majeures. Avec l'IA Act, l’Union européenne impose des règles strictes pour garantir leur sécurité, leur transparence et le respect des droits fondamentaux.

Découvrez les obligations essentielles à connaître pour anticiper et maîtriser ces nouvelles exigences.

Qu’est-ce qu’un système d’IA à haut risque ?

Un système d’IA est classé comme “à haut risque” dans l’IA Act lorsqu’il peut avoir un impact significatif sur les droits fondamentaux ou la sécurité des individus. Ces applications, souvent déployées dans des secteurs critiques, sont soumises à des exigences réglementaires strictes pour minimiser les risques.

Exemples d’usages :

• Diagnostics médicaux.

• Outils de recrutement.

• IA dans les véhicules autonomes.

Critères de classification :

• Impact sur les droits fondamentaux : Discrimination, atteinte à la vie privée ou à la dignité humaine.

• Contexte d’utilisation : Scénarios impliquant une sécurité publique ou des décisions majeures affectant les individus.

Ces systèmes sont essentiels mais nécessitent une vigilance accrue pour garantir leur conformité et leur fiabilité.

Quelles sont les obligations pour les entreprises ?

Les systèmes d’IA à haut risque, en raison de leur impact potentiel sur les droits fondamentaux et la sécurité, sont soumis à des obligations strictes et détaillées. Ces règles visent à garantir leur transparence, leur fiabilité et leur sécurité, tout en facilitant leur surveillance par les autorités compétentes.

Documentation technique et auditabilité

Article 11 de l’IA Act : Documentation technique

Les fournisseurs doivent élaborer une documentation technique détaillée, incluant la conception, le fonctionnement, les algorithmes utilisés, les sources de données et les mesures pour garantir l’équité et la sécurité.

Objectif : Fournir une traçabilité complète du système pour garantir sa conformité.

Contenu obligatoire :

Description technique :

• Fonctionnement du système, y compris les algorithmes utilisés et leurs objectifs.

• Source et traitement des données (par exemple, anonymisation, suppression des biais).

• Processus de développement et de test, avec des preuves de conformité aux normes de sécurité et d’éthique.

Mesures d’atténuation des risques :

• Stratégies pour éviter les biais, garantir l’équité et protéger les droits fondamentaux.

• Plans d’intervention en cas de défaillance ou d’erreur.

Auditabilité :

• Les systèmes doivent inclure des mécanismes permettant de retracer les décisions prises par l’IA.

• Documentation accessible aux autorités pour des audits réguliers ou en cas de suspicion de non-conformité.

Conservation :

Les entreprises doivent archiver ces documents pour une durée spécifiée, garantissant leur disponibilité en cas de demande des autorités.

Données et gouvernance des données

Article 10 de l’IA Act : Données et Gouvernance des données

Les fournisseurs de systèmes d’IA à haut risque doivent s’assurer que les données utilisées dans leurs systèmes respectent des exigences spécifiques en matière de qualité et de gestion.

• Qualité des données : Les données doivent être complètes, exactes, représentatives et exemptes de biais.

• Diversité : Les données doivent couvrir une large variété de cas d’usage pour éviter toute discrimination.

• Gouvernance : Des mécanismes de traçabilité et des politiques claires (collecte, traitement, stockage) doivent être mis en place.

• Documentation : Les données doivent être détaillées et traçables pour permettre des audits par les autorités.

Évaluation des risques

Article 9 de l’IA Act : Système de gestion des risques

Les fournisseurs doivent mettre en place un système de gestion des risques couvrant l’ensemble du cycle de vie du système d’IA, incluant l’identification, l’évaluation et la réduction des risques potentiels.

Avant le déploiement :

• Une analyse approfondie des risques doit être réalisée, couvrant les domaines suivants :

  • Biais algorithmiques : Identification des facteurs susceptibles de causer des discriminations.

  • Erreurs systémiques : Scénarios où le système pourrait dysfonctionner (fausses prédictions, mauvais diagnostics).

  • Utilisations malveillantes : Risque de détournement du système à des fins non prévues.

• Les entreprises doivent documenter les mécanismes mis en place pour atténuer ces risques (tests préliminaires, filtres de sécurité, etc.).

Pendant l’utilisation :

• Surveillance continue pour détecter les dérives ou anomalies.

• Réévaluation régulière en intégrant :

  • Les nouvelles données collectées.

  • Les mises à jour technologiques ou réglementaires.

• Rapport de suivi : Les entreprises doivent produire des rapports réguliers pour garantir la conformité à long terme.

Transparence pour les utilisateurs

Article 13 de l’IA Act : Transparence et information des utilisateurs

Les fournisseurs doivent garantir que les systèmes d’IA à haut risque sont accompagnés d’informations claires et compréhensibles pour les utilisateurs, incluant les caractéristiques principales, les limitations de performance et les instructions d’utilisation.

Objectif : Renforcer la confiance des utilisateurs et limiter les risques d’abus.

Obligations d’information :

• Les utilisateurs doivent être avertis lorsqu’ils interagissent avec un système d’IA.

• Une description claire du fonctionnement du système doit être fournie, expliquant :

  • Les objectifs du système.

  • Les mécanismes de prise de décision (ex. : comment l’IA évalue un candidat lors d’un processus de recrutement).

• Les entreprises doivent informer les utilisateurs de leurs droits, notamment :

  • La possibilité de demander des explications sur une décision automatisée.

  • Les recours disponibles en cas de préjudice ou d’erreur.

Supervision humaine

Article 14 de l’IA Act : Supervision humaine

Les systèmes d’IA à haut risque doivent être conçus pour garantir une intervention humaine appropriée, limitant les risques et prévenant des résultats préjudiciables.

Objectif : Préserver le contrôle humain dans des décisions critiques, notamment dans des secteurs comme la santé, la sécurité ou le recrutement.

Exigences :

• Mécanismes de supervision :

  • Permettre aux utilisateurs de surveiller et d’intervenir sur le système si nécessaire.

  • Garantir que les décisions automatisées peuvent être modifiées ou annulées.

• Formation des utilisateurs :

  • Fournir des instructions claires pour aider les utilisateurs à superviser efficacement le système.

Sécurité et fiabilité

Article 15 de l’IA Act : Précision, robustesse et cybersécurité

Validation préalable :

• Avant tout déploiement, le système doit être testé pour respecter les normes de sécurité établies par l’IA Act.

• Ces tests incluent :

  • Robustesse technique : Résistance aux cyberattaques ou tentatives de manipulation.

  • Précision des résultats : Capacité à fournir des prédictions fiables dans les scénarios envisagés.

Les résultats de ces tests doivent être documentés et conservés pour prouver la conformité.

Maintenance continue :

• Des tests réguliers doivent identifier les faiblesses potentielles liées à l’évolution des algorithmes ou des données.

• Toutes les mises à jour doivent être documentées pour garantir la conformité permanente.

Tenue des registres et traçabilité

Article 12 de l'IA Act : Tenue des registres

Objectif :
Faciliter les audits et garantir la transparence des systèmes d’IA à haut risque.

Exigences :

• Informations à consigner :

  • Données de fonctionnement du système (entrées et sorties).

  • Journalisation des décisions critiques.

  • Enregistrement des anomalies ou interventions humaines pour une analyse approfondie.

Conservation des registres :

• Les registres doivent être conservés pour une durée adaptée à l’usage, permettant une analyse a posteriori des décisions ou incidents, conformément aux réglementations applicables.

Exemple :

• Une IA utilisée pour la reconnaissance faciale dans un environnement public doit enregistrer toute anomalie détectée (fausses identifications, etc.) afin d’anticiper les erreurs et d’améliorer les algorithmes.

Inscription au registre public

Article 51 de l’IA Act : Enregistrement des systèmes d’IA à haut risque

Les fournisseurs doivent enregistrer leurs systèmes d’IA à haut risque dans une base de données de l’Union avant leur mise sur le marché ou leur mise en service.

Objectif : Assurer la transparence des systèmes à haut risque auprès des autorités et du public.

Contenu du registre :

• Informations sur le système (nom, fonction, entreprise responsable).

• Données sur son évaluation de conformité (résultats des tests, documentation technique).

• Secteur d’application et contexte d’utilisation.

Avantages du registre :

• Permet aux autorités de surveiller facilement les systèmes déployés sur le marché.

• Renforce la confiance des utilisateurs en rendant les informations clés accessibles.

Quels sont les risques en cas de non-conformité ?

Ne pas se conformer aux obligations de l’IA Act expose les entreprises à des sanctions importantes, tant financières qu’opérationnelles, pouvant compromettre leur réputation et leur activité.

Sanctions financières :

Les amendes peuvent atteindre jusqu’à 30 millions d’euros ou 6 % du chiffre d’affaires annuel mondial, selon la gravité de l’infraction.

Conséquences opérationnelles :

• Suspension temporaire ou permanente du système non conforme.

• Interdiction de mise sur le marché dans l’Union européenne.

Risque de perte de confiance :

Une non-conformité peut nuire à la crédibilité de l’entreprise auprès des utilisateurs, des partenaires commerciaux et des investisseurs, affectant ainsi son image de marque et sa compétitivité.