Découvrez GoogleTest certifié TÜV avec Agentic AI pour les tests C/C++ !
Plus de détails »
WEBINAIRE
L'intégration de l'IA dans les systèmes critiques pour la sécurité remet en question certains principes fondamentaux de l'ingénierie de sécurité traditionnelle. Un système d'IA peut fonctionner conformément à sa conception et pourtant produire un résultat dangereux en raison des limitations de ses données, de ses capacités ou de ses conditions de fonctionnement.
La norme ISO/PAS 8800 fournit un cadre pour relever ces défis. Développée pour l'IA utilisée dans les véhicules routiers, elle fonctionne en complément des normes ISO 26262 et SOTIF afin de traiter les risques spécifiques à l'IA tout au long du cycle de vie de la sécurité : des exigences, des données et du développement des modèles à la vérification, au déploiement et à la surveillance opérationnelle.
Visionnez ce webinaire pour découvrir comment la norme ISO/PAS 8800 aborde la sécurité de l'IA au niveau système et comment les organisations peuvent constituer les preuves nécessaires pour démontrer que les systèmes utilisant l'IA sont suffisamment sûrs.
Ce que vous allez apprendre:
La sécurité de l'IA ne consiste pas à prouver qu'un modèle d'IA ne commettra jamais d'erreur. Il s'agit de concevoir l'ensemble du système de manière à ce que les limitations de l'IA ne deviennent pas des risques inacceptables pour la sécurité.
Avec les logiciels classiques, les comportements anormaux sont souvent imputables à une erreur ou un défaut identifiable, comme un code incorrect, une erreur de spécification ou une panne matérielle. Les ingénieurs peuvent alors identifier la cause, la corriger et vérifier la modification.
L'IA introduit un autre défi. Un modèle de détection de piétons peut fonctionner parfaitement, mais ne pas reconnaître une personne sous une pluie battante, dans des conditions d'éclairage inhabituelles ou dans toute autre condition insuffisamment représentée dans ses données d'entraînement.
Cette distinction est essentielle à la norme ISO/PAS 8800. La sécurité de l'IA ne se limite pas à prouver la fiabilité d'un modèle ; elle vise à maîtriser les risques à l'échelle du système dans son ensemble.
Ce système peut comprendre :
Si un véhicule ne détecte pas un piéton, cela peut être dû à des données d'apprentissage insuffisantes, à une limitation du modèle, à un défaut de prétraitement, à une défaillance du capteur ou à un problème logiciel. Chaque cause requiert une solution différente.
La norme ISO/PAS 8800 a été développée pour l'IA utilisée dans les véhicules routiers de série, mais ses principes peuvent s'appliquer à d'autres secteurs critiques pour la sécurité . Elle ne remplace ni la norme ISO 26262 ni la norme SOTIF. Elle étend plutôt le processus de sécurité afin de prendre en compte les risques spécifiques à l'IA.
Cette norme permet aux équipes de s'écarter des méthodes de vérification traditionnelles lorsque celles-ci ne sont pas adaptées à l'intelligence artificielle. Par exemple, l'analyse statique et la couverture structurelle du code sont précieuses pour les logiciels C ou C++, mais ne peuvent être appliquées de la même manière à un réseau neuronal.
Une autre stratégie pourrait impliquer :
Cette flexibilité n'est pas un blanc-seing. Toute dérogation doit être documentée, justifiée et étayée par des preuves démontrant que l'objectif de sécurité est toujours atteint.
Un principe fondamental de la sécurité de l'IA est que le modèle n'a pas besoin d'être parfait pour que le système global soit sûr. Plutôt que de chercher à prouver que l'IA ne commettra jamais d'erreur, l'architecture doit anticiper la possibilité qu'elle en commette.
Par exemple, un composant d'IA pourrait ordonner par erreur à un véhicule de rouler à 80 km/h dans une zone résidentielle. Un système de contrôle de la vitesse indépendant peut comparer cette instruction avec les données cartographiques et bloquer cette manœuvre dangereuse.
Parmi les autres mesures de protection, on peut citer :
L'objectif est de détecter, de contenir et de contrôler les comportements inattendus.
La sécurité de l'IA se poursuit après son développement et son déploiement. La norme ISO/PAS 8800 intègre les activités liées à la sécurité de l'IA au cycle de vie de la sécurité : définition des exigences, conception, vérification, validation, déploiement et surveillance.
En pratique, le processus est plus itératif :
Les systèmes connectés rendent cette boucle de rétroaction de plus en plus pratique. Les données de terrain peuvent révéler des baisses de performance dans certaines conditions météorologiques ou situations inhabituelles. Ces informations peuvent mener à de nouvelles données d'entraînement, à une révision des exigences ou à une mise à jour du modèle.
Les mises à jour à distance peuvent contribuer à l'amélioration, mais les modifications liées à la sécurité doivent être contrôlées, traçables, vérifiées et étayées par des preuves avant leur déploiement.
En apprentissage automatique, les données d'entraînement, de validation et de test influencent fortement le comportement du système. Des données incomplètes, biaisées, incorrectes ou mal étiquetées peuvent engendrer des problèmes de sécurité, même lorsque le modèle est correctement implémenté.
Les données nécessitent un cycle de vie spécifique, depuis la définition de ce qu'elles doivent représenter jusqu'à leur maintenance au fur et à mesure que de nouvelles conditions sont découvertes sur le terrain.
Le cycle de vie des jeux de données doit répondre à une série de questions pratiques :
La traçabilité doit permettre de relier les décisions relatives aux ensembles de données aux exigences de sécurité de l'IA. Les équipes doivent également consigner les limitations connues et expliquer pourquoi les données sont suffisantes pour l'environnement d'exploitation prévu.
La sécurité de l'IA ne peut être démontrée par un seul chiffre de précision. Une affirmation telle que « le modèle est précis à 99.9 % » est incomplète sans connaître le lieu, la date et les modalités des tests.
Un argument d'assurance plus solide combine :
Les tests devraient passer des composants d'IA individuels aux fonctions intégrées, puis au système véhicule complet. La simulation est particulièrement utile car elle permet aux ingénieurs de reproduire des scénarios complexes (météo, travaux, piétons, circulation, configurations routières inhabituelles) sans les coûts ni les risques liés à une mise en œuvre sur la voie publique.
L'analyse de la sécurité de l'IA doit également prendre en compte les risques pouvant émerger d'interactions complexes au sein du système, même en l'absence de défaillance de composants individuels. Des techniques telles que l'analyse systémique des processus (STPA), basée sur le modèle STAMP, peuvent compléter les approches traditionnelles comme l'AMDEC et l'analyse par arbre de défaillances en examinant les actions de contrôle, les interactions et les comportements du système non sécuritaires susceptibles d'engendrer des dangers.
Les systèmes d'IA restent tributaires de logiciels classiques. Le code C et C++ gère souvent le prétraitement, la surveillance, les mécanismes de protection, la communication et les comportements de repli. Si ces mécanismes doivent protéger les utilisateurs en cas d'erreur de l'IA, ils doivent être extrêmement fiables.
Dans de nombreux cas, ce logiciel classique met en œuvre des mécanismes de sécurité déterministes qui surveillent, contraignent ou modifient le comportement de l'IA. Si nous devons nous fier à ces mécanismes lorsque l'IA commet une erreur, nous avons besoin de preuves solides de la fiabilité du logiciel lui-même.
Les équipes peuvent utiliser des pratiques établies telles que :
L'IA peut également faciliter la vérification en suggérant des correctifs, en générant des tests, en identifiant les lacunes de couverture et en hiérarchisant les risques. Toutefois, le jugement technique demeure essentiel. Il incombe à des personnes d'examiner les résultats et de déterminer si les preuves sont exactes et suffisantes.
La norme ISO/PAS 8800 reconnaît qu'il est impossible de prouver la sécurité absolue de l'IA. Elle propose plutôt une méthode pour identifier les risques spécifiques à l'IA, gérer l'incertitude et construire une argumentation solide en matière de sécurité.
Le changement le plus important consiste à cesser de considérer le modèle d'IA comme le produit unique. La sécurité repose sur l'ensemble de la chaîne, depuis les données et les capteurs jusqu'aux modèles, logiciels, mécanismes de protection et à la surveillance en conditions réelles. Lorsque cette chaîne est conçue comme un système intégré, les organisations ont de meilleures chances de développer une IA non seulement performante, mais aussi suffisamment sûre.
