Sommet de l'ASTQ est disponible sur demande! Écoutez les chefs de file de l'industrie expliquer comment ils offrent une qualité continue. Regardez maintenant >>

X
BLOG

Tests de robustesse : qu'est-ce que c'est et comment fournir des systèmes logiciels fiables avec l'automatisation des tests

Tests de robustesse : qu'est-ce que c'est et comment fournir des systèmes logiciels fiables avec l'automatisation des tests Temps de lecture : 6 minutes

Lorsque la plupart des gens prennent le volant d'une voiture, ils ne s'inquiètent pas de la défaillance des freins. Ils ne s'inquiètent pas non plus des blessures causées par un dysfonctionnement lorsque leur enfant reçoit un nouveau jouet. En fait, la plupart des gens ne s'inquiètent pas du tout des dysfonctionnements du système au cours de leur vie quotidienne.

C'est parce qu'un développeur de logiciels ou un ingénieur de contrôle qualité comme vous a traité des problèmes de qualité. Si l'objectif est de fournir des systèmes logiciels fiables et de haute qualité, des tests doivent être effectués. Les problèmes de qualité ne disparaîtront pas sans test, car plus le produit est fiable, plus il est sûr.

L'un des processus que nous utilisons pour tester la qualité et la fiabilité est appelé test de robustesse, le degré auquel un système fonctionne correctement en présence d'entrées exceptionnelles ou de conditions environnementales stressantes. Si vous êtes nouveau dans ce genre de test, attachez-vous.

Qu'est-ce que la robustesse dans les tests de qualité logicielle ?

Les ingénieurs d'assurance qualité seront responsables d'une défaillance du système, ou pire si cette défaillance provoque une blessure. Mais cela ne permet pas aux développeurs de s'en tirer. Les développeurs doivent créer et tester la robustesse avec les autres tests qu'ils effectuent pendant le processus de validation, tels que les tests de référence.

Logiciel embarqué les systèmes critiques pour la sécurité et la sûreté nécessitent des tests approfondis à chaque phase du cycle de vie du développement logiciel, du système et de la conception de haut niveau aux tests unitaires et aux tests d'intégration.

Quelle est la signification de tester la robustesse dans le monde réel ?

Lorsque la robustesse des tests logiciels se présente, cela signifie généralement que le système déployé ou encore en cours de développement fonctionne bien dans des conditions normales ou ordinaires. Les tests robustes consistent à améliorer la fiabilité et à trouver ces cas critiques en entrant des données qui imitent les conditions environnementales extrêmes pour aider à déterminer si le système est suffisamment robuste pour fonctionner.

Les tests de robustesse sont plus ciblés que l'analyse comparative de la fiabilité. Les tests robustes consistent à déterminer si nous pouvons ou non lancer le logiciel et s'il est capable de gérer les abus et de fonctionner correctement. Il ne s'agit pas de ces scénarios de journée ensoleillée où tout fonctionne parfaitement. Nous effectuons des tests de robustesse pour découvrir ce qui manque aux autres tests. Notre objectif est de créer des environnements de test capables d'évaluer la robustesse d'un système logiciel. Il est important de suivre les métriques des tests logiciels pour mesurer l'efficacité de vos tests.

En informatique, les programmeurs sont habitués à créer des algorithmes qui font fonctionner les systèmes informatiques. Nous ne sommes pas habitués à créer des algorithmes pour casser les choses, donc les tests de robustesse peuvent sembler contre-intuitifs pour certains. C'est nécessaire pour vérifier la robustesse des systèmes informatiques que nous construisons, quelle que soit la sémantique du langage de programmation. Cela est particulièrement vrai lorsqu'il existe plusieurs dépendances.

Lorsque nous effectuons des tests de robustesse, nous recherchons les scénarios qui peuvent entraîner l'échec du logiciel. Les tests de robustesse sont une solution de test de bout en bout pour systèmes embarqués. Il est effectué en passant une entrée valide et une entrée invalide pour vérifier la fiabilité du logiciel. Le logiciel peut échouer pour de nombreuses raisons, c'est pourquoi nous testons également les modifications qui affectent le matériel, les modifications de l'environnement ou les logiciels externes et indépendants.

Pourquoi les tests de robustesse dans les systèmes logiciels sont-ils importants ?

La sécurité et la fiabilité sont des avantages évidents des tests de robustesse. Il sauve des vies et réduit les risques de blessures ou de poursuites judiciaires coûteuses. Certaines industries doivent tester plus que d'autres selon des normes réglementaires et de conformité strictes.

L'industrie du transport aérien avec ses nombreux systèmes d'aviation embarqués est un excellent exemple de l'importance de la sécurité et de la fiabilité. La vie des gens est en jeu. Vous feriez mieux de croire qu'ils pensent au cas du coin lors des tests.

Nombre de vols 1/2004 - 6/2021
Nombre d'accidents d'avions de ligne civils depuis 1945
16.9 millions
3,346

Avec un nombre aussi élevé de vols au cours des seize dernières années et le nombre relativement faible d'accidents d'avions civils depuis 1945, l'industrie du transport aérien a un taux de réussite extrêmement élevé. Même avec ce genre de succès, il y a malheureusement des décès, des blessures et des poursuites judiciaires, mais cela constitue un argument efficace pour l'efficacité des tests de robustesse.

La génération de tests automatisés est importante pour accélérer les tests. Certaines solutions de test de robustesse offrent une génération automatique de cas de test qui améliorent la qualité et aident à vérifier et valider les composants logiciels directement sur le matériel cible, ce qui est une exigence dans les niveaux d'intégrité de sécurité les plus stricts, tels que DAL A dans le DO-178C norme de processus.

La sécurité est un autre exemple où les développeurs et les ingénieurs ne peuvent pas se permettre de se tromper. Les institutions financières, les sociétés de traitement des cartes de crédit et l'industrie de la défense ne sont que quelques-uns qui doivent répondre à des exigences de conformité très strictes. Il est possible d'intégrer la conformité dans les processus et écosystèmes de développement existants, de la gestion des exigences et du contrôle des sources aux IDE et CI/CD. En automatisant la conformité aux normes de sécurité fonctionnelle et de sécurité, les organisations peuvent économiser du temps et de l'argent.

Intégration continue et livraison continue pour les systèmes embarqués
Obtenez un livre blanc gratuit

Quel que soit le secteur ou l'application, les tests de robustesse aident les organisations à atteindre et à automatiser la conformité et à fournir des logiciels de qualité. Un bon retour sur investissement est également obtenu, ce qui réduit le coût de livraison des logiciels embarqués.

Quels types de tests ou de méthodes de test garantissent la robustesse des suites de tests ?

Bien qu'il existe de nombreuses techniques et outils de test de robustesse, le fuzz est probablement la méthode de test la plus largement utilisée car elle existe depuis des décennies. Les tests Fuzz se sont avérés très efficaces et c'est une méthode relativement simple où vous créez des cas de test avec de multiples variations d'entrées inattendues et surveillez les exceptions. Après des tests exhaustifs, s'il ne plante pas, n'échoue pas aux assertions de code intégrées ou n'a pas de fuites de mémoire potentielles, alors vous avez atteint un degré élevé de robustesse logicielle.

Une autre technique de test de robustesse est le test boîte noire. C'est là que les testeurs QA ou l'équipe d'ingénierie logicielle prétendent être les utilisateurs finaux ou les parties prenantes du produit ou de l'application pour tester des scénarios du monde réel. L'utilisateur se soucie uniquement de savoir si le système logiciel fonctionne ou non comme prévu. C'est le test au niveau humain ou utilisateur pour la fonctionnalité et la fiabilité. Si la sortie ou le comportement correct est généré par le système dans des conditions environnementales stressantes et que le système fonctionne correctement ou fonctionne comme il a été conçu, il est robuste.

Qu'en est-il des techniques de test de robustesse comme l'injection de fautes et les tests de mutation ?

D'autres types d'approches de test de robustesse comprennent les tests d'injection de fautes classiques et les tests de mutation. L'objectif des tests d'injection de fautes classiques est de déterminer la robustesse du code du système pendant l'exécution en injectant des types de données corrompus ou des fautes matérielles pour déterminer si le système tombe en panne ou est dangereux. S'il tolère les défauts, il est robuste. L'objectif des tests de mutation est d'évaluer l'efficacité du cas de test pour trouver un bogue. Dans ce test, vous mettez un bogue dans le code pour voir s'il est détecté. Si c'est le cas, votre cas de test est complet.

Astuce! Si vous êtes un développeur travaillant avec Java, la gestion des exceptions est une méthode de test que vous pouvez déployer pour gérer les erreurs d'exécution afin que le flux normal de l'application puisse être maintenu.

Outils de test automatisés et tests de robustesse et qualité logicielle

Les tests d'automatisation sont utilisés pour automatiser des tâches répétitives et d'autres tâches de test difficiles à effectuer manuellement. Il compare le résultat réel avec le résultat attendu. Les cas de test sont construits pour atteindre un objectif de test particulier. Les tests de robustesse peuvent être automatisés lors de la réalisation de tests de régression, une autre approche des tests de robustesse.

Les tests de régression sont un test de l'ensemble de l'application pour déterminer s'il y a des modifications néfastes dans un module ou la fonctionnalité du logiciel. L'automatisation est nécessaire lors de la réalisation de tests de régression, car il est presque impossible d'effectuer des tests de système manuellement. L'automatisation réduit le travail et le temps d'exécution, la méthodologie de test utilisée pour des tests robustes.

Test de régression des systèmes embarqués

Avec des outils de test automatisés, vous pouvez également générer automatiquement des cas de test pour prendre en charge les tests fuzz ou l'exécution symbolique qui effectue des tests de plage de valeurs minimale, moyenne, maximale et autres. Certains cas de test testeront également en dehors des limites de valeur pour déterminer si vos composants logiciels peuvent également gérer ces valeurs.

Les outils de test automatisés avec des interfaces graphiques conviviales peuvent rendre les choses encore plus faciles avec les tests unitaires en abstrait le code dans un tableau visuel permettant à l'utilisateur de remplir des champs, comme les valeurs d'entrée et les résultats attendus. La génération du cas de test à partir de la table peut alors avoir lieu. Le stub peut également être appliqué pour les tests même si d'autres fonctionnalités logicielles peuvent ne pas être disponibles. Il existe également la possibilité simplifiée de modifier ou de mettre à jour les cas de test et de suivre quels cas de test doivent changer si le code change. Mieux encore, les équipes d'assurance qualité peuvent gérer les combinaisons de test avec les milliers de cas de test créés.

Quelles sont les limites des tests de robustesse ?

Pour les organisations qui doivent se réunir Normes IEEE, les tests de robustesse sont obligatoires, mais ils peuvent être excessifs pour les applications non critiques pour la sécurité et peuvent donc ne pas être justifiés pour certaines organisations. Certains tests, tels que les tests de mutation, nécessitent un cas de test existant et l'insertion de bogues réalistes, ce qui peut être difficile à faire.

Malheureusement, le temps n'est pas toujours un allié des tests de robustesse en raison du temps et du travail supplémentaires qu'il consomme. Mais si les tests de robustesse des logiciels aident votre organisation à atteindre son objectif de fournir des logiciels de meilleure qualité, des logiciels sûrs et sécurisés, avec un bon retour sur investissement, et de réduire les coûts de livraison, alors vous devrez peut-être envisager des outils d'automatisation qui peuvent fournir la vitesse et les capacités vous devez effectuer des tests de robustesse.

Il est important d'avoir une bonne compréhension des tests de robustesse. À tel point que le Symposium international sur les tests en ligne et la conception de systèmes robustes (IOLTS) a présenté des données à ce sujet pour l'IEEE. L'IEEE a également spécifié une famille de normes pour maintenir la compatibilité

De plus, l'Association for Computing Machinery (ACM) a présenté des études de cas sur les tests de robustesse dans la revue ACM.

Pour en savoir plus sur les tests de robustesse, consultez notre livre blanc « Optimisation des tests unitaires et de régression pour les systèmes embarqués ».

Texte en caractères blancs sur fond bleu foncé : Optimisation des tests unitaires et de régression pour les systèmes embarqués. Bouton rouge avec une police blanche sous le titre : Télécharger le livre blanc.

Écrit par

Ricardo Camacho

Directeur technique principal du marketing des produits pour les solutions de test embarquées de Parasoft, Ricardo possède une expertise dans le SDLC et l'automatisation des tests d'applications embarquées en temps réel, de sécurité et de sécurité, ainsi que la conformité des logiciels aux normes de l'industrie.

Recevez les dernières nouvelles et ressources sur les tests de logiciels dans votre boîte de réception.