ALD - ISTQB Fondation - Chapitre 5 - V1.2
ALD - ISTQB Fondation - Chapitre 5 - V1.2
ALD - ISTQB Fondation - Chapitre 5 - V1.2
Formation
ISTQB Niveau Fondation
Chapitre 5
Gestion des tests
225 mn
1 | 2018 | ISTQB Fondation – Chapitre 5 / Copyright Aldemia 2018 – reproduction interdite
Notes de lecture
5.1 FL-5.1.1 Identifier les tâches d'un Test Manager et d'un testeur K1
5.2 FL-5.2.3 Donner des exemples de critères d'entrée et de critères de sortie possibles K2
5.2 FL-5.2.5 Identifier des facteurs qui influencent l'effort relatif au test K1
Expliquer les différences entre deux techniques d'estimation : la technique basée sur des
5.2 FL-5.2.6 K2
métriques et la technique basée sur l'expertise
5.3 FL-5.3.2 Résumer les objectifs, contenus et destinataires des rapports de test K2
5.4 FL-5.4.1 Résumer comment la gestion de configuration vient en appui des tests K2
5.5 FL-5.5.2 Décrire la différence entre les risque projet et les risques produit K2
Décrire, en utilisant des exemples, comment l'analyse des risques produit peut influencer
5.5 FL-5.5.3 K2
la complétude et le périmètre des tests
5.6 FL-5.6.1 Écrire un rapport de défaut couvrant les défauts trouvés pendant les tests K3
5 | 2018 | ISTQB Fondation – Chapitre 5 / Copyright Aldemia 2018 – reproduction interdite
Chapitre 5 – Les termes du glossaire
Glossaire
❑ Une organisation des tests est indispensable pour un déroulement optimisé du processus de test
Métier-Utilisateurs
Exploitation
Testeur indépendant
Développeur
1 2 3
4 5
➢ Cas 1 :
• Le testeur fait partie de Testeurs
l’équipe :
Testeur
➢ Cas 2 :
• Une équipe de test indépendante en support à l’équipe
• Le product owner peut effectuer des tests d'acceptation pour
valider les User Stories à la fin de chaque itération.
Testeurs
➢ Les testeurs indépendants sont susceptibles de détecter des ➢ Les testeurs peuvent être isolés de l'équipe de développement,
types de défaillances différents par rapport aux développeurs en ce qui entraîne un manque de collaboration, des retards dans
raison de leurs connaissances propres, de leurs approches la communication des retours d'information à l'équipe de
techniques et de biais différents développement ou une relation conflictuelle avec l'équipe de
développement
➢ Un testeur indépendant peut vérifier, contester ou réfuter les
hypothèses formulées par les parties prenantes au cours de la ➢ Les développeurs peuvent perdre le sens des responsabilités
spécification et de l'implémentation du système vis-à-vis de la qualité
➢ Revoir et contribuer aux plans de test ➢ Créer le planning détaillé d'exécution des tests
➢ Analyser, revoir et évaluer les exigences, les user ➢ Exécuter des tests, évaluer les résultats et documenter
stories et leurs critères d'acceptation, les spécifications les écarts par rapport aux résultats attendus
et les modèles vis à vis de leur testabilité
➢ Utiliser les outils appropriés pour faciliter le processus
➢ Identifier et documenter les conditions de test, et saisir de test
la traçabilité entre les cas de test, les conditions de
test et les bases de test ➢ Automatiser les tests selon les besoins (peut être porté
par un développeur ou un expert en automatisation des
➢ Concevoir, configurer et vérifier le ou les tests)
environnement(s) de test, souvent se coordonnant
avec l'administration système et réseau ➢ Évaluer les caractéristiques non fonctionnelles telles que
la performance, la fiabilité, l’utilisabilité, la sécurité, la
➢ Concevoir et implémenter les cas de test et les
procédures de test compatibilité et la portabilité
➢ Préparer et acquérir des données de test ➢ Revoir des tests développés par d'autres
➢ Plan de test
➢ Plans de test
par niveau
Stratégie
de test Cycle de
Disponibilité développement
des ressources du projet
Étendue
Testabilité Facteurs des tests
impactants le
plan de test
Criticité Objectifs
Contraintes Risques
11. Environnement
9. Livrables 10. Détail des tâches 12. Responsabilités
de test
Glossaire
❑ Les définitions du glossaire :
• Le test basé sur les risques est un exemple d'approche analytique, où les tests sont conçus et priorisés en fonction du niveau de risque
• Les tests sont conçus à partir d'un modèle d'un aspect requis du produit, comme une fonction, un processus métier, une structure
interne ou une caractéristique non fonctionnelle
Méthodique
• Ce type de stratégie de test repose sur l'utilisation systématique d'un ensemble prédéfini de tests ou de conditions de test
Conforme à un processus
• La stratégie de test de test se base sur des règles et normes externes (industrielles, avioniques…)
Dirigée ou consultative
• Ce type de stratégie de test est principalement dicté par les recommandations, les conseils ou les instructions des parties prenantes
Anti régressions
• L’objectif est d'éviter la régression au niveau des fonctionnalités existantes avec la réutilisation des testwares existants et la promotion
de l’automatisation
Réactive
• Le test est adapté en réaction aux événements se produisant pendant l'exécution des tests, plutôt que préplanifié
Glossaire
❑ Définitions : Critères d’entrée Critères de sortie
❑ Objectifs :
➢ Exercer un contrôle efficace sur la qualité du logiciel et des tests
➢ Disposer d’indicateurs pour décider :
➔ quand une activité de test donnée doit commencer ➔ quand une activité de test est terminée
Critères d’entrée
1. Les critères d’entrée suivants sont définis en phase de
planification pour sécuriser le démarrage de l’exécution des
tests système :
• L’environnement est prêt au regard des exigences ❑ Critère d’entrée 1
exprimées ❑ Critère d’entrée 2
❑ Critère d’entrée 3
• Les jeux de données sont livrés ❑ Critère d’entrée 4
• Les suites de test pour couvrir les exigences de priorité
importante et haute sont créées
• L’objet à tester est déployé
Exécution tests
• Le résultat du test d’admission est satisfaisant système
2. Les critères d’entrée sont analysés à chaque comité de suivi
3. Au dernier comité de suivi les critères d’entrée sont tous
complétés
4. Le GO est donné pour démarrer la phase d’exécution des test
système
Critères de sortie
1. Les critères de sortie suivants sont définis en phase de
planification pour évaluer le niveau de qualité du produit en
test système :
❑ Critère de sortie 1
• 100 % des exigences de priorité importante et haute sont ❑ Critère de sortie 2
couvertes par des résultats de tests satisfaisants ❑ Critère de sortie 3
• 80 % des exigences de priorité moyenne et basse sont ❑ Critère de sortie 4
couvertes par des résultats de tests satisfaisants
• Tous les défauts concernant des exigences de priorité
importante et haute sont clôturés
• Tous les correctifs de défauts résiduels non clôturés sont Exécution tests
planifiés pour une livraison dans un lot ultérieur système
2. Les critères de sortie sont analysés à chaque comité de suivi
3. Au dernier comité de suivi les critères de sortie sont tous
complétés
4. La fin des tests système sont confirmés, le rapport de
synthèse est établi.
27 | 2018 | ISTQB Fondation – Chapitre 5 / Copyright Aldemia 2018 – reproduction interdite
5.2.3 Critères d'entrée et de sortie, définition du prêt et définition du terminé
❑ Focus sur le contexte agile :
« Définition du prêt »
➢ La definition du prêt – Definition Of Ready (DOR) – est la
liste, définie par l’équipe, des éléments attendus qu’une
user story doit rassembler pour être candidate au
développement.
« Définition du terminé »
➢ La definition du terminé – Definition of Done (DOD) – permet
de définir si une tâche ou une user story est traitée
➢ Objectifs :
• Donner un critère objectif qui permet de décider qu’une
user story a été traitée ou non
• Éviter que l’équipe ne commence trop de choses sans Exemple de tableau de suivi de l’avancement des US, dans un
réellement les finir modèle scrum
• Contribuer à la qualité de ce qui a été produit
• Les tests couvrant les exigences des priorités les plus hautes sont exécutés en premier
• Réserver une période d’exécution pour la confirmation des correctifs des défauts
Périmètre des
tests système Périmètre de tests
de régression
Les suites de test sont
(TNR) Périodes réservées pour les
créées et ordonnées selon
tests de confirmation
les priorités des tests :
➢ P1
➢ P2
➢ P3
P3
P1 P2 TC TNR TC TNR TC TNR TC
S1 S2 S3 S4 S5 S6
• L’effort de test est estimé sur la base de métriques d'anciens projets similaires ou sur la base de
valeurs représentatives
• L’effort de test est estimé sur la base de l'expérience des responsables des tâches de test ou par
des experts
Glossaire
❑ Définitions :
Burndown chart
Test manager
➢ Recueillir des informations ➢ Reprioriser les tests lorsqu'un risque identifié se produit,
➢ Fournir un retour et de la visibilité sur les activités de test par exemple : le périmètre de test augmente
➢ Évaluer l'avancement du test pour : ➢ Modifier le calendrier des tests en raison de la
• Mesurer si les critères de sortie du test, ou les tâches disponibilité ou de l'indisponibilité d'un environnement de
de test associées au définition of done – cf. agile – test ou d'autres ressources
sont satisfaits ➢ Réévaluer si une condition de test et/ou un cas de test
répond à un critère de sortie à cause d'une modification
rapport
d'avancement
de test
Rapport de
S5 synthèse de test
S1 S2 S3 S4
Rapport AVT Rapport AVT Rapport AVT Rapport AVT Rapport AVT
de test de test de test de test de test
40
30
25 Mineure
Nouvelle
Contestée
Corrigée non
Prise en
En cours
compte
livrée
➔ Des métriques différentes selon la partie prenante
Gestion de configuration
Glossaire
❑ Définitions :
Gestion de configuration
Plan d’actions
• La mise en place d’une gestion de configuration des référentiels de test est préconisée, entre autres
actions
• La gestion de configuration doit définir :
✓ Le stockage des exigences et cas de test dans ✓ Une nomenclature de nommage des exigences
un outil de gestion des tests et des cas de test
✓ La traçabilité entre exigences et cas de test ✓ Des critères pour définir leur niveau de
✓ L’organisation arborescente des exigences et granularité selon les contextes des projets
cas de test par processus métier ✓ Les profils des utilisateurs en charge de leur
conception, maintenance, historisation…
49 | 2018 | ISTQB Fondation – Chapitre 5 / Copyright Aldemia 2018 – reproduction interdite
5.5
Risques et tests
Le risque est caractérisé par 2 caractéristiques pour être évalué dans le cadre du projet
1- La
probabilité
d’une chute
2-
L’impact
de la chute
Impact
Chute peu probable 10 Blessures graves 2
/
➢ Les 2 listes de valeurs sont agréges pour constituer la matrice d’évaluation des niveaux de risques :
Probabilité / occurrence
Chute impossible Chute peu probable Chute probable Chute certaine
5 10 15 20
Blessures légères 1 5 10 15 20
Impact
Blessures graves 2 10 20 30 40
Blessures très graves 3 15 30 45 60
Blessures irrémédiables 4 20 40 60 80
Faible
➢ Le niveau de risque évalué produit le niveau de criticité : Moyenne
Haute
Glossaire
❑ Définitions :
Risque Niveau de risque
➢ C’est la possibilité qu'un produit d’activités – une spécification, un composant, un système ou un test – puisse ne pas
satisfaire les besoins de ses utilisateurs et/ou parties prenantes.
Le logiciel peut ne pas remplir les fonctions attendues selon la
spécification
Une structure de contrôle de boucle peut être mal codée
Le logiciel peut ne pas remplir les fonctions attendues selon les
besoins de l'utilisateur, du client et/ou des parties prenantes
Les délais de réponse peuvent être insatisfaisants pour un système
de traitement des transactions à haut niveau de performance
Une architecture système peut ne pas répondre de manière
adéquate à certaines exigences non fonctionnelles
L'expérience utilisateur pourrait ne pas satisfaire les attentes pour
le produit
Un traitement particulier peut être effectué de manière incorrecte
dans certaines circonstances
➢ Traite de situations qui, si elles se produisent, peuvent avoir un effet négatif sur la capacité d'un projet à atteindre
ses objectifs.
Problèmes politiques
➢ Des exigences mal définies ➢ Un tiers peut ne pas livrer un produit ou un service
➢ Des exigences non satisfaites, compte tenu des nécessaire, ou faire faillite
contraintes existantes ➢ Des problèmes contractuels peuvent causer des
➢ L'environnement de test peut ne pas être prêt à temps difficultés au projet
➢ La conversion des données, la planification de la
migration et leur outillage peuvent être en retard
➢ Niveau de maitrise insuffisant du processus de
développement
➢ Une mauvaise gestion des défauts
➢ Une approche de test basée sur les risques offre des possibilités de réduire
les niveaux de risques produit.
➢ Implications :
• Réaliser une analyse des risques produits : identification et évaluation de la
probabilité et de l’impact
• Les informations sur les risques guident les activités du processus de test
Déterminer les niveaux et les types spécifiques de tests à effectuer, par exemples :
des tests de sécurité, des tests d'accessibilité
Prioriser les tests afin de trouver les défauts critiques le plus tôt possible
Déterminer si des activités en complément des tests pourraient être utilisées pour
réduire les risques, par exemple : formation de concepteurs inexpérimentés
Analyser et réévaluer régulièrement ce qui peut mal se Mettre en œuvre des mesures pour atténuer ces risques ➔
passer ➔ des risques une stratégie de test basée sur les risques
Déterminer quels risques sont importants à gérer, cf. la Établir des plans de contingence pour faire face aux
priorisation risques ➔ réaliser le processus de test
Un workflow
• Il formalise l’enchainement des activités de gestion d’un défaut; de son analyse à sa cloture
• Il est caractérisé par un état et un attribut d’affectation du défaut à un rôle
• Il doit être approuvé par les parties prenantes du test, principalement le développement
Des rapports
• Le rapport doit contenir les éléments descriptifs d’un défaut pour le comprendre en vue de sa correction
• Il contient les attributs de classification du défaut pour permettre leur regroupement – sévérité, priorité, état
➢ Les défauts détectés au cours des tests statiques, en particulier les revues, seront normalement documentés d'une
manière différente, par exemple, dans les notes de réunion de revue.
❑ Le contenu d’un rapport de défauts est décrit dans la norme IEEE 29119-3 « Software and systems engineering -
Software testing - Part 3: Test documentation »
64 | 2018 | ISTQB Fondation – Chapitre 5 / Copyright Aldemia 2018 – reproduction interdite
5.6 Gestion des défauts
❑ Exemples de workflows : Responsable Développeur CP Fournisseur (MOED) Testeur
03 - EVOLUTION
02 - DEMANDE D’INFO.
01 - NOUVELLE
04 - OUVERTE
06 - DEMANDE DE
05 - TRANSMISE 14 - FERMEE ABANDONNEE
COMPL. ou AB.
07 - EN SUSPENS
10 - CORRIGEE
Action réalisée par le Développeur
11 - LIVREE
12 - A RECETTER
13 - VALIDEE
15 - FERMEE
❑ Q6 : Quels sont les deux éléments principaux à prendre en compte lors de l’analyse de risques ?
a. La probabilité que l’événement se produise
b. La perte potentielle ou l’impact liés à l’événement
c. Les deux réponses a et b
d. Ni a, ni b
Fin du chapitre 5