Valider un modèle (II)

La validation permet de justifier que le modèle, dans son domaine d’application spécifique, possède un niveau de justesse en accord avec l’objectif du modèle, et ceci doit se contrôler quasiment à chaque étape tout au long du projet, du modèle fonctionnel jusqu’à l’utilisation du modèle informatique lors des diverses simulations.

La vérification du modèle a pour but de s’assurer que le modèle informatique a été correctement développé, et vise donc à la fois les capacités du logiciel choisi, et les compétences du modélisateur. D’évidence, un utilisateur mal formé à un outil peu adapté compromet d’emblée la confiance que l’on peut avoir dans un modèle !

Nous listons ici des outils ou des tests pouvant servir pour la validation comme pour la vérification.

schéma simplifié du processus de modélisation

Encore des indicateurs

La multiplication d'indicateurs est un très bon outil pour aider à suivre et à comprendre ce qui se passe dans le modèle, en fonction de la question à laquelle doit répondre la simulation. En plus des indicateurs définis dans le document d’analyse fonctionnelle, de ceux que nous conseillons, vous pouvez en ajouter d’autres pour vérifier la cohérence des flux et des règles internes. Plus vous introduirez d'indicateurs pertinents dans votre modèle, plus vous arriverez à suivre ce qui s'y passe et détecter d'éventuels bugs, valeurs erronées ou blocages.

En phase de test, prévoir des outils de Trace et de suivi historique : à certains points de passage, pour effectuer un bilan matière, on pourra enregistrer dans des fichiers des heures de passages, des propriétés associées au flux. Leur analyse pourra confirmer la bonne exécution de règles internes au modèle, ou expliquer leur non-respect.

Au fur et à mesure des vérifications, certains indicateurs disparaîtront, bien entendu.

Des comparaisons

Des résultats du modèle auront avantage à être comparés :

  • À des résultats de calculs analytiques et diverses analyses avec d’autres outils effectuées en préparation de la simulation des flux.
  • À des modèles de simulation antérieurs, s’il en existe sur ce domaine d’application.
  • À des données historiques conservées sur le système réel, quitte à jouer un scénario qui n’existe pas dans le cahier des charges mais sur lequel on a des données historiques.

Des techniques visuelles

Animation : Un modèle animé affiche graphiquement son comportement au cours du temps, et donne un retour immédiat et très intuitif. On peut généralement animer facilement le modèle en même temps qu’on le construit, et l’on vérifie que ce qu’on voit dans l’animation correspond bien au fonctionnement qu’on veut donner au modèle.

Graphiques : De nombreuses valeurs peuvent être mesurées dans le modèle et affichées sur un graphique pendant la simulation. On peut ainsi vérifier le comportement dynamique d’indicateurs, comme le nombre de personnes dans une file d’attente, le pourcentage de guichets occupés. Un coup d’œil sur l’allure d’une courbe permet de repérer une incohérence.

Des assortiments de tests

Il faut soumettre le modèle à une sélection de valeurs en entrée et de paramètres internes. Prenons l’exemple simple d’une simulation de file d’attente :

  • Test de sensibilité : On modifie les valeurs des entrées et des paramètres internes pour voir comment réagit le modèle et l’effet sur les résultats. Exemple : si le taux d’arrivée des clients augmente alors on doit observer une augmentation du taux d’utilisation des guichets et un allongement du temps d’attente. On peut aussi analyser quantitativement l’écart dans les résultats.
  • Test avec des valeurs constantes : On applique un taux d’arrivée de clients constant, d’où l’on peut calculer facilement le taux d’utilisation que doit fournir le modèle.
  • Test de consistance : On vérifie la consistance du modèle en exécutant plusieurs fois la simulation ; on doit avoir des résultats presque identiques.
  • Test de conditions extrêmes : Les résultats du modèle doivent rester plausibles même avec dans des conditions extrêmes, improbables, voire absurdes. Exemple : si le taux d’arrivée des clients est nul alors le nombre de clients traités doit être nul aussi. Par contre si le taux d’arrivée des clients est monté à l’infini alors le nombre de clients traité ne doit pas devenir infini.

Sur de gros modèles aux multiples paramètres, comme il n’est pas possible de réaliser tous les tests, on choisira les tests les plus critiques, notamment visant les indicateurs principaux ou les process essentiels du modèle.

Suffisamment de réplications

Il ne suffit pas que le modèle ait tourné une fois et que tous les indicateurs soient au vert pour déclarer un modèle valide. Si le modèle comporte de l’aléa, il faut s’assurer qu'il donne des résultats cohérents en faisant tourner plusieurs simulations avec une base aléatoire différente, jusqu’à observer une convergence de résultats. Par ailleurs, si plusieurs scénarios de modélisation sont envisagés, il faut au contraire figer la base aléatoire pour voir l'influence de chacun des paramètres testés séparément – mais en testant à nouveau avec d’autres bases aléatoires une fois confirmée l’influence de ces paramètres.

Conclusion

Avec rigueur et sens critique, avec consensus et bonne volonté, on parvient à ce degré de confiance suffisant que requiert la simulation de flux.

Après avoir appliqué tous nos conseils et toutes nos formules, il y a toutes les chances que votre modèle soit correct 😉

Laisser un commentaire

Un site dédié à la simulation de flux, pour mieux comprendre la démarche, la méthodologie, les outils et les récentes avancées en simulation pour l'industrie et les services