L'évaluation indépendante des systèmes de surveillance, des indicateurs et des modèles prédictifs par rapport à des observations réservées ou indépendantes et à des métriques de performance définies afin de quantifier l'aptitude, la fiabilité et les limites pour la prise de décision opérationnelle.

Principe

La validation sépare l'évaluation d'un modèle ou système de l'étalonnage en utilisant des jeux de données indépendants, des tests aveugles, la validation croisée et des métriques clairement définies (par exemple, taux de réussite, taux de fausses alertes, temps d'avance) pour caractériser l'utilité opérationnelle et l'incertitude.

Démonstration

Un exemple consiste à effectuer des hindcasts rétrospectifs d'un modèle de probabilité d'éruption sur plusieurs éruptions passées non utilisées pour l'optimisation des paramètres, calculer les métriques de compétence de prévision et la fréquence des fausses alertes, et documenter les scénarios où la compétence décline.

Mauvaise application

Utiliser les mêmes données pour l'entraînement et l'évaluation, ne rapporter que les cas de validation réussis ou considérer une seule métrique favorable comme preuve de fiabilité globale fausse la représentation des performances réelles et peut induire les utilisateurs en erreur.

Conséquence

Une validation correcte clarifie les forces et faiblesses des modèles et systèmes, éclaire le choix des seuils d'alerte, renforce la confiance des parties prenantes par un rapport de performance transparent et oriente le développement futur et les priorités de surveillance.

Inversion

Un renversement consiste à attendre de la validation qu'elle garantisse la performance future ; la validation peut caractériser la compétence passée et ses limites mais ne peut éliminer l'incertitude épistémique liée à des scénarios nouveaux ou à des événements extrêmes rares.

Limite

La validation concerne l'évaluation indépendante et la caractérisation des performances ; elle n'effectue pas elle-même l'étalonnage, ni ne remplace la vérification opérationnelle continue ou l'analyse médico-légale post-événement, bien qu'elle informe les deux.

Tension sémantique

Il existe un chevauchement conceptuel et une tension avec « vérification » (contrôle de l'implémentation) et « étalonnage » (optimisation) ; la validation se concentre sur l'évaluation indépendante de la compétence plutôt que sur la correction de l'implémentation ou l'ajustement des paramètres.

Synthèse

La validation volcanique est le test méthodique et transparent d'outils de surveillance et de modèles prédictifs sur la base de preuves indépendantes et de métriques afin de quantifier la compétence opérationnelle, révéler les limites et soutenir une prise de décision responsable en présence d'incertitude.