IQSS 2019 - Méthode de validation des indicateurs de résultats mesurés à partir des bases de données

Depuis 2015, la HAS développe des indicateurs de qualité et de sécurité des soins (IQSS) de résultats mesurés à partir des bases médico-administratives en lien avec les professionnels de santé, les médecins codeurs de l’information médicale, les patients et les usagers. La HAS publie sa méthode de développement, validation et utilisations  de ce type d’indicateurs, conçue pour l’amélioration de la qualité des soins, de la sécurité et du résultat pour les patients.

Les principaux avantages d’indicateurs de résultats mesurés à partir des bases médico-administratives sont leur calcul automatisé à partir de données existantes et la possibilité de suivi dans le temps, et l’absence de charge de travail supplémentaire pour les professionnels de santé, ainsi que leur capacité à identifier des structures et/ou des populations de patients à investiguer.

• Leurs inconvénients actuels sont la limite due au fait que les qualités métrologiques soient tributaires des pratiques de codage, et le délai relativement long de mise à disposition des données.
• Les limites impliquent d’être vigilant quant à l’utilisation qui est faite de ce type d’indicateurs en dehors du pilotage interne de la qualité des soins.

Ce rapport méthodologique présente la stratégie mise en place par la HAS pour ces développements qui repose sur une méthode conçue pour l’amélioration de la qualité des soins, de la sécurité et du résultat pour les patients. La méthode comprend différentes étapes décrites ci-dessous (Cf. figure 1 du rapport), toutes importantes, pour aboutir à un indicateur fiable pour une utilisation à visée de pilotage interne de la qualité et gestion des risques en établissements.

Synthèse des étapes de développement et de validation des indicateurs de résultats

• Analyse de la littérature : recommandations en lien avec la mesure, indicateurs internationaux, faisabilité du calcul automatisé à partir des bases médico-administratives en France (sources de données, codage)
• Identification des parties prenantes concernées et des expertises à solliciter pour le groupe de travail
• Validation du cadrage par le Collège de la HAS

• Evènements : critères d’inclusion et d’exclusion
• Population cible : critères d’inclusion et d’exclusion
• Facteurs de risque cliniques, et codes pour les identifier dans la base de données
• Facteurs explicatifs de la variabilité du résultat

• De l’algorithme de détection des évènements
• De la population cible
• Des facteurs de risque pour la standardisation-ajustement
• Des modalités de restitution aux établissements du résultat et autres informations

• Mise à disposition d’outils pour le retour aux dossiers : logiciel ATIH de détection des séjours avec évènement, et grille d’analyse des dossiers des patients
• Mesure de la valeur prédictive positive (VPP ≥75%)
• Identification des faux positifs

• Résultats et informations complémentaires
• Brochure d’information
• Consignes de codage
• Fiche descriptive
• Guide de lecture du funnel plot

• Par les professionnels de l'objectif, de la méthode et du résultat
• Retoure d'information des preofessionnels (situations non anticipées, faux positifs ...)
• Contriubtion à la fiabilisation de l'indicateur.

• VPP mesurée ≥ 85% et lien avec la qualité
• Mesurée à large échelle sur des données récentes et avec utilisation d’outils standardisés

Critères de validation des indicateurs de résultats mesurés à partir des bases médico-administratives

L’indicateur validé à l’étape  4 répond aux critères de validation internationaux suivants (exemple d’un évènement de faible fréquence) :

• Pertinence clinique de l’indicateur : Capacité de l’indicateur à avoir un lien potentiel avec la qualité et la sécurité des soins.
• Validité de contenu (cadre nosologique) : Capacité de l’indicateur à représenter les dimensions importantes d’un concept d’intérêt.
  Elle porte sur la traduction de la définition clinique des  évènements recherchés  (numérateur) dans la population cible en codes/variables disponibles dans la base de données.
• Validité de critère et validité prédictive : La validité de critère mesure la capacité de l’indicateur à produire des résultats comparables à ceux produits à partir du «gold standard ». Il s’agit ici de la capacité à identifier les événements recherchés dans la population cible. La validité prédictive est la capacité à produire le résultat d’intérêt. Pour un évènement de faible fréquence, la HAS utilise la validité prédictive positive (VPP), et pour un évènement de grande fréquence, c’est la validité prédictive négative (VPN) qui est jugée appropriée. 
  Les faux positifs : Ce sont des évènements et/ou populations cibles identifiés à tort via la base de données, qui ne sont pas confirmés dans les dossiers de patient. Ils correspondent à des situations qui dans la mesure du possible, sont à exclure a priori pour améliorer la VPP de l’indicateur.

• Ajustement – Standardisation : Capacité d’un indicateur à prendre en compte des variables influençant le résultat indépendamment de la qualité des soins (Exemple : âge, sexe, comorbidités,…). Cela lui confère un minimum de biais.
  La catégorie d’établissement ou le territoire/la région peuvent être des variables explicatives de la variabilité du résultat entre des établissements, mais pas des facteurs d’ajustement. La HAS considère que la même qualité et sécurité sont exigées quelle que soit la catégorie d’établissement ou sa région/territoire.
• Validité discriminante : Capacité de l’indicateur à mesurer une différence inter-établissements et à objectiver une marge de progrès existante par rapport à une référence.
  • Variabilité inter-établissements : Capacité de l’indicateur à discriminer les établissements de santé par l’observation d’une variabilité du résultat.
  • Écart à un objectif de performance : Capacité de l’indicateur à identifier une marge d’amélioration par l’observation d’un écart à un seuil de performance (exemple : benchmark publié dans une revue de la littérature ou référence nationale).
• Pertinence pour l’amélioration : Capacité d’agir pour améliorer le résultat.
• Stabilité temporelle : Capacité de l’outil à produire des résultats cohérents dans le temps.
• Validité de construit : Capacité de l’indicateur à être corrélé à d’autres indicateurs évaluant la prise en charge (ex indicateurs portant sur les pratiques cliniques recommandées et/ou sur  le résultat pour le patient).

La méthode décrite dans ce rapport a été utilisée pour les développements des indicateurs de résultats mesurés à partir du PMSI suivants :

• les évènements thrombo-emboliques après pose de prothèse totale de hanche ou de genou ( ETE-ORTHO ),
• les infections du site opératoire 3 mois après pose de prothèse totale de hanche ou de genou ( ISO-ORTHO  ),
• les réhospitalisations entre 1 et 3 jours après chirurgie ambulatoire ( ReH3-CA  ).

Cette méthode est en cours d’adaptation pour l’évaluation de la mortalité post-IDM à 30 jours mesurée notamment à partir des données de l’assurance maladie (DCIR) d’une part et pour l’évaluation des parcours de soins d’autre part (1er parcours évalué : la bronchopneumopathie chronique obstructive).