IQSS - Développement d’un outil d’analyse des verbatim de patients issus d’e-Satis

Contexte

Dans le cadre du dispositif national de mesure de la satisfaction et de l’expérience patient, e-Satis, les patients répondent en continu à des questionnaires développés et validés par la HAS.

Depuis 2016, la restitution des résultats aux établissements est quantitative et faite à partir des réponses structurées issues des questionnaires administrés en ligne.

Les commentaires des patients -verbatim- recueillis en texte libre, de façon facultative, à la fin des réponses aux questionnaires, ne font pas l’objet d’une restitution aux établissements. Ces verbatim sont disponibles de façon brute sur la plateforme nationale e-Satis.

Au niveau national, une 1^ère analyse des verbatim a été réalisée en 2021-2022. Elle a permis d’identifier, dans une approche exploratoire, les thématiques fréquemment évoquées par les patients. Un rapport national présentant les résultats a été diffusé en octobre 2022.

• Rapport national « Expérience des patients hospitalisés en France : analyse nationale des commentaires libres du dispositif e-Satis.  

Cette étude a montré la richesse des informations contenues dans les commentaires des patients et la complémentarité avec les informations des questions fermées.

Fin 2022, la HAS a décidé de développer un outil d’analyse utilisant un algorithme d’intelligence artificielle, pour le mettre à disposition de tous les établissements de santé.

• Note de cadrage « Expérience des patients hospitalisés en France : développement d’un outil d’analyse des verbatim des patients issu d’e-satis » .

Afin de mener à bien ce projet, la HAS a constitué un groupe de travail.

Phases du projet

L’outil a été développé pour analyser les résultats de l’ensemble des patients issus des enquêtes :

• e-Satis +48h MCO (recueillie depuis 2016) ;
• e-Satis MCO CA (recueillie depuis 2018) ;
• e-Satis SSR (recueillie depuis 2020).

Le projet a été divisé en 3 phases principales :

1. Annotation des verbatim et classification automatique : cela consistera en une annotation des verbatim dans des thèmatiques/sous-thématiques. Les résultats de l’analyse nationale exploratoire ont été utilisés à cette étape (1^er semestre 2023) ;
2. Développement d’un outil de restitution de l’analyse des verbatim (interface de restitution autonome) (1^er semestre 2024) ;
3. Mise en ligne de l’outil pour les établissements de santé, avec gestion des droits d’accès (interface de restitution intégrée) (septembre 2024).

Les deux premières phases ont été menées en partenariat avec les Hospices Civils de Lyon - HCL.

Méthodologie de développement de l’algorithme d’intelligence artificielle

La phase 1 du projet a consisté au développement d’un algorithme d’intelligence artificielle. Cet algorithme est intégré à l’outil numérique et permet la classification automatique des verbatim issus d’e-Satis.

Cette phase 1 du projet a nécessité la réalisation d’une campagne d’annotation des verbatim, puis un travail sur la classification automatique.

Un rapport méthodologique  décrit le travail réalisé.

Ouverture de la nouvelle plateforme de restitution : septembre 2024

La nouvelle plateforme de restitution des résultats issus d’e-Satis est ouverte depuis le mois de septembre 2024 pour tous les établissements utilisateurs d’e-Satis : elle intègre l’algorithme d’intelligence artificielle et présente de manière enrichie les résultats des enquêtes e-Satis.

Tous les renseignements pratiques sur l’accès et l’utilisation de cet outil se trouvent sur : IQSS - e-Satis : mesure de la satisfaction et de l’expérience des patients hospitalisés.