Le test de concordance de script est une méthode d’évaluation et d’amélioration des pratiques. Cette méthode permet également de réaliser une action de formation.

Les tests de concordance de script (TCS) sont des outils standardisés qui permettent d’évaluer le raisonnement clinique du professionnel qui le réalise et notamment sa capacité à prendre des décisions pertinentes dans des cas complexes, ou en situation d’ « incertitude », en les confrontant aux avis d’un panel d’experts. Ils ont comme avantage, par rapport aux méthodes d’évaluation classiques (plus ciblées vers le contrôle des connaissances), d’être plus proches de la pratique réelle des professionnels.

Les TCS sont basés sur une théorie cognitive, la théorie des scripts, qui se focalise sur les réseaux de connaissance qu’utilisent les individus en situation de résolution de problème. Elle postule que les individus traitent les données liées à une situation complexe à résoudre en activant des réseaux de connaissance acquis, organisés pour la résolution de tâches : les scripts. Or un élément important de la compétence des professionnels réside justement dans cette capacité à agir en situation d’incertitude et à mobiliser les ressources décisionnelles nécessaires.

Description

Les TCS utilisent des vignettes courtes (qui décrivent des situations cliniques posant problème et choisies en fonction du raisonnement que l’on veut évaluer chez le participant) (voir exemple ci-dessous). Ces vignettes sont suivies par des propositions d’options ou d’hypothèses possibles. Pour chacune d’elles, une nouvelle information est alors proposée, et les professionnels doivent décider si elle augmente, diminue ou est sans conséquence sur la pertinence de cette option. Les réponses sont recueillies selon une échelle de Likert (de - 2 à + 2 par exemple). Les questions posées peuvent être du domaine diagnostique, pronostique ou thérapeutique. L’idée est de placer le professionnel devant une situation complexe, la plus proche possible de son activité réelle.

L’élaboration de ces TCS nécessite une expertise méthodologique pour la construction du test, l’établissement des scores, la mise en ligne, l’exploitation des résultats et un panel de référence constitué d’experts du thème qui permet d’élaborer la grille de correction. Un groupe de relecture, indépendant du panel, peut être utile pour modifier certaines questions ou en supprimer d’autres, apparaissant non pertinentes d’après les réponses du panel (par exemple du fait de réponses trop univoques ou trop dispersées).

• Exemple de TCS (d’après Charlin et al, 2005)

- Une patiente de 65 ans est adressée aux urgences pour une suspicion d’embolie pulmonaire.

- Elle a des antécédents de diabète, d’insuffisance cardiaque et de BPCO.

Réponses : - 2 absolument contre-indiqué ; - 1 peu utile ou plutôt néfaste ; 0 non pertinent dans cette situation ; + 1 utile et souhaitable ; + 2 indispensable.

Cette méthode  permet une auto-évaluation des pratiques, par l’intermédiaire des réponses aux TCS qui évaluent ainsi le raisonnement clinique des professionnels ; une réponse est attendue pour chaque ligne.

Une synthèse des messages clés (appuyés sur des références scientifiques récentes et des axes de progrès éventuelle- ment suggérés) qui peuvent être tirés de l’analyse des écarts des réponses des professionnels aux TCS par rapport à celles du panel d’experts est réalisée. Elle est accompagnée d’une restitution des résultats aux professionnels qui doit pouvoir faire l’objet d’un temps d’échange, soit à l’occasion d’une réunion présentielle, soit par l’intermédiaire d’un forum de dialogue en ligne.

Un dispositif de suivi des modifications de pratique est organisé. Il implique de la part du participant la définition d’objectifs d’amélioration et la mise en œuvre d’actions suite à la réalisation des TCS (et des étapes précédentes). Ces actions peuvent être diverses (mise en place de RMM, suivi d’indicateurs, mise en place d’une nouvelle procédure de prise en charge ou encore participation à une nouvelle session de TCS à distance de la première).

Documentation

Les documents suivants sont requis :

Documents supports

• Le document rédigé par le promoteur du programme qui décrit les conditions d’organisation et de réalisation de celui-ci :
• le public cible ;
• la composition : des comités d’organisation et scientifique, du panel d’experts, du groupe de relecture éventuel ;
• les TCS proposés aux professionnels ;
• les supports pédagogiques proposés.

Documents de traçabilité

Résultats des TCS et de l’analyse des écarts, documents concernant les actions d’amélioration mises en œuvre, etc.

En savoir plus

• Charlin B, Kazi-Tani D, Gagnon R, Thivierge R. Le test de concordance comme outil d’évaluation en ligne du raisonnement des pro- fessionnels en situation d’incertitude. Rev Intern Technol Pédag Univ 2005;2(1):22-7.

• Charlin B, Brailovsky C, Leduc C, Blouin D. The diagnosis script questionnaire: a new tool to assess a specific dimension of clinical competence. Adv Health Sci Educ Theory Pract 1998;3:51-8.

• Dory V, Gagnon R, Vanpee D, Charlin B. How to construct and implement script concordance tests: insights from a systematic review. Med Educ 2012;46:552-63.

• Fournier JP, Demeester A, Charlin B. Script concordance tests: guidelines for construction. BMC Med Inform Decis Mak 2008;8:18.

• Gagnon R, et al. Optimization of answer keys for script concordance testing: should we exclude deviant panelists, deviant responses, or neither? Adv in Health Sci Educ 2011;16:601-8.

• Giet D, Massart M, Gagnon R, Charlin B. Le test de concordance de script en 20 questions. Pédag Méd 2013:14(1):39-48.

• Goulet F, Jacques A, Gagnon R, Charlin B, Shabah A. Poorly performing physicians: does the script concordance test detect bad clinical reasoning? J Contin Educ Health prof 2010;30:161-6.

• Labelle M, Gagnon R, Thiverge R, Laprise R, Sainte-Marie LG, Charlin B. Formation continue en petits groupes sur l’ostéoporose : comparaison d’un atelier basé sur le test de concordance de scripts (TCS) et d’un atelier classique. Pédag Méd 2003;4:145-53.

• Le Loët X, Lequerré T, Cantagrel A, Sibert B. Mise en œuvre, en situation professionnelle, des recommandations de la HAS, par la méthode du test de concordance de script combinée à l’analyse actualisée de la littérature. Application à la polyarthrite rhumatoïde. Rev Rhum 2012;79(3):228-33.

• Peabody JW, Luck J, Glassman P, Jain S, Hansen J, Spell M, Lee M. Measuring the Quality of Physician Practice by Using Clinical Vignettes: a prospective validation study. Ann Intern Med 2004;141:771-80.

• Centre de pédagogie appliquée aux sciences de la santé (CPASS)