Le programme d’évaluation CanNASC est une méthode d’évaluation sommative Pan canadienne, implémentée par le Collège Royal des Médecins et Chirurgiens du Canada (CRMCC) depuis 2014. À partir des cohortes ayant débuté leur résidence au 1er juillet 2017 (programme de compétences par conception), la réussite de tous les sujets CanNASC avant la fin de la résidence est devenue obligatoire pour l’obtention du certificat de spécialité. Le CRMCC donne des informations supplémentaires à cet effet dans le document intitulé « Expériences de formation en anesthésiologie », disponible sur le site du Collège Royal
Informations sur les méthodes d’évaluation
À l’Université de Montréal, avant le début de l’année académique durant laquelle ils seront évalués, les résidents reçoivent le document de présentation du CanNASC (pré-briefing), dans lequel se trouve le lien pour le document du CRMCC ci-haut mentionné. De plus, Dr Georgescu organise une rencontre d’environ 60 minutes, avec tous les résidents concernés et intéressés à participer, pour leur expliquer le déroulement des activités CanNASC. Notamment, les méthodes d’évaluation du CanNASC sont expliquées :
- Le Checklist spécifique à chaque scénario,
- La grille d’évaluation des aptitudes non-technique ANTS (Anesthetists’ non-technical skills)
- L’échelle de performance globale MEPA-GRS (Managing Emergencies in Paediatric Anaesthesia global rating scale).
À l’exception des checklists spécifiques à chaque scénario, les résidents peuvent consulter sans restriction les références publiées leur indiquant les critères d’évaluation utilisés pour le CanNASC. Ces références sont indiquées lors de la présentation d’information et sont disponibles sur PubMed.
- Checklist spécifique à chaque scénario – informatif :
- Développé par le comité CanNASC Pan canadien (comité composé d’anesthésiologistes provenant de tous les programmes d’anesthésie du Canada).
- Basé sur les dernières évidences publiées sur chaque sujet ET l’avis d’experts.
- Ne peuvent être fournis en aucun cas aux résidents à être évalués.
- Anesthetists’ non-technical skills global rating scale (ANTS GRS) – informatif:
- Échelle publiée et validée en 2003.
- Plusieurs publications sont facilement accessibles sur PubMed mentionnant ces grilles d’évaluation :
- G. Fletcher, R. Flin, P. McGeorge et al. Anaesthetists’ Non-Technical Skills (ANTS): evaluation of a behavioural marker system. British Journal of Anaesthesia (2003) 90(5):580-8. PubMed
- R. Flin, R. Patey, R. Glavin et al. Anaesthetists’ non-technical skills. British Journal of Anaesthesia (2010) 105(1): 38-44. Managing Emergencies in Paediatric Anaesthesia global rating scale (MEPA GRS) – sommatif:
- Échelle étudiée pour des évaluations sommatives à partir de 2013.
- Plusieurs publications sont facilement accessibles sur PubMed, mentionnant ces grilles d’évaluation :
- T.C. Everett, E. Ng, D. Power et al. The Managing Emergencies in Paediatric Anaesthesia global rating scale is a reliable tool for simulation-based assessment in pediatric anesthesia crisis management. Pediatric Anesthesia (2013) 23:1117-1123.
- T.C. Everett, R.J. McKinnon, E. Ng et al. Simulation-based assessment in anesthesia: an international multicentre validation study. Canadian Journal of Anesthesia (2019) 66:1440-1449.
Aspects pratiques de l’évaluation
À l’Université de Montréal les évaluations se font sur enregistrement vidéo. Cette option permet aux évaluateurs de consulter les enregistrements durant leur temps libre et à leur rythme. Pour une cohorte de 10 résidents ayant passé par un même sujet, cela représente environ 10 heures que chaque examinateur passe sur son temps libre, à regarder les performances et à les noter. Une fois toutes les évaluations individuelles complétées, les 3 ou 4 évaluateurs d’un même sujet doivent se réunir avec le responsable CanNASC pour procéder à l’évaluation finale de toutes les performances pour le scénario en question, se mettre d’accord sur le score MEPA et fournir des commentaires constructifs sur la performance de chaque résident. Ces rencontres en groupe durent en général entre 2 et 3 heures, dépendamment du scénario qui est évalué. À la suite de cette rencontre, le responsable CanNASC rédige les rapports finaux à partir des commentaires obtenus des évaluateurs. Il faut compter environ 30 à 45 minutes par performance pour cette rédaction. Ces rapports finaux sont ensuite revus par un des évaluateurs impliqués, pour assurer la conformité des résultats avec le consensus obtenus et le respect de l’esprit des commentaires exprimés par les examinateurs. Ce n’est qu’après cette dernière validation que les rapports sont envoyés aux directeur de programme, directeur adjoint et directeur du comité de compétence, pour être acheminés aux résidents. Il est important de rappeler que tout le temps accordé pour toutes les étapes, à partir de l’enregistrement des performances et jusqu’à la remise des rapports finaux, est offert bénévolement, par toutes les personnes impliquées. Tous les efforts possibles sont faits pour compléter les évaluations finales dans un délai de 4 à 6 semaines après l’enregistrement des performances. Malheureusement, vu le temps nécessaire aux évaluateurs pour visionner les performances, le nombre de personnes impliquées et les contraintes d’horaires très variables, il est parfois difficile de compléter les évaluations dans les délais prévus.
Feedback et remédiation
Après chaque séance de simulation CanNASC, l’anesthésiologiste instructeur présent lors de la séance procède à un débriefing de la performance, selon des guidelines CanNASC, afin de fournir un feedback constructif sur celle-ci. Il est à noter que l’instructeur lors de la séance n’est jamais impliqué dans l’évaluation de cette même performance et tout feedback qu’il donne représente son opinion personnelle, à la suite de ses observations en temps réel. Celles-ci peuvent différer des opinions finales des évaluateurs, qui regardent des enregistrements vidéo, sont plusieurs à le faire et atteignent un consensus.
Les rapports finaux comportent à la fois le score MEPA, qui représente la note accordée à chaque performance, ainsi que des commentaires constructifs sur les points positifs et les points à améliorer de chaque prise en charge. Ces commentaires sont basés sur les grilles d’évaluation, sont aussi explicites que possible et se veulent un feedback au résident sur sa performance. Dans l’éventualité d’un échec, à l’heure actuelle, l’évaluation ne peut pas être contestée. Le comité de compétence peut par contre regarder en détail le rapport d’évaluation, examiner la place de cette évaluation dans le cursus global du résident et proposer des méthodes de remédiation/feedback au résident, pour lui permettre une amélioration lors de performances subséquentes ou à la reprise du sujet échoué. Au comité de programme d’anesthésiologie, le Dr. Arnaud Robitaille a été nommé la personne responsable des remédiations pour les résidents ayant échoué aux évaluations CanNASC. Dorénavant, il ne sera plus évaluateur pour les scénarios CanNASC, bien qu’il demeurera en communication avec l’équipe CanNASC du Département. Dr Robitaille peut agir comme responsable d’une séance de simulation CanNASC et faire les séances de débriefing non-évaluative qui suivent les simulations. La méthode de remédiation sera à sa discrétion et à celle du comité de compétence, selon les discussions avec les résidents impliqués et leurs besoins de formation. Ces démarches pourraient impliquer des revues partielles des enregistrements vidéo des performances. Si une station est échouée par une majorité de résidents, un atelier pourrait complémenter l’approche.
Pratique en vue des évaluations CanNASC
Le sujet des pratiques en vue des évaluations CanNASC a été expressément discuté lors de plusieurs réunions du comité national CanNASC. Le comité rappelle que toute préparation à une évaluation devrait viser l’acquisition d’un maximum de connaissances et de compétences requises pour réussir les sujets visés par l’évaluation. Cela doit être interprété différemment de la préparation « pour réussir » l’examen. Étant donné le nombre restreint de sujets couverts par le CanNASC, la formule standardisée et le fait que les thèmes des scénarios sont connus, il n’est pas recommandé de préparer les résidents « pour réussir » l’examen CanNASC, mais plutôt de les préparer à intégrer les notions anesthésiques nécessaires pour réussir à gérer de manière adéquate les situations cliniques simulées. Dans ce cadre, à l’Université de Montréal, tous les sujets CanNASC sont couverts au sein des cours de sciences de base, au sein des simulations formatives qui ont lieu à travers la résidence et par d’autres activités pédagogiques offertes par le programme. Notamment, pour les activités de simulation formative, les responsables s’assurent que tous les sujets CanNASC auront été couverts par les résidents concernés, dans le curriculum prévu, avant qu’ils aient à passer leur évaluation CanNASC. Finalement, le comité CanNASC encourage l’utilisation d’une forme d’évaluation sommative dans un contexte de simulation, au sein du cursus formatif des résidents. Ainsi, les grilles d’évaluation CanNASC déjà publiées et facilement accessibles, combinées aux grilles d’évaluation APC, par exemple, pourraient permettre l’évaluation en simulation de certaines compétences difficilement identifiables en clinique. Cela permettrait la complétion, pour tous les résidents, de certains APC qui autrement voient peu d’entrées, en plus de familiariser les résidents avec les processus d’évaluation dans un contexte simulé. En tant que responsable CanNASC, Dr Georgescu a été impliqué dans des discussions au sujet de l’organisation de telles activités au centre de simulation de Trois-Rivières. Il a donné son accord pour l’organisation de telles activités, mais il n’a pas à assumer la responsabilité d’une telle organisation. Le projet est actuellement en développement.