| Popis: |
Competency Based Medical Education (CBME) is designed to use workplace-based assessment (WBA) tools to provide observed assessment and feedback on resident competence. Moreover, WBAs are expected to provide evidence beyond that of more traditional mid- or end-of-rotation assessments [e.g., In Training Evaluation Reports (ITERs)]. In this study, we investigated the quality of feedback in General Internal Medicine (GIM), by comparing WBA and ITER assessment tools.WBAs are hypothesized to improve written and numerical feedback to support the development and documentation of competence. In this study, we investigated residents' and preceptors' perceptions of WBA validity, usability, and reliability and the extent to which WBAs differentiate residents' performance when compared to ITERs.We used a mixed methods approach over a three-year period, including perspectives gathered from focus groups, interviews, along with numerical and narrative comparisons between WBA and ITERs in one GIM program.Our quantitative analysis of feedback from seven residents' clinical assessments showed that overall rates of actionable feedback, for both ITERs and WBAs, were low (26%), with only 9% of the total providing an improvement strategy. The provision of quality feedback was not significantly different between tools; although WBAs provided more actionable feedback, ITERs provided more strategies. We found that residents and preceptors indicated the narrative component of feedback was more constructive and effective than numerical scores. Both groups perceived the focus on specific workplace-based feedback was more effective than ITERs.Participants in this study viewed narrative, actionable, and specific feedback as essential, and an overall preference was found for written feedback over numerical assessments. However, our quantitative analyses showed that specific actionable feedback was rarely documented, despite finding an emphasis from both residents and preceptors of its importance for developing competency. Neither formative WBAs nor summative ITERs clearly provided better feedback, and both may still have a role in overall resident evaluation. Participant views differed in roles and responsibilities, with residents stating that preceptors should be responsible for initiating assessments and vice-versa. These results reveal an incongruence between resident and preceptor perceptions and practice around giving feedback and emphasize opportunities for programs adopting and implementing CBME to address how best to support residents and frontline clinical teachers.La formation médicale par compétences (CBME) est conçue pour utiliser les outils d’évaluation en milieu de travail (WBA) afin de fournir une évaluation formative et une rétroaction basés sur l’observationde la compétence des résidents. De plus, les WBA doivent fournir une preuve plus exacte que les évaluations traditionnelles à mi-cycle et en fin de cycle [p. ex. rapports d’évaluation en cours de formation (ITER)]. Dans cette étude, nous avons examiné la qualité de la rétroaction en médecine interne générale (GIM) en comparant les outils d’évaluation WBA et ITER.Les WBA sont pressentis pour être associés à une meilleure rétroaction narrative ou sur échelle quantitative pour appuyer le développement et la documentation de la compétence. Dans cette étude, nous avons examiné les perceptions des résidents et des superviseurs quant à la validité, l’utilité et la fiabilité de la WBA, et la façon dont les WBA différencient les performances des résidents par rapport aux ITER.Nous avons utilisé une approche de méthodes mixtes sur une période de trois ans, notamment des perspectives recueillies auprès de groupes de discussion, des entrevues, et également des comparaisons numériques et narratives entre les WBA et les ITER liés à un programme de médecine interne générale.Notre analyse quantitative de rétroaction basée sur sept évaluations cliniques de résidents démontre que les taux globaux de rétroaction pertinente, pour les ITER et les WBA, étaient bas (26 %), et que seulement 9 % de ces deux types d’évaluation suggéraient une stratégie d’amélioration. La qualité de la rétroaction n’était pas très différente entre les outils; les WBA ont fourni plus de rétroaction pertinente, mais les ITER ont fourni plus de stratégies. Selon nos observations, les résidents et les superviseurs ont indiqué que la partie narrative de la rétroaction était plus constructive et efficace que les évaluations par échelles quantitative. Les deux groupes ont estimé que l’accent mis sur la rétroaction en milieu de travail était plus efficace que les ITER.Les participants à cette étude ont estimé que les rétroactions narratives, pertinentes et spécifiques sont essentielles, et nous avons observé une préférence générale pour la rétroaction narrative plutôt que pour l’évaluation avec échelle quantitative. Cependant, nos analyses quantitatives ont démontré que la rétroaction pertinente spécifique était rarement documentée, bien que les résidents et les superviseurs insistent sur son importance quant au développement des compétences. Ni les WBA formatives ni les ITER sommatifs n’ont clairement fourni de meilleures rétroactions et les deux pourraient toujours avoir un rôle dans l’évaluation globale des résidents. Les opinions des résidents divergent de celles des superviseurs quant aux rôles et les responsabilités : les résidents affirment que les précepteurs ont la responsabilité d’initier les évaluations, et vice versa. Ces résultats révèlent une discordance entre les perceptions et les pratiques des résidents et des superviseurs quant aux rétroactions à apporter. Ils mettent également l’accent sur les opportunités pouraux les programmes qui adoptent et implantent la formation médicale par compétences pour trouver la meilleure façon d’appuyer les résidents et les enseignants cliniques sur le terrain. |
