Purpose: Competency-based medical education (CBME) relies on frequent workplace-based assessments of trainees, providing opportunities for conscious and implicit biases to reflect in these assessments. We aimed to examine the influence of resident and faculty gender on performance ratings of residents within a CBME system.
Methods: This retrospective cohort study took place from August 2017 to January 2021 using resident assessment data from two workplace-based assessments: the Anesthesia Clinical Encounter Assessment (ACEA) and Entrustable Professional Activities (EPAs). Self-reported gender data were also extracted. The primary outcome-gender-based differences in entrustment ratings of residents on the ACEA and EPAs-was evaluated using mixed-effects logistic regression, with differences reported through odds ratios and confidence intervals (α = 0.01). Gender-based differences in the receipt of free-text comments on the ACEA and EPAs were also explored.
Results: In total, 14,376 ACEA and 4,467 EPA assessments were analyzed. There were no significant differences in entrustment ratings on either assessment tool between men and women residents. Regardless of whether assessments were completed by men or women faculty, entrustment rates between men and women residents were not significantly different for any postgraduate year level. Additionally, men and women residents received strengths-related and actions-related comments on both assessments at comparable frequencies, irrespective of faculty gender.
Conclusion: We found no gender-based differences in entrustment ratings for both the ACEA and EPAs, which suggests an absence of resident gender bias within this CBME system. Given considerable heterogeneity in rater leniency, future work would be strengthened by using rater leniency-adjusted scores rather than raw scores.
RéSUMé: OBJECTIF: La formation médicale fondée sur les compétences (FMFC) repose sur des évaluations fréquentes des stagiaires en milieu de travail, ce qui donne l’occasion de refléter les préjugés conscients et implicites dans ces évaluations. Notre objectif était d’examiner l’influence du genre des résident·es et des professeur·es sur les évaluations de la performance des résident·es au sein d’un système de FMFC. MéTHODE: Cette étude de cohorte rétrospective s’est déroulée d’août 2017 à janvier 2021 à l’aide des données d’évaluation des résident·es provenant de deux évaluations en milieu de travail : L’évaluation de l’anesthésie clinique par événement (ACEA – Anesthesia Clinical Encounter Assessment) et les Actes professionnels non supervisés (APNS). Des données autodéclarées sur le genre ont également été extraites. Le critère d’évaluation principal, soit les différences fondées sur le genre dans les cotes de confiance des résident·es sur l’ACEA et les APNS, a été évalué à l’aide d’une régression logistique à effets mixtes, les différences étant rapportées par les rapports de cotes et les intervalles de confiance (α = 0,01). Les différences fondées sur le genre dans la réception des commentaires en texte libre sur l’ACEA et les APNS ont également été explorées. RéSULTATS: Au total, 14 376 évaluations ACEA et 4467 évaluations APNS ont été analysées. Il n’y avait pas de différences significatives dans les cotes de confiance obtenues avec l’un ou l’autre des outils d’évaluation entre les résidents et les résidentes. Indépendamment du genre de la personne réalisant l’évaluation, les taux de confiance entre les résidentes et les résidents n’étaient pas significativement différents pour toutes les années de formation postdoctorale. De plus, les résident·es ont reçu des commentaires liés à leurs forces et leurs actes sur les deux évaluations à des fréquences comparables, quel que soit le genre du corps professoral. CONCLUSION: Nous n’avons constaté aucune différence fondée sur le genre dans les cotes de confiance telles qu’évaluées par les ACEA et les APNS, ce qui suggère une absence de préjugés genrés envers les résident·es au sein de ce système de FMFC. Compte tenu de l’hétérogénéité considérable en matière de clémence des évaluateurs et évaluatrices, les travaux futurs seraient plus fiables s’ils utilisaient des scores ajustés en fonction de ladite clémence plutôt que des scores bruts.
Keywords: anesthesiology; assessment; bias; competency based; diversity; education.
© 2023. Canadian Anesthesiologists' Society.