Purpose: Residency programs need to understand the competencies developed by residents during an intensive care unit (ICU) rotation, so that curricula and assessments maximize residents' learning. The primary study objective was to evaluate the feasibility for training programs and acceptability by residents of conducting a multi-competency assessment during a four-week ICU rotation.
Methods: We conducted a prospective, multicentre observational pilot study in three ICUs. During weeks 1 and 4 of an ICU rotation, we conducted repeated standardized assessments of non-critical care specialty residents' competencies in cognitive reasoning (script concordance test [SCT]), procedural skills (objective structured assessment of technical skills [OSATS]-global rating scale], and communication skills through a written test, two procedural simulations, and a simulated encounter with a "family member". The feasibility outcomes included program costs, the proportion of enrolled residents able to complete at least one three-station assessment during their four-week ICU rotation, and acceptability of the assessment for the trainees.
Results: We enrolled 63 (69%) of 91 eligible residents, with 58 (92%) completing at least one assessment. The total cost to conduct 90 assessments was CAD 33,800. The majority of participants agreed that the assessment was fair and that it measured important clinical abilities. For the 32 residents who completed two assessments, the mean (standard deviation) cognitive reasoning and procedural skill scores increased between weeks 1 and 4 [SCT difference, 3.1 (6.5), P = 0.01; OSATS difference for bag-mask ventilation and central line insertion, 0.4 (0.5) and 0.6 (0.8), respectively; both P ≤ 0.001]. Nevertheless, the communication scores did not change significantly.
Conclusions: A monthly multi-competency assessment for specialty residents rotating in the ICU is likely feasible for most programs with appropriate resources, and generally acceptable for residents. Specialty residents' cognitive reasoning and procedural skills may improve during a four-week ICU rotation, whereas communication skills may not.
RéSUMé: OBJECTIF: Afin que les programmes de formation et les évaluations maximisent les apprentissages des résidents, les programmes de résidence doivent comprendre quelles compétences sont développées par les résidents pendant un stage à l’unité de soins intensifs (USI). L’objectif principal de cette étude était d’évaluer la faisabilité pour les programmes de formation et l’acceptabilité par les résidents de réaliser une évaluation multi-compétences pendant un stage de quatre semaines à l’USI. MéTHODE: Nous avons réalisé une étude pilote observationnelle prospective multicentrique dans trois USI. Pendant les semaines 1 et 4 du stage à l’USI, nous avons mené des évaluations standardisées répétées des compétences des résidents non inscrits dans une spécialisation en soins intensifs en matière de raisonnement cognitif (test de concordance de script [SCT]), d’habiletés procédurales (évaluation objective structurée des compétences techniques [OSATS] - échelle d’évaluation globale), et d’habiletés de communication via un examen écrit, deux simulations d’intervention, et une rencontre simulée avec un « membre de la famille ». Les critères de faisabilité comprenaient les coûts du programme d’évaluation, la proportion de résidents inscrits capables de compléter au moins une évaluation en trois stations au cours de leur stage de quatre semaines à l’USI, et l’acceptabilité de l’évaluation par les résidents. RéSULTATS: Nous avons recruté 63 (69 %) des 91 résidents éligibles, et 58 (92 %) ont complété au moins une évaluation. Le coût total pour réaliser 90 évaluations était de 33 800 CAD. La majorité des participants étaient d’accord que l’évaluation était équitable et qu’elle mesurait d’importantes habiletés cliniques. Chez les 32 résidents ayant complété deux évaluations, les scores moyens (écart type) en matière de raisonnement cognitif et d’habiletés techniques ont augmenté entre les semaines 1 et 4 : différence au SCT, 3,1 (6,5), P = 0,0; différence à l’OSATS pour la ventilation au masque et l’installation d’une voie centrale, 0,4 (0,5) et 0,6 (0,8), respectivement; tous deux P ≤ 0,001. Toutefois, les scores en matière de communication n’ont pas changé de manière significative. CONCLUSION: Une évaluation multi-compétences mensuelle des résidents en spécialisation faisant un stage à l’USI est probablement réalisable dans la plupart des programmes disposant des ressources nécessaires, et elle est généralement acceptable pour les résidents. Le raisonnement cognitif et les habiletés techniques des résidents pourraient s’améliorer pendant un stage de quatre semaines à l’USI, alors que leurs compétences de communication pourraient demeurer inchangées.
Keywords: assessment; critical care; internship and residency; medical education; simulation.