Postoperative mortality risk prediction that incorporates intraoperative vital signs: development and internal validation in a historical cohort

Can J Anaesth. 2022 Sep;69(9):1086-1098. doi: 10.1007/s12630-022-02287-0. Epub 2022 Aug 22.

Abstract

Purpose: Accurate risk reassessment after surgery is crucial for postoperative planning for monitoring and disposition. Existing postoperative mortality risk prediction models using preoperative features do not incorporate intraoperative hemodynamic derangements that may alter risk stratification. Intraoperative vital signs may provide an objective and readily available prognostic resource. Our primary objective was to derive and internally validate a logistic regression (LR) model by adding intraoperative features to established preoperative predictors to predict 30-day postoperative mortality.

Methods: Following Research Ethics Board approval, we analyzed a historical cohort that included patients aged ≥ 45 undergoing noncardiac surgery with an overnight stay at two tertiary hospitals (2013 to 2017). Features included intraoperative vital signs (blood pressure, heart rate, end-tidal carbon dioxide partial pressure, oxygen saturation, and temperature) by threshold and duration of exposure, as well as patient, surgical, and anesthetic factors. The cohort was divided temporally 75:25 into derivation and validation sets. We constructed a multivariable LR model with 30-day all-cause mortality as the outcome and evaluated performance metrics.

Results: There were 30,619 patients in the cohort (mean [standard deviation] age, 66 [11] yr; 50.2% female; 2.0% mortality). In the validation set, the primary LR model showed a c-statistic of 0.893 (99% confidence interval [CI], 0.853 to 0.927), a Nagelkerke R-squared of 0.269, a scaled Brier score of 0.082, and an area under precision-recall curve of 0.158 (baseline 0.017 for an uninformative model). The addition of intraoperative vital signs to preoperative factors minimally improved discrimination and calibration.

Conclusion: We derived and internally validated a model that incorporated vital signs to improve risk stratification after surgery. Preoperative factors were strongly predictive of mortality risk, and intraoperative predictors only minimally improved discrimination. External and prospective validations are needed.

Study registration: www.

Clinicaltrials: gov (NCT04014010); registered on 10 July 2019.

RéSUMé: OBJECTIF: Une réévaluation précise des risques après la chirurgie est cruciale pour la planification postopératoire du monitorage et du congé. Les modèles existants de prédiction du risque de mortalité postopératoire utilisant des caractéristiques préopératoires n’intègrent pas les perturbations hémodynamiques peropératoires, lesquelles pourraient modifier la stratification du risque. Les signes vitaux peropératoires peuvent fournir une ressource pronostique objective et facilement disponible. Notre objectif principal était de dériver et de valider en interne un modèle de régression logistique (RL) en ajoutant des caractéristiques peropératoires aux prédicteurs préopératoires établis pour prédire la mortalité postopératoire à 30 jours. MéTHODE: À la suite de l’approbation du Comité d’éthique de la recherche, nous avons analysé une cohorte historique qui comprenait des patients âgés de ≥ 45 ans bénéficiant d’une chirurgie non cardiaque avec un séjour d’une nuit dans deux hôpitaux tertiaires (2013 à 2017). Les caractéristiques comprenaient les signes vitaux peropératoires (tension artérielle, fréquence cardiaque, pression télé-expiratoire en CO2, saturation en oxygène et température) par seuil et durée d’exposition, ainsi que des facteurs propres au patient, chirurgicaux et anesthésiques. La cohorte a été divisée temporellement 75:25 en ensembles de dérivation et de validation. Nous avons élaboré un modèle de RL multivariée avec la mortalité toutes causes confondues à 30 jours comme critère, et évalué les mesures de performance. RéSULTATS: Il y avait 30 619 patients dans la cohorte (âge moyen [écart type], 66 [11] ans; 50,2 % de femmes; 2,0 % de mortalité). Dans l’ensemble de validation, le modèle de RL primaire a montré une statistique c de 0,893 (intervalle de confiance [IC] à 99 %, 0,853 à 0,927), un R carré de Nagelkerke de 0,269, un score de Brier mis à l’échelle de 0,082 et une aire sous la courbe de rappel et précision de 0,158 (ligne de base 0,017 pour un modèle non informatif). L’ajout de signes vitaux peropératoires aux facteurs préopératoires a amélioré de façon minimale la discrimination et l’étalonnage. CONCLUSION: Nous avons dérivé et validé en interne un modèle qui incorporait des signes vitaux pour améliorer la stratification des risques après la chirurgie. Les facteurs préopératoires étaient fortement prédictifs du risque de mortalité, et les prédicteurs peropératoires n’ont que que très peu amélioré la discrimination. Une validation externe et prospective est nécessaire. ENREGISTREMENT DE L’éTUDE: www.ClinicalTrials.gov (NCT04014010); enregistrée le 10 juillet 2019.

Keywords: informatics; mortality; perioperative medicine; risk prediction; vital signs.

MeSH terms

  • Aged
  • Cohort Studies
  • Female
  • Humans
  • Logistic Models
  • Male
  • Prognosis
  • Retrospective Studies
  • Risk Assessment
  • Risk Factors
  • Vital Signs*

Associated data

  • ClinicalTrials.gov/NCT04014010