Objective: Artificial intelligence (AI) holds the potential to make significant advancements in pathology. However, its actual implementation and certification for practical use are currently limited, often due to challenges related to model transferability. In this context, we investigate the factors influencing transferability and present methods aimed at enhancing the utilization of AI algorithms in pathology.
Materials and methods: Various convolutional neural networks (CNNs) and vision transformers (ViTs) were trained using datasets from two institutions, along with the publicly available TCGA-MIBC dataset. These networks conducted predictions in urothelial tissue and intrahepatic cholangiocarcinoma (iCCA). The objective was to illustrate the impact of stain normalization, the influence of various artifacts during both training and testing, as well as the effects of the NoisyEnsemble method.
Results: We were able to demonstrate that stain normalization of slides from different institutions has a significant positive effect on the inter-institutional transferability of CNNs and ViTs (respectively +13% and +10%). In addition, ViTs usually achieve a higher accuracy in the external test (here +1.5%). Similarly, we showcased how artifacts in test data can negatively affect CNN predictions and how incorporating these artifacts during training leads to improvements. Lastly, NoisyEnsembles of CNNs (better than ViTs) were shown to enhance transferability across different tissues and research questions (+7% Bladder, +15% iCCA).
Discussion: It is crucial to be aware of the transferability challenge: achieving good performance during development does not necessarily translate to good performance in real-world applications. The inclusion of existing methods to enhance transferability, such as stain normalization and NoisyEnsemble, and their ongoing refinement, is of importance.
Zusammenfassung: ZIEL DER ARBEIT: Künstliche Intelligenz hat das Potenzial, in der Pathologie weitreichende Fortschritte zu erzielen. Doch die tatsächliche Anwendung und Zertifizierung für die Praxis bleibt begrenzt, oft aufgrund von Herausforderungen bei der Transferierbarkeit von Modellen. In diesem Kontext untersuchen wir die Faktoren, die die Transferierbarkeit beeinflussen, und präsentieren Methoden, die dazu beitragen, die Nutzung von KI-Algorithmen in der Pathologie zu verbessern.
Material und methoden: Mithilfe von Datensätzen aus 2 Instituten und dem öffentlich zugänglichen TCGA-MBIC-Datensatz (TCGA, The Cancer Genome Atlas) wurden Convolutional Neural Networks (CNN) und Vision Transformer (ViT) für Vorhersagen an Urothelgewebe (Karzinom- vs. Normalgewebe) und an intrahepatischen Cholangiokarzinomen (iCCA, „small vs. large duct“) trainiert. Veranschaulicht wird der Einfluss von Farbnormalisierung, Bildartefakten in Training und Anwendung sowie der NoisyEnsemble-Methode.
Ergebnisse: Wir konnten demonstrieren, dass Farbnormalisierung von Gewebeschnitten einen positiven Effekt auf die Interinstitutstransferierbarkeit von CNNs und ViTs hat (respektive +13 % und +10 %) und ViTs meist eine höhere Genauigkeit im externen Test erzielen (hier +1,5 %). Ebenso konnten wir zeigen, dass Artefakte in Testdaten die Vorhersagen von CNNs negativ beeinflusst und dass das Einbeziehen dieser Artefakte während des Trainings zu einer Verbesserung führt. Schließlich erhöhen NoisyEnsembles aus CNNs (besser als aus ViTs) auf verschiedenen Geweben und Fragestellungen die Transferierbarkeit (+7 % Blase, +15 % iCCA).
Diskussion: Wichtig ist vor allem, sich dem Problem der Transferierbarkeit bewusst zu sein: Gute Performance in der Entwicklung bedeutet nicht gute Performance in der Anwendung. Der Einbezug vieler bereits existierender Methoden zur Verbesserung der Transferierbarkeit, wie z. B. Farbnormalisierung und NoisyEnsemble, und deren Weiterentwicklung sind von großer Wichtigkeit.
Keywords: Artificial intelligence; Cholangiocarcinoma; Computer-assisted image interpretation; Deep learning; Neural networks, computer.
© 2024. The Author(s).