Robust und datenorientiert

Nature Biomedical Engineering (2023)Diesen Artikel zitieren

28 Altmetrisch

Details zu den Metriken

Maschinelle Lernmodelle für medizinische Aufgaben können die Leistung klinischer Experten erreichen oder übertreffen. Bei anderen Einstellungen als denen des Trainingsdatensatzes kann sich die Leistung eines Modells jedoch erheblich verschlechtern. Hier berichten wir über eine Repräsentations-Lernstrategie für Modelle des maschinellen Lernens, die auf medizinische Bildgebungsaufgaben angewendet werden, die solche Leistungsprobleme außerhalb der Verteilung mildert und die Robustheit des Modells und die Trainingseffizienz verbessert. Die Strategie, die wir REMEDIS (für „Robust and Efficient Medical Imaging with Self-supervision“) genannt haben, kombiniert groß angelegtes überwachtes Transferlernen an natürlichen Bildern und mittelschweres kontrastives selbstüberwachtes Lernen an medizinischen Bildern und erfordert nur minimale aufgabenspezifische Anpassungen. Wir zeigen den Nutzen von REMEDIS bei einer Reihe diagnostischer Bildgebungsaufgaben, die sechs Bildgebungsbereiche und 15 Testdatensätze abdecken, und indem wir drei realistische Out-of-Distribution-Szenarien simulieren. REMEDIS verbesserte die Diagnosegenauigkeit innerhalb der Verteilung um bis zu 11,5 % im Vergleich zu stark überwachten Basismodellen und erforderte in Umgebungen außerhalb der Verteilung nur 1–33 % der Daten für ein erneutes Training, um der Leistung überwachter Modelle zu entsprechen, die unter Verwendung aller verfügbaren Daten neu trainiert wurden . REMEDIS kann den Entwicklungslebenszyklus von Modellen für maschinelles Lernen für die medizinische Bildgebung beschleunigen.

Dies ist eine Vorschau der Abonnementinhalte, Zugriff über Ihre Institution

Greifen Sie auf Nature und 54 weitere Nature Portfolio-Zeitschriften zu

Holen Sie sich Nature+, unser preisgünstigstes Online-Zugangsabonnement

29,99 $ / 30 Tage

jederzeit kündigen

Abonnieren Sie diese Zeitschrift

Erhalten Sie 12 digitale Ausgaben und Online-Zugriff auf Artikel

79,00 $ pro Jahr

nur 6,58 $ pro Ausgabe

Leihen oder kaufen Sie diesen Artikel

Holen Sie sich diesen Artikel nur so lange, wie Sie ihn benötigen

39,95 $

Die Preise können örtlicher Steuern unterliegen, die beim Bezahlvorgang berechnet werden

Die Datensätze von Northwestern Medicine und Apollo Hospitals wurden unter einer Lizenz für die aktuelle Studie verwendet und sind nicht öffentlich verfügbar. Anträge auf Zugang zur Optimam-Datenbank können über dieses Webformular gestellt werden. Die in dieser Studie verwendeten anonymisierten teledermatologischen Daten sind aufgrund von Einschränkungen in der Datenfreigabevereinbarung nicht öffentlich verfügbar. Bei dem für die DME-Klassifizierung verwendeten unbeschrifteten Datensatz handelt es sich um nicht identifizierte Daten von EyePACS Inc. Interessierte Forscher sollten sich an [email protected] wenden, um Informationen zum Zugriff auf EyePACS-Daten zu erhalten, und sich an das Büro für Forschung und Entwicklung wenden, um Informationen zum Zugriff auf VA-Daten zu erhalten. Die restlichen kommentierten Daten für ID- und OOD-DME-Klassifizierungsaufgaben wurden am Rajavithi Hospital Thailand und am Lions Eye Institute gesammelt und sind aufgrund von Einschränkungen in der Datenfreigabevereinbarung nicht öffentlich verfügbar. Daten, die bei der Bewertung und Vorschulung der Klassifizierung von Röntgenaufnahmen des Brustkorbs verwendet werden, einschließlich MIMIC-CXR, CheXpert und ChestX-ray 14, sind öffentlich verfügbar. Die für die ID-Feinabstimmung und Bewertung der Metastasenerkennung verwendeten Daten sind auf der CAMELYON-Challenge-Website öffentlich verfügbar. Die TCGA-Daten, die für das Vortraining sowohl für die pathologiebasierte Metastasenerkennung als auch für die Überlebensvorhersage verwendet werden, sind auf der NIH-Website verfügbar. Die restlichen Daten, die für pathologische Aufgaben verwendet werden, sind aufgrund von Einschränkungen in der Datenfreigabevereinbarung nicht öffentlich zugänglich. Darüber hinaus sind ImageNet-1K (ILSVRC-2012)68, das für das Vortraining von Baseline-überwachten Modellen verwendet wird, und ImageNet-21K, das für das Vortraining von BiT-M-Modellen verwendet wird, über die ImageNet-Website öffentlich verfügbar. Auf dem JFT-300M54-Datensatz trainierte BiT-L-Modelle sind aufgrund von Einschränkungen in der Datenfreigabevereinbarung nicht öffentlich verfügbar.

Mehrere Hauptkomponenten der Arbeit sind in Open-Source-Repositories verfügbar, beispielsweise in der T-Bibliothek. Die Codebasis und vorab trainierten Gewichte, die für das selbstüberwachte Vortraining verwendet werden, sind unter S verfügbar. Die Codebasis und vorab trainierten Gewichte für die BiT-Modelle sind unter B verfügbar. Alle Experimente und Implementierungsdetails sind in den Methoden und in den ergänzenden Informationen zur Unterstützung ausführlich genug beschrieben Replikation mit nicht proprietären Bibliotheken. Die für unseren Vergleich mit ResNet-RS verwendete Codebasis basierte auf R. Eine Reihe der durch REMEDIS generierten Prüfpunkte und Modelle sind für Forscher über P leicht zugänglich. Darüber hinaus bieten die Foundation Medical ML-Repositories auf GitHub Zugriff auf Codes, die dies können zum Trainieren von REMEDIS-basierten Modellen verwendet werden.

LeCun, Y., Bengio, Y. & Hinton, G. Deep Learning. Natur 521, 436–444 (2015).

Artikel CAS PubMed Google Scholar

Yala, A., Lehman, C., Schuster, T., Portnoi, T. & Barzilay, R. Ein Deep-Learning-Mammographie-basiertes Modell für eine verbesserte Vorhersage des Brustkrebsrisikos. Radiologie 292, 60–66 (2019).

Artikel PubMed Google Scholar

Wu, N. et al. Tiefe neuronale Netze verbessern die Leistung von Radiologen bei der Brustkrebsvorsorge. IEEE Trans. Med. Bildgebung 39, 1184–1194 (2019).

Artikel PubMed PubMed Central Google Scholar

McKinney, SM et al. Internationale Evaluierung eines KI-Systems zur Brustkrebsvorsorge. Natur 577, 89–94 (2020).

Artikel CAS PubMed Google Scholar

Rajpurkar, P. et al. Deep Learning für die Röntgendiagnostik des Brustkorbs: ein retrospektiver Vergleich des CheXNeXt-Algorithmus mit praktizierenden Radiologen. PLoS Med. 15, e1002686 (2018).

Artikel PubMed PubMed Central Google Scholar

Esteva, A. et al. Klassifizierung von Hautkrebs mit tiefen neuronalen Netzen auf Dermatologenebene. Natur 542, 115–118 (2017).

Artikel CAS PubMed PubMed Central Google Scholar

Liu, Y. et al. Ein Deep-Learning-System zur Differentialdiagnose von Hautkrankheiten. Nat. Med. 26, 900–908 (2020).

Artikel CAS PubMed Google Scholar

Bera, K., Schalper, KA, Rimm, DL, Velcheti, V. & Madabhushi, A. Künstliche Intelligenz in der digitalen Pathologie – neue Werkzeuge für Diagnose und Präzisionsonkologie. Nat. Rev. Clin. Oncol. 16, 703–715 (2019).

Artikel PubMed PubMed Central Google Scholar

Rakha, EA et al. Aktuelle und zukünftige Anwendungen künstlicher Intelligenz in der Pathologie: eine klinische Perspektive. J. Clin. Pathol. 74, 409–414 (2021).

Artikel CAS PubMed Google Scholar

Wulczyn, E. et al. Interpretierbare Überlebensvorhersage für Darmkrebs mithilfe von Deep Learning. npj Ziffer. Med. 4, 71 (2021).

Artikel PubMed PubMed Central Google Scholar

Gulshan, V. et al. Entwicklung und Validierung eines Deep-Learning-Algorithmus zur Erkennung diabetischer Retinopathie in Netzhautfundusfotos. JAMA 316, 2402–2410 (2016).

Artikel PubMed Google Scholar

De Fauw, J. et al. Klinisch anwendbares Deep Learning zur Diagnose und Überweisung bei Netzhauterkrankungen. Nat. Med. 24, 1342–1350 (2018).

Artikel PubMed Google Scholar

Zhou, SK et al. Ein Überblick über Deep Learning in der medizinischen Bildgebung: Bildgebungsmerkmale, Technologietrends, Fallstudien mit Fortschrittshighlights und Zukunftsversprechen. Proz. IEEE 109, 820–838 (2021).

Artikel CAS Google Scholar

Condon, JJJ et al. Replikation eines Open-Access-Deep-Learning-Systems für das Mammographie-Screening: Leistungseinbußen durch Umschulung auf lokale Daten gemildert. Vorabdruck bei medRxiv https://doi.org/10.1101/2021.05.28.21257892 (2021).

Zech, JR et al. Variable Generalisierungsleistung eines Deep-Learning-Modells zur Erkennung von Lungenentzündung in Röntgenaufnahmen des Brustkorbs: eine Querschnittsstudie. PLoS Med. 15, e1002683 (2018).

Artikel PubMed PubMed Central Google Scholar

Zhang, H. et al. Ein empirischer Rahmen für die Domänengeneralisierung im klinischen Umfeld. In Proc. Konferenz über Gesundheit, Inferenz und Lernen (Hrsg. Ghassemi, M. et al.) 279–290 (Association for Computing Machinery, 2021).

Seyyed-Kalantari, L., Liu, G., McDermott, M., Chen, IY & Ghassemi, M. CheXclusion: Fairness-Lücken bei Röntgenklassifikatoren für den tiefen Brustkorb. Pac. Symp. Biocomput. 26, 232–243 (2021).

PubMed Google Scholar

Kadambi, A. Fairness bei Medizinprodukten erreichen. Wissenschaft 372, 30–31 (2021).

Artikel CAS PubMed Google Scholar

Pierson, E., Cutler, DM, Leskovec, J., Mullainathan, S. & Obermeyer, Z. Ein algorithmischer Ansatz zur Reduzierung unerklärlicher Schmerzunterschiede in unterversorgten Bevölkerungsgruppen. Nat. Med. 27, 136–140 (2021).

Künstliche Intelligenz im Gesundheitswesen: Vorteile und Herausforderungen von Technologien zur Verbesserung der Patientenversorgung (US Government Accountability Office, 2020).

Kelly, CJ, Karthikesalingam, A., Suleyman, M., Corrado, G. & King, D. Schlüsselherausforderungen für die Erzielung klinischer Wirkung mit künstlicher Intelligenz. BMC Med. 17, 195 (2019).

Artikel PubMed PubMed Central Google Scholar

Roberts, M. et al. Häufige Fallstricke und Empfehlungen für den Einsatz von maschinellem Lernen zur Erkennung und Prognose von COVID-19 mithilfe von Röntgenaufnahmen des Brustkorbs und CT-Scans. Nat. Mach. Intel. 3, 199–217 (2021).

Artikel Google Scholar

Van Leeuwen, KG, Schalekamp, S., Rutten, MJ, van Ginneken, B. & de Rooij, M. Künstliche Intelligenz in der Radiologie: 100 im Handel erhältliche Produkte und ihre wissenschaftlichen Beweise. EUR. Radiol. 31, 3797–3804 (2021).

Artikel PubMed PubMed Central Google Scholar

Freeman, K. et al. Einsatz künstlicher Intelligenz zur Bildanalyse in Brustkrebs-Früherkennungsprogrammen: systematische Überprüfung der Testgenauigkeit. bmj 374, n1872 (2021).

Artikel PubMed PubMed Central Google Scholar

D'Amour, A. et al. Unterspezifikation stellt eine Herausforderung für die Glaubwürdigkeit des modernen maschinellen Lernens dar. J. Mach. Lernen. Res. 23, 1–61 (2020).

Google Scholar

Finlayson, SG et al. Der Kliniker- und Datensatzwandel in der künstlichen Intelligenz. N. engl. J. Med. 386, 283–286 (2020).

Google Scholar

Futoma, J., Simons, M., Panch, T., Doshi-Velez, F. & Celi, LA Der Mythos der Generalisierbarkeit in der klinischen Forschung und maschinellen Lernens im Gesundheitswesen. Lancet Dig. Gesundheit 2, e489–e492 (2020).

Artikel Google Scholar

Willemink, MJ et al. Aufbereitung medizinischer Bilddaten für maschinelles Lernen. Radiologie 295, 4–15 (2020).

Artikel PubMed Google Scholar

Li, F.-F., Fergus, R. & Perona, P. One-Shot-Lernen von Objektkategorien. IEEE Trans. Muster Anal. Mach. Intel. 28, 594–611 (2006).

Artikel Google Scholar

Zhu, X., Ghahramani, Z. & Lafferty, JD Halbüberwachtes Lernen mit Gaußschen Feldern und harmonischen Funktionen. In Proc. 20. Internationale Konferenz über maschinelles Lernen (Hrsg. Fawcett, T. & Mishra, N.) 912–919 (AAAI Press, 2003).

Cohn, D., Atlas, L. & Ladner, R. Verbesserung der Generalisierung durch aktives Lernen. Mach. Lernen. 15, 201–221 (1994).

Artikel Google Scholar

Sutton, RS Generalisierung beim verstärkenden Lernen: erfolgreiche Beispiele mit spärlicher Grobcodierung. Adv. Neuronale Inf. Verfahren. Syst. 8, 1038–1044 (1996).

Google Scholar

Doersch, C., Gupta, A. & Efros, AA Unbeaufsichtigtes visuelles Repräsentationslernen durch Kontextvorhersage. In Proc. IEEE International Conference on Computer Vision 1422–1430 (IEEE, 2015).

Doersch, C. & Zisserman, A. Selbstüberwachtes visuelles Lernen mit mehreren Aufgaben. In Proc. Internationale IEEE-Konferenz zu Computer Vision 2070–2079 (IEEE, 2017).

Gidaris, S., Singh, P. & Komodakis, N. Unüberwachtes Repräsentationslernen durch Vorhersage von Bildrotationen. Vorabdruck unter https://arxiv.org/abs/1803.07728 (2018).

Pathak, D., Krahenbuhl, P., Donahue, J., Darrell, T. & Efros, AA Kontext-Encoder: Feature-Learning durch Inpainting. In Proc. IEEE-Konferenz zu Computer Vision und Mustererkennung 2536–2544 (IEEE, 2016).

Larsson, G., Maire, M. & Shakhnarovich, G. Kolorierung als Stellvertreteraufgabe für das visuelle Verständnis. In Proc. IEEE-Konferenz zu Computer Vision und Mustererkennung 6874–6883 (IEEE, 2017).

Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. Bert: Vortraining tiefer bidirektionaler Transformatoren für das Sprachverständnis. Vorabdruck unter https://arxiv.org/abs/1810.04805 (2018).

Brown, TB et al. Sprachmodelle sind Wenig-Schuss-Lernende. Adv. Neuronale Inf. Prozesssystem 33, 1877–1901 (2020).

Google Scholar

Baevski, A., Auli, M. & Mohamed, A. Wirksamkeit des selbstüberwachten Vortrainings für die Spracherkennung. Vorabdruck unter https://arxiv.org/abs/1911.03912 (2019).

Chen, L. et al. Selbstüberwachtes Lernen für die medizinische Bildanalyse mithilfe der Wiederherstellung des Bildkontexts. Med. Bild Anal. 58, 101539 (2019).

Artikel PubMed PubMed Central Google Scholar

He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. Momentum-Kontrast für unbeaufsichtigtes visuelles Repräsentationslernen. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 9729–9738 (IEEE, 2020).

Grill, J.-B. et al. Bootstrap your own latent: ein neuer Ansatz für selbstüberwachtes Lernen. Adv. Neuronale Inf. Verfahren. Syst. 33, 21271–21284 (2020).

Google Scholar

Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. Ein einfacher Rahmen für das kontrastive Lernen visueller Darstellungen. In Proc. 37. Internationale Konferenz über maschinelles Lernen (Hrsg. Daumé, H. & Singh, A.) 1597–1607 (JMLR, 2020).

Deng, J. et al. Imagenet: eine umfangreiche hierarchische Bilddatenbank. Im Jahr 2009 IEEE-Konferenz zu Computer Vision und Mustererkennung 248–255 (IEEE, 2009).

He, K., Zhang, X., Ren, S. & Sun, J. Deep Residual Learning für die Bilderkennung. In Proc. IEEE-Konferenz zu Computer Vision und Mustererkennung 770–778 (IEEE, 2016).

Touvron, H. et al. Training dateneffizienter Bildtransformatoren und Destillation durch Aufmerksamkeit. In Proc. 38. Internationale Konferenz über maschinelles Lernen (Hrsg. Meila, M. & Zhang, T.) 10347–10357 (PMLR, 2021).

Liu, H. & Abbeel, P. Hybrides diskriminativ-generatives Training durch kontrastives Lernen. Vorabdruck unter https://arxiv.org/abs/2007.09070 (2020).

Winkens, J. et al. Kontrastives Training zur verbesserten Erkennung von Fehlverteilungen. Vorabdruck unter https://arxiv.org/abs/2007.05566 (2020).

Shen, K. et al. Verbinden, nicht kollabieren: Kontrastives Lernen für unbeaufsichtigte Domänenanpassung erklären. In Proc. 39. Internationale Konferenz über maschinelles Lernen (Hrsg. Chaudhuri, K. et al.) 19847–19878 (PMLR, 2022).

HaoChen, JZ, Wei, C., Kumar, A. & Ma, T. Jenseits der Trennbarkeit: Analyse der linearen Übertragbarkeit kontrastiver Darstellungen auf verwandte Subpopulationen. Vorabdruck unter https://arxiv.org/abs/2204.02683 (2022).

Kolesnikov, A. et al. Großer Transfer (BiT): allgemeines visuelles Repräsentationslernen. In Proc. Europäische Konferenz über Computer Vision (Hrsg. Vedaldi, A. et al.) 491–507 (Springer, 2020).

Huh, M., Agrawal, P. & Efros, AA Was macht ImageNet gut für Transferlernen? Vorabdruck unter https://arxiv.org/abs/1608.08614 (2016).

Sun, C., Shrivastava, A., Singh, S. & Gupta, A. Überprüfung der unangemessenen Wirksamkeit von Daten im Zeitalter des Deep Learning. In Proc. IEEE International Conference on Computer Vision 843–852 (IEEE, 2017).

Mahajan, D. et al. Erkundung der Grenzen einer schwach überwachten Vorschulung. In Proc. European Conference on Computer Vision (Hrsg. Ferrari, V. et al.) 185–201 (Springer, 2018).

Houlsby, N. & Zhai, X. Der Visual Task Adaptation Benchmark (Google Research, 2019).

Mustafa, B. et al. Überwachtes Transferlernen im großen Maßstab für die medizinische Bildgebung. Vorabdruck unter https://arxiv.org/abs/2101.05913 (2021).

Raghu, M., Zhang, C., Kleinberg, J. & Bengio, S. Transfusion: Verständnis des Transferlernens für die medizinische Bildgebung. Adv. Neuronale Inf. Verfahren. Syst. 33, 3347–3357 (2019).

Hendrycks, D., Lee, K. & Mazeika, M. Der Einsatz von Vortraining kann die Robustheit und Unsicherheit des Modells verbessern. In Proc. 36. Internationale Konferenz über maschinelles Lernen (Hrsg. Chaudhuri, K. & Salakhutdinov, R.) 2712–2721 (PMLR, 2019).

Li, J., Lin, T. & Xu, Y. SSLP: Räumlich geführtes selbstüberwachtes Lernen an pathologischen Bildern. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. de Bruijne, M. et al.) 3–12 (Springer, 2021).

Srinidhi, CL & Martel, AL Verbesserung des selbstüberwachten Lernens durch härtebewusstes dynamisches Lehrplanlernen: eine Anwendung auf die digitale Pathologie. In Proc. Internationale IEEE/CVF-Konferenz zu Computer Vision 562–571 (IEEE, 2021).

Azizi, S. et al. Große selbstüberwachte Modelle verbessern die Klassifizierung medizinischer Bilder. In IEEE/CVF International Conference on Computer Vision (ICCV) 3458–3468 (IEEE, 2021).

Sowrirajan, H., Yang, J., Ng, AY & Rajpurkar, P. Das MoCo-Vortraining verbessert die Darstellung und Übertragbarkeit von Bruströntgenmodellen. In Proc. Vierte Konferenz über medizinische Bildgebung mit Deep Learning (Hrsg. Heinrich, M. et al.) 728–744 (PMLR, 2021).

Zhou, Z. et al. Modellgenese: generische autodidaktische Modelle für die medizinische 3D-Bildanalyse. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. Shen, D. et al.) 384–393 (2019).

Liu, X. et al. Selbstüberwachtes Lernen: generativ oder kontrastiv. IEEE Trans. Wissen. Daten-Ing. 35, 857–876 (2023).

Google Scholar

Wang, X. et al. Chestx-ray8: Datenbank für Röntgenaufnahmen des Brustkorbs im Krankenhausmaßstab und Benchmarks zur schwach überwachten Klassifizierung und Lokalisierung häufiger Thoraxerkrankungen. In Proc. IEEE-Konferenz zu Computer Vision und Mustererkennung 3462–3471 (IEEE, 2017).

Hendrycks, D. et al. Vortrainierte Transformatoren verbessern die Robustheit außerhalb der Verteilung. Vorabdruck unter https://arxiv.org/abs/2004.06100 (2020).

Russakovsky, O. et al. Imagenets groß angelegte visuelle Erkennungsherausforderung. Int. J. Comput. Vis. 115, 211–252 (2015).

Artikel Google Scholar

Alzubaidi, L. et al. Optimierung der Leistung der Brustkrebsklassifizierung durch Verwendung des gleichen Domänentransferlernens aus dem hybriden Deep Convolutional Neural Network-Modell. Elektronik 9, 445 (2020).

Artikel Google Scholar

Graziani, M., Andrearczyk, V. & Müller, H. Visualisierung und Interpretation der Wiederverwendung von Merkmalen vorab trainierter CNNs für die Histopathologie. In Proc. IMVIP 2019: Irish Machine Vision and Image Processing (Technologische Universität Dublin, 2019).

Wu, Y. & He, K. Gruppennormalisierung. In Proc. Europäische Konferenz für Computer Vision (ECCV) 3–19 (2018).

Chen, T., Kornblith, S., Swersky, K., Norouzi, M. & Hinton, G. Große selbstüberwachte Modelle sind starke halbüberwachte Lernende. Adv. Neuronale Inf. Verfahren. Syst. 33, 22243–22255 (2020).

Google Scholar

Becker, S. & Hinton, GE Selbstorganisierendes neuronales Netzwerk, das Oberflächen in Zufallspunktstereogrammen entdeckt. Nature 355, 161–163 (1992).

Artikel CAS PubMed Google Scholar

Virgili, G. et al. Optische Kohärenztomographie (OCT) zur Erkennung von Makulaödemen bei Patienten mit diabetischer Retinopathie. Cochrane-Datenbanksystem. Rev. 1, CD008081 (2015).

PubMed Google Scholar

Liu, X. et al. Deep Learning zur Erkennung von durch optische Kohärenztomographie verursachten diabetischen Makulaödemen anhand von Netzhautfotos: eine multizentrische Validierungsstudie. Ophthalmol. Retina 6, 398–410 (2022).

Artikel PubMed Google Scholar

Brown, JC et al. Erkennung eines diabetischen Fovealödems: Kontaktlinsen-Biomikroskopie im Vergleich zur optischen Kohärenztomographie. Bogen. Ophthalmol. 122, 330–335 (2004).

Artikel PubMed Google Scholar

Sadda, SR et al. Automatisierte Erkennung klinisch signifikanter Makulaödeme mittels optischer Rasterkohärenztomographie. Ophthalmology 113, 1187.e1-12 (2006).

Artikel PubMed Google Scholar

Irvin, J. et al. Chexpert: ein großer Röntgendatensatz des Brustkorbs mit Unsicherheitsbezeichnungen und Expertenvergleich. Proz. Konf. AAAI Artif. Intel. 33, 590–597 (2019).

Johnson, AE et al. MIMIC-CXR, eine anonymisierte, öffentlich zugängliche Datenbank mit Röntgenaufnahmen des Brustkorbs mit Freitextberichten. Wissenschaft. Daten 6, 317 (2019).

Artikel PubMed PubMed Central Google Scholar

Neyshabur, B., Sedghi, H. & Zhang, C. Was wird beim Transferlernen übertragen? Adv. Neuronale Inf. Verfahren. Syst. 33, 512–523 (2020).

Google Scholar

Ilse, M., Tomczak, J. & Welling, M. Aufmerksamkeitsbasiertes tiefes Lernen mit mehreren Instanzen. In Proc. 35. Internationale Konferenz über maschinelles Lernen (Hrsg. Dy, J. & Krause, A.) 2127–2136 (PMLR, 2018).

Bejnordi, BE et al. Diagnostische Bewertung von Deep-Learning-Algorithmen zur Erkennung von Lymphknotenmetastasen bei Frauen mit Brustkrebs. JAMA 318, 2199–2210 (2017).

Artikel Google Scholar

Vu, YNT et al. MedAug: Kontrastives Lernen unter Nutzung von Patientenmetadaten verbessert Darstellungen für die Interpretation von Röntgenaufnahmen des Brustkorbs. In Proc. 6. Machine Learning for Healthcare Conference (Hrsg. Jung, K. et al.) 755–769 (PMLR, 2021).

Chen, X., Fan, H., Girshick, R. & He, K. Verbesserte Grundlinien durch dynamisches kontrastives Lernen. Vorabdruck unter https://arxiv.org/abs/2003.04297 (2020).

Mitrovic, J., McWilliams, B., Walker, J., Buesing, L. & Blundell, C. Repräsentationslernen über invariante Kausalmechanismen. Vorabdruck unter https://arxiv.org/abs/2010.07922 (2020).

Zbontar, J., Jing, L., Misra, I., LeCun, Y. & Deny, S. Barlow-Zwillinge: Selbstüberwachtes Lernen durch Redundanzreduktion. In Proc. 38. Internationale Konferenz über maschinelles Lernen (Hrsg. Meila, M. & Zhang, T.) 12310–12320 (PMLR, 2021).

Dunnmon, JA et al. Die modalübergreifende Datenprogrammierung ermöglicht schnelles medizinisches maschinelles Lernen. Muster 1, 100019 (2020).

Artikel PubMed PubMed Central Google Scholar

Campanella, G. et al. Computerpathologie auf klinischem Niveau mit schwach überwachtem Deep Learning für ganze Objektträgerbilder. Nat. Med. 25, 1301–1309 (2019).

Artikel CAS PubMed PubMed Central Google Scholar

Eyuboglu, S. et al. Die schwache Multitasking-Überwachung ermöglicht die anatomisch aufgelöste Erkennung von Anomalien in der Ganzkörper-FDG-PET/CT. Nat. Komm. 12, 1880 (2021).

Artikel CAS PubMed PubMed Central Google Scholar

Bakalo, R., Ben-Ari, R. & Goldberger, J. Klassifizierung und Erkennung in Mammogrammen mit schwacher Überwachung über ein tiefes neuronales Dual-Branch-Netz. In IEEE 16th International Symposium on Biomedical Imaging (ISBI) 1905–1909 (IEEE, 2019).

Wenzel, F. et al. Untersuchung der Verallgemeinerung außerhalb der Verteilung beim Transferlernen. Adv. Neuronale Inf. Verfahren. Syst. 35, 7181–7198 (2022).

Google Scholar

Hendrycks, D. & Dietterich, T. Benchmarking der Robustheit neuronaler Netze gegenüber häufigen Störungen und Störungen. Vorabdruck unter https://arxiv.org/abs/1903.12261 (2019).

Wang, Z., Dai, Z., Póczos, B. & Carbonell, J. Charakterisierung und Vermeidung negativer Übertragungen. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 11285–11294 (IEEE, 2019).

Gulrajani, I. & Lopez-Paz, D. Auf der Suche nach der Verallgemeinerung verlorener Domänen. Vorabdruck unter https://arxiv.org/abs/2007.01434 (2020).

Vapnik, VN Statistische Lerntheorie (Wiley-Interscience, 1998).

Zhang, H., Cisse, M., Dauphin, YN & Lopez-Paz, D. Verwechslung: jenseits der empirischen Risikominimierung. Vorabdruck unter https://arxiv.org/abs/1710.09412 (2017).

Goyal, P. et al. Selbstüberwachtes Vortraining visueller Merkmale in freier Wildbahn. Vorabdruck unter https://arxiv.org/abs/2103.01988 (2021).

Bubeck, S. & Sellke, M. Ein universelles Robustheitsgesetz mittels Isoperimetrie. J. ACM 70, 1–18 (2023).

Artikel Google Scholar

Ericsson, L., Gouk, H. & Hospedales, TM Wie gut übertragen selbstüberwachte Modelle? In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 5410–5419 (IEEE, 2021).

Chen, X. & He, K. Erforschung des einfachen Lernens siamesischer Repräsentationen. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 15745–15753 (IEEE, 2021).

Ciga, O., Martel, AL & Xu, T. Selbstüberwachtes kontrastives Lernen für die digitale Histopathologie. Mach. Lernen. 7, 100198 (2022).

Google Scholar

Taher, MRH, Haghighi, F., Gotway, MB & Liang, J. CAiD: Kontextbewusste Instanzunterscheidung für selbstüberwachtes Lernen in der medizinischen Bildgebung. In Proc. 5. Internationale Konferenz über medizinische Bildgebung mit Deep Learning (Hrsg. Konukoglu, E. et al.) 535–551 (PMLR, 2022).

Taher, MRH, Haghighi, F., Feng, R., Gotway, MB & Liang, J. in Domain Adaptation and Representation Transfer, and Affordable Healthcare and AI for Resource Diverse Global Health (Hrsg. Albarqouni, S. et al.) 3 –13 (Springer, 2021).

Xie, Q., Luong, M.-T., Hovy, E. & Le, QV Selbsttraining mit lauten Schülern verbessert die Imagenet-Klassifizierung. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 10684–10695 (IEEE, 2020).

Srinidhi, CL, Kim, SW, Chen, F.-D. & Martel, AL Selbstüberwachtes, gesteuertes Konsistenztraining für annotationseffiziente histopathologische Bildanalyse. Med. Bild Anal. 75, 102256 (2022).

Artikel PubMed Google Scholar

Li, Z. et al. Domänenverallgemeinerung für die Mammographieerkennung durch kontrastives Lernen mit mehreren Stilen und mehreren Ansichten. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. de Bruijne, M. et al.) 98–108 (Springer, 2021).

Sato, J. et al. Anatomiebewusstes, selbstüberwachtes Lernen zur Erkennung von Anomalien in Röntgenaufnahmen des Brustkorbs. Vorabdruck unter https://arxiv.org/abs/2205.04282 (2022).

Wortsman, M. et al. Robuste Feinabstimmung von Zero-Shot-Modellen. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 7959–7971 (IEEE, 2022).

Nguyen, T., Raghu, M. & Kornblith, S. Lernen breite und tiefe Netzwerke dasselbe? Entdecken Sie, wie die Darstellung neuronaler Netzwerke je nach Breite und Tiefe variiert. Vorabdruck unter https://arxiv.org/abs/2010.15327 (2020).

Dosovitskiy, A. et al. Ein Bild sagt mehr als 16 x 16 Worte: Transformatoren für die Bilderkennung im Maßstab. In International Conference on Learning Representations (ICLR) (OpenReview, 2021).

He, K., Zhang, X., Ren, S. & Sun, J. Identitätszuordnungen in tiefen Restnetzwerken. In European Conference on Computer Vision (Hrsg. Leibe, B. et al.) 630–645 (Springer, 2016).

Ioffe, S. & Szegedy, C. Batch-Normalisierung: Beschleunigung des Deep-Network-Trainings durch Reduzierung der internen Kovariatenverschiebung. In Proc. 32. Internationale Konferenz über maschinelles Lernen (Hrsg. Bach, F. & Blei, D.) 448–456 (2015).

Qiao, S., Wang, H., Liu, C., Shen, W. & Yuille, A. Mikrobatch-Training mit Batch-Kanal-Normalisierung und Gewichtsstandardisierung. Vorabdruck unter https://arxiv.org/abs/1903.10520 (2019).

You, Y., Gitman, I. & Ginsburg, B. Großes Batch-Training von Faltungsnetzwerken. Vorabdruck unter https://arxiv.org/abs/1708.03888 (2017).

Castro, E., Cardoso, JS & Pereira, JC Elastische Verformungen zur Datenerweiterung bei der Erkennung von Brustkrebsmassen. In IEEE EMBS International Conference on Biomedical and Health Informatics (BHI) 230–234 (IEEE, 2018).

Ronneberger, O., Fischer, P. & Brox, T. U-net: Faltungsnetzwerke für die biomedizinische Bildsegmentierung. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. Navab, N. et al.), 234–241 (Springer, 2015).

Szegedy, C. et al. Mit Windungen tiefer gehen. In Proc. IEEE-Konferenz zu Computer Vision und Mustererkennung 1–9 (IEEE, 2015).

Tripuraneni, N., Jordan, MI & Jin, C. Zur Theorie des Transferlernens: die Bedeutung der Aufgabenvielfalt. Adv. Neuronale Inf. Verfahren. Syst. 33, 7852–7862 (2020).

Google Scholar

Du, SS, Hu, W., Kakade, SM, Lee, JD & Lei, Q. Few-Shot-Lernen durch Erlernen der Darstellung, nachweislich. Vorabdruck unter https://arxiv.org/abs/2002.09434 (2020).

Kingma, DP & Ba, J. Adam: eine Methode zur stochastischen Optimierung. Vorabdruck unter https://arxiv.org/abs/1412.6980 (2014).

Loshchilov, I. & Hutter, F. Sgdr: Stochastischer Gradientenabstieg mit Warmstarts. Vorabdruck unter https://arxiv.org/abs/1608.03983 (2016).

Goyal, P. et al. Präzises, großes Minibatch-SGD: Imagenet-Training in 1 Stunde. Vorabdruck unter https://arxiv.org/abs/1706.02677 (2017).

Bengio, Y., Goodfellow, I. & Courville, A. Deep Learning (MIT Press, 2017).

Wang, M. & Deng, W. Tiefe visuelle Domänenanpassung: eine Umfrage. Neurocomputing 312, 135–153 (2018).

Artikel Google Scholar

Bello, I. et al. Überarbeitung von Resnets: verbesserte Trainings- und Skalierungsstrategien. Adv. Neuronale Inf. Verfahren. Syst. 34, 22614–22627 (2021).

Google Scholar

Varadarajan, AV et al. Vorhersage von durch optische Kohärenztomographie abgeleiteten diabetischen Makulaödem-Graden anhand von Fundusfotos mithilfe von Deep Learning. Nat. Komm. 11, 130 (2020).

Artikel CAS PubMed PubMed Central Google Scholar

Winkler, JK et al. Zusammenhang zwischen chirurgischen Hautmarkierungen in dermatoskopischen Bildern und der diagnostischen Leistung eines Deep-Learning-Faltungsnetzwerks zur Melanomerkennung. JAMA Dermatol. 155, 1135–1141 (2019).

Artikel PubMed PubMed Central Google Scholar

Seah, JC et al. Auswirkung eines umfassenden Deep-Learning-Modells auf die Genauigkeit der Interpretation von Röntgenaufnahmen des Brustkorbs durch Radiologen: eine retrospektive Multi-Reader-Multicase-Studie. Lanzettenziffer. Gesundheit 3, e496–e506 (2021).

Artikel CAS PubMed Google Scholar

Haygood, TM et al. Zeitgesteuerte Effizienz der Interpretation digitaler und Film-Screening-Mammogramme. AJR Am. J. Röntgenol. 192, 216–220 (2009).

Artikel PubMed PubMed Central Google Scholar

Jain, A. et al. Entwicklung und Bewertung eines auf künstlicher Intelligenz basierenden Tools zur Hautzustandsdiagnose durch Hausärzte und Krankenpfleger in teledermatologischen Praxen. JAMA Netw. Offen 4, e217249 (2021).

Artikel PubMed PubMed Central Google Scholar

Pugh, JA et al. Screening auf diabetische Retinopathie: die Weitwinkel-Netzhautkamera. Diabetes Care 16, 889–895 (1993).

Artikel CAS PubMed Google Scholar

Schölkopf, B. et al. Auf dem Weg zum kausalen Repräsentationslernen. Proz. IEEE 109, 612–634 (2021).

Artikel Google Scholar

Bengio, Y., Courville, A. & Vincent, P. Repräsentationslernen: ein Rückblick und neue Perspektiven. IEEE Trans. Muster Anal. Mach. Intel. 35, 1798–1828 (2013).

Artikel PubMed Google Scholar

Liu, J., Hu, Z., Cui, P., Li, B. & Shen, Z. Heterogene Risikominimierung. In Proc. 38. Internationale Konferenz über maschinelles Lernen (Hrsg. Meila, M. & Zhang, T) 6804–6814 (PMLR, 2021).

Robey, A., Pappas, GJ & Hassani, H. Modellbasierte Domänengeneralisierung. Adv. Neuronale Inf. Verfahren. Syst. 34, 20210–20229 (2021).

Google Scholar

Shen, Z. et al. Auf dem Weg zur Verallgemeinerung außerhalb der Verteilung: eine Umfrage. Vorabdruck unter https://arxiv.org/abs/2108.13624 (2021).

Wang, J. et al. Verallgemeinerung auf unbekannte Domänen: eine Umfrage zur Domänenverallgemeinerung. IEEE Trans. Wissen. Daten-Ing. (2022).

Zhou, K., Liu, Z., Qiao, Y., Xiang, T. & Loy, CC Domänenverallgemeinerung: eine Umfrage. Vorabdruck unter https://arxiv.org/abs/2103.02503 (2021).

Locatello, F. et al. Infragestellung gängiger Annahmen beim unbeaufsichtigten Lernen entwirrter Darstellungen. In Proc. 36. Internationale Konferenz über maschinelles Lernen (Hrsg. Chaudhuri, K. & Salakhutdinov, R.) 4114–4124 (PMLR, 2019).

Geirhos, R. et al. Mit ImageNet trainierte CNNs sind auf Textur ausgerichtet. Eine zunehmende Formabweichung verbessert die Genauigkeit und Robustheit. Vorabdruck unter https://arxiv.org/abs/1811.12231 (2018).

Geirhos, R. et al. Generalisierung beim Menschen und tiefe neuronale Netze. Adv. Neuronale Inf. Verfahren. Syst. 31, 7538–7550 (2018).

Google Scholar

Kim, H. & Mnih, A. Entwirrung durch Faktorisieren. In Proc. 35. Internationale Konferenz über maschinelles Lernen (Hrsg. Dy, J. & Krause, A.) 2649–2658 (PMLR, 2018).

Yang, M. et al. CausalVAE: entwirrtes Repräsentationslernen über neuronale strukturelle Kausalmodelle. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 9588–9597 (IEEE, 2021).

Leeb, F. et al. Struktur durch Architektur: entwirrte Darstellungen ohne Regularisierung. Vorabdruck unter https://arxiv.org/abs/2006.07796 (2020).

Träuble, F. et al. Über entwirrte Darstellungen, die aus korrelierten Daten gelernt wurden. In Proc. 38. Internationale Konferenz über maschinelles Lernen (Hrsg. Meila, M. & Zhang, T.) 10401–10412 (PMLR, 2021).

Dittadi, A. et al. Zur Übertragung entflochtener Darstellungen in realistische Settings. Vorabdruck unter https://arxiv.org/abs/2010.14407 (2020).

Andreassen, A., Bahri, Y., Neyshabur, B. & Roelofs, R. Die Entwicklung der Out-of-Distribution-Robustheit während der Feinabstimmung. Vorabdruck unter https://arxiv.org/abs/2106.15831 (2021).

Radford, A. et al. Erlernen übertragbarer visueller Modelle durch Supervision in natürlicher Sprache. In Proc. 38. Internationale Konferenz über maschinelles Lernen (Hrsg. Meila, M. & Zhang, T.) 8748–8763 (PMLR, 2021).

Taori, R. et al. Wenn Robustheit die Robustheit nicht fördert: synthetische vs. natürliche Verteilungsverschiebungen auf ImageNet. In International Conference on Learning Representations (ICLR) (2019).

Albuquerque, I., Monteiro, J., Darvishi, M., Falk, TH & Mitliagkas, I. Adversarial Target-Invariante Representation Learning for Domain Generalization (DeepAI, 2020).

Li, Y. et al. Tiefgreifende Domänenverallgemeinerung über bedingte invariante gegnerische Netzwerke. In Proc. European Conference on Computer Vision (ECCV) (Hrsg. Ferrari, V. et al.) 624–663 (Springer, 2018).

Ganin, Y. & Lempitsky, V. Unbeaufsichtigte Domänenanpassung durch Backpropagation. In Proc. 32. Internationale Konferenz über maschinelles Lernen (Hrsg. Bach, F. & Blei, D.) 1180–1189 (JMLR, 2015).

Ganin, Y. et al. Domain-kontradiktorisches Training neuronaler Netze. J. Mach. Lernen. Res. 17, 2096–2030 (2016).

Google Scholar

Shao, R., Lan, In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 10015–10023 (IEEE, 2019).

Motiian, S., Piccirilli, M., Adjeroh, DA & Doretto, G. Einheitliche, tief überwachte Domänenanpassung und -verallgemeinerung. In Proc. IEEE International Conference on Computer Vision 5716–5726 (IEEE, 2017).

Muandet, K., Balduzzi, D. & Schölkopf, B. Domänenverallgemeinerung durch invariante Merkmalsdarstellung. In Proc. 30. Internationale Konferenz über maschinelles Lernen (Hrsg. Dasgupta, S. & McAllester, D.) I-10–I-18 (2013).

Menegola, A. et al. Wissenstransfer zum Melanom-Screening mit Deep Learning. In IEEE 14th International Symposium on Biomedical Imaging (ISBI) 297–300 (IEEE, 2017).

Xie, H. et al. Duale Netzwerkarchitektur für CT mit wenigen Ansichten, trainiert auf ImageNet-Daten und übertragen für die medizinische Bildgebung. In Proc. SPIE 11113, Developments in X-Ray Tomography XII (Hrsg. Müller, B. & Wang, G.) 111130V (SPIE, 2019).

Alzubaidi, L. et al. Auf dem Weg zu einem besseren Verständnis des Transferlernens für die medizinische Bildgebung: eine Fallstudie. Appl. Wissenschaft. 10, 4523 (2020).

Artikel Google Scholar

Heker, M. & Greenspan, H. Segmentierung und Klassifizierung von Gelenkleberläsionen durch Transferlernen. Vorabdruck unter https://arxiv.org/abs/2004.12352 (2020).

Chen, S., Ma, K. & Zheng, Y. Med3D: Transferlernen für die medizinische 3D-Bildanalyse. Vorabdruck unter https://arxiv.org/abs/1904.00625 (2019).

Liang, G. & Zheng, L. Eine Transfer-Lernmethode mit tiefem Restnetzwerk für die Diagnose einer pädiatrischen Lungenentzündung. Berechnen. Methoden Prog. Biomed. 187, 104964 (2020).

Artikel Google Scholar

Geyer, R., Corinzia, L. & Wegmayr, V. Transferlernen durch adaptive Zusammenführung mehrerer Modelle. In Proc. 2. Internationale Konferenz über medizinische Bildgebung mit Deep Learning (Hrsg. Cardoso, MJ et al.) 185–196 (PMLR, 2019).

Noroozi, M. & Favaro, P. Unbeaufsichtigtes Lernen visueller Darstellungen durch Lösen von Puzzles. In European Conference on Computer Vision (Hrsg. Leibe, B. et al.), 69–84 (Springer, 2016).

Zhang, R., Isola, P. & Efros, AA Bunte Bildkolorierung. In European Conference on Computer Vision (Hrsg. Leibe, B. et al.) 649–666 (Springer, 2016).

Wu, Z., Xiong, Y., Yu, SX & Lin, D. Unüberwachtes Merkmalslernen durch nichtparametrische Instanzunterscheidung. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 3733–3742 (IEEE, 2018).

Hénaff, OJ et al. Dateneffiziente Bilderkennung mit kontrastiver prädiktiver Codierung. In Proc. 37. Internationale Konferenz über maschinelles Lernen (Hrsg. Daumé, H. & Singh, A.) 4182–4192 (PMLR, 2020).

van den Oord, A., Li, Y. & Vinyals, O. Repräsentationslernen mit kontrastiver prädiktiver Codierung. Vorabdruck unter https://arxiv.org/abs/1807.03748 (2018).

Hjelm, RD et al. Erlernen tiefer Darstellungen durch gegenseitige Informationsschätzung und -maximierung. Vorabdruck unter https://arxiv.org/abs/1808.06670v5 (2019).

Ye, M., Zhang, X., Yuen, PC & Chang, S.-F. Unüberwachtes Einbettungslernen über invariante und sich ausbreitende Instanzfunktionen. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 6203–6212 (IEEE, 2019).

Bachman, P., Hjelm, RD & Buchwalter, W. Lernen von Darstellungen durch Maximierung der gegenseitigen Information über Ansichten hinweg. Adv. Neuronale Inf. Verfahren. Syst. 15535–15545 (2019).

Tian, Y., Krishnan, D. & Isola, P. Kontrastive Multiview-Kodierung. In European Conference on Computer Vision (Hrsg. Vedaldi, A. et al.) 776–794 (Springer, 2019).

Misra, I. & Maaten, LVD Selbstüberwachtes Lernen prätextinvarianter Darstellungen. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 6706–6716 (IEEE, 2020).

Caron, M. et al. Unüberwachtes Lernen visueller Merkmale durch kontrastierende Clusterzuordnungen. Adv. Neuronale Inf. Verfahren. Syst. 33, 9912–9924 (2020).

Google Scholar

Bai, W. et al. Selbstüberwachtes Lernen für die Segmentierung kardialer MR-Bilder durch Vorhersage der anatomischen Position. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. Shen, D. et al.) 541–549 (Springer, 2019).

Spitzer, H., Kiwitz, K., Amunts, K., Harmeling, S. & Dickscheid, T. Verbesserung der zytoarchitektonischen Segmentierung menschlicher Gehirnbereiche mit selbstüberwachten siamesischen Netzwerken. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. Frangi, AF et al.) 663–671 (Springer, 2018).

Zhuang, X. et al. Selbstüberwachtes Feature-Lernen für medizinische 3D-Bilder durch Spielen eines Zauberwürfels. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. Shen, D. et al.), 420–428 (Springer, 2019).

Zhu, J. et al. Rubik's Cube+: ein selbstüberwachtes Feature-Learning-Framework für die medizinische 3D-Bildanalyse. Med. Bild Anal. 64, 101746 (2020).

Artikel PubMed Google Scholar

Chaitanya, K., Erdil, E., Karani, N. & Konukoglu, E. Kontrastives Lernen globaler und lokaler Merkmale für die Segmentierung medizinischer Bilder mit begrenzten Anmerkungen. Adv. Neuronale Inf. Verfahren. Syst. 33, 12546–12558 (2020).

Google Scholar

He, X. et al. Probeneffizientes Deep Learning für die COVID-19-Diagnose auf Basis von CT-Scans. Adv. Neuronale Inf. Verfahren. Syst. 33, 12546–12558 (2020).

Google Scholar

Li, H. et al. Ungleichgewichtsbewusstes, selbstüberwachtes Lernen für radiomische 3D-Darstellungen. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. de Bruijne, M. et al.) 36–46 (Springer, 2021).

Liu, J. et al. Ausrichten, beobachten und lokalisieren: Röntgendiagnose des Brustkorbs über ein kontrastinduziertes Aufmerksamkeitsnetzwerk mit eingeschränkter Aufsicht. In Proc. Internationale IEEE/CVF-Konferenz zu Computer Vision 106321–10640 (IEEE, 2019).

Zhou, H.-Y. et al. Vergleichen lernen: Übertreffen Sie das ImageNet-Vortraining für Röntgenaufnahmen durch den Vergleich von Bilddarstellungen. In International Conference on Medical Image Computing and Computer-Assisted Intervention (Hrsg. Martel, AL) 398–407 (Springer, 2020).

Soni, PN, Shi, S., Sriram, PR, Ng, AY & Rajpurkar, P. Kontrastives Lernen von Herz- und Lungengeräuschen für eine etiketteneffiziente Diagnose. Muster 3, 100400 (2021).

Artikel PubMed PubMed Central Google Scholar

Liu, Q., Yu, L., Luo, L., Dou, Q. & Heng, PA Halbüberwachte medizinische Bildklassifizierung mit beziehungsgesteuertem Selbstzusammenfügungsmodell. IEEE Trans. Med. Bildgebung 39, 3429–3440 (2020).

Artikel PubMed Google Scholar

Wang, D., Zhang, Y., Zhang, K. & Wang, L. FocalMix: halbüberwachtes Lernen für die Erkennung medizinischer 3D-Bilder. In Proc. IEEE/CVF-Konferenz zu Computer Vision und Mustererkennung 3950–3959 (IEEE, 2020).

Zhang, Y., Jiang, H., Miura, Y., Manning, CD & Langlotz, CP Kontrastives Lernen medizinischer visueller Darstellungen aus gepaarten Bildern und Texten. In Proc. 7. Machine Learning for Healthcare Conference (Hrsg. Lipton, Z. et al.) 2–25 (PMLR, 2020).

Truong, T., Mohammadi, S. & Lenga, M. Wie übertragbar sind selbstüberwachte Funktionen bei medizinischen Bildklassifizierungsaufgaben? In Proc. Maschinelles Lernen für die Gesundheit (Hrsg. Roy, S. et al.) 54–74 (PMLR, 2021).

Referenzen herunterladen

Dieses Projekt war eine umfassende Zusammenarbeit zwischen Google Brain und dem Google Health AI Team. Wir danken Z. Ghahramani für sein wertvolles Feedback und seine kontinuierliche Unterstützung im Verlauf des Projekts; M. Raghu, J. Krause, D. Eck und M. Howell für wertvolles Feedback zur Verbesserung der Qualität der Arbeit; J. Uszkoreit, J. Deaton, V. Godbole, M. Sieniek, S. Prabhakara, D. Golden, D. Steiner, X. Zhai, A. Giurgiu, T. Duerig, C. Semturs, P. Bui, J. Hartford, S. Jansen, S. Shetty, T. Spitz, D. Tran, J. Luo, O. Wichrowska und A. Ward für die Unterstützung während dieses Projekts; mehrere Mitwirkende an diesem internationalen Projekt: Rajavithi Hospital Thailand, Lions Eye Institute und Derbarl Yerrigan Health Service, Westaustralien, Stanford Centre for Artificial Intelligence in Medicine and Imaging, MIT Laboratory for Computational Physiology and PhysioNet und NIH Clinical Centre; unseren Mitarbeitern bei DermPath AI, Apollo Hospitals und EyePACS für die Unterstützung dieser Arbeit; allen Mitarbeitern der Northwestern Medicine und allen Mitgliedern der Etemadi Research Group für die Unterstützung dieser Arbeit.

Die in dieser Veröffentlichung verwendeten Bilder und Daten stammen aus der Optimam-Datenbank, deren Erstellung von Cancer Research UK finanziert wurde. Ein Teil des Netzhautbilddatensatzes wurde für die Studie von Sankara Nethralaya, Chennai, Indien, bereitgestellt. Die in diesem Dokument enthaltenen Ergebnisse basieren ganz oder teilweise auf Daten des Cancer Genome Atlas (TCGA), der vom NCI und NHGRI verwaltet wird. Informationen zu TCGA finden Sie auf der NIH-Website. Diese Studie verwendete auch archivierte und anonymisierte Pathologie-Objektträger, klinisch-pathologische Variablen und Ergebnisse des Instituts für Pathologie und der Biobank der Medizinischen Universität Graz. In der Studie wurden auch Pathologie-Objektträger aus der CAMELYON-Challenge verwendet.

Diese Autoren haben gleichermaßen beigetragen: Shekoofeh Azizi, Laura Culp, Jan Freyberg.

Google Research, Mountain View, CA, USA

Shekoofeh Azizi, Laura Culp, Jan Freyberg, Basil Mustafa, Sebastien Baur, Simon Kornblith, Ting Chen, Patricia Strachan, S. Sara Mahdavi, Ellery Wulczyn, Boris Babenko, Megan Walker, Aaron Loh, Po-Hsuan Cameron Chen, Yuan Liu, Pinal Bavishi, Scott Mayer McKinney, Jim Winkens, Abhijit Guha Roy, Zach Beaver, Justin Krogue, Umesh Telang, Yun Liu, Lily Peng, Greg S. Corrado, Dale R. Webster, David Fleet, Geoffrey Hinton, Neil Houlsby, Alan Karthikesalingam , Mohammad Norouzi & Vivek Natarajan

DeepMind, London, Großbritannien

Nenad Tomasev & Jovana Mitrović

Georgia Institute of Technology, Informatik, Atlanta, GA, USA

Fiona Ryan

Fakultät für Medizin/Schule für Ingenieurwissenschaften, Northwestern University, Chicago, IL, USA

Mozziyar Etemadi

Sie können diesen Autor auch in PubMed Google Scholar suchen

SA, JF, LC, VN, NH, AK, MN, SK, TC, NT, JM, BM, PS, SSM, FR, EW, P.-HCC und GH trugen zur Konzeption und Gestaltung der Arbeit bei. SA, LC, JF, VN, AK, BB, PB, EW, P.-HCC, Yuan Liu, Yun Liu, SMM, AL, JW, MW, ZB, AGR, DRW, LP, GSC, UT und JK haben dazu beigetragen Datenerfassung. SA, LC, JF, SB, BM und VN trugen maßgeblich zur Bewertung der Arbeit bei. SA, LC, JF, VN, NH, AK, MN, SB, SK, TC, BB, DRW, DF, GSC und ME trugen zur Analyse und Interpretation der Daten bei. SA, LC, JF, VN, NH, AK, MN, SK, EW, PS, SSM und ME haben an der Ausarbeitung und Überarbeitung des Papiers mitgewirkt. NH, AK, MN und VN beteiligten sich zu gleichen Teilen als Co-Berater.

Korrespondenz mit Shekoofeh Azizi, Alan Karthikesalingam oder Vivek Natarajan.

Diese Studie wurde von Google LLC und/oder einer Tochtergesellschaft davon („Google“) finanziert. JF, LC, SA, VN, NH, AK, MN, BM, SB, PS, SSM, SK, TC, NT, JM, BB, PB, EW, P.-HCC, Yuan Liu, Yun Liu, SM, AL , JW, MW, ZB, AGR, UT, DRW, DF, LP, GSC, JK und GH sind Mitarbeiter von Google und können im Rahmen des Standardvergütungspakets Aktien besitzen. ME erhielt Fördermittel von Google, um die Forschungskooperation zu unterstützen.

Nature Biomedical Engineering dankt Pranav Rajpurkar und den anderen, anonymen Gutachtern für ihren Beitrag zum Peer-Review dieser Arbeit.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Wir beobachten, dass mit zunehmender Schwere synthetischer Verschiebungen die Leistung sowohl von REMEDIS als auch der überwachten Basislinie abnimmt. Allerdings verläuft der Rückgang bei REMEDIS eher allmählich.

Die verschiedenen Phasen, in denen unbeschriftete und beschriftete (sowohl ID als auch OOD) für die Modellentwicklung und -bewertung verwendet werden.

Abweichungen zwischen ID- und OOD-Daten können optisch subtil oder ausgeprägt sein. Diese Variation umfasst (ohne darauf beschränkt zu sein) Änderungen im Kontrast, der Schärfe oder dem Farbton, Unterschiede in nichtlinearen Effekten der Konstruktion des Röntgensensors oder in den Zoomstufen. Die zugrunde liegende Ursache der Verteilungsverschiebung kann mit einem Technologiewandel, einem demografischen Wandel oder einem Verhaltenswandel zusammenhängen45.

Ergänzende Ergebnisse, Diskussion, Abbildungen, Tabellen und Referenzen.

Springer Nature oder sein Lizenzgeber (z. B. eine Gesellschaft oder ein anderer Partner) besitzen die ausschließlichen Rechte an diesem Artikel im Rahmen einer Veröffentlichungsvereinbarung mit dem Autor bzw. den Autoren oder anderen Rechteinhabern. Die Selbstarchivierung der akzeptierten Manuskriptversion dieses Artikels durch den Autor unterliegt ausschließlich den Bedingungen dieser Veröffentlichungsvereinbarung und geltendem Recht.

Nachdrucke und Genehmigungen

Azizi, S., Culp, L., Freyberg, J. et al. Robuste und dateneffiziente Verallgemeinerung des selbstüberwachten maschinellen Lernens für die diagnostische Bildgebung. Nat. Biomed. Eng (2023). https://doi.org/10.1038/s41551-023-01049-7

Zitat herunterladen

Eingegangen: 22. Juli 2022

Angenommen: 02. Mai 2023

Veröffentlicht: 08. Juni 2023

DOI: https://doi.org/10.1038/s41551-023-01049-7

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Nachricht