ConVIRT论文详解(医疗图片)

作者: pdnbplus | 发布时间: 2024/06/18 | 阅读量: 193

ConVIRT论文详解(医疗图片) -- 潘登同学的深度学习笔记

  • 前言

    • 前言

    ConVIRT全称是(contrastive learning of medical visual representations from paired images and text),也是对比学习的一篇工作，但是结合了多模态；是在CLIP之前的工作了；

    • 学习医学图像的视觉表示是医学图像的核心了解，但它的进展一直受到手工标签的小尺寸数据集的阻碍；
    • 现有工作通常依赖于从 ImageNet 预训练的模型，由于图像特征完全不同，表现并不好；
    • 或从与医疗配对的文本报告数据中提取基于规则的标签图像，标签不准确且难以概括；

    医学领域打标签的方式

    • 请专家打高质量的标签，这样就导致数量很少；
    • 使用某种规则从报告中提取标签，在医疗系统里面有很多这样的文本图像对；
      • 但是提取规则通常不好用，有时候很难提取出某些标签；
      • 因为每个医生的写作方式不同，这种规则也很难跨医院进行使用；

    整体架构

    在这里插入图片描述

    • 一张图片先做随机裁剪，再接一个数据增强，然后进入Image Encoder(ResNet50),最后接一个MLP得到512维的特征表示；
    • 与这张图片配对的一段话，随机采样其中一部分(几句话，或者不完整的几句)，然后进入text Encoder(Bert),最后接一个MLP得到512维的特征表示；
    • 因为一个batch中有N个图片文本对，所以可以理解为有N-1个负例，只有一个正例，然后分别对图片和文本计算infoNCE loss；

    在这里插入图片描述

    数据集

    • 公共 MIMIC-CXR 数据库的第 2 版，这是一组胸部 X 光片图像与其文本报告配对，并且由于它的发布已成为研究医学图像多模态建模的标准资源。预处理后，该数据集共包含约 217k 图像-文本对，每对平均包含 1.7 张图片和 6.0 个句子；
    • 骨骼图像：从罗德岛医院系统获得一组肌肉骨骼图像-文本对。 继胸部图像之后，肌肉骨骼图像构成典型医院中第二常见的放射线图像类型。 该数据集总共包含 48k 图像-文本对，每对平均包含 2.5 个图像和 8.0 个句子。

    实验

    分类任务

    • RSNA Pneumonia Detection： 是否肺炎的二分类任务；
    • CheXpert image classification： 对肺部的多标签分类任务；
    • COVIDx image classificatio： 是否新冠肺炎，普通肺炎，正常的三分类任务；
    • MURA bony abnormality detection： 判断骨骼肌肉是否正常的二分类任务；

    两种方式： linear probe只训练分类头，fine-tuning

    在这里插入图片描述

    • 从上到下依次是：
      • 随机初始化；
      • ResNet50在ImageNet上预训练的；
      • Caption-LSTM是看图说话的一个网络(在下图中显示其架构)；
      • Caption-Transformer与上一个一样，但是用Transformer取代了LSTM(是COCO image captioning benchmar）；
      • Contrastive-Binary也是对比学习的一个网络，就是将一组配对输入，判断其是否属于一对，来当作预训练任务；
    • 因为COVIDx的数据没那么多，所以没有做1%层面上的测试；

    在这里插入图片描述

    下图是特征空间的可视化，左边是在ImageNet上预训练的，右图是ConVIRT 在这里插入图片描述

    Zero-shot任务

    像CLIP一样，多模态最强的还是Zero-shot，不需要微调，通过图片的提示进行分类；

    Zero-shot任务

    • Image-Image： 将所有图片传入Image-Encoder，与所有求相似，聚为一堆；(一张图片做query去与其他所有图片求相似度，就是对比学习特征空间的相似度问题)
      • 还是CheXpert数据集，但这个数据集不是一个多标签分类任务嘛，作者将只有一个标签的那些图片抽出来当作query(经过专家处理筛选之后，每个类别留了10张)；
      • 用这些query去与其他求相似度，得到结果，如果那个图片也有query这个标签就是正例，否则就是负例；
    • Text-image： 叫专家写了CheXpert中每个标签的症状(写了5份)，然后进入text Encoder，与所有进入Image-Encoder的特征求相似(当然这些特征都要过MLP层)；判别正负例的方法与上面的一样；

    在这里插入图片描述

    超参设置

    在这里插入图片描述

    • 大的batch反而不利于Image-Image和Text-Image,因为有可能本身那些负例就是潜在的正例；
    • 将最后的MLP去掉激活函数，对Image-Image和Text-Image的表现都有所下降；
    • 上述的两个问题不影响分类；

    与对比学习的其他模型进行比较，但是因为SimCLR与MoCo都是图片自己的对比，所以只能比较Image-Image 在这里插入图片描述

    • 都是用MIMIC-CXR数据集，SimCLR都没用v2版本，自然比不过，但是MoCo v2明明用了更大更一致的字典，为什么还是比不过；
      • 我认为有几个原因：超参没调好(因为是直接搬过来的)，用了文本的数据更能提高模型的学习效率，提供模型的准确度；