中国科大生医工学院与讯飞医疗联合实验室在医疗文本数据和影像融合学习方向取得突破性成果

随着电子医疗记录系统的普及，我们现在拥有了海量的医疗数据，包括大量胸部X光图像和相关文本数据。这些数据不仅数量庞大、易于获取，而且成为了利用先进计算机视觉技术进行研究和开发的宝贵资源。特别是在采用胸片自动诊断相关的研究中，这些图像和文本数据的丰富性提供了一个低成本、高效率的解决方案，为医学人工智能领域的发展注入了新动力。

在近日举行的2023科大讯飞全球1024开发者发布会上，中国科学技术大学生物医学工程学院与讯飞医疗的联合实验室在医疗文本数据和影像融合学习这一关键技术方向上向公众展示了两项颇具突破性的研究成果, 体现了医学影像诊断技术的最前沿进展。这些成果将深刻影响医疗诊断领域，尤其是在胸部X光影像的应用方面。

第一项研究成果名为“CARZero: 基于交叉注意力对齐的胸片零样本分类”，由医学影像智能与机器人（MIRACLE）研究中心的赖浩然、姚青松、王嵘晟、蒋子航、周少华以及讯飞医疗的贺志阳、陶晓东等人组成的研究团队负责。该研究提出了一个全新的交叉注意力机制对齐方法，通过这种方法，研究人员可以更准确地探索和理解医疗图像与文本之间的复杂联系。研究团队还创新性地使用讯飞的星火语言大模型生成的prompt模板，确保训练和测试阶段的一致性。相较于现有的零样本学习方法，这项技术在五个公开数据集上均表现出了领先的成效。

第二项研究成果名为“ECAMP: 以实体为中心的医学视觉语言预训练方法”，由同样的研究团队提出。这项研究引入了四种创新技术：实体文本蒸馏、文本掩膜重平衡策略、文本引导的超分辨率重构以及多尺度信息融合的交叉注意力机制。这些技术有助于从医疗报告中捕获关键信息，优化图像的关键区域显示，并重新平衡文本实体的概率。在四个公开的分类数据集，两个分割数据集，和一个检测数据集上的测试结果均表明，该方法的性能明显优于现有的微调方法。

这两项研究均围绕医疗大模型以及胸部X光图像的临床应用进行。胸部X光作为一种非侵入性、成本效益高的医学成像方法，被广泛应用于早期识别和评估包括肺炎、肺结核和肺癌在内的各种胸部疾病。及早发现和治疗这些疾病对提高患者的生存率和生活质量具有至关重要的作用。

展望未来，这些研究成果的临床应用有望显著提高医疗诊断的效率和准确性，特别是在早期发现关键胸部疾病方面，为患者带来更好的预后。随着这些方法的进一步研究和应用，它们将持续成为医疗行业关注的焦点。