革新医疗AI：Med-Gemini模型在医学基准测试中的突破表现

【行客按】Med-Gemini模型是基于Gemini模型系列的高级AI工具，专门针对医学领域进行了优化。该模型整合了网络搜索功能，并可通过自定义编码器针对新型医疗内容进行调整。在14个医疗基准测试中，Med-Gemini在10个中达到或超越了行业最高标准，特别是在MedQA基准测试中，通过引入不确定性引导的搜索策略，实现了91.1%的高精度，较之前的Med-PaLM 2模型提升了4.6%。在实际应用中，Med-Gemini不仅在生成医学文本总结和转介信方面超越了人类专家，还在多模态医学对话和医学研究领域显示出巨大潜力。

Med-Gemini的核心技术及模拟验证

多模态模型

Med-Gemini能够综合处理和解析医疗数据中的文本、图像和视频，这一能力在医学领域尤为关键。例如，在处理X射线影像或MRI扫描时，Med-Gemini不仅分析图像本身，还能结合病历记录中的文本信息，为医生提供更全面的诊断支持。这种多模态理解能力，特别是在紧急情况下快速提供决策支持的能力，极大地增强了其在实际医疗环境中的应用价值。

长文本处理能力

理解医学视频: 评估 Med-Gemini-M 1.5 在三个医学视频任务中的表现。其中两个任务仅提供视频本身，另一个任务同时提供视频和字幕。任务内容为回答有关视频的问题。在两个任务中，Med-Gemini-M 1.5 取得了最高性能，甚至超越了之前不依赖大型语言模型 (LLM) 的最佳方法。这些先前的方法需要大量人工调整才能正常工作。当视频和字幕同时提供时（视频+字幕任务），Med-Gemini-M 1.5 再次取得了最高性能。额外的字幕显着提高了模型对视频的理解。这表明未来的研究应该探索如何最好地利用视频的各个方面（图像、文本和音频）来进一步提高视频理解。对于评估腹腔镜胆囊切除术视频中的关键手术视图的任务，Med-Gemini-M 1.5 的表现优于 GPT-4V。然而，使用 ResNet3D 架构的监督基准方法表现更好。这表明可能需要进一步研究提示技术或微调指令以提高 Med-Gemini-M 1.5 在此特定任务上的性能。

图 6: 皮肤科场景下与 Med-Gemini-M 1.5 进行假设性多模态诊断对话的示例

(a) 用户与我们的多模态模型 Med-Gemini-M 1.5 进行交互，模拟一位基于 SCIN (Ward et al., 2024) 病例的患者。SCIN 是一个外部数据集，未包含在微调混合物中。如果不进行大量额外的研究和开发，此系统并不适用于实际诊断任务。然而，本例通过继承自原始 Gemini 模型的对话能力与微调获得的新型多模态医学知识相结合，展示了未来丰富的多轮诊断对话的潜在可能性。在此交互中，Med-Gemini-M 1.5 在用户未提供图片时会要求上传图片（多模态信息获取），并能高效地得出正确诊断（开放式诊断），通过整合相关的视觉特征和其他收集到的患者症状来解释其推理过程（可解释性），回答有关治疗方案的问题，同时适当地将最终决定权留给专家。(b) 展示了从皮肤科医生那里收集的反馈，以定性评估诊断对话的内容，特别要求他们对模型的积极和消极方面进行评论。

与GPT-4模型家族的比较

在多个医学基准测试中，Med-Gemini相比GPT-4显示出更加优越的性能。这不仅因为其深度学习能力，还包括其在特定医疗任务中的专业调整，如增强的推理能力和改进的模态集成方式。这使得Med-Gemini在模拟医学考试（如USMLE）等场景中，能够提供更为准确和实用的答案。

根据下图表1数据，Med-Gemini-L 1.0在MedQA（USMLE）的测试中实现了91.1%的准确率，设定了新的行业最高标准，超过了之前的Med-PaLM 2模型4.5个百分点，也比使用复杂提示的GPT-4增强版——MedPrompt高出0.9%。与MedPrompt的策略相比，Med-Gemini-L 1.0采用了基于不确定性引导的搜索框架，该策略不仅适用于MedQA测试，还可以扩展到更复杂的场景。

图 3: 利用网络搜索扩展 Med-Gemini-L 1.0 到两个额外文本基准的泛化能力(a): Med-Gemini-L 1.0 在 NEJM CPC 基准测试上的 top-k 准确率与之前最先进 (SoTA) 大型语言模型和临床医生的比较，包含使用和不使用网络搜索的情况。(b): Med-Gemini-L 1.0 与 GeneTuring 数据集模块上最先进模型的比较。柱状图表示每个模型的正确响应、错误响应和弃权响应的比例