谷歌提出Med-PaLM M：通用生物医学多模态生成模型

尽管人工智能（AI）系统取得了重大进展，但大多数现有的最先进(SOTA)系统都是单模态单任务系统，这对于开发医疗人工智能系统提出了挑战，因为医疗任务本质上是多模态且模式丰富，涵盖了文本、成像、基因组学等多种数据形式。

在一篇名为《走向通用生物医学人工智能》的新论文中，来自 Google Research 和 Google DeepMind 的研究团队提出了一种名为 Med-PaLM Multimodal （Med-PaLM M）的大型多模态生成模型，用于处理多模态生物医学数据，包括临床数据、语言、成像和基因组学等。该模型使用一组权重，无需进行特定于任务的修改。

该团队的主要贡献包括：

1. 引入了MultiMedBench：这是一个新的多模态生物医学基准，涵盖医学成像、临床文本、基因组学等多种模式，包括14项不同的任务，用于训练和评估通用生物医学 AI 系统。

2. Med-PaLM M的首次演示：他们推出了Med-PaLM M，这是一个单一多任务、多模态生物医学人工智能系统，可以执行医学图像分类、医学问答、视觉问答、放射学报告生成、基因组变异调用等多项任务，使用相同的模型权重。

3. 新颖的能力证据：除了任务绩效的定量评估，他们还观察到了零样本医学推理、新医学概念和任务的泛化，以及跨任务的积极迁移的证据。

4. 人工评估：除了自动化指标外，他们还对Med-PaLM M生成的胸部X射线报告进行了放射科医生的人工评估。

该团队首先提出了MultiMedBench，解决了缺乏全面的多模态医疗基准的问题。接着，他们通过微调PaLM-E模型并将其与生物医学领域对齐，开发了Med-PaLM M。这个通用生物医学人工智能模型将多模态医疗数据作为输入，使用一组模型参数进行处理，并能够执行多项任务。

通过使用混合的任务调整策略，添加纯文本的“一次性示例”以与指令保持一致，并在MultiMedBench任务上微调PaLM的预训练变体E，他们获得了生成的Med-PaLM M模型。

在实证研究中，他们评估了Med-PaLM M在MultiMedBench的所有任务上的表现。结果显示，在所有任务上，Med-PaLM M的表现接近或超过了基线的SOTA，并且表现出了强大的零样本泛化能力。

据团队所述，Med-PaLM M是通用生物医学人工智能系统的首次尝试，他们相信这项工作代表了通用生物医学人工智能发展的关键一步。