摘要： 最近的零样本多标签图像分类方法主要基于视觉语言预训练模型 ＣＬＩＰ（ｃｏｎｔｒａｓｔｉｖｅｌａｎｇｕａｇｅｉｍａｇｅｐｒｅｔｒａｉｎｉｎｇ）。然而，这些工作仅仅在文本提示上进行改进，忽略了图像和文本 ２种模态之间的交互。针对以上问题，提出一种结合图像文本提示和跨模态适配器（ｉｍａｇｅｔｅｘｔｐｒｏｍｐｔｓａｎｄｃｒｏｓｓｍｏｄａｌａｄａｐｔｅｒ，ＩＴＰＣＡ）的零样本多标签图像分类方法，充分挖掘视觉语言预训练模型的图文匹配能力。通过结合提示学习为图像和文本分支设计提示，提高了模型对不同标签的泛化能力。此外，设计了一个跨模态适配器建立图像和文本 ２种模态之间的联系。实验结果表明，在ＮＵＳＷＩＤＥ、ＭＳＣＯＣＯ多标签数据集上，所提方法优于其他零样本多标签图像分类方法。

关键词: 视觉语言预训练模型；提示学习；零样本学习；多标签图像分类

中图分类号: 

• ＴＰ３９１．４１