多模态支持
vLLM 通过 vllm.multimodal
包提供对多模态模型的实验性支持。
多模态输入可以与文本和 token 提示一起传递给支持的模型,通过 vllm.inputs.PromptType
中的 multi_modal_data
字段传递。
想要添加自己的多模态模型?请按照此处列出的说明操作。
模块内容
vllm.multimodal.**MULTIMODAL_REGISTRY*****= <vllm.multimodal.registry.MultiModalRegistry object>***
全局的 MultiModalRegistry
被模型运行器用于根据目标模型分派数据处理。
另请参阅 >多模态数据处理