Skip to main content
Version: Next

多模态支持

*在线运行 vLLM 入门教程:零基础分步指南

vLLM 通过 vllm.multimodal 包提供对多模态模型的实验性支持。

多模态输入可以与文本和 token 提示一起传递给支持的模型,通过 vllm.inputs.PromptType 中的 multi_modal_data 字段传递。

想要添加自己的多模态模型?请按照此处列出的说明操作。

模块内容

vllm.multimodal.**MULTIMODAL_REGISTRY*****= <vllm.multimodal.registry.MultiModalRegistry object>***

[source]

全局的 MultiModalRegistry 被模型运行器用于根据目标模型分派数据处理。

另请参阅 >多模态数据处理

子模块